CN110633664A - 基于人脸识别技术追踪用户的注意力方法和装置 - Google Patents
基于人脸识别技术追踪用户的注意力方法和装置 Download PDFInfo
- Publication number
- CN110633664A CN110633664A CN201910835987.1A CN201910835987A CN110633664A CN 110633664 A CN110633664 A CN 110633664A CN 201910835987 A CN201910835987 A CN 201910835987A CN 110633664 A CN110633664 A CN 110633664A
- Authority
- CN
- China
- Prior art keywords
- face
- user
- screen
- attention
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明的实施方式提供了一种追踪用户注意力的方法和装置。该方法包括：通过摄像头获取包含用户人脸的画面；从所述画面中识别出用户的人脸信息；提取所述用户人脸信息的特征点；根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；基于所述相对位置和朝向确定用户注意力所在区域。本发明提供的技术方案能够通过对用户注意力的追踪以及统计使向用户推送以及展示的内容更加的符合用户的需求，为用户带来了更好的体验，并且降低了成本。
Description
技术领域
本发明的实施方式涉及人脸识别领域，尤其涉及一种基于人脸识别技术追踪用户的注意力的方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在现有技术中，追踪用户的注意力的方法主要是应用专业的眼球跟踪仪通过眼球追踪技术判断用户此时的注意力，现有的眼球追踪技术一般的流程通常是利用红外摄像头获取人眼部的图像信息，通过图像算法确定出瞳孔中心，根据映射关系模型求出眼睛在屏幕上的注视点。但是由于专业的眼球追踪仪的成本较高，所以眼球追踪技术现多用于VR、实验心理学、应用心理学、工程心理学、认知神经科学等领域。
近年来，国内在视线跟踪领域的研究日益活跃。天津师范大学刘瑞安对基于人脸识别技术自适应视线跟踪方法展开了研究，该研究方式所提到的人脸识别算法是相对早期的，现在所使用深度学习的人脸识别从效率、准确路上会高于上述文中的2DPCA这类算法，并且文中主要提及的是如何提取人脸特征，关于如何从人脸朝向映射到屏幕上被关注的坐标描述很简单，仅仅提到用神经网络自适应的调整，然而本发明所使用的技术方案是应用解方程和机器学习两种方法，相比于神经网络更高效并更加的易于调试，应用的成本也更低。
并且，现如今，在人们的日常生活中，有很多的领域可以通过追踪用户的注意力的方式提高工作的效率，例如：目前，越来越多的广告位被安置在公共场所，随着广告位的逐渐增加，人们对广告位所展现广告的趣味性以及互动性要求越来越高，同时，由于广告位数量的增加，商家们也越加的在意广告位所展现的广告是否可以吸引用户以及什么样的广告才可以吸引用户这一问题。但是目前大多数广告位播放广告的模式都是将一个广告无限循环，这种播放模式会让用户感觉很枯燥，并且目前广告商们都是通过用户之后在某固定平台上对该广告的评价以及用户填写的调查问卷才能明确用户喜好的广告的类型。显然，这种方式并不能够很好的统计用户实际喜好的广告类型，而且目前只有少数的用户会主动的在某固定平台上对广告进行评价，致使广告商们并不能明确的了解用户真正喜好的广告的类型。
为此，非常需要一种可以被普及的追踪用户注意力的技术方案，以使可以通过较低的成本满足追踪用户注意力的需求。
发明内容
本发明的目的是提供一种追踪用户注意力的方法和装置。
根据本发明的一个方面，提供了一种追踪用户注意力的方法，其中，该方法主要包括以下步骤：通过摄像头获取包含用户人脸的画面；从所述画面中识别出用户的人脸信息；提取所述用户人脸信息的特征点；根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；基于所述相对位置和朝向确定用户注意力所在区域。
根据本发明的另一个方面，提供了一种追踪用户注意力的装置，其中，该装置主要包括：获取人脸画面模块，用于通过摄像头获取包含用户人脸的画面；识别人脸信息模块，用于从所述画面中识别出用户的人脸信息；提取特征点模块，用于提取所述用户人脸信息的特征点；相对位置生成模块，用于根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；确定注意力模块，用于基于所述相对位置和朝向确定用户注意力所在区域。
与现有技术相比，本发明具有以下优点：一方面可以通过对广告屏幕等安装普通摄像头，通过人脸识别技术对该摄像头拍摄到的人脸画面进行人脸识别，进而确定出用户的人脸信息，另一方面，可以通过提取获取到的人脸信息上的特征点，根据该特征点在人脸画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于摄像头的相对位置以及此时用户的人脸朝向，并且根据该相对位置以及用户的人脸朝向便可以判断出用户此时注意力所在的区域，并且可以将根据用户的注意力确定的用户所偏好的信息与用户的身份信息绑定，并为用户有针对性的推送用户更感兴趣的内容，并且，也可以统计出针对不同的内容感兴趣的用户的身份，这样有效的避免了向用户推送的内容是不用不感兴趣的情况，也可以让广告商更有效的统计不同的用户喜爱的广告的类型。由此可知，本发明提供的技术方案能够使推送的内容更符合用户的需求，提高了应用的生存周期以及竞争力，进而降低了应用的成本。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明实施方式的可以在其中实现的应用场景示意图；
图2示意性地示出了根据本发明一实施例的用于实现追踪用户注意力的方法流程图；
图3示意性地示出了根据本发明一实施例的机器学习的示意图；
图4示意性地示出了根据本发明实施方式的可以在其中实现的实际应用场景示意图；
图5、图6示意性地示出了根据本发明一实施例的数据统计示意图；
图7、图8示意性地示出了根据本发明一实施例的计算偏移量的示意图；
图9示意性地示出了根据本发明一实施例的用于实现追踪用户注意力的装置流程图；
在附图中，相同或对应的标号表示相同或对应的部分。
应用场景总览
首先参考图1，示意性地示出了根据本发明实施方式的可以在其中实现的应用场景。
如图1，有一用户站在装有摄像头的广告牌前，并且该用户与广告牌的距离在1-3米，广告牌上的摄像头可以拍摄站在广告牌前的用户的人脸画面，并且获取用户人脸信息上的特征点，通过特征点与摄像头以及屏幕之间的相对位置关系和人脸的朝向判断出此时用户注意力所在的区域，并且当大屏幕前有多个用户时，可以同时追踪多个用户的注意力。图4为示出了根据本发明实施方式的实际应用场景图。在图4中，一位用户观察大屏幕上呈现的各种内容，该大屏幕上方中央位置安装有一个摄像头，用于拍摄当前用户的视频图像，用于进行人脸识别。当用户转向左侧时，用户的注意力区域位于屏幕的左侧，在屏幕中用圆圈圈出的位置为用户的注意力区域。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施例作详细描述。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然本发明的流程图将各项操作描述成顺序的处理，但是，其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
所述智能电子设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能移动电话以及PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或者基于云计算(Cloud Computing)的由大量计算机或者网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述智能电子设备可以接入网络并与网络中的其他智能电子设备进行信息交互操作。其中，所述智能电子设备所能够接入的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备以及网络等仅为举例，其他现有的或今后可能出现的智能电子设备或者网络如可适用于本申请，也应包含在本申请保护范围以内，并以引用方式包含于此。
后面描述所讨论的方法(其中一些通过流程图示出)实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合的形式来实施。当用软件、固件、中间件或者微代码来实施时，用以实施必要任务的程序代码或者代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本申请的示例性实施例的目的，但是，本申请可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是，当一个单元被称为“连接”或者“耦合”到另一个单元时，其可以直接连接或者耦合到所述另一个单元，也可以存在中间单元。与此相对的，当一个单元被称为“直接连接”或者“直接耦合”到另一个单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如，“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例，而不是意图限制示例性实施例。除非上下文中明确地另有所指，否则，这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定了所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或者添加一个或更多的其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明的技术方案作进一步详细描述。
实施例一、追踪用户注意力的方法。
图2为本实施例追踪用户注意力方法的流程图。在图2所示的流程图中，本实施例追踪用户注意力的方法主要包括：步骤S100-S140。
下面对图2中的各步骤分别进行详细的描述。
S100、通过摄像头获取包含用户人脸的画面。
作为示例，本发明实施方式中的摄像头通常为市面上现有的普通的摄像头，该摄像头可连接在动态的大屏幕上，也可连接在静态的广告牌上，也可以内置在屏幕中。该摄像头可以位于屏幕或广告牌的四边边缘之一上，例如典型地位于屏幕上方边缘中部的位置。该摄像头可以是普通的可见光摄像头也可以是远红或近红外摄像头，用于在黑暗环境下的拍摄。摄像头的角度可以是固定的也可以是可移动的，可以是远程控制转动或者可以自动跟随人脸转动的摄像头。摄像头具体的连接位置在此不做限制，该摄像头的作用是拍摄当前站在摄像头面前的用户的人脸画面。例如，当在摄像头画面中检测到人脸后则启动拍摄和录像。该录像内容可以在本地存储也可以通过Wifi或者4G通信网络上传到服务器进行分析。
S110、从所述画面中识别出用户的人脸信息。
作为示例，本发明实施方式中的人脸信息是通过人脸识别技术对获取到的用户的人脸画面进行相应的处理，具体地，先对实时采集到的人脸图像进行图像预处理，根据用户五官的形状描述以及五官之间的距离特性来获得有助于人脸分类的特征分量，其特征分量通常包括特征点间的欧氏距离、曲率和角度，提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。通过人脸识别技术识别出当前获取到的用户的人脸画面的人脸信息。人脸识别技术有许多种，都可以用于本发明的方法中，有些人脸识别技术可以同时输出人脸的俯仰角和偏转角信息。
作为示例，本发明中的人脸信息还包括用户的人脸属性，该人脸属性具体包括用户的性别、年龄等属性，通过对获取到的用户的人脸画面进行人脸识别技术从而得到用户的人脸信息和人脸属性，根据获取到的用户的人脸信息和人脸属性可以根据后台预先存储的人脸数据库进行匹配判断出当前用户的身份信息、性别以及年龄等，也可以通过大数据分析估计人脸所属的性别和年龄信息，从而对人群进行初步分类，该分类的目的便于根据不同人群的对广告的关注度来评估广告投放效果以及相应地推送该人群感兴趣的广告内容。
作为示例，在获取了用户的身份信息后，服务器可为该用户分配一个唯一身份标识，若当前服务器与公安系统联网，则此时的唯一身份标识可为与用户唯一对应的身份证号码，若当前服务器未与公安系统联网，则服务器可为获取到用户身份信息的用户分配一个与该用户对应的唯一的一个ID码，在为用户分配了唯一的身份标识后，用户的行为会被存储到服务器中与该用户的身份标识相对应的模块中。具体地，如果识别出的用户当前没有与之匹配的唯一标识，服务器则为该用户分配一个与该用户对应的唯一标识，若识别出的用户当前有与之对应的身份标识，则会将用户当前的行为存储到服务器中与该用户的身份标识相对应的模块中。
具体的一个例子，用户A和用户B此时站在安装有本发明所述的应用的大屏幕前，摄像头拍摄用户A和用户B的人脸画面通过人脸识别技术识别出用户A和用户B的人脸信息，并且判断出用户A的人脸属性为年龄段在20-30之间的女性，判断出用户B的人脸属性为年龄段在20-30的男性，服务器在为用户A分配身份标识时发现在服务器中已有一身份标识与用户A的人脸信息相匹配，则此时将用户A的行为存储到服务器中与用户A的身份标识相对应的模块中。服务器在为用户B分配身份标识时发现在服务器中并没有与用户B匹配的身份标识，则此时服务器为用户B分配一个与用户B对应的唯一的身份标识，并将用户B的行为存储到服务器中与用户B的身份标识相对应的模块中。
S120、提取所述用户人脸信息的特征点。
作为示例，本发明中的用户人脸信息的特征点为在对用户人脸进行人脸识别时对用户的人脸的五官以及轮廓进行了关键点的标注，而本发明所提取的特征点具体是指提取用户两只眼睛以及鼻尖的关键点作为特征点，更具体地，本发明所述提取的特征点是三个不共线的点，更具体地，本发明所述提取的特征点是两只眼睛以及鼻尖各提取一个关键点作为特征点。
S130、根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向。
作为示例，本发明实施例所述的相对位置是指用户当前的人脸信息所提取到的特征点相对于摄像头的空间坐标。具体地，由于用户在关注不同的区域时，该用户的人脸倾斜角度会发生变化，导致提取到的人脸信息上的三个特征点之间的相对位置关系会发生变化，例如，当用户在摄像头正前方直视摄像头的时候，此时提取到的用户的人脸信息的三个特征点之间形成一个等腰三角形，当用户的注意力落在摄像头的两侧时，此时提取到的用户的人脸信息的三个特征点组成的三角形会根据用户注意力的变化而发生形变。
作为示例，本发明实施例所述的生成人脸相对于摄像头的相对位置和朝向的一种方法为，根据摄像头所拍摄的包含人脸的画面中人脸在画面二维平面上的位置确定该人脸相对于摄像头在二维平面上的投影位置。可以基于人脸在画面中的大小来估计该人脸距离摄像头所在平面的垂直距离，或者通过深度传感器来检测人脸距离摄像头所在平面的垂直距离。当该人脸相对于摄像头所在二维平面的投影位置以及相对于摄像头的垂直距离确定之后，该人脸相对于摄像头在空间中的相对位置也就能够确定下来。基于人脸识别方法可以获得人脸的俯仰角信息，该俯仰角信息即为人脸的朝向。还可以基于人脸上至少三个特征点(例如两个眼睛和鼻子)在摄像头拍摄画面的投影形变情况确定该人脸的朝向。
S140、基于所述相对位置和朝向确定用户注意力所在区域。
作为示例，本发明实施例所述的注意力所在的区域是指根据人脸识别技术判断出的用户当前的人脸朝向以及根据用户的人脸信息提取到的特征点与摄像头以及屏幕之间的相对位置判断出用户此时的注意力的方向，并根据用户的注意力所处的方向与屏幕的交点判断出用户此时注意力所处的区域。
如图3，实施例一的另一种变形，实现上述基于所述相对位置和朝向确定用户注意力所在区域的一种方法，通过机器学习的方法确定用户注意力所在的区域，该机器学习方法是通过对注意力计算模型不断的训练得到的，具体的训练方式为，在本发明所述的应用设备投入使用前，会对该应用设备进行训练，此时安装有摄像头301的屏幕302上会有一个追踪点303，技术人员304站在屏幕302面前，屏幕302上的追踪点303会出现在屏幕302上的不同的位置，此时技术人员304的脸会对应着跟踪点303位置的变化使技术人员304脸的朝向发生变化，摄像头301通过拍摄到的技术人员304的人脸信息并根据人脸信息提取特征点，由于技术人员304的脸的朝向面对着追踪点303在不停的变化，因此获取到的技术人员304的三个特征点之间的相对位置也在不停的发生变化，并且追踪点303每处一个位置都会有一个与之对应的提取到的技术人员304的人脸信息的三个特征点的相对位置，将训练得到的追踪点303的位置与技术人员304人脸的三个特征点的相对位置的对应关系存储到训练模型中。在建立好训练模型后，当摄像头301拍摄到不同的用户时，根据提取到当前用户的人脸信息的三个特征点的相对位置关系，将该相对位置关系上传到服务器/本地的训练模型中，该训练模型则自动生成与所述相对位置关系相对应的追踪点的位置。由于追踪点303是在屏幕302上的，则通过生成的追踪点303在屏幕302的位置就可以判断出此时用户注意力所在的屏幕的区域。
实施例一的另一种变形，根据机器学习的方法确定用户注意力所在的区域还包括，通过摄像头301拍摄到的技术人员304的人脸画面提取该用户的人脸信息及三个特征点，并且可以获取到三个特征点在人脸画面的二维坐标，由于技术人员304的人脸朝向会根据屏幕302上的追踪点303的位置的不同而发生变化，则根据技术人员304人脸信息提取到的三个特征点在人脸画面上的二维坐标也会与之对应的发生变化，此时将追踪点303在屏幕302的不同位置与追踪点303在该位置时获取到的用户的三个特征点在人脸画面的二维坐标对应，并将该对应关系存储到训练模型中。在建立好训练模型后，当摄像头301拍摄到不同的用户时，根据提取到的用户的人脸信息的三个特征点在人脸画面的二维坐标，将该二维坐标上传到服务器/本地的训练模型中，该训练模型则自动生成与所述二维坐标相对应的追踪点303的位置，由于追踪点303是在屏幕302上的，则通过生成的追踪点303在屏幕302的位置就可以判断出此时用户注意力所在的屏幕302的区域。
上述实施例可以通过机器学习的方法实现确定用户注意力所在的区域的技术效果，并且该方法操作简单易于理解和实现，并且该方法的分类准确度高，学习能力强。
实施例一的另一种变形，基于所述相对位置和朝向确定用户注意力所在区域的方法还包括，将摄像头、屏幕与人脸的相对位置关系以及人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域。实施例一的另一种变形，在每一个新的应用设备投入使用前要对其进行校准操作，该校准操作具体包括，分别在显示屏幕的上侧、下侧、左侧、右侧的中点各设有一校准点，校准人员站在屏幕前分别注视上述四个不同的校准点，并将获取到的数据代入下列公式：
y+nosePitchRate_1*A＝0
y+nosePitchRate_2*A＝Max_Y
x+noseYawRate_1*B＝0
x+noseYawRate_2*B＝Max_X
上式中A、B分别为对应于Y坐标和对应于X坐标的距离参数，nosePitchRate_1为校准人员注视上侧中点的校准点时的仰角，nosePitchRate_2为校准人员注视下侧中点的校准点时的俯角，noseYawRate_1为校准人员注视左侧中点的校准点时的转动角度，noseYawRate_2为校准人员注视右侧中点的校准点时的转动角度，Max_Y和Max_X为预先设定的X坐标和Y坐标的最大值，此处归一化为100，其他数值可由技术人员预先设置，此处的x和y为当前校准人员对应屏幕所在平面的投影的X坐标和Y坐标。由于上式中的x和y以及各个角度的信息是已知的，具体见下述，故可由上述式子求出A、B的值，即对应于Y坐标和对应于X坐标的距离参数。
在对该应用设备进行校准操作之后，根据预定的公式计算出用户注意力所在屏幕的区域还包括，实施例一的另一种变形，根据摄像头获取到的用户的人脸信息，确定用户人脸山根点、鼻尖以及脸颊连线中点在屏幕上的投影坐标，该投影坐标为获取到的上述三个特征点投影到屏幕上的位置所占屏幕的百分比坐标，例如，将屏幕的长的左侧点设为0，将屏幕的长的右侧点设为100，同时将与屏幕长的左侧点共点的宽的另一侧的点设为100，若此时用户站在屏幕的正中间，并且直视屏幕，则此时用户的三个特征点的X坐标是相同的，并且投影在屏幕上的X坐标为50，三个特征点投影在屏幕上的Y的坐标是不同的，此时Y投影到屏幕上的具体坐标由用户的身高等因素决定。
当用户的脸部发生偏转时，根据如下公式计算出用户脸部的偏转角：
let noseYaw＝noseTop.x-noseBottom.x；
let noseHeight＝noseBottom.y-noseTop.y；
let noseYawRate＝noseYaw/noseHeight；
let nosePitchRate＝((cheekMids[0].y+cheekMids[1].y)/2-noseBottom.y)/noseHeight；
上述公式中参数的具体含义为：
noseYaw为脸部转动偏移量；noseTop.x为鼻子山根点的X坐标；noseBottom.x为鼻尖的X坐标；noseHeight为鼻子的长度；noseBottom.y为鼻尖的Y坐标；noseTop.y为鼻子山根点的Y坐标；noseYawRate为脸颊偏移tan值；noseYaw为＝脸部转动偏移量；nosePitchRate为脸部俯仰角tan值；((cheekMids[0].y+cheekMids[1].y)/2为脸颊连线中点Y坐标；
上述公式用文字表述如下：
脸部转动偏移量＝鼻子山根点的X坐标-鼻尖的X坐标；
鼻子的长度＝鼻尖的Y坐标-鼻子山根点的Y坐标；
脸颊偏移tan值＝脸部转动偏移量/鼻子长度；
脸部俯仰角tan值＝(脸颊连线中点Y坐标-鼻尖Y坐标)/鼻子长度。
可知，确定了用户脸颊偏转的tan值后便确定了用户脸颊偏转的角度，确定了用户脸部俯仰角tan值后便确定了用户脸部俯仰角度。如图7所示，已知用户人脸的偏移角度的tan值和用户到屏幕的距离百分比，便可以计算出用户的关注点的坐标相对于用户脸部中心坐标的偏移量，该偏移量为实际偏移量乘以校准得到的X轴的距离参数B，所得到的偏移量为实际偏移量占屏幕X轴的百分比，计算出该偏移量便可确定用户此时关注点的X坐标，所述用户到屏幕距离的百分比为用户到屏幕的实际距离乘以校准得到的距离参数B，用户到屏幕的实际距离根据人脸识别技术便可得到。如图8所示，已知用户的俯仰角的tan值和用户到屏幕的距离百分比，便可求出用户此时关注点的坐标相对于用户脸部中心坐标的偏转量，该偏移量为实际偏移量乘以校准得到的Y轴的距离参数A，所得到的偏移量为实际偏移量占屏幕Y轴的百分比，进而确定出用户此时关注点的投影到屏幕上的Y坐标。
根据计算出的用户此时关注点投影在屏幕上的X坐标和Y坐标便可确定出用户此时注意力在屏幕上的区域。利用如下公式计算注意力所在的区域：
faceCenter.x+noseYawRate*B；
faceCenter.y+nodePitchRate*A
上述公式中，第一步为确定当前用户注意力所投影在屏幕的X坐标，第二步为确定当前用户注意力所投影在屏幕的Y坐标，faceCenter.x为当前用户脸颊连线中点投影在屏幕上的X坐标，faceCenter.y为当前用户脸颊连线中点投影在屏幕上的Y坐标，noseYawRate*B为当前用户注意力在X方向上的偏移量，nodePitchRate*A为当前用户注意力在Y方向上的偏移量。例如，确定出的用户的脸颊连线的中点投影到屏幕上的坐标为X坐标是50，Y坐标是20，此时计算出的用户的关注点在屏幕X方向上的偏移量是-20，在屏幕Y方向上的偏移量是+20，则计算出此时用户的关注点在屏幕上的投影坐标为(30,40)。
这种方式只需要将摄像头获取到的用户的人脸信息带入预设的公式中既可以计算出当前用户的注意力所在的区域，运行较为简单，降低了服务器的压力，并且由于本技术方案应用的是距离百分比的计算方式进行计算，则可以不用考虑屏幕的尺寸对计算数据的影响。
实施例一的另一种变形，根据预定的公式计算出用户注意力所在屏幕的区域还包括，通过现有的人脸识别技术对摄像头获取到的用户的人脸信息进行识别，确定用户此时的人脸朝向，即，确定人脸的俯仰角和偏转角。然后基于人脸在画面中大小和位置估计人脸与屏幕之间的距离和投影坐标。如此可以确定人脸在空间中的位置和朝向，基于该人脸的空间位置和朝向引出一条直线与屏幕所在平面相交为一点，该点被确定此时用户注意力在屏幕的位置区域。上述交点的求解可以通过求解方程的方式来确定。
实施例一的另一种变形，根据预定的公式计算出用户注意力所在屏幕的区域还包括，通过人脸识别技术对摄像头获取到的用户的人脸信息提取三个特征点，该三个特征点包括用户的两只眼睛瞳孔点和用户的鼻尖，该三个特征点为不共线的三个点，该三个特征点形成空间中的一个人脸平面。确定该三个特征点所构成的三角形的重心(即，三条中线的交点)作为该人脸平面的中心位置。从该中心位置出发做一条垂直于该三角形平面的直线，该直线表示人脸的朝向。该直线与屏幕所在平面的交点为当前用户注意力在屏幕的位置区域。
实施例一的另一种变形，当摄像头获取到位于屏幕前的用户的人脸信息后，统计该用户关注屏幕上某一区域的内容的时间，若统计到该用户关注屏幕上某一区域的时间达到5秒，则将该用户关注的屏幕上这一区域所对应的内容确定为该用户的偏好信息，并将该偏好信息与该用户的身份标识对应存储，并向该用户推送与该用户的偏好信息相符的内容，上述时间的触发可以由技术人员预先设定。
一个具体的例子，此时用户C站在本发明所述的应用设备前，根据摄像头提取到的用户C的人脸信息，并根据该人脸信息确定与之对应的用户的身份标识，若并未找到与之对应的用户身份标识，则服务器向用户C自动分配一个与用户C唯一对应的ID，并将用户C的行为存储到服务器中与该用户的身份标识相对应的模块中，若根据提取到的用户C的人脸信息在服务器中找到了与用户C对应的身份标识，则根据用户C身份标识中的偏好信息向用户C推送与该偏好信息相符的内容，例如，若该用户C的偏好信息为“动漫”，则大屏幕上会向用户C推送与动漫相关的内容。若此时摄像头获取到了多个用户的人脸信息，则会根据多个人脸信息确定是否有与之匹配的身份标识，并向没有与之匹配的身份标识的用户分配与用户唯一对应的ID，向具有身份标识的用户提取该用户的偏好信息，并根据提取到的偏好信息向用户推送符合大多数用户偏好信息的内容。这种方式可以有效的满足大多数用户的需求。
实施例一的另一种变形，如图5-图6所示，本发明所述的应用设备可以通过对追踪到的用户的注意力进行统计，具体统计的事件包括关注的人次、关注的事件、关注时长以及男女等维度，具体的统计方法为，通过对摄像头实时获取到的用户的人脸画面进行人脸识别技术判断出用户的性别，并将该用户的性别信息进行统计存储到服务器/本地端的记忆存储模块中，并且同时也将该用户的注意力所对应的屏幕区域的显示内容存储到记忆存储模块中，并根据摄像头获取到的屏幕面前的用户实时的对屏幕前的用户的人数进行统计并存储到记忆存储模块中，并对每个用户关注屏幕的时长进行统计并将统计的结果存储到记忆存储模块中，最终根据记忆存储模块中的各项数据自动生成与之对应的数据图，这样可以使技术人员更加直观的判断出广告的投放效果，并且可以更直观的观察到不同的广告适宜的用户的人群，为之后的广告投放累积经验。
实施例一的另一种变形，当摄像头获取到用户的人脸信息后，可将与用户人脸信息相对应的用户的身份标识与该用户的通信信息绑定，并通过服务器将与该用户身份标识相对应的偏好信息相符的内容通过通信信息推送给该用户，并且若该用户之后不想再收到与之相关的推送信息可以通过编辑短信等方式解除通信信息与偏好信息的绑定关系，若该用户收到的推送信息并不是用户所偏好的内容，该用户仍可以以编辑短信等方式向服务器反馈以更改该用户的偏好信息。这种方式提高了用户的自主可控性。
实施例一的另一种变形，当摄像头获取到摄像头前的用户注视屏幕上的某一区域一定时间后，对应在该屏幕区域的内容可以动画的形式向该用户播放，这种方式有效的提高与用户的互动性。
实施例一的另一种变形，不仅可以在动态的大屏幕上安装摄像头实现本发明所述的技术效果，还可以在静态的广告牌上安装普通带有微型计算机的摄像头仍可以实现本发明所述的技术效果，例如可以在自动贩卖机上安装带有微型计算机的摄像头，便可以根据上述的技术方案对使用贩卖机的人数进行统计，并且还可以对不同的人群对自动贩卖机内不同商品的关注度进行统计，这样可以有效的了解使用该自动贩卖机的人数，以及不同的人群对不同商品的喜爱程度，商家便可根据统计的结果对自动贩卖机的位置以及自动贩卖机内的商品进行调整，这样可以极大的提高自动贩卖机的使用率。
实施例一的另一种变形，可以在博物馆的展厅安装本发明所述的摄像头，可以通过该摄像头获取到的摄像头前的不同的用户的注意力所在的区域确定该用户对不同展品的喜爱程度，博物馆的工作人员可以通过统计到的不同的人员对不同展品的喜爱程度对展品的位置进行调整。还可以将用户注意力停留较长时间的展品的相关信息自动推送到与该用户绑定的通信设备上，例如通过微信、短信或者电子邮件进行推送。另外，当用户参观完整个展览后，可以将该用户游览路线、观看的展品、偏好程度等统计信息推送给该用户。例如，可以通过自动生成一个游览日志的方式向该用户推送。用户可以获得良好的参观体验，可以把注意力放在具体展品上，而不需要随时记录相关展品的信息。
实施例二、追踪用户注意力的装置。
图9为本实施例追踪用户注意力方法的流程图。在图9所示的流程图中，本实施例追踪用户注意力的装置主要包括如下模块：模块200-250。
下面对图9中的各模块分别进行详细的描述。
获取人脸画面模块200，用于通过摄像头获取包含用户人脸的画面的模块。
作为示例，本发明实施方式中的摄像头通常为市面上现有的普通的摄像头，该摄像头可连接在动态的大屏幕上，也可连接在静态的广告牌上，也可以内置在屏幕中。该摄像头可以位于屏幕或广告牌的四边边缘之一上，例如典型地位于屏幕上方边缘中部的位置。该摄像头可以是普通的可见光摄像头也可以是远红或近红外摄像头，用于在黑暗环境下的拍摄。摄像头的角度可以是固定的也可以是可移动的，可以是远程控制转动或者可以自动跟随人脸转动的摄像头。摄像头具体的连接位置在此不做限制，该摄像头的作用是拍摄当前站在摄像头面前的用户的人脸画面。例如，当在摄像头画面中检测到人脸后则启动拍摄和录像。该录像内容可以在本地存储也可以通过Wifi或者4G通信网络上传到服务器进行分析。
识别人脸信息模块210，用于从所述画面中识别出用户的人脸信息的模块。
作为示例，本发明实施方式中的人脸信息是通过人脸识别技术对获取到的用户的人脸画面进行相应的处理，具体地，先对实时采集到的人脸图像进行图像预处理，根据用户五官的形状描述以及五官之间的距离特性来获得有助于人脸分类的特征分量，其特征分量通常包括特征点间的欧氏距离、曲率和角度，提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。通过人脸识别技术识别出当前获取到的用户的人脸画面的人脸信息。人脸识别技术有许多种，都可以用于本发明的方法中，有些人脸识别技术可以同时输出人脸的俯仰角信息。
识别人脸属性模块250，用于识别获取到的用户的人脸属性的模块。
作为示例，本发明中的人脸信息还包括用户的人脸属性，该人脸属性具体包括用户的性别、年龄等属性，通过对获取到的用户的人脸画面进行人脸识别技术从而得到用户的人脸信息和人脸属性，根据获取到的用户的人脸信息和人脸属性可以根据后台预先存储的人脸数据库进行匹配判断出当前用户的身份信息、性别以及年龄等，也可以通过大数据分析估计人脸所属的性别和年龄信息，从而对人群进行初步分类，该分类的目的便于根据不同人群的对广告的关注度来评估广告投放效果以及相应地推送该人群感兴趣的广告内容。
作为示例，在获取了用户的身份信息后，服务器可为该用户分配一个唯一身份标识，若当前服务器与公安系统联网，则此时的唯一身份标识可为与用户唯一对应的身份证号码，若当前服务器未与公安系统联网，则服务器可为获取到用户身份信息的用户分配一个与该用户对应的唯一的一个ID码，在为用户分配了唯一的身份标识后，用户的行为会被存储到服务器中与该用户的身份标识相对应的模块中。具体地，如果识别出的用户当前没有与之匹配的唯一标识，服务器则为该用户分配一个与该用户对应的唯一标识，若识别出的用户当前有与之对应的身份标识，则会将用户当前的行为存储到服务器中与该用户的身份标识相对应的模块中。
具体的一个例子，用户A和用户B此时站在安装有本发明所述的应用的大屏幕前，摄像头拍摄用户A和用户B的人脸画面通过人脸识别技术识别出用户A和用户B的人脸信息，并且判断出用户A的人脸属性为年龄段在20-30之间的女性，判断出用户B的人脸属性为年龄段在20-30的男性，服务器在为用户A分配身份标识时发现在服务器中已有一身份标识与用户A的人脸信息相匹配，则此时将用户A的行为存储到服务器中与用户A的身份标识相对应的模块中。服务器在为用户B分配身份标识时发现在服务器中并没有与用户B匹配的身份标识，则此时服务器为用户B分配一个与用户B对应的唯一的身份标识，并将用户B的行为存储到服务器中与用户B的身份标识相对应的模块中。
提取特征点模块220，用于提取所述用户人脸信息的特征点的模块。
作为示例，本发明中的用户人脸信息的特征点为在对用户人脸进行人脸识别时对用户的人脸的五官以及轮廓进行了关键点的标注，而本发明所提取的特征点具体是指提取用户两只眼睛以及鼻尖的关键点作为特征点，更具体地，本发明所述提取的特征点是三个不共线的点，更具体地，本发明所述提取的特征点是两只眼睛以及鼻尖各提取一个关键点作为特征点。
相对位置生成模块230，用于根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向的模块。
作为示例，本发明实施例所述的相对位置是指用户当前的人脸信息所提取到的特征点相对于摄像头的空间坐标。具体地，由于用户在关注不同的区域时，该用户的人脸倾斜角度会发生变化，导致提取到的人脸信息上的三个特征点之间的相对位置关系会发生变化，例如，当用户在摄像头正前方直视摄像头的时候，此时提取到的用户的人脸信息的三个特征点之间形成一个等腰三角形，当用户的注意力落在摄像头的两侧时，此时提取到的用户的人脸信息的三个特征点组成的三角形会根据用户注意力的变化而发生形变。
作为示例，本发明实施例所述的生成人脸相对于摄像头的相对位置和朝向的一种方法为，根据摄像头所拍摄的包含人脸的画面中人脸在画面二维平面上的位置确定该人脸相对于摄像头在二维平面上的投影位置。可以基于人脸在画面中的大小来估计该人脸距离摄像头所在平面的垂直距离，或者通过深度传感器来检测人脸距离摄像头所在平面的垂直距离。当该人脸相对于摄像头所在二维平面的投影位置以及相对于摄像头的垂直距离确定之后，该人脸相对于摄像头在空间中的相对位置也就能够确定下来。基于人脸识别方法可以获得人脸的俯仰角信息，该俯仰角信息即为人脸的朝向。还可以基于人脸上至少三个特征点(例如两个眼睛和鼻子)在摄像头拍摄画面的投影形变情况确定该人脸的朝向。
确定注意力模块240，用于基于所述相对位置和朝向确定用户注意力所在区域的模块。
作为示例，本发明实施例所述的注意力所在的区域是指根据人脸识别技术判断出的用户当前的人脸朝向以及根据用户的人脸信息提取到的特征点与摄像头以及屏幕之间的相对位置判断出用户此时的注意力的方向，并根据用户的注意力所处的方向与屏幕的交点判断出用户此时注意力所处的区域。
如图3，实施例二的另一种变形，实现上述基于所述相对位置和朝向确定用户注意力所在区域的一种方法，通过机器学习的方法确定用户注意力所在的区域，该机器学习方法是通过对注意力计算模型不断的训练得到的，具体的训练方式为，在本发明所述的应用设备投入使用前，会对该应用设备进行训练，此时安装有摄像头301的屏幕302上会有一个追踪点303，技术人员304站在屏幕302面前，屏幕302上的追踪点303会出现在屏幕302上的不同的位置，此时技术人员304的脸会对应着跟踪点303位置的变化使技术人员304脸的朝向发生变化，摄像头301通过拍摄到的技术人员304的人脸信息并根据人脸信息提取特征点，由于技术人员304的脸的朝向面对着追踪点303在不停的变化，因此获取到的技术人员304的三个特征点之间的相对位置也在不停的发生变化，并且追踪点303每处一个位置都会有一个与之对应的提取到的技术人员304的人脸信息的三个特征点的相对位置，将训练得到的追踪点303的位置与技术人员304人脸的三个特征点的相对位置的对应关系存储到训练模型中。在建立好训练模型后，当摄像头301拍摄到不同的用户时，根据提取到当前用户的人脸信息的三个特征点的相对位置关系，将该相对位置关系上传到服务器/本地的训练模型中，该训练模型则自动生成与所述相对位置关系相对应的追踪点的位置。由于追踪点303是在屏幕302上的，则通过生成的追踪点303在屏幕302的位置就可以判断出此时用户注意力所在的屏幕的区域。
实施例二的另一种变形，根据机器学习的方法确定用户注意力所在的区域还包括，通过摄像头301拍摄到的技术人员304的人脸画面提取该用户的人脸信息及三个特征点，并且可以获取到三个特征点在人脸画面的二维坐标，由于技术人员304的人脸朝向会根据屏幕302上的追踪点303的位置的不同而发生变化，则根据技术人员304人脸信息提取到的三个特征点在人脸画面上的二维坐标也会与之对应的发生变化，此时将追踪点303在屏幕302的不同位置与追踪点303在该位置时获取到的用户的三个特征点在人脸画面的二维坐标对应，并将该对应关系存储到训练模型中。在建立好训练模型后，当摄像头301拍摄到不同的用户时，根据提取到的用户的人脸信息的三个特征点在人脸画面的二维坐标，将该二维坐标上传到服务器/本地的训练模型中，该训练模型则自动生成与所述二维坐标相对应的追踪点303的位置，由于追踪点303是在屏幕302上的，则通过生成的追踪点303在屏幕302的位置就可以判断出此时用户注意力所在的屏幕302的区域。
上述实施例可以通过机器学习的方法实现确定用户注意力所在的区域的技术效果，并且该方法操作简单易于理解和实现，并且该方法的分类准确度高，学习能力强。
实施例二的另一种变形，基于所述相对位置和朝向确定用户注意力所在区域的方法还包括，将摄像头、屏幕与人脸的相对位置关系以及人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域。实施例二的另一种变形，在每一个新的应用设备投入使用前要对其进行校准操作，该校准操作具体包括，分别在显示屏幕的上侧、下侧、左侧、右侧的中点各设有一校准点，校准人员站在屏幕前分别注视上述四个不同的校准点，并将获取到的数据代入下列公式：
y+nosePitchRate_1*A＝0
y+nosePitchRate_2*A＝Max_Y
x+noseYawRate_1*B＝0
x+noseYawRate_2*B＝Max_X
上式中A、B分别为对应于Y坐标和对应于X坐标的距离参数，nosePitchRate_1为校准人员注视上侧中点的校准点时的仰角，nosePitchRate_2为校准人员注视下侧中点的校准点时的俯角，noseYawRate_1为校准人员注视左侧中点的校准点时的转动角度，noseYawRate_2为校准人员注视右侧中点的校准点时的转动角度，Max_Y和Max_X为预先设定的X坐标和Y坐标的最大值，此处普遍设为100，其他数值可由技术人员预先设置，此处的x和y为当前校准人员对应的X坐标和Y坐标。由于上式中的x和y以及各个角度的信息是已知的，具体见下述，故可由上述式子求出A、B的值，即对应于Y坐标和对应于X坐标的距离参数。
在对该应用设备进行校准操作之后，根据预定的公式计算出用户注意力所在屏幕的区域还包括，实施例二的另一种变形，根据摄像头获取到的用户的人脸信息，确定用户人脸山根点、鼻尖以及脸颊连线中点在屏幕上的投影坐标，该投影坐标为获取到的上述三个特征点投影到屏幕上的位置所占屏幕的百分比坐标，例如，将屏幕的长的左侧点设为0，将屏幕的长的右侧点设为100，同时将与屏幕长的左侧点共点的宽的另一侧的点设为100，若此时用户站在屏幕的正中间，并且直视屏幕，则此时用户的三个特征点的X坐标是相同的，并且投影在屏幕上的X坐标为50，三个特征点投影在屏幕上的Y的坐标是不同的，此时Y投影到屏幕上的具体坐标由用户的身高等因素决定。
当用户的脸部发生偏转时，根据如下公式计算出用户脸部的偏转角：
let noseYaw＝noseTop.x-noseBottom.x；
let noseHeight＝noseBottom.y-noseTop.y；
let noseYawRate＝noseYaw/noseHeight；
let nosePitchRate＝((cheekMids[0].y+cheekMids[1].y)/2-noseBottom.y)/noseHeight；
上述公式中参数的具体含义为：
noseYaw为脸部转动偏移量；noseTop.x为鼻子山根点的X坐标；noseBottom.x为鼻尖的X坐标；noseHeight为鼻子的长度；noseBottom.y为鼻尖的Y坐标；noseTop.y为鼻子山根点的Y坐标；noseYawRate为脸颊偏移tan值；noseYaw为＝脸部转动偏移量；nosePitchRate为脸部俯仰角tan值；((cheekMids[0].y+cheekMids[1].y)/2为脸颊连线中点Y坐标；
上述公式用文字表述如下：
脸部转动偏移量＝鼻子山根点的X坐标-鼻尖的X坐标；
鼻子的长度＝鼻尖的Y坐标-鼻子山根点的Y坐标；
脸颊偏移tan值＝脸部转动偏移量/鼻子长度；
脸部俯仰角tan值＝(脸颊连线中点Y坐标-鼻尖Y坐标)/鼻子长度。
可知，确定了用户脸颊偏转的tan值后便确定了用户脸颊偏转的角度，确定了用户脸部俯仰角tan值后便确定了用户脸部俯仰角度。如图7所示，已知用户人脸的偏移角度的tan值和用户到屏幕的距离百分比，便可以计算出用户的关注点的坐标相对于用户脸部中心坐标的偏移量，该偏移量为实际偏移量乘以校准得到的X轴的距离参数B，所得到的偏移量为实际偏移量占屏幕X轴的百分比，计算出该偏移量便可确定用户此时关注点的X坐标，所述用户到屏幕距离的百分比为用户到屏幕的实际距离乘以校准得到的距离参数B，用户到屏幕的实际距离根据人脸识别技术便可得到。如图8所示，已知用户的俯仰角的tan值和用户到屏幕的距离百分比，便可求出用户此时关注点的坐标相对于用户脸部中心坐标的偏转量，该偏移量为实际偏移量乘以校准得到的Y轴的距离参数A，所得到的偏移量为实际偏移量占屏幕Y轴的百分比，进而确定出用户此时关注点的投影到屏幕上的Y坐标。根据计算出的用户此时关注点投影在屏幕上的X坐标和Y坐标便可确定出用户此时注意力在屏幕上的区域，进而根据该区域对应的屏幕上显示的内容确定出用户此时关注的内容。例如，确定出的用户的脸颊连线的中点投影到屏幕上的坐标为X坐标是50，Y坐标是20，此时计算出的用户的关注点在屏幕X方向上的偏移量是-20，在屏幕Y方向上的偏移量是+20，则计算出此时用户的关注点在屏幕上的投影坐标为(30,40)。
这种方式只需要将摄像头获取到的用户的人脸信息带入预设的公式中既可以计算出当前用户的注意力所在的区域，运行较为简单，降低了服务器的压力，并且由于本技术方案应用的是距离百分比的计算方式进行计算，则可以不用考虑屏幕的尺寸对计算数据的影响。
实施例二的另一种变形，根据预定的公式计算出用户注意力所在屏幕的区域还包括，通过现有的人脸识别技术对摄像头获取到的用户的人脸信息进行识别，确定用户此时的人脸朝向，即，确定人脸的俯仰角和偏转角。然后基于人脸在画面中大小和位置估计人脸与屏幕之间的距离和投影坐标。如此可以确定人脸在空间中的位置和朝向，基于该人脸的空间位置和朝向引出一条直线与屏幕所在平面相交为一点，该点被确定此时用户注意力在屏幕的位置区域。上述交点的求解可以通过求解方程的方式来确定。
实施例二的另一种变形，根据预定的公式计算出用户注意力所在屏幕的区域还包括，通过人脸识别技术对摄像头获取到的用户的人脸信息提取三个特征点，该三个特征点包括用户的两只眼睛瞳孔点和用户的鼻尖，该三个特征点为不共线的三个点，该三个特征点形成空间中的一个人脸平面。确定该三个特征点所构成的三角形的重心(即，三条中线的交点)作为该人脸平面的中心位置。从该中心位置出发做一条垂直于该三角形平面的直线，该直线表示人脸的朝向。该直线与屏幕所在平面的交点为当前用户注意力在屏幕的位置区域。
实施例二的另一种变形，当摄像头获取到位于屏幕前的用户的人脸信息后，统计该用户关注屏幕上某一区域的内容的时间，若统计到该用户关注屏幕上某一区域的时间达到5秒，则将该用户关注的屏幕上这一区域所对应的内容确定为该用户的偏好信息，并将该偏好信息与该用户的身份标识对应存储，并向该用户推送与该用户的偏好信息相符的内容，上述时间的触发可以由技术人员预先设定。
一个具体的例子，此时用户C站在本发明所述的应用设备前，根据摄像头提取到的用户C的人脸信息，并根据该人脸信息确定与之对应的用户的身份标识，若并未找到与之对应的用户身份标识，则服务器向用户C自动分配一个与用户C唯一对应的ID，并将用户C的行为存储到服务器中与该用户的身份标识相对应的模块中，若根据提取到的用户C的人脸信息在服务器中找到了与用户C对应的身份标识，则根据用户C身份标识中的偏好信息向用户C推送与该偏好信息相符的内容，例如，若该用户C的偏好信息为“动漫”，则大屏幕上会向用户C推送与动漫相关的内容。若此时摄像头获取到了多个用户的人脸信息，则会根据多个人脸信息确定是否有与之匹配的身份标识，并向没有与之匹配的身份标识的用户分配与用户唯一对应的ID，向具有身份标识的用户提取该用户的偏好信息，并根据提取到的偏好信息向用户推送符合大多数用户偏好信息的内容。这种方式可以有效的满足大多数用户的需求。
实施例二的另一种变形，如图5-图6所示，本发明所述的应用设备可以通过对追踪到的用户的注意力进行统计，具体统计的事件包括关注的人次、关注的事件、关注时长以及男女等维度，具体的统计方法为，通过对摄像头实时获取到的用户的人脸画面进行人脸识别技术判断出用户的性别，并将该用户的性别信息进行统计存储到服务器/本地端的记忆存储模块中，并且同时也将该用户的注意力所对应的屏幕区域的显示内容存储到记忆存储模块中，并根据摄像头获取到的屏幕面前的用户实时的对屏幕前的用户的人数进行统计并存储到记忆存储模块中，并对每个用户关注屏幕的时长进行统计并将统计的结果存储到记忆存储模块中，最终根据记忆存储模块中的各项数据自动生成一直对应的数据图，这样可以使技术人员更加直观的判断出广告的投放效果，并且可以更直观的观察到不同的广告适宜的用户的人群，为之后的广告投放累积经验。
实施例二的另一种变形，当摄像头获取到用户的人脸信息后，可将与用户人脸信息相对应的用户的身份标识与该用户的通信信息绑定，并通过服务器将与该用户身份标识相对应的偏好信息相符的内容通过通信信息推送给该用户，并且若该用户之后不想再收到与之相关的推送信息可以通过编辑短信等方式解除通信信息与偏好信息的绑定关系，若该用户收到的推送信息并不是用户所偏好的内容，该用户仍可以以编辑短信等方式向服务器反馈以更改该用户的偏好信息。这种方式提高了用户的自主可控性。
实施例二的另一种变形，当摄像头获取到摄像头前的用户注视屏幕上的某一区域一定时间后，对应在该屏幕区域的内容可以动画的形式向该用户播放，这种方式有效的提高与用户的互动性。
实施例二的另一种变形，不仅可以在动态的大屏幕上安装摄像头实现本发明所述的技术效果，还可以在静态的广告牌上安装普通带有微型计算机的摄像头仍可以实现本发明所述的技术效果，例如可以在自动贩卖机上安装带有微型计算机的摄像头，便可以根据上述的技术方案对使用贩卖机的人数进行统计，并且还可以对不同的人群对自动贩卖机内不同商品的关注度进行统计，这样可以有效的了解使用该自动贩卖机的人数，以及不同的人群对不同商品的喜爱程度，商家便可根据统计的结果对自动贩卖机的位置以及自动贩卖机内的商品进行调整，这样可以极大的提高自动贩卖机的使用率。
实施例二的另一种变形，可以在博物馆的展厅安装本发明所述的摄像头，可以通过该摄像头获取到的摄像头前的不同的用户的注意力所在的区域确定该用户对不同展品的喜爱程度，博物馆的工作人员可以通过统计到的不同的人员对不同展品的喜爱程度对展品的位置进行调整。还可以将用户注意力停留较长时间的展品的相关信息自动推送到与该用户绑定的通信设备上，例如通过微信、短信或者电子邮件进行推送。另外，当用户参观完整个展览后，可以将该用户游览路线、观看的展品、偏好程度等统计信息推送给该用户。例如，可以通过自动生成一个游览日志的方式向该用户推送。用户可以获得良好的参观体验，可以把注意力放在具体展品上，而不需要随时记录相关展品的信息。
项目1、一种追踪用户注意力的方法，其特征在于，包括：
通过摄像头获取包含用户人脸的画面；
从所述画面中识别出用户的人脸信息；
提取所述用户人脸信息的特征点；
根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；
基于所述相对位置和朝向确定用户注意力所在区域。
项目2、根据项目1所述的方法，其特征在于，预先确定所述摄像头与一屏幕的相对位置，其中所述基于所述人脸朝向确定用户注意力所在区域的步骤包括：
基于所述摄像头、所述屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域。
项目3、根据项目2所述的方法，其特征在于，所述基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的步骤包括：
利用已知的所述屏幕、摄像头与人脸的相对位置关系以及所述人脸的朝向和用户注意力在屏幕上的区域对注意力计算模型进行训练，得到训练后的注意力计算模型；
将检测或计算得到的所述屏幕、摄像头以及人脸的相对位置关系以及所述人脸的朝向输入到训练后的注意力计算模型得出当前用户注意力在屏幕上的区域。
项目4、根据项目2所述的方法，其特征在于，所述基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的步骤包括：
将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域。
项目5、根据项目1所述的方法，其特征在于，所述从所述画面中识别出用户的人脸信息的步骤包括：
对实时采集到的人脸图像进行图像预处理；
根据用户五官的形状描述以及五官之间的距离特性来获得有助于人脸分类的特征分量，其特征分量通常包括特征点间的欧氏距离、曲率和角度；
提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。
项目6、根据项目1所述的方法，其特征在于，所述从所述画面中识别出用户的人脸信息的步骤包括：
从所述画面中的人脸信息识别出人脸属性。
项目7、根据项目6所述的方法，其特征在于，所述人脸属性包括：
该人脸对应的用户的性别、年龄，并且对该特定的人脸分配一个唯一标识。
项目8、根据项目4所述的方法，其特征在于，所述将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的步骤包括：
将获取到的用户人脸不共线的三个特征点形成空间中的一个人脸平面；
确定垂直所述人脸平面中心位置的直线与所述屏幕相交的交点；
根据所述交点确定用户此时注意力在屏幕的位置区域。
项目9、根据项目4所述的方法，其特征在于，所述将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的步骤包括：
获取用户人脸在空间中的位置；
获取用户人脸在空间中的朝向；
基于用户人脸在空间中的所述位置和所述朝向，确定经过所述人脸位置与该人脸朝向重合的直线与所述屏幕相交的交点；
根据所述交点确定用户此时注意力在屏幕的位置区域。
项目10、根据项目4所述的方法，其特征在于，所述将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的步骤包括：
获取人脸上鼻尖在屏幕上的投影坐标；
获取人脸上山根在屏幕上的投影坐标；
获取人脸脸颊连线中点在屏幕上的投影坐标；
基于上述三个特征点的投影坐标计算人脸的俯仰角和偏转角；
基于所述人脸的俯仰角和偏转角计算注意力在屏幕上相对于所述人脸脸颊连线中点在屏幕上投影坐标的偏移量；
基于所述偏移量和所述人脸脸颊连线中点的坐标计算所述注意力在屏幕上的坐标。
项目11、根据项目8、9或10所述的方法，其特征在于，在根据所述交点确定用户此时注意力在屏幕的位置区域的步骤之后还包括如下步骤：
根据所述的用户此时注意力在屏幕的位置区域确定该位置区域所对应的显示内容。
项目12、根据项目11所述的方法，其特征在于：在根据所述的用户此时注意力在屏幕的位置区域确定该位置区域所对应的显示内容的步骤之后还包括如下步骤：
根据所述的用户注意力与所述所显示内容的关系，统计用户对所显示内容的关注度。
项目13、根据项目12所述的方法，其特征在于，所述从所述画面中识别出用户的人脸信息的步骤包括：
从所述画面中的人脸信息识别出人脸属性；
所述统计用户对所显示内容的关注度的步骤包括：
基于所述人脸属性统计不同人群对所显示内容的关注度，所述关注度包括：关注所显示内容的时间、人次和/或时段。
项目14、根据项目13所述的方法，其特征在于，在所述基于人脸属性统计不同人群对所显示内容的关注度的步骤之后还包括如下步骤：
所述人脸属性包括：该人脸对应的用户的性别、年龄，并且对该特定的人脸分配一个唯一标识；
将所述显示内容的属性与所述人脸属性和所分配的所述唯一标识相对应；以及
将具有所述显示内容的属性的显示内容确定为对应该所述唯一标识的用户的偏好信息。
项目15、根据项目14所述的方法，其特征在于，所述将具有所述显示内容的属性的显示内容确定为对应该所述唯一标识的用户的偏好信息的步骤之后还包括如下步骤：
根据所述的用户的偏好信息向用户推送相关属性的内容。
项目16、根据项目15所述的方法，其特征在于，根据所述的用户的偏好信息向用户推送相关属性的内容的步骤还包括：
基于当前摄像头面前的多个人脸的情况，统计所有人的所述偏好信息，推送大部人所偏好的内容。
项目17、根据项目15所述的方法，其特征在于，根据所述的用户的偏好信息向用户推送相关属性的内容的步骤还包括：
将所述用户人脸的所述唯一标识与该用户的通信信息绑定，将该人脸对应用户所偏好的内容或相关信息通过所述通信信息推送给所述用户。
项目18、根据项目1所述的方法，其特征在于，所述基于所述相对位置和朝向确定用户注意力所在区域的步骤包括：
当用户注意力所在的区域对应于展品的空间位置，则此时用户的注意力在某个展品上。
项目19、一种追踪用户注意力的装置，其特征在于，包括：
获取人脸画面模块，用于通过摄像头获取包含用户人脸的画面；
识别人脸信息模块，用于从所述画面中识别出用户的人脸信息；
提取特征点模块，用于提取所述用户人脸信息的特征点；
相对位置生成模块，用于根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；
确定注意力模块，用于基于所述相对位置和朝向确定用户注意力所在区域。
项目20、根据项目19所述的装置，其特征在于，所述确定注意力模块还包括：
用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块。
项目21、根据项目20所述的装置，其特征在于，用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块包括：
用于利用已知的所述屏幕、摄像头与人脸的相对位置关系以及所述人脸的朝向和用户注意力在屏幕上的区域对注意力计算模型进行训练的模块，经过训练后得到训练后的注意力计算模型；
用于将检测或计算得到的所述屏幕、摄像头以及人脸的相对位置关系以及所述人脸的朝向输入到训练后的注意力计算模型得出当前用户注意力在屏幕上的区域的模块。
项目22、根据项目20所述的装置，其特征在于，所述用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块还包括：
用于将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的模块。
项目23、根据项目19所述的装置，其特征在于，所述识别人脸信息模块包括：
预处理模块，用于对实时采集到的人脸图像进行图像预处理；
获取特征分量模块，用于根据用户五官的形状描述以及五官之间的距离特性来获得有助于人脸分类的特征分量，其特征分量通常包括特征点间的欧氏距离、曲率和角度；
提取模块，用于提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。
项目24、根据项目19所述的装置，其特征在于，所述识别人脸信息模块包括：
识别人脸属性模块，用于从所述画面中的人脸信息识别出人脸属性。
项目25、根据项目24所述的装置，其特征在于，所述人脸属性包括：
该人脸对应的用户的性别、年龄，并且对该特定的人脸分配一个唯一标识。
项目26、根据项目22所述的装置，其特征在于，用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块还包括：
用于将获取到的用户人脸不共线的三个特征点形成空间中的一个人脸平面的模块；
用于确定垂直所述人脸平面中心位置的直线与所述屏幕相交的交点的模块；
用于根据所述交点确定用户此时注意力在屏幕的位置区域的模块。
项目27、根据项目22所述的装置，其特征在于，用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块还包括：
用于获取用户人脸在空间中的位置的模块；
用于获取用户人脸在空间中的朝向的模块；
用于基于用户人脸在空间中的所述位置和所述朝向，确定经过所述人脸位置与该人脸朝向重合的直线与所述屏幕相交的交点的模块；
用于根据所述交点确定用户此时注意力在屏幕的位置区域的模块。
项目28、根据项目22所述的装置，其特征在于，所述将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的模块包括：
用于获取人脸上鼻尖在屏幕上的投影坐标的模块；
用于获取人脸上山根在屏幕上的投影坐标的模块；
用于获取人脸脸颊连线中点在屏幕上的投影坐标的模块；
用于基于上述三个特征点的投影坐标计算人脸的俯仰角和偏转角的模块；
用于基于所述人脸的俯仰角和偏转角计算注意力在屏幕上相对于所述人脸脸颊连线中点在屏幕上投影坐标的偏移量的模块；
用于基于所述偏移量和所述人脸脸颊连线中点的坐标计算所述注意力在屏幕上的坐标的模块。
项目29、根据项目26、27或28所述的装置，其特征在于，在用于根据所述交点确定用户此时注意力在屏幕的位置区域的模块之后还包括如下模块：
用于根据所述的用户此时注意力在屏幕的位置区域确定该位置区域所对应的显示内容的模块。
项目30、根据项目29所述的装置，其特征在于，在用于根据所述的用户此时注意力在屏幕的位置区域确定该位置区域所对应的显示内容的模块之后还包括如下模块：
用于根据所述的用户注意力与所述所显示内容的关系，统计用户对所显示内容的关注度的模块。
项目31、根据项目30所述的装置，其特征在于，所述识别人脸信息模块包括：
识别人脸属性模块，用于从所述画面中的人脸信息识别出人脸属性；
所述统计用户对所显示内容的关注度的模块包括：
用于基于所述人脸属性统计不同人群对所显示内容的关注度，所述关注度包括：关注所显示内容的时间、人次和/或时段的模块。
项目32、根据项目31所述的装置，其特征在于，在用于所述基于人脸属性统计不同人群对所显示内容的关注度的模块之后还包括如下模块：
所述人脸属性包括：该人脸对应的用户的性别、年龄，并且对该特定的人脸分配一个唯一标识；
用于将所述显示内容的属性与所述人脸属性和所分配的所述唯一标识相对应的模块；以及
用于将具有所述显示内容的属性的显示内容确定为对应该所述唯一标识的用户的偏好信息的模块。
项目33、根据项目32所述的装置，其特征在于，所述用于将具有所述显示内容的属性的显示内容确定为对应该所述唯一标识的用户的偏好信息的模块之后还包括如下模块：
用于根据所述的用户的偏好信息向用户推送相关属性的内容的模块。
项目34、根据项目33所述的装置，其特征在于，所述用于根据所述的用户的偏好信息向用户推送相关属性的内容的模块还包括：
用于基于当前摄像头面前的多个人脸的情况，统计所有人的偏好的内容，推送大部人所偏好的内容的模块。
项目35、根据项目33所述的装置，其特征在于，所述用于根据所述的用户的偏好信息向用户推送相关属性的内容的模块还包括：
用于将所述用户人脸的所述唯一标识与该用户的通信信息绑定，将该人脸对应用户所偏好的内容或相关信息通过所述通信信息推送给所述用户的模块。
项目36、根据项目19所述的装置，其特征在于，所述确定注意力模块包括：
当用户注意力所在的区域对应于展品的空间位置，则此时用户的注意力在某个展品上。
应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (10)
1.一种追踪用户注意力的方法，其特征在于，包括：
通过摄像头获取包含用户人脸的画面；
从所述画面中识别出用户的人脸信息；
提取所述用户人脸信息的特征点；
根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；
基于所述相对位置和朝向确定用户注意力所在区域。
2.根据权利要求1所述的方法，其特征在于，预先确定所述摄像头与一屏幕的相对位置，其中所述基于所述人脸朝向确定用户注意力所在区域的步骤包括：
基于所述摄像头、所述屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域。
3.根据权利要求2所述的方法，其特征在于，所述基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的步骤包括：
利用已知的所述屏幕、摄像头与人脸的相对位置关系以及所述人脸的朝向和用户注意力在屏幕上的区域对注意力计算模型进行训练，得到训练后的注意力计算模型；
将检测或计算得到的所述屏幕、摄像头以及人脸的相对位置关系以及所述人脸的朝向输入到训练后的注意力计算模型得出当前用户注意力在屏幕上的区域。
4.根据权利要求2所述的方法，其特征在于，所述基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的步骤包括：
将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域。
5.根据权利要求4所述的方法，其特征在于，所述将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的步骤包括：
获取人脸上鼻尖在屏幕上的投影坐标；
获取人脸上山根在屏幕上的投影坐标；
获取人脸脸颊连线中点在屏幕上的投影坐标；
基于上述三个特征点的投影坐标计算人脸的俯仰角和偏转角；
基于所述人脸的俯仰角和偏转角计算注意力在屏幕上相对于所述人脸脸颊连线中点在屏幕上投影坐标的偏移量；
基于所述偏移量和所述人脸脸颊连线中点的坐标计算所述注意力在屏幕上的坐标。
6.一种追踪用户注意力的装置，其特征在于，包括：
获取人脸画面模块，用于通过摄像头获取包含用户人脸的画面；
识别人脸信息模块，用于从所述画面中识别出用户的人脸信息；
提取特征点模块，用于提取所述用户人脸信息的特征点；
相对位置生成模块，用于根据所述人脸信息的特征点在所述画面上位置以及拍摄人脸画面的摄像头的位置，生成人脸相对于所述摄像头的相对位置和朝向；
确定注意力模块，用于基于所述相对位置和朝向确定用户注意力所在区域。
7.根据权利要求6所述的装置，其特征在于，所述确定注意力模块还包括：
用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块。
8.根据权利要求7所述的装置，其特征在于，用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块包括：
用于利用已知的所述屏幕、摄像头与人脸的相对位置关系以及所述人脸的朝向和用户注意力在屏幕上的区域对注意力计算模型进行训练的模块，经过训练后得到训练后的注意力计算模型；
用于将检测或计算得到的所述屏幕、摄像头以及人脸的相对位置关系以及所述人脸的朝向输入到训练后的注意力计算模型得出当前用户注意力在屏幕上的区域的模块。
9.根据权利要求7所述的装置，其特征在于，所述用于基于所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向确定用户注意力在屏幕上的区域的模块还包括：
用于将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的模块。
10.根据权利要求9所述的装置，其特征在于，所述将所述摄像头、屏幕与人脸的相对位置关系以及所述人脸的朝向代入预定公式计算出用户注意力在屏幕上的区域的模块包括：
用于获取人脸上鼻尖在屏幕上的投影坐标的模块；
用于获取人脸上山根在屏幕上的投影坐标的模块；
用于获取人脸脸颊连线中点在屏幕上的投影坐标的模块；
用于基于上述三个特征点的投影坐标计算人脸的俯仰角和偏转角的模块；
用于基于所述人脸的俯仰角和偏转角计算注意力在屏幕上相对于所述人脸脸颊连线中点在屏幕上投影坐标的偏移量的模块；
用于基于所述偏移量和所述人脸脸颊连线中点的坐标计算所述注意力在屏幕上的坐标的模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910835987.1A CN110633664A (zh) | 2019-09-05 | 2019-09-05 | 基于人脸识别技术追踪用户的注意力方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910835987.1A CN110633664A (zh) | 2019-09-05 | 2019-09-05 | 基于人脸识别技术追踪用户的注意力方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110633664A true CN110633664A (zh) | 2019-12-31 |
Family
ID=68970245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910835987.1A Pending CN110633664A (zh) | 2019-09-05 | 2019-09-05 | 基于人脸识别技术追踪用户的注意力方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110633664A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310602A (zh) * | 2020-01-20 | 2020-06-19 | 北京正和恒基滨水生态环境治理股份有限公司 | 一种基于情绪识别的展品关注度分析系统及分析方法 |
| CN111626254A (zh) * | 2020-06-02 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种展示动画触发方法及装置 |
| CN111625099A (zh) * | 2020-06-02 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种动画展示控制方法及装置 |
| CN111767820A (zh) * | 2020-06-23 | 2020-10-13 | 京东数字科技控股有限公司 | 对象被关注的识别方法、装置、设备及存储介质 |
| CN112417949A (zh) * | 2020-09-28 | 2021-02-26 | 深圳市艾为智能有限公司 | 基于视觉的网络教学注意力监测系统及方法 |
| CN112528050A (zh) * | 2020-11-30 | 2021-03-19 | 宁波市方略博华文化发展有限公司 | 一种多媒体互动系统及方法 |
| CN112560615A (zh) * | 2020-12-07 | 2021-03-26 | 上海明略人工智能(集团)有限公司 | 观看屏幕判断方法、系统及电子设备 |
| CN113297875A (zh) * | 2020-02-21 | 2021-08-24 | 华为技术有限公司 | 一种视频文字跟踪方法及电子设备 |
| CN113472834A (zh) * | 2020-04-27 | 2021-10-01 | 海信集团有限公司 | 一种对象推送方法及设备 |
| CN114661401A (zh) * | 2022-03-28 | 2022-06-24 | Oppo广东移动通信有限公司 | 界面显示方法、装置、存储介质以及终端 |
| EP4040334A1 (en) * | 2021-02-05 | 2022-08-10 | ACER Incorporated | Method and non-transitory computer-readable storage medium for detecting focus of attention |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296264A (zh) * | 2016-07-28 | 2017-01-04 | 河海大学常州校区 | 一种基于人脸识别的智能广告推送系统 |
| CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
| CN107656619A (zh) * | 2017-09-26 | 2018-02-02 | 广景视睿科技（深圳）有限公司 | 一种智能投影方法、系统及智能终端 |
| CN108108684A (zh) * | 2017-12-15 | 2018-06-01 | 杭州电子科技大学 | 一种融合视线检测的注意力检测方法 |
| CN109446892A (zh) * | 2018-09-14 | 2019-03-08 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
-
2019
- 2019-09-05 CN CN201910835987.1A patent/CN110633664A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296264A (zh) * | 2016-07-28 | 2017-01-04 | 河海大学常州校区 | 一种基于人脸识别的智能广告推送系统 |
| CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
| CN107656619A (zh) * | 2017-09-26 | 2018-02-02 | 广景视睿科技（深圳）有限公司 | 一种智能投影方法、系统及智能终端 |
| CN108108684A (zh) * | 2017-12-15 | 2018-06-01 | 杭州电子科技大学 | 一种融合视线检测的注意力检测方法 |
| CN109446892A (zh) * | 2018-09-14 | 2019-03-08 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310602A (zh) * | 2020-01-20 | 2020-06-19 | 北京正和恒基滨水生态环境治理股份有限公司 | 一种基于情绪识别的展品关注度分析系统及分析方法 |
| CN113297875A (zh) * | 2020-02-21 | 2021-08-24 | 华为技术有限公司 | 一种视频文字跟踪方法及电子设备 |
| CN113297875B (zh) * | 2020-02-21 | 2023-09-29 | 华为技术有限公司 | 一种视频文字跟踪方法及电子设备 |
| CN113472834A (zh) * | 2020-04-27 | 2021-10-01 | 海信集团有限公司 | 一种对象推送方法及设备 |
| CN111625099A (zh) * | 2020-06-02 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种动画展示控制方法及装置 |
| CN111626254A (zh) * | 2020-06-02 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种展示动画触发方法及装置 |
| CN111625099B (zh) * | 2020-06-02 | 2024-04-16 | 上海商汤智能科技有限公司 | 一种动画展示控制方法及装置 |
| CN111626254B (zh) * | 2020-06-02 | 2024-04-16 | 上海商汤智能科技有限公司 | 一种展示动画触发方法及装置 |
| CN111767820A (zh) * | 2020-06-23 | 2020-10-13 | 京东数字科技控股有限公司 | 对象被关注的识别方法、装置、设备及存储介质 |
| CN112417949A (zh) * | 2020-09-28 | 2021-02-26 | 深圳市艾为智能有限公司 | 基于视觉的网络教学注意力监测系统及方法 |
| CN112528050A (zh) * | 2020-11-30 | 2021-03-19 | 宁波市方略博华文化发展有限公司 | 一种多媒体互动系统及方法 |
| CN112528050B (zh) * | 2020-11-30 | 2022-10-25 | 宁波市方略博华文化发展有限公司 | 一种多媒体互动系统及方法 |
| CN112560615A (zh) * | 2020-12-07 | 2021-03-26 | 上海明略人工智能(集团)有限公司 | 观看屏幕判断方法、系统及电子设备 |
| EP4040334A1 (en) * | 2021-02-05 | 2022-08-10 | ACER Incorporated | Method and non-transitory computer-readable storage medium for detecting focus of attention |
| US11793435B2 (en) | 2021-02-05 | 2023-10-24 | Acer Incorporated | Method and non-transitory computer-readable storage medium for detecting focus of attention |
| CN114661401A (zh) * | 2022-03-28 | 2022-06-24 | Oppo广东移动通信有限公司 | 界面显示方法、装置、存储介质以及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110633664A (zh) | 基于人脸识别技术追踪用户的注意力方法和装置 | |
| JP6267861B2 (ja) | 対話型広告のための使用測定技法およびシステム | |
| WO2017167060A1 (zh) | 一种信息展示方法、装置及系统 | |
| CN105391970B (zh) | 提供由车辆的场景相机捕获的至少一个图像的方法和系统 | |
| US8401248B1 (en) | Method and system for measuring emotional and attentional response to dynamic digital media content | |
| Zhang et al. | Lock3dface: A large-scale database of low-cost kinect 3d faces | |
| US8667519B2 (en) | Automatic passive and anonymous feedback system | |
| US20180268458A1 (en) | Automated recommendation and virtualization systems and methods for e-commerce | |
| US20120150650A1 (en) | Automatic advertisement generation based on user expressed marketing terms | |
| CN105005777A (zh) | 一种基于人脸的音视频推荐方法及系统 | |
| CN108109010A (zh) | 一种智能ar广告机 | |
| Rudoy et al. | Viewpoint selection for human actions | |
| CN104978548A (zh) | 一种基于三维主动形状模型的视线估计方法与装置 | |
| CN107392159A (zh) | 一种面部专注度检测系统及方法 | |
| CN109670456A (zh) | 一种内容推送方法、装置、终端和存储介质 | |
| CN107481067B (zh) | 一种智能广告系统及其交互方法 | |
| CN105518714A (zh) | 活体检测方法及设备、计算机程序产品 | |
| Pala et al. | Enhanced skeleton and face 3D data for person re-identification from depth cameras | |
| JP6583996B2 (ja) | 映像評価装置、及びプログラム | |
| US20120038602A1 (en) | Advertisement display system and method | |
| CN105518715A (zh) | 活体检测方法及设备、计算机程序产品 | |
| KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
| EP4198772A1 (en) | Method and device for making music recommendation | |
| CN107544660B (zh) | 一种信息处理方法及电子设备 | |
| JP2016111612A (ja) | コンテンツ表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191231 |