CN109858399A - 一种基于眼神注视的喜好判别方法及判别系统 - Google Patents

Abstract

本发明提出了一种基于眼神注视的喜好判别方法，包括：通过摄像单元实时捕捉用户在获取当前播放内容时的眼神注视图像追踪所述眼神注视图像中用户的瞳孔特征数据，包括追踪用户瞳孔的瞳孔移动数据、瞳孔缩放数据和眨眼频率数据；判断数值赋值为零，若瞳孔移动数据超过阈值，则判断数值累加；若瞳孔缩放数据低于阈值，则判断数值累加；若眨眼频率数据低于阈值，则判断数值累加；若判断数值不高于1，则判断用户的喜好程度为高；否则，判断用户的喜好程度为低；生成主要判断结果。本发明还提供了一种基于眼神注视的喜好判别系统。

Description

一种基于眼神注视的喜好判别方法及判别系统

技术领域

本发明属于计算机领域，尤其涉及一种基于眼神注视的喜好判别方法及判别系统。

背景技术

推送技术通常是在事先表达喜好的信息，以构筑发布/订阅模型。一位客户可能订阅的各种信息，每当相关新内容再次发布，服务器会推出的信息给用户。在这一流程中，用户订阅是决定内容推送与否的关键，但在大多数时候，推送的决定权仍旧在服务商手中，推广内容是容易的，但是推广用户喜欢的内容却不容易。这造成了用户接受大量垃圾信息，而服务商做出一次次无效推广。

为此，在大数据时代下研究具体用户的心理，根据用户喜好推送内容是值得研究的关键课题。资源标签可由总体的选择提供，不过每一位用户的喜好不尽相同，某两个标签往往关联不能得出对其中一个标签资源表达喜爱的某位用户也对另一个标签资源喜爱。一般来说，储存单一用户的历史浏览能够追踪出该用户的喜好，不过，该方法无法外接，即，人的喜好会随时间变动，也会随接受信息而增减，这种方法是面向过去的方法，没有时效性。

发明内容

本发明的目的在于提供一种能够实时分析用户喜好的智能手机应用程序，以获得更精确、高效、有效的针对具体用户的推送与发布。

本发明提出了一种基于眼神注视的喜好判别方法，包括

步骤1：通过摄像单元实时捕捉用户在获取当前播放内容时的眼神注视图像；

步骤2：追踪所述眼神注视图像中用户的瞳孔特征数据，包括追踪用户瞳孔的瞳孔移动数据、瞳孔缩放数据和眨眼频率数据；

步骤3：判断数值赋值为零，若瞳孔移动数据超过阈值，则判断数值累加；若瞳孔缩放数据低于阈值，则判断数值累加；若眨眼频率数据低于阈值，则判断数值累加；

步骤4：若判断数值不高于1，则判断用户的喜好程度为高；否则，判断用户的喜好程度为低；生成主要判断结果。

本发明提出的所述基于眼神注视的喜好判别方法中，通过捕捉用户的瞳距，若瞳距中心点在播放内容时移动，则记录瞳孔移动数据。

本发明提出的所述基于眼神注视的喜好判别方法中，通过捕捉用户的瞳距，若瞳距在播放内容时缩小，则记瞳孔缩放数据。

本发明提出的所述基于眼神注视的喜好判别方法中，步骤4之后进一步包括步骤5：显示交互页面，获取用户输入关于当前播放内容的喜好程度。

本发明提出的所述基于眼神注视的喜好判别方法中，步骤5之后进一步包括步骤6：若其连续多次与主要判断结果不相符，则进一步引入辅助判断模式修正判断结果；所述辅助判断模式包括：

步骤a：在获取当前播放内容时，进一步通过摄像单元刺激用户的表情数据，和/或进一步通过麦克风采集用户的语音语调数据；

步骤b：分析表情数据中用户的嘴角两端位置，嘴角上扬则判断喜好程度为高，反之，为低；和/或分析语音语调数据中用户的发音频率，频率高于阈值则判断喜好程度威高，反之，为低；输出辅助判断结果。

本发明提出的所述基于眼神注视的喜好判别方法中，步骤b之后进一步包括步骤c：若主要判断结果与辅助判断结果相同则判定所述主要判断结果正确；若不符，则对所述主要判断结果进行重新判断。

本发明提出的所述基于眼神注视的喜好判别方法中，步骤c中进一步对设置主要判断结果和辅助判断结果的影响系数。

本发明提出的所述基于眼神注视的喜好判别方法中，根据用户的喜好程度对播放内容进行分类。

本发明还提出了一种基于眼神注视的喜好判别系统，应用于一个手持电子移动设备，所述手持电子移动设备用于和数据库远程通信，所述电子设备包括：

信号采集单元，通过摄像单元实时捕捉用户在获取当前播放内容时的眼神注视图像；

信号分析单元，其与所述信号采集单元通信，用于根据所述眼神注视图像追踪用户的瞳孔特征数据；

判断单元，其与所述信号分析单元通信，根据瞳孔特征数据判断用户对当前播放对象的喜好程度，得到主要判断结果；

交互单元，其与所述判断单元通信，当主要判断结果为低时用于显示交互页面，获取用户输入关于当前播放内容的喜好程度；

资源合并单元，其用于分类和存储数据，包括瞳孔特征数据、主要判断结果；

资源库，其用于存储带有标签的播放内容，包括视频、网页和音乐资源库。

本发明提出的所述基于眼神注视的喜好判别系统中，所述信号采集单元还用于捕捉用户的表情数据和/或语音语调数据。

与现有技术相比，本发明喜好判别方法及系统在用户浏览视频、网页论坛、文字内容，或欣赏音乐等播放内容时采集用户的眼神注视图像，并从中判断用户对于播放内容的实时喜好程度，从而实时对用户喜欢程度为高的播放内容进行标记，并继续为用户提供与该播放内容相同或相近标签的其他播放内容。对于播放内容的推送、归类等操作均具有很好的实时性。而且，本发明提供了辅助判别功能，对主要判断结果进行辅助判别，通过引入用户主动输入的喜好程度进而修改主要判断，增强本发明方法的准确性。

附图说明

图1是基于眼神注视的喜好判别方法的示意图。

图2是判断喜好程度的流程图。

图3是实施例中基于眼神注视的喜好判别系统的结构示意图。

图4是本发明的实施例中数据权重变化图。

图5是本发明的实施例中数据权重变化图。

图6是本发明的实施例中数据的流向图。

具体实施方式

下面将结合示意图对本发明提出的基于眼神注视的喜好判别方法及系统进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

本发明基于眼神注视的喜好判别方法，具体包括：

步骤1：通过摄像单元实时捕捉用户在获取当前播放内容时的眼神注视图像；

步骤2：追踪所述眼神注视图像中用户的瞳孔特征数据，包括追踪用户瞳孔的瞳孔移动数据、瞳孔缩放数据和眨眼频率数据。具体而言，通过捕捉用户的瞳距，若瞳距中心点在播放内容时移动，则记录瞳孔移动数据；以及，通过捕捉用户的瞳距，若瞳距在播放内容时缩小，则记瞳孔缩放数据。

步骤3：判断数值赋值为零，若瞳孔移动数据超过阈值，则判断数值累加；若瞳孔缩放数据低于阈值，则判断数值累加；若眨眼频率数据低于阈值，则判断数值累加；

步骤4：若判断数值不高于1，则判断用户的喜好程度为高；否则，判断用户的喜好程度为低；生成主要判断结果。

优选地，步骤4之后进一步包括步骤5：显示交互页面，获取用户输入关于当前播放内容的喜好程度。

优选地，步骤5之后进一步包括步骤6：若其连续多次与主要判断结果不相符，则进一步引入辅助判断模式修正判断结果；所述辅助判断模式包括：

步骤a：在获取当前播放内容时，进一步通过摄像单元刺激用户的表情数据，和/或进一步通过麦克风采集用户的语音语调数据；

步骤b：分析表情数据中用户的嘴角两端位置，嘴角上扬则判断喜好程度为高，反之，为低；和/或分析语音语调数据中用户的发音频率，频率高于阈值则判断喜好程度威高，反之，为低；输出辅助判断结果。

步骤b之后进一步包括步骤c：若主要判断结果与辅助判断结果相同则判定所述主要判断结果正确；若不符，则对所述主要判断结果进行重新判断。

本发明提出的所述基于眼神注视的喜好判别方法中，步骤c中进一步对设置主要判断结果和辅助判断结果的影响系数。

本发明提出的所述基于眼神注视的喜好判别方法中，根据用户的喜好程度对播放内容进行分类。

本发明还提出了一种基于眼神注视的喜好判别系统，应用于一个手持电子移动设备，所述手持电子移动设备用于和数据库远程通信，所述电子设备包括：

信号采集单元，通过摄像单元实时捕捉用户在获取当前播放内容时的眼神注视图像；

信号分析单元，其与所述信号采集单元通信，用于根据所述眼神注视图像追踪用户的瞳孔特征数据；

判断单元，其与所述信号分析单元通信，根据瞳孔特征数据判断用户对当前播放对象的喜好程度，得到主要判断结果；

交互单元，其与所述判断单元通信，当主要判断结果为低时用于显示交互页面，获取用户输入关于当前播放内容的喜好程度；

资源合并单元，其用于分类和存储数据，包括瞳孔特征数据、主要判断结果；

资源库，其用于存储带有标签的播放内容，包括视频、网页和音乐资源库。

本发明提出的所述基于眼神注视的喜好判别系统中，所述信号采集单元还用于捕捉用户的表情数据和/或语音语调数据。

实施例

如图3所示，本实施例中基于眼神注视的喜好判别系统包含：主信号储存单元10、辅助信号储存单元20、供电单元30、授权单元40以及计时器50、信号采集装置60、总信号储存单元70、信号分析单元80、判断单元90。主信号存储单元10用于存储的数据包含：瞳距信息、眨眼频率数据、瞳移动数据和瞳孔缩放数据。更为具体的，瞳距信息是测量用户瞳距E所用，瞳移动数据和瞳孔缩放数据的先决数据，在应用程序初次使用时测量获得，每次使用应用程序时加载。获取授权单元40的授权，前置摄像头与麦克风41的子授权，拍摄用户眼睛，计算瞳距E，该初始数据在以后使用中一般不作变更，因此需要数次测量以提供精度。当应用程序运作，供电单元30供电，授权单元40、前置摄像头与麦克风子授权41以及读取当前占用页面的子授权42工作，检测瞳孔位置，计时器50根据当前播放内容计时，那么信息采集单元60被触发，开辟要求内存，信号储存70响应，将数据划分为主信号存储单元10与辅助信号存储单元20。以瞳距信息E中点为基准位置O，若基准位置O在计时器50允许时间内变动，那么记录瞳移动数据；若在计时器50允许时间内瞳距E缩小，那么记录瞳孔缩放数据。眨眼频率数据不以瞳距信息为指标，单独测量用户在计时器50允许时间内眨眼次数。这样，完整的眼神注视数据便被采集得到。另外，眼神注视数据也可以分配权重，在此认为三个数据平等，能够均匀地体现用户喜好。辅助信号存储单元20用于存储的数据包括表情数据和语音语调数据。辅助信号存储单元20在喜好判别系统连续错判的情况下启用，体现在交互系统中。当判别系统出现三次错判时，辅助信号储存单元20将参与判决，并且权重达到40％。当应用程序运作，供电单元30供电，授权单元40、前置摄像头与麦克风子授权41以及读取当前占用页面的子授权42工作，前置摄像头与麦克风子授权41提供用户表情数据与语音语调数据22。追踪用户嘴角两端位置连线，若线条在计时器50允许时间内变凹，认为用户喜爱，变凸则认为不喜爱；若在计时器50允许时间内用户发出声音，若声音过于低沉则认为不喜爱，高亢则认为喜爱。另外，这两个数据也可以分配权重，在此认为这两个数据平等，能够均匀地体现用户喜好。

供电单元30用于为智能手机供电，以运行网页内容与应用软件。

授权单元40给与应用软件使用授权，包含：前置摄像头与麦克风子授权41和读取当前占用页面授权42。其中，前置摄像头与麦克风授权41跟随应用程序全程，与信号采集单元60相连接，采集瞳孔特征数据与辅助信号数据，当前占用页面授权与计时器50相连，根据页面内容不同决定计时器50允许的即使时间M。当页面内容为视频，M设为60秒，当页面内容为音乐，M设置为30秒，除此之外的其它内容，M设置为25秒。

详见图1和图2，以下具体阐述瞳孔数据和辅助数据的采集与权重结构框图采集数据完毕之后喜好判断的工作过程及步骤：

步骤1：加载前置摄像头已提前采集的用户瞳距E，播放内容，读取该内容标签以决定计时器50的允许时间，追踪用户瞳孔情况，设定判定初始值T＝0。

步骤2：经有信号采集单元60与信号存储单元70，依次采集瞳孔特征数据，分析瞳孔特征数据。

步骤3：依据瞳距信息分别判定眨眼频率数据、瞳移动数据和瞳孔缩放数据是否超标，若超标则T+1，认为判定倾向于不喜爱；若不超标则T不变。

步骤4：得到判定值T，若T>1，说明有两个或以上的数据指标认为用户不喜爱该内容，判定用户不喜爱该内容，弹出交互单元；若T≤1，说明只有一个或没有任意一个数据指标认为用户不喜爱该内容，判定用户喜爱该内容，则继续当前内容并将该资源与标签归入用户喜爱资源库。

步骤5：在当系统判决当前内容不受喜爱时弹出交互单元。设置交互初始值C＝0，交互初始值C用于决策辅助数据是否参与喜好判别。若C＝3，则说明连续三次判决失败，需要引入辅助数据。弹出交互单元，询问用户是否喜爱当前播放内容，提供“是”与“否”两个选项。若用户点击“否”，则说明喜好判断成功，从资源库选取用户可能喜爱的资源替换当前播放的内容；若用户点击“是”，则说明喜好判断失败，继续播放当前内容，并使交互初始值C+1，暂时停止工作知道用户播放下一内容。当当前占用页面授权发送信号提示用户已切换内容时继续工作。重复判断流程。

检测交互初始值C的值，若C≠3，则说明没有连续三次判断失败，瞳孔特征数据做出的判断可信，将当前内容并入资源库；若C＝3，说明连续三次判断失败，瞳孔特征数据做出的判断不可信，引入辅助数据辅助判决。

步骤6：引入辅助数据辅助喜好判别，继续采用交互单元验证辅助数据可信性。

图5是本发明的实施例中数据权重变化图。结合图4所示的权重变化详细说明权重变化对喜好判别的影响。初始权重设置为瞳孔特征数据占60％，其中，眨眼频率数据、瞳移动数据和瞳孔缩放数据各占三分之一；辅助信号数据占40％，其中，表情数据与语音语调数据22各占一半。预测变化权重瞳孔特征数据仍占60％，辅助信号数据占40％。其中，瞳孔特征数据中，眨眼频率数据权重不变，瞳移动数据权重上升，瞳孔缩放数据权重下降，因为瞳孔算放数据在现有智能手机的前置摄像头还不够敏锐精确的情况下难以捕捉，辅助数据中，表情数据权重上升，语音语调数据下降，因为在播放内容时用户可能因为别的时间发出无关声音，或是不发出声音。

图6是本发明的实施例中数据的流向图。结合图5的数据流向详细说明数据的流向：三个独立环节喜好判别系统A,当前资源C以及附带标签的云资源库I。根据喜好判别系统A判定当前资源C是否受用户喜爱，并发送反馈至云资源库I。若喜好判别系统A判定当前资源C不受喜爱，则云资源库I请求当前资源C取代资源；若喜好判别系统A判定当前资源受喜爱，当前资源C请求原资源库I录入该资源。

本发明系统及方法根据本实施例所实际的基于眼神注视的喜好判别系统，捕捉手机用户浏览网页、观看视频和欣赏音乐时的眼神注视及表情数据判断内容是否受用户喜爱，有效地加强了喜好判别的实时性和针对性，对于单一用户的喜好做出实时判定以方便服务商更好的制定用户私人定制推送服务。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (10)

1.一种基于眼神注视的喜好判别方法，其特征在于，包括

步骤1：通过摄像单元实时捕捉用户在获取当前播放内容时的眼神注视图像；

步骤2：追踪所述眼神注视图像中用户的瞳孔特征数据，包括追踪用户瞳孔的瞳孔移动数据、瞳孔缩放数据和眨眼频率数据；

步骤3：判断数值赋值为零，若瞳孔移动数据超过阈值，则判断数值累加；若瞳孔缩放数据低于阈值，则判断数值累加；若眨眼频率数据低于阈值，则判断数值累加；

步骤4：若判断数值不高于1，则判断用户的喜好程度为高；否则，判断用户的喜好程度为低；生成主要判断结果。

2.根据权利要求1所述的基于眼神注视的喜好判别方法，其特征在于，通过捕捉用户的瞳距，若瞳距中心点在播放内容时移动，则记录瞳孔移动数据。

3.根据权利要求1所述的基于眼神注视的喜好判别方法，其特征在于，通过捕捉用户的瞳距，若瞳距在播放内容时缩小，则记瞳孔缩放数据。

4.根据权利要求1所述的基于眼神注视的喜好判别方法，其特征在于，步骤4之后进一步包括步骤5：显示交互页面，获取用户输入关于当前播放内容的喜好程度。

5.根据权利要求2所述的基于眼神注视的喜好判别方法，其特征在于，步骤5之后进一步包括步骤6：若其连续多次与主要判断结果不相符，则进一步引入辅助判断模式修正判断结果；所述辅助判断模式包括：

步骤a：在获取当前播放内容时，进一步通过摄像单元刺激用户的表情数据，和/或进一步通过麦克风采集用户的语音语调数据；

步骤b：分析表情数据中用户的嘴角两端位置，嘴角上扬则判断喜好程度为高，反之，为低；和/或分析语音语调数据中用户的发音频率，频率高于阈值则判断喜好程度威高，反之，为低；输出辅助判断结果。

6.根据权利要求5所述的基于眼神注视的喜好判别方法，其特征在于，步骤b之后进一步包括步骤c：若主要判断结果与辅助判断结果相同则判定所述主要判断结果正确；若不符，则对所述主要判断结果进行重新判断。

7.根据权利要求6所述的基于眼神注视的喜好判别方法，其特征在于，步骤c中进一步对设置主要判断结果和辅助判断结果的影响系数。

8.根据权利要求6或7所述的基于眼神注视的喜好判别方法，其特征在于，根据用户的喜好程度对播放内容进行分类。

9.一种基于眼神注视的喜好判别系统，其特征在于，应用于一个手持电子移动设备，所述手持电子移动设备用于和数据库远程通信，所述电子设备包括：

信号采集单元，通过摄像单元实时捕捉用户在获取当前播放内容时的眼神注视图像；

信号分析单元，其与所述信号采集单元通信，用于根据所述眼神注视图像追踪用户的瞳孔特征数据；

判断单元，其与所述信号分析单元通信，根据瞳孔特征数据判断用户对当前播放对象的喜好程度，得到主要判断结果；

交互单元，其与所述判断单元通信，当主要判断结果为低时用于显示交互页面，获取用户输入关于当前播放内容的喜好程度；

资源合并单元，其用于分类和存储数据，包括瞳孔特征数据、主要判断结果；

资源库，其用于存储带有标签的播放内容，包括视频、网页和音乐资源库。

10.根据权利要求9所述的基于眼神注视的喜好判别系统，其特征在于，所述信号采集单元还用于捕捉用户的表情数据和/或语音语调数据。