CN104199544B

CN104199544B - 基于视线跟踪的广告定向投放方法

Info

Publication number: CN104199544B
Application number: CN201410431716.7A
Authority: CN
Inventors: 秦华标; 张家铭; 余德成; 钟尚儒; 李鹏飞; 朱建宇
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2014-08-28
Filing date: 2014-08-28
Publication date: 2018-06-22
Anticipated expiration: 2034-08-28
Also published as: CN104199544A

Abstract

本发明公开了一种基于视线跟踪的广告定向投放方法，为用户提供智能化的广告定向投放服务，同时为广告服务商提供一个全新的用户数据采集途径的方法。该方法利用摄像头获取用户眼睛区域图像，通过图像处理以及建立映射模型估计用户注视点坐标，从而确定用户注视的广告信息类型；再用统计的方法算出用户对各类广告信息的偏爱权重，从而根据权重为用户提供感兴趣的广告信息。本发明对残疾人，尤其是双手不方便的患者有积极效果，广告偏爱权重仅需眼睛即可采集设定。本发明对用户来说，可以定向投放用户喜欢的广告类型，使用户避免了垃圾广告的骚扰。对于广告投放商来说，本发明使广告更有效地投放到目标客户人群，大大提高广告转化率。

Description

基于视线跟踪的广告定向投放方法

技术领域

本发明涉及人机交互技术领域，具体涉及基于视线跟踪的广告定向投放方法。

背景技术

近二十年来，随着计算机技术和输入设备的发展，人机交互(Human-ComputerInteraction,简写HCI)技术已经进入了飞速进步的时期。人与计算机之间进行交互来完成信息交流的手段日益增多，手势识别、人脸识别和语音识别等识别模式的发展已经较为成熟。而作为人机交互技术的一个分支，视线跟踪技术的发展正处于起步阶段。

视线跟踪技术通过对人眼特征的分析实现对目标的一系列操作。眼睛是心灵的窗户，是信息摄入与表达的关键窗口，所以眼睛注视形式是一种简便、自然的人机对话优选输入通道,具有直接性、自然性和双向性等优点。基于视线跟踪的虚拟现实人机交互的相关问题的研究和解决会对人机交互技术带来变革性的影响，其研究成果在电子游戏、汽车电子、国防军事、航空航天、体育运动等领域有着广泛的应用前景。

发明内容

本发明的目的是克服现有技术存在的上述不足，提供一种基于视线跟踪的广告定向投放方法，通过视线跟踪，基于视线追踪的人机交互方式，为网页广告服务商提供全新的获取用户行为习惯的途径，从而向用户提供智能化的广告定向投放服务。具体而言，利用摄像头获取用户眼睛区域图像，通过图像处理以及建立映射模型估计用户注视点坐标，从而确定用户注视的广告信息类型。再用统计的方法算出用户对各类广告信息的偏爱权重，从而根据权重为用户提供感兴趣的广告信息，具体技术方案如下。

一种基于视线跟踪的广告定向投放方法，初始化后先进行随机广告投放，该方法包括如下步骤:

(1)获取用户注视点坐标：通过摄像头获取包含用户眼睛的图像，计算用户在计算机屏幕的注视点坐标；

(2)注视点统计：统计时间窗内用户对各类广告信息的注视次数；

(3)广告偏爱权重设置：根据时间窗内统计的各类广告信息的注视次数，设置用户对各类广告信息的偏爱权重；

(4)广告投放：根据偏爱权重投放用户喜好的广告。

进一步实施的，所述步骤(1)具体包括：通过位于人眼前方的红外光源在眼球上形成光斑，摄像头获取包含用户眼睛的图像，利用已训练好的右眼分类器提取右眼区域图像，在右眼区域图像中确定瞳孔中心的坐标Pupil以及光斑中心的坐标Glint,向量PCR＝Pupil-Glint,根据向量PCR与注视点坐标S的映射方程求得注视点坐标S。

进一步实施的，所述步骤(2)包括:摄像头每获得一帧图像就计算出一个注视点坐标，根据注视点坐标确定用户注视的广告区域，该广告区域所显示的广告信息类型对应的注视次数加1，统计时间窗内用户对各类广告信息的注视次数。

进一步实施的，所述步骤(3)包括：在每一时间窗内，根据用户对各类广告的有效注视次数，求出每一类广告的注视次数与一个时间窗内总注视次数的比值，然后用这个比值和上一个时间窗的广告信息偏爱权重，算出新的偏爱权重。

进一步实施的，所述初始化包括：在屏幕显示的页面设置好广告信息投放的区域；给广告信息库中的广告信息分类，为每种广告信息类型编号，并且为每种广告信息类型下的广告信息编号；为每种广告信息类型设置相同的偏爱权重。初始化完成后，进行随机投放阶段，广告不按照权重来投放，每种广告类型出现的概率相同，即对每一个广告信息投放区域，随机产生一个广告信息类型编号，由此编号确定要投放的广告信息类型，然后随机产生一个广告信息编号，由此编号选取该广告信息类型中的一个广告信息用于投放；随机投放广告阶段持续设定个数的时间窗，每个时间窗结束时还要设置偏爱权重。

进一步实施的，步骤(4)为带权投放阶段，即对每一个广告信息投放区域，按照偏爱权重产生广告信息类型编号，由此编号确定要投放的广告信息类型，然后随机产生一个广告信息编号，再从广告信息库中随机选取该广告类型的一个广告信息，并显示在每一个广告投放区域中，显然，若某种广告的偏爱权重越大，则该类广告出现的概率会越大，同样，每个时间窗结束时还要修正偏爱权重。

与现有技术相比，本发明的优点与积极效果在于：

1.本发明提供一种新的广告投放与交互方式，用注视度代替点击率。仅通过用户的眼睛注视情况来获取用户的广告喜好信息。

2.本发明对残疾人，尤其是双手不方便的患者有积极效果，广告偏爱权重仅需眼睛即可采集设定。

3.本发明对用户来说，可以定向投放用户喜欢的广告类型，使用户避免了垃圾广告的骚扰。

4.对于广告投放商来说，本发明使广告更有效地投放到目标客户人群，大大提高广告转化率。

附图说明

图1是实施例基于视线跟踪的广告定向投放方法流程图。

图2是基于视线跟踪的广告定向投放方法的原理图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行说明，但本发明的实施和保护不限于此。

如图2所示，基于视线跟踪的广告定向投放方法包括视线跟踪部分和广告投放部分。

如图1所示，基于视线跟踪的广告定向投放方法的一种实施例流程图，具体包括如下步骤：

(1)广告信息分类与初始化

首先，采集一些广告信息图片并进行分类。不失一般性，我们构建一个简单的广告信息库。将广告信息分为四类，分别为服装、汽车、食品与日用品。每一类广告信息包含4张广告图片。

然后，给广告信息进行编号。各类广告信息编号为0-3，每类广告信息中的广告信息图片也编号为0-3。

初始化的主要工作是设置广告投放区域和设置初始偏爱权重。不失一般性，将屏幕分为12个广告投放区域，每个区域可以投放一个广告信息(一张图片)。至于初始偏爱权重，设定总权重为100，则设置每一类广告的权重为25。

(2)获取用户注视点

(2.1)右眼区域图像检测：使用已训练好的右眼分类器搜索由摄像头获得的包含眼睛的图像，得到图像RGB_I，大小为M*N，将图像RGB_I转换为二值化图像BIN_I。计算二值化图像BIN_I每一行像素的和，记第i(i∈[1,M])行像素的和为R_i,集合RC_(a,b)＝{R_i|R_i>0,i∈[a,b],1≤a≤b≤M}，集合RC_(a,b)的元素个数为|RC_(a,b)|，集合RCC＝{|RC_(a,b)||1≤a≤b≤M}，记HLen＝max{RCC},其中a＝Ha，b＝Hb，记PH＝(Ha+Hb)/2；计算二值化图像BIN_I每一列像素的和，记第j(j∈[1,N])列像素的和为C_j,集合CC_(a,b)＝{C_j|C_j>0,j∈[a,b],1≤a≤b≤N}，集合CC_(a,b)的元素个数为|CC_(a,b)|，集合CCC＝{|CC_(a,b)||1≤a≤b≤N}，记VLen＝max{CCC}，其中a＝Va，b＝Vb，记PV＝(Va+Vb)/2。设定阈值L，若|HLen-VLen|<L，则图像RGB_I中存在瞳孔区域的图像，可以确认图像RGB_I为右眼区域图像RGB_Eye,将RGB_Eye转换为灰度图像Gray_Eye。

(2.2)瞳孔中心定位：取点Temp坐标为(PH+HLen/2,PV+VLen/2)，计算图像Gray_Eye中以点Temp为中心，R为半径的圆形区域内的像素平均值，将其设定为瞳孔二值化阈值Pupil_Thresh。用阈值Pupil_Thresh对图像Gray_Eye进行二值化，在二值化图像中搜索最大长度的轮廓C_p，对轮廓C_P进行椭圆拟合，得到的椭圆中心坐标即瞳孔中心坐标Pupil(px,py)。

(2.3)光斑中心定位：根据多次试验，设定光斑二值化阈值Glint_Thresh，用该阈值对图像Gray_Eye进行二值化，在二值化图像中搜索最大长度的轮廓C_g，对轮廓C_g进行椭圆拟合，得到的椭圆中心坐标即光斑中心坐标Glint(gx,gy)。

(2.4)映射方程参数计算:PCR向量用坐标表示为PCR(X_PCR,Y_PCR),由以上步骤可得

PCR＝Pupil-Glint,

即 X_PCR＝px-gx

Y_PCR＝py-gy，

用户在屏幕上的注视点坐标为S(X_S,Y_S)，建立PCR向量到注视点坐标S的多项式形式的映射方程：

其中a₅、a₄、a₃、a₂、a₁、a₀、b₅、b₄、b₃、b₂、b₁、b₀为方程系数。

选取6个已知屏幕坐标点，分别计算注视这些点时的PCR向量，建立方程组，求得方程系数。

(2.5)注视点估计：利用得到的PCR向量和映射方程①、②可求得坐标P_new(X_new,Y_new)，前一个注视点坐标为P_old(X_old,Y_old)。设定距离阈值D，若|P_new-P_old|<D，则注视点坐标为S＝(P_new+P_old)/2，否则注视点坐标S＝P_new。

(2.6)闭眼检测：在用户标定结束后，不能有大幅度的头部运动，因此在使用过程中右眼的

位置几乎不变。根据右眼区域图像检测步骤中的方法，求得HLen和VLen，若|HLen-VLen|<L，

则为睁眼状态，否则为闭眼状态。

(3)注视点统计

摄像头的帧数为30帧/秒，对于每一帧图像，首先进行闭眼检测，若为闭眼状态，则忽略此帧，否则计算用户的注视点坐标。判断用户注视点坐标所在的广告信息区域，确定用户正在注视的广告信息类型，则该广告信息类型的注视次数加1。设定统计周期为一个时间窗的长度，在时间窗内对每帧图像进行判断和计数，最终得到各广告类型的注视次数，第i类广告的注视次数用h_i表示。在一个时间窗内，对某种广告信息类型的注视次数越多，表示用户对该类广告信息越感兴趣。每一个时间窗统计的对各类广告信息类型注视次数将用于设置各类广告信息类型的偏爱权重。

(4)广告偏爱权重设置

在每个时间窗内，通过上述注视点统计过程，可以得到每一类广告的注视次数。时间窗结束时，修正各类广告的偏爱权重。采用加权平均的修正方法，即偏爱权重等于上一个时间窗中的偏爱权重与当前时间窗的统计结果的加权平均。具体计算方法如下式所示：

w_i：第i类广告的权重，h_i：第i类广告的注视次数；h_sum：总注视次数；alpha：加权系数

修正当前广告偏爱权重之后，进入下一个时间窗，也就是下一次的修正过程。经过多次修正，最终获得逼近使用者喜好分布的广告偏爱权重。

(5)广告投放模块

广告投放分为两个阶段，分别为随机投放阶段和带权投放阶段。

(5.1)随机投放阶段不使用广告偏爱权重，对广告进行随机投放，所以各类广告信息的出现概率都是相同的。设定随机投放阶段持续10个时间窗，每个时间窗为3秒钟。在每一个时间窗内，在每一个广告投放区域中，随机产生一个广告信息类型编号，由此编号确定要投放的广告信息类型，然后随机产生一个广告信息编号，由此编号选取该广告信息类型中的一个广告信息用于投放。同时，在每一个时间窗结束时，修正各类广告信息的偏爱权重。

(5.2)带权投放阶段的广告投放则使用广告偏爱权重，各类广告信息的投放概率是跟偏爱权重相关的。根据广告偏爱权重，将权重大的广告信息类型投放在更多的区域，从而实现投放用户偏爱广告的功能。设定每个时间窗为10秒钟。每一个时间窗为一个广告投放周期。

在每一个时间窗内，在每一个广告投放区域中，按照广告偏爱权重产生一个广告信息类型的编号，方法如下：

a.算出总权重其中w_i为第i类广告类型的偏爱权重。

b.在整数[1,W]之间随机选取一个整数rnd＝random([1,W])

c.判断rnd在哪个权重段范围内：{[w₀+1,w₁],[w₁+1,w₂],...,[w_n-1+1,w_n]}。若rnd在

[w_i-1+1,w_i]之间，则选择广告信息类型编号为i。其中w₀＝0，i＝1,2,...,n。

由此编号i确定要投放的广告信息类型，然后随机产生一个广告信息编号，由此编号选取该广告信息类型中的一个广告信息用于投放。同样，在每一个时间窗结束时，修正各类广告信息的偏爱权重。

Claims

1.一种基于视线跟踪的广告定向投放方法，初始化后先进行随机广告投放，其特征在于该方法包括如下步骤:

(1)获取用户注视点坐标：通过摄像头获取包含用户眼睛的图像，计算用户在计算机屏幕的注视点坐标；具体包括：

(1.1)右眼区域图像检测：使用已训练好的右眼分类器搜索由摄像头获得的包含眼睛的图像，得到图像RGB_I，大小为M*N，将图像RGB_I转换为二值化图像BIN_I；计算二值化图像BIN_I每一行像素的和，记第i行像素的和为R_i，i∈[1,M]，集合RC_(a,b)＝{R_i|R_i>0,i∈[a,b],1≤a≤b≤M}，集合RC_(a,b)的元素个数为|RC_(a,b)|，集合RCC＝{|RC_(a,b)||1≤a≤b≤M}，记HLen＝max{RCC},其中max{RCC}表示包含元素最多的集合RCC，a＝Ha，b＝Hb，记PH＝(Ha+Hb)/2，其中Ha为使集合RCC中包含元素最多时的a值，Hb为使集合RCC中包含元素最多时的b值；计算二值化图像BIN_I每一列像素的和，记第j列像素的和为C_j，其中j∈[1,N]，集合CC_(e,f)＝{C_j|C_j>0,j∈[e,f],1≤e≤f≤N}，集合CC_(e,f)的元素个数为|CC_(e,f)|，集合CCC＝{|CC_(e,f)||1≤e≤f≤N}，记VLen＝max{CCC}，其中max{CCC}表示包含元素最多的集合CCC，记PV＝(Va+Vb)/2，其中Va为使集合CCC中包含元素最多时的e值，Vb为使集合CCC中包含元素最多时的f值；设定阈值L，若|HLen-VLen|<L，则图像RGB_I中存在瞳孔区域的图像，可以确认图像RGB_I为右眼区域图像RGB_Eye,将RGB_Eye转换为灰度图像Gray_Eye；

(1.2)瞳孔中心定位：取点Temp坐标为(PH+HLen/2,PV+VLen/2)，计算灰度图像Gray_Eye中以点Temp为中心，R为半径的圆形区域内的像素平均值，将其设定为瞳孔二值化阈值Pupil_Thresh；用阈值Pupil_Thresh对灰度图像Gray_Eye进行二值化，在二值化图像中搜索最大长度的轮廓C_p，对轮廓C_P进行椭圆拟合，得到的椭圆中心坐标即瞳孔中心坐标Pupil(px,py)；

(1.3)光斑中心定位：根据多次试验，设定光斑二值化阈值Glint_Thresh，用该光斑二值化阈值对灰度图像Gray_Eye进行二值化，在二值化图像中搜索最大长度的轮廓C_g，对轮廓C_g进行椭圆拟合，得到的椭圆中心坐标即光斑中心坐标Glint(gx,gy)；

(1.4)映射方程参数计算:PCR向量用坐标表示为PCR(X_PCR,Y_PCR),由以上步骤可得PCR＝Pupil-Glint,

即X_PCR＝px-gx

Y_PCR＝py-gy，

其中a₅、a₄、a₃、a₂、a₁、a₀、b₅、b₄、b₃、b₂、b₁、b₀为方程系数；

选取6个已知屏幕坐标点，分别计算注视这些点时的PCR向量，建立方程组，求得方程系数；

(1.5)注视点估计：利用得到的PCR向量和映射方程①、②可求得坐标P_new(X_new,Y_new)，前一个注视点坐标为P_old(X_old,Y_old)；设定距离阈值D，若|P_new-P_old|<D，则注视点坐标为S＝(P_new+P_old)/2，否则注视点坐标S＝P_new；

(1.6)闭眼检测：在用户标定结束后，不能有大幅度的头部运动，因此在使用过程中右眼的位置几乎不变；根据右眼区域图像检测步骤中的方法，求得HLen和VLen，若|HLen-VLen|<L，则为睁眼状态，否则为闭眼状态；

(2)注视点统计：统计时间窗内用户对各类广告信息类型的注视次数；

(3)广告偏爱权重设置：根据时间窗内统计的各类广告信息的注视次数，设置用户对各类广告信息的偏爱权重；具体包括：摄像头的帧数为30帧/秒，对于每一帧图像，首先进行闭眼检测，若为闭眼状态，则忽略此帧，否则计算用户的注视点坐标；判断用户注视点坐标所在的广告信息区域，确定用户正在注视的广告信息类型，则该广告信息类型的注视次数加1；设定统计周期为一个时间窗的长度，在时间窗内对每帧图像进行判断和计数，最终得到各广告信息类型的注视次数，第k类广告信息类型的注视次数用h_k表示；在一个时间窗内，对某种广告信息类型的注视次数越多，表示用户对该种广告信息类型越感兴趣；每一个时间窗统计的对各类广告信息类型注视次数将用于设置各类广告信息类型的偏爱权重；

(4)广告投放：根据偏爱权重投放用户喜好的广告；具体包括：在每个时间窗内，通过上述注视点统计过程，可以得到每一类广告信息类型的注视次数；时间窗结束时，修正各类广告信息类型的偏爱权重；采用加权平均的修正方法，即偏爱权重等于上一个时间窗中的偏爱权重与当前时间窗的统计结果的加权平均；具体计算方法如下式所示：

w_p：第p类广告信息类型的偏爱权重，h_p：第p类广告的注视次数，h_sum：总注视次数；alpha：加权系数；

修正当前广告偏爱权重之后，进入下一个时间窗，也就是下一次的修正过程；经过多次修正，最终获得逼近用户喜好分布的广告偏爱权重；

(5)广告投放模块

广告投放分为两个阶段，分别为随机投放阶段和带权投放阶段；

(5.1)随机投放阶段不使用广告偏爱权重，对广告进行随机投放，所以各类广告信息的出现概率都是相同的；设定随机投放阶段持续10个时间窗，每个时间窗为3秒钟；在每一个时间窗内，在每一个广告投放区域中，随机产生一个广告信息类型编号，由此广告信息类型编号确定要投放的广告信息类型，然后随机产生一个广告信息编号，由此广告信息编号选取该广告信息类型中的一个广告信息用于投放；同时，在每一个时间窗结束时，修正各类广告信息类型的偏爱权重；

(5.2)带权投放阶段的广告投放则使用广告偏爱权重，各类广告信息的投放概率是跟偏爱权重相关的；根据广告偏爱权重，将权重大的广告信息类型投放在更多的区域，从而实现投放用户偏爱广告的功能；设定每个时间窗为10秒钟；每一个时间窗为一个广告投放周期；

a.算出总权重其中w_p为第p类广告信息类型的偏爱权重；

b.在整数[1,W]之间随机选取一个整数rnd＝random([1,W])

c.判断rnd在哪个权重段范围内：{[w₀+1,w₁],[w₁+1,w₂],...,[w_n-1+1,w_n]}；若rnd在[w_p-1+1,w_p]之间，则选择广告信息类型编号为p；其中w₀＝0，p＝1,2,...,n；

由此编号p确定要投放的广告信息类型，然后随机产生一个广告信息编号，由此广告信息编号选取该广告信息类型中的一个广告信息用于投放；同样，在每一个时间窗结束时，修正各类广告信息类型的偏爱权重。

2.根据权利要求1所述的基于视线跟踪的广告定向投放方法，其特征在于所述步骤(1)具体包括：通过位于人眼前方的红外光源在眼球上形成光斑，摄像头获取包含用户眼睛的图像，利用已训练好的右眼分类器提取右眼区域图像，在右眼区域图像中确定瞳孔中心坐标Pupil以及光斑中心坐标Glint,向量PCR＝Pupil-Glint,根据向量PCR与注视点坐标S的映射方程求得注视点坐标S。

3.根据权利要求1所述的基于视线跟踪的广告定向投放方法，其特征在于所述步骤(2)包括:摄像头每获得一帧图像就计算出一个注视点坐标，根据注视点坐标确定用户注视的广告区域，该广告区域所显示的广告信息类型对应的注视次数加1，统计时间窗内用户对各类广告信息类型的注视次数。

4.根据权利要求1所述的基于视线跟踪的广告定向投放方法，其特征在于所述步骤(3)包括：在每一时间窗内，根据用户对各类广告信息类型的有效注视次数，求出每一类广告信息类型的注视次数与一个时间窗内总注视次数的比值，然后用这个比值和上一个时间窗的广告信息类型偏爱权重，算出新的偏爱权重。

5.根据权利要求1所述的基于视线跟踪的广告定向投放方法，其特征在于所述初始化包括：在屏幕显示的页面设置好广告信息投放的区域；给广告信息库中的广告信息分类，为每种广告信息类型编号，并且为每种广告信息类型下的广告信息编号；为每种广告信息类型设置相同的偏爱权重；初始化完成后，进行随机投放阶段，广告不按照权重来投放，每种广告信息类型出现的概率相同，即对每一个广告信息投放区域，随机产生一个广告信息类型编号，由此广告信息类型编号确定要投放的广告信息类型，然后随机产生一个广告信息编号，由此广告信息编号选取该广告信息类型中的一个广告信息用于投放；随机投放广告阶段持续设定个数的时间窗，每个时间窗结束时还要设置偏爱权重。

6.根据权利要求1～5任一项所述的基于视线跟踪的广告定向投放方法，其特征在于步骤(4)为带权投放阶段，即对每一个广告信息投放区域，按照偏爱权重产生广告信息类型编号，由此广告信息类型编号确定要投放的广告信息类型，然后随机产生一个广告信息编号，再从广告信息库中随机选取该广告信息类型的一个广告信息，并显示在每一个广告投放区域中，显然，若某种广告信息类型的偏爱权重越大，则该种广告信息类型出现的概率会越大，同样，每个时间窗结束时还要修正偏爱权重。