CN103336576A - 一种基于眼动追踪进行浏览器操作的方法及装置 - Google Patents

一种基于眼动追踪进行浏览器操作的方法及装置 Download PDF

Info

Publication number
CN103336576A
CN103336576A CN2013102664267A CN201310266426A CN103336576A CN 103336576 A CN103336576 A CN 103336576A CN 2013102664267 A CN2013102664267 A CN 2013102664267A CN 201310266426 A CN201310266426 A CN 201310266426A CN 103336576 A CN103336576 A CN 103336576A
Authority
CN
China
Prior art keywords
eyeball
canvas
image
user
dom element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102664267A
Other languages
English (en)
Other versions
CN103336576B (zh
Inventor
梁捷
周耀庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Ucweb Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ucweb Inc filed Critical Ucweb Inc
Priority to CN201310266426.7A priority Critical patent/CN103336576B/zh
Publication of CN103336576A publication Critical patent/CN103336576A/zh
Application granted granted Critical
Publication of CN103336576B publication Critical patent/CN103336576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种基于眼动追踪进行浏览器操作的方法和装置。该方法包括:通过摄像头每隔设定时间拍摄用户人脸图像并描绘到Canvas上,从人脸图像中提取眼球图像后再描绘到Canvas上,并从Canvas获取眼球图像的像素数据;根据像素数据和设定眼球捕捉算法,获得每次拍摄的眼球数据,当相邻两次的眼球位置的差值小于预定阈值且眼球停留时间大于设定时间,确定用户聚焦于浏览器页面中的特定内容;若检测到瞳孔半径放大,查找瞳孔位置在网页中的对应焦点坐标,确定该焦点坐标所对应的dom元素标签对象;根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作。利用该方法可实现基于眼球的运动来执行浏览相关操作。

Description

一种基于眼动追踪进行浏览器操作的方法及装置
技术领域
本发明涉及移动通信技术领域,更为具体地,涉及一种基于眼动追踪进行浏览器操作的方法及装置。
 
背景技术
 目前移动终端浏览器的浏览操作,大部分都是通过触控操作执行,例如查看网页时,需要进行点击和操控。但是,如果用户刚好双手不方便对浏览器进行操作,例如该用户正坐公交车,公交车上人太多,该用户不得不一只手扶着扶手,一只手拿着移动终端设备(如大屏幕的移动终端设备),此时他就很难进行相关浏览操作;又或者该用户是残疾人士,只有一只手拿着移动终端设备,那他一般只能使用小屏幕的移动终端设备,这样就使得其无法感受到大屏幕移动终端设备所带来的用户体验。
因此,现有技术仅仅通过触控操作来执行浏览操作的行为,在某些场景下,对于用户而言,使用并不方便。
 
发明内容
鉴于上述,本发明提出了一种基于眼动追踪进行浏览器操作的方法及装置,可以实现基于眼球的运动来执行浏览相关操作,从而在某些不方便使用手势操作的场景下,也使得用户可以进行浏览操作,提升了用户体验。
根据本发明的一个方面,提供了一种基于眼动追踪进行浏览器操作的方法,包括:通过移动终端的摄像头,每隔设定时间拍摄一次用户人脸图像并描绘到Canvas上,从人脸图像中提取眼球图像后,将每次拍摄提取的眼球图像再描绘到Canvas上,并从所述Canvas获取眼球图像的像素数据;根据所述眼球图像的像素数据和设定眼球捕捉算法,获得每次拍摄的眼球数据,其中包括眼球位置、瞳孔半径和瞳孔位置的信息,当相邻两次的眼球位置的差值小于预定阈值,且眼球停留时间大于设定时间,确定用户聚焦于移动终端的浏览器页面中的特定内容,所述页面中的特定内容的位置范围根据预先设置的眼球位置与网页内容位置对应关系表确定;在确定用户聚焦于浏览器页面中的特定内容时,若进一步检测到用户眼球的瞳孔半径放大,查找瞳孔位置在网页中的对应焦点坐标,确定该焦点坐标所对应的dom元素标签对象;根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作。
在上述方面的一个或多个示例中,根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作,包括:当dom元素标签对象是图片时,对图片进行放大处理;或者,当dom元素标签对象是链接时,自动打开该链接;或者,当dom元素标签对象是视频的进度条时,自动把视频切换到进度条的设定位置;或者,当dom元素标签对象是文字内容时,根据眼球运动方向滚动页面。
在上述方面的一个或多个示例中,所述将拍摄的眼球图像描绘到Canvas上包括:通过HTML5标准所提供的视频捕捉接口,将拍摄的眼球图像描绘到Canvas上。
在上述方面的一个或多个示例中,所述从Canvas获取眼球图像的像素数据包括:通过Canvas对眼球图像进行细化至像素级的分析,获得眼球图像的像素数据。
根据本发明的另一个方面,提供了一种基于眼动追踪进行浏览器操作的装置,包括:图像数据获取单元,用于通过移动终端的摄像头,每隔设定时间拍摄一次用户人脸图像并描绘到Canvas上,从人脸图像中提取眼球图像后,将每次拍摄提取的眼球图像再描绘到Canvas上,并从所述Canvas获取眼球图像的像素数据;眼球数据获取单元,用于根据所述眼球图像的像素数据和设定眼球捕捉算法,获得每次拍摄的眼球数据,其中包括眼球位置、瞳孔半径和瞳孔位置的信息;第一处理单元,用于当相邻两次的眼球位置的差值小于预定阈值,且眼球停留时间大于设定时间,确定用户聚焦于移动终端的浏览器页面中的特定内容,所述页面中的特定内容的位置范围根据预先设置的眼球位置与网页内容位置对应关系表确定;第二处理单元,用于在确定用户聚焦于浏览器页面中的特定内容时,若进一步检测到用户眼球的瞳孔半径放大,查找瞳孔位置在网页中的对应焦点坐标,确定该焦点坐标所对应的dom元素标签对象;浏览操作单元,用于根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作。
在上述方面的一个或多个示例中,所述浏览操作单元包括:第一操作单元,用于当dom元素标签对象是图片时,对图片进行放大处理;或者,第二操作单元,用于当dom元素标签对象是链接时,自动打开该链接;或者,第三操作单元,用于当dom元素标签对象是视频的进度条时,自动把视频切换到进度条的设定位置;或者,第四操作单元,用于当dom元素标签对象是文字内容时,根据眼球运动方向滚动页面。
在上述方面的一个或多个示例中,所述图像数据获取单元包括视频捕捉接口,通过HTML5标准所提供的视频捕捉接口,将拍摄的人脸图像描绘到Canvas上。
在上述方面的一个或多个示例中,所述图像数据获取单元包括分析单元,用于通过Canvas对眼球图像进行细化至像素级的分析,获得眼球图像的像素数据。
利用上述方法及装置,可以实现基于眼球的运动来执行浏览相关操作,即通过对用户眼球的聚焦和瞳孔放大等行为进行捕获和分析,并主动对用户进行操作反馈,从而在某些不方便使用手势操作的场景下,也使得用户可以进行浏览操作,提升了用户体验。
 
为了实现上述以及相关目的,本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而,这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外,本发明旨在包括所有这些方面以及它们的等同物。
 
附图说明
根据下述参照附图进行的详细描述,本发明的上述和其他目的、特征和优点将变得更加显而易见。在附图中:
图1示出了本发明基于眼动追踪进行浏览器操作的方法的第一流程图;
图2示出了本发明基于眼动追踪进行浏览器操作的方法的第二流程图;和
图3示出了本发明基于眼动追踪进行浏览器操作的装置的方框示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
 
具体实施方式
下面描述本公开的各个方面。应该明白的是,本文的教导可以以多种多样形式具体体现,并且在本文中公开的任何具体结构、功能或两者仅仅是代表性的。基于本文的教导,本领域技术人员应该明白的是,本文所公开的一个方面可以独立于任何其它方面实现,并且这些方面中的两个或多个方面可以按照各种方式组合。例如,可以使用本文所阐述的任何数目的方面,实现装置或实践方法。另外,可以使用其它结构、功能、或除了本文所阐述的一个或多个方面之外或不是本文所阐述的一个或多个方面的结构和功能,实现这种装置或实践这种方法。此外,本文所描述的任何方面可以包括权利要求的至少一个元素。
本发明提出了一种基于眼动追踪进行浏览器操作的方法,可以实现基于眼球的运动来自动执行浏览相关操作,从而改善用户观看网页时的体验,减少人手操作,特别是针对在用户拿着大屏设备进行阅读时空出一只手来进行操作是比较费力的情况下,本发明方法可以大大方便用户阅读。
下面将参照附图描述本发明的各个实施例。
图1示出了基于眼动追踪进行浏览器操作的方法的流程图。
如图1所示,包括步骤:
步骤101、通过移动终端的摄像头,每隔设定时间拍摄一次用户人脸图像并描绘到Canvas(画布)上,从人脸图像中提取眼球图像后,将每次拍摄提取的眼球图像再描绘到Canvas上,并从所述Canvas获取眼球图像的像素数据;
其中,使用现有的人脸识别算法,从人脸图像中提取眼球图像。
其中,将拍摄的人脸图像描绘到Canvas上包括:通过HTML5标准所提供的视频捕捉接口,将拍摄的人脸图像描绘到Canvas上。
其中,从Canvas获取眼球图像的像素数据包括:通过Canvas对眼球图像进行细化至像素级的分析,获得眼球图像的像素数据。
步骤102、根据所述眼球图像的像素数据和设定眼球捕捉算法,获得每次拍摄的眼球数据,其中包括眼球位置、瞳孔半径和瞳孔位置的信息;
其中,所述设定眼球捕捉算法是可以采用现有的眼球捕捉算法,本发明不加以限定。
步骤103、当相邻两次的眼球位置的差值小于预定阈值,且眼球停留时间大于设定时间,确定用户聚焦于移动终端的浏览器页面中的特定内容,所述页面中的特定内容的位置范围根据预先设置的眼球位置与网页内容位置对应关系表确定;
步骤104、在确定用户聚焦于浏览器页面中的特定内容时,若进一步检测到用户眼球的瞳孔半径放大,查找瞳孔位置在网页中的对应焦点坐标,确定该焦点坐标所对应的dom(文档对象模型)元素标签对象;
步骤105、根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作。
其中,根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作,包括:
当dom元素标签对象是图片时,对图片进行放大处理;或者,
当dom元素标签对象是链接时,自动打开该链接;或者,
当dom元素标签对象是视频的进度条时,自动把视频切换到进度条的设定位置;或者,
当dom元素标签对象是文字内容时,根据眼球运动方向滚动页面。
从上述方案可以看出,本发明方法可以实现基于眼球的运动来执行浏览相关操作,即通过对用户眼球的聚焦和瞳孔放大等行为进行捕获和分析,并主动对用户进行操作反馈,从而在某些不方便使用手势操作的场景下,也使得用户可以进行浏览操作,提升了用户体验。
以下进一步结合附图2对本发明方法进行详细介绍。
因为用户在集中精力看某些内容的时候,两个眼球会进行聚焦,并且如果用户对该事物感到兴趣浓厚的时候,瞳孔半径会迅速放大。因此本发明方法通过眼球定位和瞳孔分析的算法,实现对用户感兴趣内容的精确把握,并根据这些内容进行操作反馈,从而实现根据眼动追踪进行自动浏览操作的目的。
图2示出了本发明基于眼动追踪进行浏览器操作的方法的第二流程图。
如图2所示,包括步骤:
步骤201、开启摄像头,每隔设定时间拍摄用户人脸图像,将拍摄的图像描绘到Canvas,使用人脸识别算法从人脸图像中提取眼球图像后,再将眼球图像描绘到Canvas上,并从Canvas获取眼球图像的像素数据。
该步骤开启移动终端的摄像头进行人脸图像的拍摄,通过视频捕捉接口,将视频捕捉接口获取的人脸图像描绘到Canvas上。因为新的HTML5标准提供了视频捕捉接口,因此本发明方法利用了新的HTML5标准提供的视频捕捉接口,将视频捕捉接口获取的图像描绘到Canvas上。
该步骤是每隔设定时间进行一次拍摄,例如每隔2秒拍摄一次人脸图像,其中每次拍摄可以是连拍多张图像,例如一次拍10张。
将拍摄的图像描绘到Canvas的过程可以是:
首先,可以通过navigator.webkitGetUserMedia方法获取移动终端的摄像头信息,这些信息为二进制数据,然后通过createObjectURL把这些二进制数据转成本地URL,然后把这些对象数据通过drawImage的形式描绘在Canvas上,最后通过Canvas的接口获取从人脸图像中提取出的眼球图像的像素数据。而且,通过Canvas可以对眼球图像进行细化至像素级的分析,从而获得眼球图像的像素数据。
该步骤中,可以首先把拍摄的人脸图像映射到Canvas上,使用现有的人脸识别算法,把人的双眼的眼球图像提取出来,再分别映射到两个Canvas上,通过Canvas接口,可以获取到人眼位置的纹理数据,即RBGA通道信息,通过这些信息的变化,例如人眼偏移、瞳孔放大等,可以了解人眼的动作。 
步骤202、获得对人眼定位后的眼球数据。
该步骤根据上一步骤获得的眼球图像的像素数据和设定眼球捕捉算法,获得每次拍摄的对人员定位后的眼球数据,这些眼球数据可以包括眼球位置、瞳孔半径和瞳孔位置的信息等。
其中,所述设定眼球捕捉算法是可以采用现有的眼球捕捉算法,本发明不加以限定。
该步骤对人眼进行定位,得出一些眼球数据的示例情况如下:
eyes = [{
   // 左眼球在屏幕的相对定位
    x: 100, 
    y: 100, 
    // 瞳孔位置
   pX: 120,
   pY: 120,
   // 瞳孔半径
    radius: 20 //单位:像素
}, {
    // 右眼球在屏幕的相对定位
    x: 100, 
    y: 100, 
    // 瞳孔位置
   pX: 120,
   pY: 120,
   // 瞳孔半径
    radius: 20 //单位:像素
}]
通过左眼球和右眼球在屏幕的相对定位,可以确定出眼球位置。
步骤203、计算相邻两次拍摄的眼球位置的差值,根据计算结果和眼球停留时间确定用户眼球的聚焦内容。
该步骤中,计算相邻两次拍摄的眼球位置的差值,例如第一次拍摄,得到一个眼球位置数据,第二次拍摄后,又获得一个眼球位置数据,那么计算第一次拍摄和第二次拍摄的眼球位置的差值。同理,第三次拍摄后,将计算第二次拍摄和第三次拍摄的眼球位置的差值。
当相邻两次的眼球位置的差值小于预定阈值(例如阈值为3),且眼球停留时间大于设定时间(例如200ms),可以确定用户聚焦于移动终端的浏览器页面中的特定内容,即用户的眼球已经聚焦在网页中某部分感兴趣内容的位置。
其中,所述页面中的特定内容的位置范围根据预先设置的眼球位置与网页内容位置对应关系表确定,即,预先会设置眼球位置与网页内容位置对应关系表。预设过程包括:首先需要对人眼位置进行初始化定位,可以弹出一个引导页,引导用户把双眼对准摄像头,这样可以通过相对固定的摄像头位置得到人眼相对Canvas上的初始坐标,例如(-100, -100),然后,把眼睛移动到屏幕上某个位置,通过镜头与屏幕位置的距离和人眼移动距离作对比,就可以得到一个相对比例,这个比例可以用作计算人眼移动时所对应屏幕的相对坐标。通过上述处理,就可以得到预设的眼球位置与网页内容位置对应关系表。 
步骤204、根据瞳孔半径的缩放情况,确定瞳孔位置在网页中的对应焦点坐标所对应的dom元素标签对象。
该步骤中,根据用户瞳孔半径缩放情况,确定关注对象,也即确定瞳孔位置在网页中的对应焦点坐标所对应的dom元素标签对象。
该步骤中,在检测到瞳孔半径放大时,通过页面的dom元素进行瞳孔位置对应坐标的元素检测,原理可以参照chrome浏览器的debug工具的方式(如当鼠标经过页面时,选定鼠标所在位置的最顶层元素),当确定出瞳孔位置在网页中的对应焦点坐标所对应的dom元素标签对象,也就证明用户正在关心这个元素标签对象。
步骤205、根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作。
该步骤中,根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作,例如:
当dom元素标签对象是图片时,对图片进行放大处理;或者,
当dom元素标签对象是链接时,自动打开该链接;或者,
当dom元素标签对象是视频的进度条时,自动把视频切换到进度条的设定位置;或者,
当dom元素标签对象是文字内容时,根据眼球运动方向滚动页面。
进一步的,当dom元素标签对象是图片时,若发现用户眼球离开图片时,把图片缩回原来尺寸。
进一步的,当dom元素标签对象是视频的进度条时,自动把视频切换到进度条的设定位置。该情况下,首先需要确定播放器进度条位置,例如是从屏幕的(0,400)位置至(1280,400)位置,那么当播放器正在播放视频,且人眼位置移动到(x, 400)时,可认为用户需要对视频进度进行操控,从而自动将视频切换到进度条的位置(x, 400)。
需说明的是,上述只是举例的应用,根据dom元素标签对象的不同,可以定义各种应用。
从上述方案可以看出,本发明方法通过对用户眼球的聚焦和瞳孔放大等行为进行捕获和分析,确定聚焦的元素标签对象,根据该对象的不同自动执行不同操作,可以提高用户的浏览体验,减少用户的额外操作,例如,当用户浏览网页新闻时,通过对焦点的运行轨迹和页面内容的分析,可以智能地根据眼球移动方向滚动页面,而不需要用户手动操作;当用户对网页上的某张图片很感兴趣时,可以自动进行放大;当用户眼球聚焦在某个链接时,可以自动打开该链接。当用户关注某一条新闻标题时,可以自动进行新闻的预览操作;当用户关注某个应用时,自动为用户打开该应用,等等。
进一步的,可以在该方法的基础上,增加兴趣内容统计,对用户感兴趣的内容进行精准统计和分析。以往的统计方法,都是以用户的点击次数、留存率、停留时间等数据进行模糊地分析,如果一个用户在一个有很多信息的页面上不做任何行为时,很难分析出该用户看了哪些信息,而结合本发明方法,可以相对现有统计方法更精准定位用户的兴趣爱好,然后动态地为用户提供其感兴趣的内容,而不需要经过用户的特别指定。
上述内容介绍了本发明方法,相应的,本发明提供一种装置。
图3示出了本发明基于眼动追踪进行浏览器操作的装置的方框示意图。
如图3所示,该装置包括:
 图像数据获取单元301,用于通过移动终端的摄像头,每隔设定时间拍摄一次用户人脸图像并描绘到Canvas上,从人脸图像中提取眼球图像后,将每次拍摄提取的眼球图像再描绘到Canvas上,并从所述Canvas获取眼球图像的像素数据;
眼球数据获取单元302,用于根据所述眼球图像的像素数据和设定眼球捕捉算法,获得每次拍摄的眼球数据,其中包括眼球位置、瞳孔半径和瞳孔位置的信息,
第一处理单元303,用于当相邻两次的眼球位置的差值小于预定阈值,且眼球停留时间大于设定时间,确定用户聚焦于移动终端的浏览器页面中的特定内容,所述页面中的特定内容的位置范围根据预先设置的眼球位置与网页内容位置对应关系表确定;
第二处理单元304,用于在确定用户聚焦于浏览器页面中的特定内容时,若进一步检测到用户眼球的瞳孔半径放大,查找瞳孔位置在网页中的对应焦点坐标,确定该焦点坐标所对应的dom元素标签对象;
浏览操作单元305,用于根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作。
进一步的,所述浏览操作单元305包括:第一操作单元3051、第二操作单元3052、第三操作单元3053和第四操作单元3054(图中未示出)。
第一操作单元3051,用于当dom元素标签对象是图片时,对图片进行放大处理;或者,
第二操作单元3052,用于当dom元素标签对象是链接时,自动打开该链接;或者,
第三操作单元3053,用于当dom元素标签对象是视频的进度条时,自动把视频切换到进度条的设定位置;或者,
第四操作单元3054,用于当dom元素标签对象是文字内容时,根据眼球运动方向滚动页面。
进一步的,所述图像数据获取单元301包括视频捕捉接口3011(图中未示出),通过HTML5标准所提供的视频捕捉接口,将拍摄的人脸图像描绘到Canvas上。
进一步的,所述图像数据获取单元301包括分析单元3012(图中未示出),用于通过Canvas对眼球图像进行细化至像素级的分析,获得眼球图像的像素数据。
上述装置中各模块之间的更具体交互关系,参见前面方法中的流程描述,此处不再赘述。
本发明还提供一种移动终端,包括如图3所示的装置,其模块结构及交互关系参见上述描述。
需说明的是,根据本发明的方法还可以被实现为由移动终端中的处理器(比如CPU)执行的计算机程序,并且存储在移动终端的存储器中。在该计算机程序被处理器执行时,执行本发明的方法中限定的上述功能。
此外,根据本发明的方法还可以实现为一种计算机程序产品,该计算机程序产品包括计算机可读介质,在该计算机可读介质上存储有用于执行本发明的方法中限定的上述功能的计算机程序。
此外,上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储设备实现。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能,但是这种实现决定不应被解释为导致脱离本发明的范围。
尽管前面公开的内容示出了本发明的示例性实施例,但是应当注意,在不背离权利要求限定的本发明的范围的前提下,可以进行多种改变和修改。根据这里描述的发明实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明的元素可以以个体形式描述或要求,但是也可以设想多个,除非明确限制为单数。
虽然如上参照图描述了根据本发明的各个实施例进行了描述,但是本领域技术人员应当理解,对上述本发明所提出的各个实施例,还可以在不脱离本发明内容的基础上做出各种改进。因此,本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种基于眼动追踪进行浏览器操作的方法,包括:
  通过移动终端的摄像头,每隔设定时间拍摄一次用户人脸图像并描绘到Canvas上,从人脸图像中提取眼球图像后,将每次拍摄提取的眼球图像再描绘到Canvas上,并从所述Canvas获取眼球图像的像素数据;
根据所述眼球图像的像素数据和设定眼球捕捉算法,获得每次拍摄的眼球数据,其中包括眼球位置、瞳孔半径和瞳孔位置的信息;
当相邻两次的眼球位置的差值小于预定阈值,且眼球停留时间大于设定时间,确定用户聚焦于移动终端的浏览器页面中的特定内容,所述页面中的特定内容的位置范围根据预先设置的眼球位置与网页内容位置对应关系表确定;
在确定用户聚焦于浏览器页面中的特定内容时,若进一步检测到用户眼球的瞳孔半径放大,查找瞳孔位置在网页中的对应焦点坐标,确定该焦点坐标所对应的dom元素标签对象;
根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作。
2.根据权利要求1所述的方法,根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作,包括:
当dom元素标签对象是图片时,对图片进行放大处理;或者,
当dom元素标签对象是链接时,自动打开该链接;或者,
当dom元素标签对象是视频的进度条时,自动把视频切换到进度条的设定位置;或者,
当dom元素标签对象是文字内容时,根据眼球运动方向滚动页面。
3.根据权利要求1所述的方法,所述将拍摄的人脸图像描绘到Canvas上包括:
通过HTML5标准所提供的视频捕捉接口,将拍摄的人脸图像描绘到Canvas上。
4.根据权利要求1所述的方法,所述从Canvas获取眼球图像的像素数据包括:
通过Canvas对眼球图像进行细化至像素级的分析,获得眼球图像的像素数据。
5.一种基于眼动追踪进行浏览器操作的装置,包括:
  图像数据获取单元,用于通过移动终端的摄像头,每隔设定时间拍摄一次用户人脸图像并描绘到Canvas上,从人脸图像中提取眼球图像后,将每次拍摄提取的眼球图像再描绘到Canvas上,并从所述Canvas获取眼球图像的像素数据;
眼球数据获取单元,用于根据所述眼球图像的像素数据和设定眼球捕捉算法,获得每次拍摄的眼球数据,其中包括眼球位置、瞳孔半径和瞳孔位置的信息,
第一处理单元,用于当相邻两次的眼球位置的差值小于预定阈值,且眼球停留时间大于设定时间,确定用户聚焦于移动终端的浏览器页面中的特定内容,所述页面中的特定内容的位置范围根据预先设置的眼球位置与网页内容位置对应关系表确定;
第二处理单元,用于在确定用户聚焦于浏览器页面中的特定内容时,若进一步检测到用户眼球的瞳孔半径放大,查找瞳孔位置在网页中的对应焦点坐标,确定该焦点坐标所对应的dom元素标签对象;
浏览操作单元,用于根据预设的dom元素标签对象与执行动作的对应关系,执行对应浏览操作。
6.根据权利要求5所述的装置,所述浏览操作单元包括:
第一操作单元,用于当dom元素标签对象是图片时,对图片进行放大处理;或者,
第二操作单元,用于当dom元素标签对象是链接时,自动打开该链接;或者,
第三操作单元,用于当dom元素标签对象是视频的进度条时,自动把视频切换到进度条的设定位置;或者,
第四操作单元,用于当dom元素标签对象是文字内容时,根据眼球运动方向滚动页面。
7.根据权利要求5所述的装置,所述图像数据获取单元包括视频捕捉接口,通过HTML5标准所提供的视频捕捉接口,将拍摄的人脸图像描绘到Canvas上。
8.根据权利要求5所述的装置,所述图像数据获取单元包括分析单元,用于通过Canvas对眼球图像进行细化至像素级的分析,获得眼球图像的像素数据。
CN201310266426.7A 2013-06-28 2013-06-28 一种基于眼动追踪进行浏览器操作的方法及装置 Active CN103336576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310266426.7A CN103336576B (zh) 2013-06-28 2013-06-28 一种基于眼动追踪进行浏览器操作的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310266426.7A CN103336576B (zh) 2013-06-28 2013-06-28 一种基于眼动追踪进行浏览器操作的方法及装置

Publications (2)

Publication Number Publication Date
CN103336576A true CN103336576A (zh) 2013-10-02
CN103336576B CN103336576B (zh) 2016-12-28

Family

ID=49244764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310266426.7A Active CN103336576B (zh) 2013-06-28 2013-06-28 一种基于眼动追踪进行浏览器操作的方法及装置

Country Status (1)

Country Link
CN (1) CN103336576B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631483A (zh) * 2013-11-27 2014-03-12 华为技术有限公司 一种定位的方法及装置
CN103678711A (zh) * 2013-12-30 2014-03-26 华为技术有限公司 一种页面特征表示方法、装置及设备
CN103885592A (zh) * 2014-03-13 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN104243825A (zh) * 2014-09-22 2014-12-24 广东欧珀移动通信有限公司 一种移动终端自动对焦方法及系统
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
CN104765442A (zh) * 2014-01-08 2015-07-08 腾讯科技(深圳)有限公司 自动浏览方法及自动浏览装置
WO2015120713A1 (zh) * 2014-02-11 2015-08-20 百度在线网络技术(北京)有限公司 词条的获取方法、装置、计算机存储介质及设备
CN104881478A (zh) * 2015-06-02 2015-09-02 吴小宇 一种网页页面定位识别系统及定位识别方法
CN104978019A (zh) * 2014-07-11 2015-10-14 腾讯科技(深圳)有限公司 一种浏览器显示控制方法及电子终端
CN105138118A (zh) * 2015-07-31 2015-12-09 努比亚技术有限公司 实现人机交互的智能眼镜、方法以及移动终端
CN105183142A (zh) * 2014-06-13 2015-12-23 中国科学院光电研究院 一种利用空间位置装订的数字信息复现方法
CN105589555A (zh) * 2014-11-12 2016-05-18 联想(新加坡)私人有限公司 视线触发语音识别
CN105631395A (zh) * 2015-06-23 2016-06-01 宇龙计算机通信科技(深圳)有限公司 基于虹膜识别的终端控制方法及装置
WO2016112690A1 (zh) * 2015-01-14 2016-07-21 北京工业大学 一种基于眼动数据的网上用户状态识别方法和装置
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置
CN106444085A (zh) * 2016-10-27 2017-02-22 西南科技大学 一种场景自动抓取眼镜
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成系统及方法
CN107491496A (zh) * 2017-07-25 2017-12-19 哈尔滨工业大学 利用视觉认知过程触发的网页浏览控制方法
US9971413B2 (en) 2013-11-27 2018-05-15 Huawei Technologies Co., Ltd. Positioning method and apparatus
WO2018184245A1 (zh) * 2017-04-08 2018-10-11 闲客智能(深圳)科技有限公司 一种眼动判断方法及装置
CN108650408A (zh) * 2018-04-13 2018-10-12 维沃移动通信有限公司 一种屏幕解锁方法和移动终端
CN109522789A (zh) * 2018-09-30 2019-03-26 北京七鑫易维信息技术有限公司 应用于终端设备的眼球追踪方法、装置以及系统
CN109600555A (zh) * 2019-02-02 2019-04-09 北京七鑫易维信息技术有限公司 一种对焦控制方法、系统及拍照设备
CN109598424A (zh) * 2018-11-21 2019-04-09 山东交通学院 一种用于游艇舱室内装场景的方案评估方法及其系统
CN109753143A (zh) * 2018-04-16 2019-05-14 北京字节跳动网络技术有限公司 一种优化光标位置的方法和装置
CN109756663A (zh) * 2017-08-25 2019-05-14 北京悉见科技有限公司 一种ar设备的控制方法、装置及ar设备
CN110825228A (zh) * 2019-11-01 2020-02-21 腾讯科技(深圳)有限公司 交互控制方法和装置、存储介质及电子装置
CN111158507A (zh) * 2019-10-18 2020-05-15 广东小天才科技有限公司 一种指定内容的确定方法及电子设备
CN111596760A (zh) * 2020-04-30 2020-08-28 维沃移动通信有限公司 操作控制方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助系统
CN101918908A (zh) * 2007-09-28 2010-12-15 阿尔卡特朗讯 用于确定用户对显示页面的特定内容的反应的方法
CN102662473A (zh) * 2012-04-16 2012-09-12 广东步步高电子工业有限公司 基于眼部动作识别来实现人机信息交互的装置及方法
CN102880289A (zh) * 2012-08-20 2013-01-16 广东步步高电子工业有限公司 检测眼球注视点可实现视频播放和暂停的控制系统及方法
CN103118159A (zh) * 2013-01-17 2013-05-22 广东欧珀移动通信有限公司 一种移动终端操作方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101918908A (zh) * 2007-09-28 2010-12-15 阿尔卡特朗讯 用于确定用户对显示页面的特定内容的反应的方法
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助系统
CN102662473A (zh) * 2012-04-16 2012-09-12 广东步步高电子工业有限公司 基于眼部动作识别来实现人机信息交互的装置及方法
CN102880289A (zh) * 2012-08-20 2013-01-16 广东步步高电子工业有限公司 检测眼球注视点可实现视频播放和暂停的控制系统及方法
CN103118159A (zh) * 2013-01-17 2013-05-22 广东欧珀移动通信有限公司 一种移动终端操作方法及装置

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672421B2 (en) 2013-10-04 2017-06-06 Utechzone Co., Ltd. Method and apparatus for recording reading behavior
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置
CN103631483A (zh) * 2013-11-27 2014-03-12 华为技术有限公司 一种定位的方法及装置
CN103631483B (zh) * 2013-11-27 2017-02-15 华为技术有限公司 一种定位的方法及装置
WO2015078126A1 (zh) * 2013-11-27 2015-06-04 华为技术有限公司 一种定位的方法及装置
US9971413B2 (en) 2013-11-27 2018-05-15 Huawei Technologies Co., Ltd. Positioning method and apparatus
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
CN103678711A (zh) * 2013-12-30 2014-03-26 华为技术有限公司 一种页面特征表示方法、装置及设备
CN103678711B (zh) * 2013-12-30 2017-06-27 华为技术有限公司 一种页面特征表示方法、装置及设备
CN104765442B (zh) * 2014-01-08 2018-04-20 腾讯科技(深圳)有限公司 自动浏览方法及自动浏览装置
CN104765442A (zh) * 2014-01-08 2015-07-08 腾讯科技(深圳)有限公司 自动浏览方法及自动浏览装置
WO2015120713A1 (zh) * 2014-02-11 2015-08-20 百度在线网络技术(北京)有限公司 词条的获取方法、装置、计算机存储介质及设备
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN103885592A (zh) * 2014-03-13 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN105183142A (zh) * 2014-06-13 2015-12-23 中国科学院光电研究院 一种利用空间位置装订的数字信息复现方法
CN105183142B (zh) * 2014-06-13 2018-02-09 中国科学院光电研究院 一种利用空间位置装订的数字信息复现方法
CN104978019A (zh) * 2014-07-11 2015-10-14 腾讯科技(深圳)有限公司 一种浏览器显示控制方法及电子终端
CN104243825A (zh) * 2014-09-22 2014-12-24 广东欧珀移动通信有限公司 一种移动终端自动对焦方法及系统
CN105589555A (zh) * 2014-11-12 2016-05-18 联想(新加坡)私人有限公司 视线触发语音识别
WO2016112690A1 (zh) * 2015-01-14 2016-07-21 北京工业大学 一种基于眼动数据的网上用户状态识别方法和装置
CN104881478B (zh) * 2015-06-02 2019-06-21 吴小宇 一种网页页面定位识别系统及定位识别方法
CN104881478A (zh) * 2015-06-02 2015-09-02 吴小宇 一种网页页面定位识别系统及定位识别方法
WO2016206346A1 (zh) * 2015-06-23 2016-12-29 宇龙计算机通信科技(深圳)有限公司 基于虹膜识别的终端控制方法及装置
CN105631395A (zh) * 2015-06-23 2016-06-01 宇龙计算机通信科技(深圳)有限公司 基于虹膜识别的终端控制方法及装置
CN105138118A (zh) * 2015-07-31 2015-12-09 努比亚技术有限公司 实现人机交互的智能眼镜、方法以及移动终端
CN106444085A (zh) * 2016-10-27 2017-02-22 西南科技大学 一种场景自动抓取眼镜
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成系统及方法
WO2018184245A1 (zh) * 2017-04-08 2018-10-11 闲客智能(深圳)科技有限公司 一种眼动判断方法及装置
CN107491496A (zh) * 2017-07-25 2017-12-19 哈尔滨工业大学 利用视觉认知过程触发的网页浏览控制方法
CN109756663B (zh) * 2017-08-25 2020-11-17 王�义 一种ar设备的控制方法、装置及ar设备
CN109756663A (zh) * 2017-08-25 2019-05-14 北京悉见科技有限公司 一种ar设备的控制方法、装置及ar设备
CN108650408A (zh) * 2018-04-13 2018-10-12 维沃移动通信有限公司 一种屏幕解锁方法和移动终端
CN108650408B (zh) * 2018-04-13 2021-01-08 维沃移动通信有限公司 一种屏幕解锁方法和移动终端
CN109753143B (zh) * 2018-04-16 2019-12-13 北京字节跳动网络技术有限公司 一种优化光标位置的方法和装置
CN109753143A (zh) * 2018-04-16 2019-05-14 北京字节跳动网络技术有限公司 一种优化光标位置的方法和装置
CN109522789A (zh) * 2018-09-30 2019-03-26 北京七鑫易维信息技术有限公司 应用于终端设备的眼球追踪方法、装置以及系统
CN109598424A (zh) * 2018-11-21 2019-04-09 山东交通学院 一种用于游艇舱室内装场景的方案评估方法及其系统
CN109600555A (zh) * 2019-02-02 2019-04-09 北京七鑫易维信息技术有限公司 一种对焦控制方法、系统及拍照设备
CN111158507A (zh) * 2019-10-18 2020-05-15 广东小天才科技有限公司 一种指定内容的确定方法及电子设备
CN111158507B (zh) * 2019-10-18 2024-03-19 广东小天才科技有限公司 一种指定内容的确定方法及电子设备
CN110825228A (zh) * 2019-11-01 2020-02-21 腾讯科技(深圳)有限公司 交互控制方法和装置、存储介质及电子装置
CN111596760A (zh) * 2020-04-30 2020-08-28 维沃移动通信有限公司 操作控制方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN103336576B (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
CN103336576B (zh) 一种基于眼动追踪进行浏览器操作的方法及装置
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
CN106462242B (zh) 使用视线跟踪的用户界面控制
JP6317772B2 (ja) 外国語の文字セットおよびそれらの翻訳を資源に制約のあるモバイル機器上にリアルタイムで表示するためのシステムおよび方法
CN111488791A (zh) 将指尖运动模式实时地设备上分类为手势
US20140361083A1 (en) Two Dimensional-Code Scanning Method and Device
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
JP2005210573A (ja) 映像表示システム
US20130188836A1 (en) Method and apparatus for providing hand detection
CN112131121B (zh) 用户界面的模糊检测方法、装置、电子设备和存储介质
CN105868235A (zh) 智能终端的图片预览方法及装置
CN114333056B (zh) 一种手势控制的方法、系统、设备及存储介质
CN112199015A (zh) 智能交互一体机及其书写方法、装置
Neto et al. Real-time head pose estimation for mobile devices
CN113010738B (zh) 视频处理方法、装置、电子设备及可读存储介质
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
CN112822394A (zh) 显示控制方法、装置、电子设备及可读存储介质
CN116149477A (zh) 交互方法、装置、电子设备和存储介质
US11250242B2 (en) Eye tracking method and user terminal performing same
JP6836985B2 (ja) 撮影映像から人の行動を表すコンテキストを推定するプログラム、装置及び方法
CN112381055A (zh) 第一人称视角图像识别方法、装置及计算机可读存储介质
Buddhika et al. Smart photo editor for differently-abled people using assistive technology
Wilk et al. Robust tracking for interactive social video
Aydin Leveraging Computer Vision Techniques for Video and Web Accessibility
CN114049638A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160906

Address after: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping radio square B tower 13 floor 02 unit self

Applicant after: GUANGZHOU AIJIUYOU INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 100080 Beijing City, Haidian District Suzhou Street No. 29 building 16 room 10-20 Scandinavia

Applicant before: UC MOBILE Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200811

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping radio square B tower 13 floor 02 unit self

Patentee before: Guangzhou Aijiuyou Information Technology Co.,Ltd.

TR01 Transfer of patent right
OL01 Intention to license declared
OL01 Intention to license declared