CN103914147B - 眼控视频交互方法和系统 - Google Patents
眼控视频交互方法和系统 Download PDFInfo
- Publication number
- CN103914147B CN103914147B CN201410122133.6A CN201410122133A CN103914147B CN 103914147 B CN103914147 B CN 103914147B CN 201410122133 A CN201410122133 A CN 201410122133A CN 103914147 B CN103914147 B CN 103914147B
- Authority
- CN
- China
- Prior art keywords
- video
- user
- behavior
- eyes
- concern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及视频交互技术领域，公开了一种眼控视频交互方法和系统。所述方法包括以下步骤：接受对用户眼睛行为与视频行为的对应关系的设定；获取用户眼睛对视频的观看行为；根据用户眼睛行为与视频行为的对应关系表中用户眼睛行为所对应的视频行为来控制视频的行为。采用上述方法和系统，开拓了一种新的视频交互方法，通过眼睛控制的方式与视频进行交互，对用户而言，特别是手脚行动不便的残疾人而言，更为方便和快捷。
Description
技术领域
本发明涉及视频交互技术领域，尤其涉及一种眼控视频交互方法和系统。
背景技术
在现有技术中，视频交互技术只支持手工操作（例如鼠标点击）的交互方式。例如，视频交互广告，当点击视频中一个物体时就会弹出相应的广告。又例如，点击正在播放的视频，可使得正在播放的视频暂停。
在现有技术中，通过手工操作的方式与视频进行交互，对用户而言，特别是手脚行动不便的残疾人而言，不如眼睛控制更为方便和快捷。
因此，现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种眼控视频交互方法和系统，针对现有技术中手控视频交互的不足，通过识别用户眼睛的行为来控制视频。
一种眼控视频交互方法，包括以下步骤：
接受对用户眼睛行为与视频行为的对应关系的设定；
获取用户眼睛对视频的观看行为；
根据用户眼睛行为与视频行为的对应关系中用户眼睛行为所对应的视频行为来控制视频的行为。
优先地，所述用户眼睛行为与视频行为的对应关系包括用户眼睛关注的视频区域范围、用户眼睛关注该区域的时间范围、对应的视频行为之间的关系；
优先地，所述视频行为包括弹出信息、关闭信息、弹出广告、关闭广告、弹出网页、关闭网页、弹出游戏、关闭游戏、暂停、继续播放、操纵物联网物体、弹出应用程序、关系应用程序。
优先地，所述获取用户眼睛对视频的观看行为，包括以下步骤：
判断用户是否在关注视频；
获取用户眼睛关注视频的视频位置及其关注的时间。
优先地，所述根据用户眼睛行为与视频行为的对应关系中用户眼睛行为所对应的视频行为来控制视频的行为，包括以下步骤：
在设定的用户眼睛行为与视频行为的对应关系中模糊搜索用户眼睛行为所对应视频行为；
执行对应关系中模糊匹配度最大的用户眼睛行为所对应的视频行为。
一种眼控视频交互系统，包括：
设定模块，用于接受对用户眼睛行为与视频行为的对应关系的设定；
采集模块，用于获取用户眼睛对视频的观看行为；
控制模块，用于根据用户眼睛行为与视频行为的对应关系中用户眼睛行为所对应的视频行为来控制视频的行为。
优先地，所述用户眼睛行为与视频行为的对应关系包括用户眼睛关注的视频区域范围、用户眼睛关注该区域的时间范围、对应的视频行为之间的关系。
优先地，所述视频行为包括弹出信息、关闭信息、弹出广告、关闭广告、弹出网页、关闭网页、弹出游戏、关闭游戏、暂停、继续播放、操纵物联网物体、弹出应用程序、关系应用程序。
优先地，所述采集模块包括：
判断模块，用于判断用户是否在关注视频；
定位模块，用于获取用户眼睛关注视频的视频位置及其关注的时间。
优先地，所述控制模块还包括：
搜索模块，用于在设定的用户眼睛行为与视频行为的对应关系中模糊搜索用户眼睛行为所对应视频行为；
执行模块，用于执行对应关系中模糊匹配度最大的用户眼睛行为所对应的视频行为。
上述眼控视频交互方法和系统，开拓了一种新的视频交互方法，通过眼睛控制的方式与视频进行交互，对用户而言，特别是手脚行动不便的残疾人而言，更为方便和快捷。
附图说明
图1为一个实施例中眼控视频交互方法的流程图；
图2为一个实施例中获取用户眼睛对视频的观看行为步骤的流程图；
图3为一个实施例中根据用户眼睛行为来控制视频的行为步骤的流程图；
图4为一个实施例中眼控视频交互系统的结构示意图；
图5为一个实施例中采集模块的结构示意图；
图6为一个实施例中控制模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在一个实施例中，如图1所示，一种眼控视频交互方法，包括以下步骤：
步骤S10，接受对用户眼睛行为与视频行为的对应关系的设定。该实施例中，设定可以使用配置文件的形式来接受用户或管理员对该配置文件的输入和修改，也可以使用配置数据库的形式接受用户或管理员对该配置数据库的输入和修改，还可以结合输入界面来接受用户或者系统管理员的设定。该配置文件或配置数据库或配置界面中可以接受和存储用户眼睛行为与视频行为的对应关系。用户眼睛行为指用户观看视频时眼睛的行为，例如关注于视频的某一个区域、又例如视线离开视频。用户眼睛行为可以使用眼睛所关注的视频区域、时间来进行描述，例如用户在时间点Ti1到时间点Ti2之间关注视频的(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),(Xi4,Yi4)这4个点所形成的区域。视频行为指视频的暂停、播放或者弹出新的信息等。视频行为可用具体的视频操作来描述，例如，弹出广告ai1、弹出信息ai2。其对应关系例如当用户在时间点Ti1到时间点Ti2之间关注视频的(Xi1,y1),(Xi2,Yi2),(Xi3,Yi3),(Xi4,Yi4)这4个点所形成的区域时则弹出广告ai1。又例如，对应关系可以为用户在时间点Ti1到时间点Ti2之间关注视频中的物体bi1时则弹出该物体相关信息ai2。又例如，对应关系可以为当用户视线离开视频2秒，则视频暂停。又例如，对应关系可以为用户视线回到视频，则视频继续播放；
步骤S20，获取用户眼睛对视频的观看行为。该实施例中，可以采用眼球追踪器来获取用户眼睛的行为。也可以采用普通摄像头加上眼睛行为识别的程序来获取用户眼睛的行为。获取的用户眼睛的观看行为包括眼睛所关注的视频区域、时间。其中区域的范围也可以由三点坐标、五点坐标、多点坐标来围成，也可以由视频中某个物体的区域范围来指定。其中时间可以由时间点tj1到时间点tj2来指定起止时间，也可以由起止视频帧来指定，例如fi1帧到fi2帧。用户眼睛对视频的观看行为，例如用户在时间点tj1到时间点tj1之间关注视频的(xj1,yj1),(xj1,yj1),(xj1,yj1),(xj1,yj1)这4个点所形成的区域。用户眼睛对视频的观看行为，又例如，用户在时间点tj1到时间点tj2之间关注视频中的物体b1；
步骤S30，根据用户眼睛行为与视频行为的对应关系中用户眼睛行为所对应的视频行为来控制视频的行为。该实施例中，对应关系中存在当用户在时间点Ti1到时间点Ti2之间关注视频的(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)这im个点所形成的区域时则执行操作ai1，则当用户在时间点tj1到时间点tj2之间关注视频的(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域，且tj1>=Ti1，且tj2<=Ti2，且(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)这m个点所形成的区域的交集区域的面积占(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)这m个点所形成的区域面积的1/k以上时，则执行操作a1。该实施例中，对应关系中存在当用户在帧Ti1到帧Ti2之间关注视频的物体bi1的区域时则，则执行操作ai2，则当用户在帧tj1到帧tj2之间关注视频的(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域，且tj1>=Ti1，且tj2<=Ti2，且(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域与bi1所在区域的交集区域的面积占bi1所在区域面积的1/k以上时，则执行操作ai2。其中，1/k可以事先设定，当k越大时，则对用户眼睛的行为越敏感，但精确性也越差，当k越小时，精确性越高，但用户眼睛的行为也越不敏感，所以需要根据用户的习惯选取合适的k值，正常情况来说，k取2比较合适。该实施例中，当用户关注的时间、区域与对应关系中多个时间、区域有交集时，则取其中交集最大的时间、区域所对应的视频行为来执行。
在一个实施例中，所述用户眼睛行为与视频行为的对应关系包括用户眼睛关注的视频区域范围、用户眼睛关注该区域的时间范围、对应的视频行为之间的关系。该实施例中，视频区域范围可以用作标点连成的区域来表示，也可以用视频中物体所在的区域来表示。用户眼睛关注该区域的时间范围可用时间起止点（Ti1,Ti2）来表示，也可以用视频帧的起止视频帧（fi1,fi2）来表示。视频行为可以用操作的名称及其需要调用的程序的接口来表示，例如弹出网页及该网页的链接地址。
在一个实施例中，所述视频行为包括弹出信息、关闭信息、弹出广告、关闭广告、弹出网页、关闭网页、弹出游戏、关闭游戏、暂停、继续播放、操纵物联网物体、弹出应用程序、关系应用程序。该实施例中，弹出或关闭信息，例如弹出或关闭用户所观看的视频中某演员的介绍信息。弹出或关闭广告，例如弹出或关闭用户所观看的视频中某物体相关的广告。弹出或关闭网页，例如弹出或关闭用户所观看的视频中某物体相关的广告。弹出或关闭游戏，例如弹出用户所观看的某物体相关的游戏。操纵物联网物体，例如当用户观看视频中物联网灯泡时，则调用物联网命令打开对应的物联网灯泡。弹出或关闭应用程序，例如当用户观看教育视频中的Excel软件，则调用系统命令弹出并运行Excel软件。
如图2所示，在一个实施例中，步骤S20包括：
步骤S210中，判断用户是否在关注视频。该实施例中，可以采用眼球追踪技术来判断用户视频还在关注视频，如果用户离开视频，或者用户视线离开视频，或者用户闭眼时间超过阀值d（d为事先设定的正数，例如4秒），则表明用户不在关注视频。当用户不关注视频时，则无需进行下一步的获取用户眼睛关注视频的视频位置及其关注的时间。当用户开始关注视频时，则需要进行下一步；
步骤S220中，获取用户眼睛关注视频的视频位置及其关注的时间。该实施例中，如果用户仍然在关注视频，则记录用户眼睛关注视频的视频位置(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域，及其关注的时间（tj1,tj2）。
如图3所示，在另一个实施例中，步骤S30包括：
步骤S310中，在设定的用户眼睛行为与视频行为的对应关系中模糊搜索用户眼睛行为所对应视频行为。该实施例中，对应关系中存在当用户在时间点Ti1到时间点Ti2之间关注视频的(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)这im个点所形成的区域时则执行操作ai1，例如(T11,T12),( (X11,Y11),(X12,Y12),(X13,Y13),…,(X1m,Y1m))对应操作a11, (T21,T22),( (X21,Y21),(X22,Y22),(X23,Y23),…,(X2m,Y2m))对应操作a21,(T31,T32),( (X31,Y31),(X32,Y32),(X33,Y33),…,(X3m,Y3m))对应操作a31,如此类推。该实施例中，当用户在时间点tj1到时间点tj2之间关注视频的(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域，则首先搜索（tj1,tj2）与哪些（Ti1,Ti2）相交不为空，例如当i=3、6、9时，（tj1,tj2）与（Ti1,Ti2）相交不为空，则进一步地搜索(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)在i=3、6、9时，相交是否为空，例如当i=6、9时(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域相交不为空，则分别求出i=6时(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域相交区域占(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域的比例、i=9时(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域相交区域占(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域的比例，取其中比例最大者，例如i=6时，比例为2/3，然后判断该比例是否大于阀值1/k。其中，1/k可以事先设定，当k越大时，则对用户眼睛的行为越敏感，但精确性也越差，当k越小时，精确性越高，但用户眼睛的行为也越不敏感，所以需要根据用户的习惯选取合适的k值，正常情况来说，k取2比较合适；
步骤S320中，执行对应关系中模糊匹配度最大的用户眼睛行为所对应的视频行为。该实施例中，根据上一个步骤中搜索出来的视频行为的描述进行执行，例如视频行为是打开网页URL,则调用网页浏览器打开该URL对应的网页。又例如，视频行为是弹出广告a1，则从广告文件中读取广告a1内容并进行显示。又例如视频行为是弹出游戏a2，则调用并运行游戏程序a2。又例如视频行为是对物联网物体a3进行操作a4，则调用物联网命令对物联网物体a3进行操作a4。
在一个实施例中，如图4所示，一种眼控视频交互系统，包括设定模块10、采集模块20、控制模块30，其中：
设定模块10，用于接受对用户眼睛行为与视频行为的对应关系的设定。该实施例中，设定可以使用配置文件的形式来接受用户或管理员对该配置文件的输入和修改，也可以使用配置数据库的形式接受用户或管理员对该配置数据库的输入和修改，还可以结合输入界面来接受用户或者系统管理员的设定。该配置文件或配置数据库或配置界面中可以接受和存储用户眼睛行为与视频行为的对应关系。用户眼睛行为指用户观看视频时眼睛的行为，例如关注于视频的某一个区域、又例如视线离开视频。用户眼睛行为可以使用眼睛所关注的视频区域、时间来进行描述，例如用户在时间点Ti1到时间点Ti2之间关注视频的(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),(Xi4,Yi4)这4个点所形成的区域。视频行为指视频的暂停、播放或者弹出新的信息等。视频行为可用具体的视频操作来描述，例如，弹出广告ai1、弹出信息ai2。其对应关系例如当用户在时间点Ti1到时间点Ti2之间关注视频的(Xi1,y1),(Xi2,Yi2),(Xi3,Yi3),(Xi4,Yi4)这4个点所形成的区域时则弹出广告ai1。又例如，对应关系可以为用户在时间点Ti1到时间点Ti2之间关注视频中的物体bi1时则弹出该物体相关信息ai2。又例如，对应关系可以为当用户视线离开视频2秒，则视频暂停。又例如，对应关系可以为用户视线回到视频，则视频继续播放；
采集模块20，用于获取用户眼睛对视频的观看行为。该实施例中，如果用户仍然在关注视频，则记录用户眼睛关注视频的视频位置(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域，及其关注的时间（tj1,tj2）；
控制模块30，用于根据用户眼睛行为与视频行为的对应关系中用户眼睛行为所对应的视频行为来控制视频的行为。该实施例中，对应关系中存在当用户在时间点Ti1到时间点Ti2之间关注视频的(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)这im个点所形成的区域时则执行操作ai1，则当用户在时间点tj1到时间点tj2之间关注视频的(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域，且tj1>=Ti1，且tj2<=Ti2，且(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)这m个点所形成的区域的交集区域的面积占(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)这m个点所形成的区域面积的1/k以上时，则执行操作a1。该实施例中，对应关系中存在当用户在帧Ti1到帧Ti2之间关注视频的物体bi1的区域时则，则执行操作ai2，则当用户在帧tj1到帧tj2之间关注视频的(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域，且tj1>=Ti1，且tj2<=Ti2，且(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域与bi1所在区域的交集区域的面积占bi1所在区域面积的1/k以上时，则执行操作ai2。其中，1/k可以事先设定，当k越大时，则对用户眼睛的行为越敏感，但精确性也越差，当k越小时，精确性越高，但用户眼睛的行为也越不敏感，所以需要根据用户的习惯选取合适的k值，正常情况来说，k取2比较合适。该实施例中，当用户关注的时间、区域与对应关系中多个时间、区域有交集时，则取其中交集最大的时间、区域所对应的视频行为来执行。
在一个实施例中，所述用户眼睛行为与视频行为的对应关系包括用户眼睛关注的视频区域范围、用户眼睛关注该区域的时间范围、对应的视频行为之间的关系。该实施例中，视频区域范围可以用作标点连成的区域来表示，也可以用视频中物体所在的区域来表示。用户眼睛关注该区域的时间范围可用时间起止点（Ti1,Ti2）来表示，也可以用视频帧的起止视频帧（fi1,fi2）来表示。视频行为可以用操作的名称及其需要调用的程序的接口来表示，例如弹出网页及该网页的链接地址。
在一个实施例中，所述视频行为包括弹出信息、关闭信息、弹出广告、关闭广告、弹出网页、关闭网页、弹出游戏、关闭游戏、暂停、继续播放、操纵物联网物体、弹出应用程序、关系应用程序。该实施例中，弹出或关闭信息，例如弹出或关闭用户所观看的视频中某演员的介绍信息。弹出或关闭广告，例如弹出或关闭用户所观看的视频中某物体相关的广告。弹出或关闭网页，例如弹出或关闭用户所观看的视频中某物体相关的广告。弹出或关闭游戏，例如弹出用户所观看的某物体相关的游戏。操纵物联网物体，例如当用户观看视频中物联网灯泡时，则调用物联网命令打开对应的物联网灯泡。弹出或关闭应用程序，例如当用户观看教育视频中的Excel软件，则调用系统命令弹出并运行Excel软件。
如图5所示，在一个实施例中，采集模块20包括判断模块210、定位模块220，其中：
判断模块210，用于判断用户是否在关注视频。该实施例中，可以采用眼球追踪技术来判断用户视频还在关注视频，如果用户离开视频，或者用户视线离开视频，或者用户闭眼时间超过阀值d（d为事先设定的正数，例如4秒），则表明用户不在关注视频。当用户不关注视频时，则无需进行下一步的获取用户眼睛关注视频的视频位置及其关注的时间。当用户开始关注视频时，则需要进行下一步；
定位模块220，用于获取用户眼睛关注视频的视频位置及其关注的时间。该实施例中，如果用户仍然在关注视频，则记录用户眼睛关注视频的视频位置(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域，及其关注的时间（tj1,tj2）。
如图6所示，在一个实施例中，采集模块30包括搜索模块310、执行模块320，其中：
搜索模块310，用于在设定的用户眼睛行为与视频行为的对应关系中模糊搜索用户眼睛行为所对应视频行为。该实施例中，对应关系中存在当用户在时间点Ti1到时间点Ti2之间关注视频的(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)这im个点所形成的区域时则执行操作ai1，例如(T11,T12),( (X11,Y11),(X12,Y12),(X13,Y13),…,(X1m,Y1m))对应操作a11, (T21,T22),( (X21,Y21),(X22,Y22),(X23,Y23),…,(X2m,Y2m))对应操作a21, (T31,T32),( (X31,Y31),(X32,Y32),(X33,Y33),…,(X3m,Y3m))对应操作a31,如此类推。该实施例中，当用户在时间点tj1到时间点tj2之间关注视频的(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)这n个点所形成的区域，则首先搜索（tj1,tj2）与哪些（Ti1,Ti2）相交不为空，例如当i=3、6、9时，（tj1,tj2）与（Ti1,Ti2）相交不为空，则进一步地搜索(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim)在i=3、6、9时，相交是否为空，例如当i=6、9时(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域相交不为空，则分别求出i=6时(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域相交区域占(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域的比例、i=9时(xj1,yj1),(xj1yj2,(xj3,yj3),…,(xjn,yjn)所围成的区域与(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域相交区域占(Xi1,Yi1),(Xi2,Yi2),(Xi3,Yi3),…,(Xim,Yim) 所围成的区域的比例，取其中比例最大者，例如i=6时，比例为2/3，然后判断该比例是否大于阀值1/k。其中，1/k可以事先设定，当k越大时，则对用户眼睛的行为越敏感，但精确性也越差，当k越小时，精确性越高，但用户眼睛的行为也越不敏感，所以需要根据用户的习惯选取合适的k值，正常情况来说，k取2比较合适；
执行模块320，用于执行对应关系中模糊匹配度最大的用户眼睛行为所对应的视频行为。该实施例中，根据上一个步骤中搜索出来的视频行为的描述进行执行，例如视频行为是打开网页URL,则调用网页浏览器打开该URL对应的网页。又例如，视频行为是弹出广告a1，则从广告文件中读取广告a1内容并进行显示。又例如视频行为是弹出游戏a2，则调用并运行游戏程序a2。又例如视频行为是对物联网物体a3进行操作a4，则调用物联网命令对物联网物体a3进行操作a4。
上述眼控视频交互方法和系统，开拓了一种新的视频交互方法，通过眼睛控制的方式与视频进行交互，对用户而言，特别是手脚行动不便的残疾人而言，更为方便和快捷。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种眼控视频交互方法，包括以下步骤：
接受对用户眼睛行为与视频行为的对应关系的设定，所述用户眼睛行为与视频行为的对应关系包括用户眼睛关注的视频区域范围、用户眼睛关注该区域的时间范围和对应的视频行为之间的关系；所述时间范围是指定起止时间或起止视频帧的时间范围；
获取用户眼睛对视频的观看行为；
当获取的所述观看行为中包括的用户关注的时间与对应关系中多个时间有交集、且获取的所述观看行为中包括的用户关注的区域与对应关系中多个区域有交集时，则取其中交集最大的时间或区域所对应的视频行为来执行。
2.根据权利要求1所述的眼控视频交互方法，其特征在于，所述视频行为包括弹出信息、弹出广告、弹出网页、弹出游戏、暂停、继续播放、操纵物联网物体、弹出应用程序。
3.根据权利要求1所述的眼控视频交互方法，其特征在于，所述获取用户眼睛对视频的观看行为的步骤为：
判断用户是否在关注视频；
获取用户眼睛关注视频的视频位置及其关注的时间。
4.一种眼控视频交互系统，其特征在于，包括：
设定模块，用于接受对用户眼睛行为与视频行为的对应关系的设定，所述用户眼睛行为与视频行为的对应关系包括用户眼睛关注的视频区域范围、用户眼睛关注该区域的时间范围和对应的视频行为之间的关系；所述时间范围是指定起止时间或起止视频帧的时间范围；
采集模块，用于获取用户眼睛对视频的观看行为；
控制模块，用于当获取的所述观看行为中包括的用户关注的时间与对应关系中多个时间有交集、且获取的所述观看行为中包括的用户关注的区域与对应关系中多个区域有交集时，则取其中交集最大的时间或区域所对应的视频行为来执行。
5.根据权利要求4所述的眼控视频交互系统，其特征在于，所述视频行为包括弹出信息、弹出广告、弹出网页、弹出游戏、暂停、继续播放、操纵物联网物体、弹出应用程序。
6.根据权利要求4所述的眼控视频交互系统，其特征在于，所述采集模块包括：
判断模块，用于判断用户是否在关注视频；
定位模块，用于获取用户眼睛关注视频的视频位置及其关注的时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410122133.6A CN103914147B (zh) | 2014-03-29 | 2014-03-29 | 眼控视频交互方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410122133.6A CN103914147B (zh) | 2014-03-29 | 2014-03-29 | 眼控视频交互方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103914147A CN103914147A (zh) | 2014-07-09 |
| CN103914147B true CN103914147B (zh) | 2018-01-05 |
Family
ID=51039890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410122133.6A Active CN103914147B (zh) | 2014-03-29 | 2014-03-29 | 眼控视频交互方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103914147B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391572B (zh) * | 2014-11-10 | 2017-08-22 | 苏州佳世达电通有限公司 | 具有眼球追踪功能的电子装置及其控制方法 |
| CN105828165B (zh) * | 2016-04-29 | 2019-05-17 | 维沃移动通信有限公司 | 一种获取字幕的方法及终端 |
| CN106020461A (zh) * | 2016-05-13 | 2016-10-12 | 陈盛胜 | 基于眼球追踪技术的视频交互方法 |
| CN106354777B (zh) * | 2016-08-22 | 2019-09-17 | 广东小天才科技有限公司 | 一种应用于电子终端的搜题方法及装置 |
| CN107844734B (zh) * | 2016-09-19 | 2020-07-07 | 杭州海康威视数字技术股份有限公司 | 监控目标确定方法及装置、视频监控方法及装置 |
| CN106569598A (zh) * | 2016-10-31 | 2017-04-19 | 努比亚技术有限公司 | 菜单栏的管理装置及方法 |
| CN106980375A (zh) * | 2017-03-28 | 2017-07-25 | 北京小米移动软件有限公司 | 播放广告的方法和装置 |
| TWI644260B (zh) * | 2017-11-07 | 2018-12-11 | 佳世達科技股份有限公司 | 顯示裝置 |
| CN108833994B (zh) * | 2018-06-14 | 2021-06-15 | 北京小米移动软件有限公司 | 广告播放方法和装置 |
| CN111526245A (zh) * | 2020-04-03 | 2020-08-11 | 维沃移动通信有限公司 | 一种信息显示方法、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1781311A (zh) * | 2003-11-03 | 2006-05-31 | 三星电子株式会社 | 使用注视检测来处理视频数据的设备和方法 |
| CN101866215A (zh) * | 2010-04-20 | 2010-10-20 | 复旦大学 | 在视频监控中采用视线跟踪的人机交互装置和方法 |
| CN102842301A (zh) * | 2012-08-21 | 2012-12-26 | 京东方科技集团股份有限公司 | 显示画面调节装置、显示装置及显示方法 |
| CN102880289A (zh) * | 2012-08-20 | 2013-01-16 | 广东步步高电子工业有限公司 | 检测眼球注视点可实现视频播放和暂停的控制系统及方法 |
-
2014
- 2014-03-29 CN CN201410122133.6A patent/CN103914147B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1781311A (zh) * | 2003-11-03 | 2006-05-31 | 三星电子株式会社 | 使用注视检测来处理视频数据的设备和方法 |
| CN101866215A (zh) * | 2010-04-20 | 2010-10-20 | 复旦大学 | 在视频监控中采用视线跟踪的人机交互装置和方法 |
| CN102880289A (zh) * | 2012-08-20 | 2013-01-16 | 广东步步高电子工业有限公司 | 检测眼球注视点可实现视频播放和暂停的控制系统及方法 |
| CN102842301A (zh) * | 2012-08-21 | 2012-12-26 | 京东方科技集团股份有限公司 | 显示画面调节装置、显示装置及显示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103914147A (zh) | 2014-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103914147B (zh) | 眼控视频交互方法和系统 | |
| US11520824B2 (en) | Method for displaying information, electronic device and system | |
| CN107613400B (zh) | 一种语音弹幕的实现方法和装置 | |
| US9630090B2 (en) | Game play fact checking | |
| US20130086105A1 (en) | Voice directed context sensitive visual search | |
| US20160371321A1 (en) | Fact checking search results | |
| US10623694B2 (en) | Appropriate modification of video call images | |
| CN110297943A (zh) | 标签的添加方法、装置、电子设备及存储介质 | |
| CN103412643B (zh) | 终端及其遥控的方法 | |
| CN111641677B (zh) | 消息提醒方法、消息提醒装置及电子设备 | |
| US11275628B2 (en) | Notification information output method, server and monitoring system | |
| US11087182B1 (en) | Image processing including streaming image output | |
| US20170169857A1 (en) | Method and Electronic Device for Video Play | |
| DE102017131382A1 (de) | Ausgleichen von Modifikationen einer audiobasierten Computerprogrammausgabe | |
| CN108074571A (zh) | 增强现实设备的语音控制方法、系统及存储介质 | |
| CN112199582B (zh) | 一种内容推荐方法、装置、设备及介质 | |
| CN106127828A (zh) | 一种增强现实的处理方法、装置及移动终端 | |
| CN103634503A (zh) | 一种基于人脸识别和行为识别的视频制作方法及系统 | |
| DE202017107941U1 (de) | Ausgleichen von Modifikationen einer audiobasierten Computerprogrammausgabe | |
| CN113347498A (zh) | 一种视频播放方法、装置及计算机可读存储介质 | |
| DE202017107940U1 (de) | Validieren der Modifikation einer audiobasierten Computerprogrammausgabe | |
| CN206378900U (zh) | 一种基于移动终端的广告投放效果评价系统 | |
| Ragusa et al. | Meccano: A multimodal egocentric dataset for humans behavior understanding in the industrial-like domain | |
| CN112651334A (zh) | 机器人视频交互方法和系统 | |
| CN110465085A (zh) | 弹幕处理方法、终端设备、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20171113 Address after: 523000, Guangdong province Dongguan Songshan Lake hi tech Industrial Development Zone Creative Life City shopping mall B two floor shopping mall 2 part of the site (No. 201) Applicant after: Great power innovative Intelligent Technology (Dongguan) Co., Ltd. Address before: 510630 Guangdong Province, Shenzhen City Road No. 16, West Lake University City Li Lin language Gardens Applicant before: Zhu Dingju |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |