CN102880289B - 检测眼球注视点可实现视频播放和暂停的控制系统及方法 - Google Patents
检测眼球注视点可实现视频播放和暂停的控制系统及方法 Download PDFInfo
- Publication number
- CN102880289B CN102880289B CN201210297450.2A CN201210297450A CN102880289B CN 102880289 B CN102880289 B CN 102880289B CN 201210297450 A CN201210297450 A CN 201210297450A CN 102880289 B CN102880289 B CN 102880289B
- Authority
- CN
- China
- Prior art keywords
- eyeball
- time
- control system
- video
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Telephone Function (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种通过检测眼球注视点可实现视频播放和暂停的控制系统，该控制系统用于检测眼球运动轨迹，所述控制系统包括手机操作系统、红外前置摄像头以及处理器，所述红外前置摄像头检测出眼球状态，并将检测信息传至所述处理器，所述处理器根据眼球状态来控制视频的暂停和播放。本发明通过结合检测眼球注视点技术、红外摄像头及手机软件来实现视频的播放和暂停，由此能够方便用户在某些场景下，不需要手动就能实现视频播放和暂停的功能，并能够以全新的交互方式为用户带来便利。
Description
技术领域
本发明涉及带红外前置摄像头的手机，尤其涉及通过检测眼球注视点来实现视频的播放与暂停的控制系统及方法。
背景技术
目前，手机是通过按键、手指触摸的交互方式来实现视频的播放暂停。例如，申请号CN200910168081.5的专利文献公开了一种依据眼球与头部的相对运动来控制的眼电控制系统以及利用眼电控制系统控制游标的方法，该系统包含一感测装置、一可编程逻辑控制单元。该感测装置接触人体脸部，用以检测眼球与头部的相对运动信息，以分别转换成左右眼纵横方向各自的电气-眼动波信号。
另外，专利CN101172034A的专利文献公开了一种眼球运动轨迹检测方法。该方法将眼球瞳孔中心作为眼神注视点，并以眼球瞳孔中心为眼球运动轨迹的起始追踪点；所述眼球瞳孔中心的确认方法是通过红外摄像技术，连续采集眼球的成像图，应用二维识别技术需找瞳孔中心为眼球运动轨迹的追踪原点，通过多次改变展示在显示屏幕上被追踪图案的方位，由此即可获得被测人员在某一时间段内的注视点的运动轨迹。这种眼球运动轨迹检测方法是将眼球瞳孔中心确认为检测时的真正眼神注视点。但该专利仅应用在医学领域上对精神病人的病情诊断方面，通过摄像头检测眼球的运动轨迹来判断病人是否患有精神疾病，而无法应该到手机的视频播放控制上。
而本发明是通过摄像头检测眼球的注视点实现视频的播放暂停，以方便用户在某些场景不需要用手就能实现播放暂停的功能。
发明内容
本发明可以应用到带红外前置摄像头的手机上，提供一种全新的交互方式，为用户带来便捷。
本发明为一种检测眼球注视点可实现视频播放和暂停的控制系统，所述控制系统用于检测眼球运动轨迹，所述控制系统包括手机操作系统、红外前置摄像头以及处理器，所述红外前置摄像头检测出眼球状态，并将检测信息传至所述处理器，所述处理器根据眼球状态来控制视频的暂停和播放。
视频文件包括avi、flv、rmvb、3gpp、rm、MP4、MKV格式。
通过检测瞳孔中心来实现视频的播放暂停是该方案的核心技术，具体方法通过数学算法确定人眼瞳孔直径，进而确定瞳孔的中心点。
本发明为一种检测眼球注视点可实现视频播放和暂停的控制方法，其包括以下的步骤：
步骤1、判断
由所述判断模块判断手机处于视频播放界面时，向红外摄像头传达指令，启动摄像头，开始检测眼球；
步骤2、播放和暂停处理
通过红外线摄像头来检测眼球是否在屏幕范围内，若瞳孔中心处于手机屏幕范围内，处理器控制视频继续播放，红外摄像头开始工作，红外摄像每隔0.4秒检测一次；若瞳孔中心不在手机屏幕范围内，则通过人脸识别技术来判断嘴巴是否张开；当红外摄像头检测到嘴巴张开时，计时器开始计时，当计时时间大于5秒时，则将检测信号传给处理器，处理器开始控制处理以暂停视频的播放。
本发明的优越效果为：针对在使用移动设备观看视频时，由于一些突发或者其他状况而需要暂时离开屏幕而导致错过视频的部分内容的情况，利用本发明能够免去手动暂停而开启视频，以保证使用者不错过观看视频内容。
本发明所述的控制系统及其方法通过结合检测眼球注视点技术、红外摄像头及手机软件来实现视频的播放和暂停，由此能够方便用户在某些场景下，不需要手动就能实现视频播放和暂停的功能，并能够以全新的交互方式为用户带来便捷。
附图说明
图1表示安装有本发明一实施例的检测眼球注视点可实现视频播放和暂停的控制系统的手机正视图。
图2表示本发明一实施例的检测眼球注视点可实现视频播放和暂停的控制方法的操作步骤流程图。
具体实施方式
以下，结合附图，对本发明的具体实施方式作进一步说明。
图1表示安装有本发明一实施例的检测眼球注视点可实现视频播放和暂停的控制系统的普通手机，标号A表示该手机的纵向屏幕范围，标号B表示横向屏幕范围，在手机屏幕的左上角安装有红外前置摄像头P，手机内部安装有本发明一实施例所述的控制系统。
所述控制系统采用了一套检测眼球运动轨迹的系统，所述控制系统包括手机操作系统、红外前置摄像头P以及处理器，所述红外前置摄像头P检测出眼球状态，并将检测信息传至所述处理器，所述处理器根据眼球状态来控制视频的暂停和播放。
视频文件包括avi、flv、rmvb、3gpp、rm、MP4、MKV格式。
通过检测瞳孔中心来实现视频的播放暂停是该方案的核心技术，具体方法通过数学算法确定人眼瞳孔直径，进而确定瞳孔的中心点。
本发明一实施例所述的控制系统还包括用于判断是否处于视频播放状态的判断模块以及用于计时人下令时长的计时器。
如图2所示，本发明一实施例所述的控制方法包括以下的步骤：
1）判断视频播放状态
在将同时有声音和图像连续输出的状态定义为手机处于视频播放界面的情况下，由判断模块判断手机处于视频播放界面时，向红外摄像头P传达指令，启动摄像头P，开始检测眼球。
2）播放和暂停处理
通过红外线摄像头P来检测眼球是否在屏幕范围内，若瞳孔中心处于手机屏幕范围内，处理器工作控制视频播放；若瞳孔中心不在手机屏幕范围，则通过人脸识别技术来判断嘴巴是否张开；若嘴巴张开，则计时器开始工作，若嘴巴未张开，则处理器工作控制视频暂停。处于视频播放界面时，红外摄像头P一直工作，由于正常人一分钟要眨眼10～20次，每一次眨眼时间为0.2秒～0.4秒，所以在本实施方式中红外摄像每隔0.4秒检测一次。
3）计时
当红外摄像头P检测到嘴巴张开时，计时器开始计时：当计时时间大于5秒时，则传给处理器，处理器工作控制视频暂停。
本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够想到的任何变形、改进、替换均落入本发明的范围。
Claims (1)
1.一种检测眼球注视点可实现视频播放和暂停的控制方法，其特征在于，所述控制方法通过结合检测眼球注视点技术、红外摄像头及手机软件来实现视频的播放和暂停，所述控制方法包括以下的步骤：
步骤1)判断
由所述判断模块判断手机处于视频播放界面时，向红外摄像头传达指令，启动摄像头，开始检测眼球；
步骤2)播放和暂停处理
通过红外线摄像头来检测眼球是否在屏幕范围内，若瞳孔中心处于手机屏幕范围内，处理器控制视频继续播放，且红外摄像头开始工作，红外摄像每隔0.4秒检测一次；若瞳孔中心不在手机屏幕范围，则通过人脸识别技术来判断嘴巴是否张开；当红外摄像头检测到嘴巴张开时，计时器开始计时，当计时时间大于5秒时，则将检测信号传给处理器，处理器开始控制处理以暂停视频的播放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210297450.2A CN102880289B (zh) | 2012-08-20 | 2012-08-20 | 检测眼球注视点可实现视频播放和暂停的控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210297450.2A CN102880289B (zh) | 2012-08-20 | 2012-08-20 | 检测眼球注视点可实现视频播放和暂停的控制系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102880289A CN102880289A (zh) | 2013-01-16 |
| CN102880289B true CN102880289B (zh) | 2016-03-30 |
Family
ID=47481651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210297450.2A Active CN102880289B (zh) | 2012-08-20 | 2012-08-20 | 检测眼球注视点可实现视频播放和暂停的控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102880289B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
| US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| US9521289B2 (en) | 2011-06-10 | 2016-12-13 | Flir Systems, Inc. | Line based image processing and flexible memory system |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
| US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
| US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
| US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
| WO2012170946A2 (en) | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Low power and small form factor infrared imaging |
| US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
| US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
| US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
| US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
| US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
| US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
| US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
| US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
| US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
| US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
| US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
| US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
| US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
| US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
| US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
| US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
| KR101778353B1 (ko) | 2011-06-10 | 2017-09-13 | 플리어 시스템즈, 인크. | 적외선 이미징 장치용 불균일성 교정 기술 |
| US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
| US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| CN104219482B (zh) * | 2013-05-30 | 2017-10-03 | 鸿富锦精密工业（深圳）有限公司 | 视频终端设备及其判断眼神意图的方法 |
| CN103336576B (zh) * | 2013-06-28 | 2016-12-28 | 广州爱九游信息技术有限公司 | 一种基于眼动追踪进行浏览器操作的方法及装置 |
| CN104348970A (zh) * | 2013-09-05 | 2015-02-11 | 陈英时 | 一种利用视线操作手机主页面的方法 |
| CN104348969A (zh) * | 2013-09-05 | 2015-02-11 | 陈英时 | 一种利用视线凝视操作手机的方法 |
| US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
| CN103618944A (zh) * | 2013-11-27 | 2014-03-05 | 乐视网信息技术（北京）股份有限公司 | 一种视频控制方法及用户终端 |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
| CN103914147B (zh) * | 2014-03-29 | 2018-01-05 | 大国创新智能科技(东莞)有限公司 | 眼控视频交互方法和系统 |
| CN105323374A (zh) * | 2015-05-19 | 2016-02-10 | 维沃移动通信有限公司 | 移动终端的多窗口任务执行方法及其移动终端 |
| CN105867610A (zh) * | 2015-12-29 | 2016-08-17 | 乐视致新电子科技（天津）有限公司 | 基于人脸识别的播放控制方法及终端 |
| CN105657500B (zh) * | 2016-01-26 | 2019-12-03 | Oppo广东移动通信有限公司 | 一种视频播放控制方法及装置 |
| CN109618200A (zh) * | 2018-12-24 | 2019-04-12 | 上海闻泰电子科技有限公司 | Vr视频播放控制方法与装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200806029A (en) * | 2006-07-14 | 2008-01-16 | Asustek Comp Inc | Display system and control method thereof |
| CN102207822A (zh) * | 2011-05-04 | 2011-10-05 | 中兴通讯股份有限公司 | 一种人机交互的方法及装置 |
| CN102610184B (zh) * | 2012-03-20 | 2015-01-21 | 华为技术有限公司 | 调整显示状态的方法和设备 |
-
2012
- 2012-08-20 CN CN201210297450.2A patent/CN102880289B/zh active Active
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
| US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| US9521289B2 (en) | 2011-06-10 | 2016-12-13 | Flir Systems, Inc. | Line based image processing and flexible memory system |
| US9538038B2 (en) | 2011-06-10 | 2017-01-03 | Flir Systems, Inc. | Flexible memory systems and methods |
| USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102880289A (zh) | 2013-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102880289B (zh) | 检测眼球注视点可实现视频播放和暂停的控制系统及方法 | |
| CN103513768B (zh) | 一种基于移动终端姿态变化的控制方法及装置、移动终端 | |
| WO2018072339A1 (zh) | 一种虚拟现实头盔和切换虚拟现实头盔显示信息的方法 | |
| CN103500061B (zh) | 控制显示器的方法及设备 | |
| US20160054794A1 (en) | Eye-control reminding method, eye-control image display method and display system | |
| KR102255774B1 (ko) | 제스처들을 이용한 디바이스와의 상호작용 | |
| KR102568708B1 (ko) | 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치 | |
| CN109416562B (zh) | 用于虚拟现实的装置、方法和计算机可读介质 | |
| CN105573487A (zh) | 手表型控制装置 | |
| CN105808997B (zh) | 一种控制方法及电子设备 | |
| CN105511750B (zh) | 一种切换方法及电子设备 | |
| US20110228155A1 (en) | Cosmetic mirror and adjusting method for the same | |
| WO2017088360A1 (zh) | 一种关闭终端的方法及装置 | |
| CN104270623B (zh) | 一种显示方法及电子设备 | |
| TW201428638A (zh) | 顯示裝置及調整顯示裝置觀測距離的方法 | |
| JP2011152593A (ja) | ロボット操作装置 | |
| CN101998081A (zh) | 利用眼睛进行电视屏幕菜单选择的实现方法 | |
| CN104679250B (zh) | 控制电子设备工作状态的方法及装置 | |
| CN104766056A (zh) | 一种人机交互方法、装置及虚拟头戴设备 | |
| CN104768065A (zh) | 电子装置视频播放控制方法 | |
| US9465981B2 (en) | System and method for communication | |
| JP2010239583A (ja) | 通信端末装置、通信端末装置の通信制御方法、通信制御プログラム | |
| CN110177240B (zh) | 一种可穿戴设备的视频通话方法及可穿戴设备 | |
| CN110174937A (zh) | 注视信息控制操作的实现方法及装置 | |
| US20220128813A1 (en) | Eye movement controls in extended reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170302 Address after: 283 No. 523860 Guangdong province Dongguan city Changan town usha BBK Avenue Patentee after: VIVO MOBILE COMMUNICATION CO., LTD. Address before: 126 No. 523860 Guangdong province Dongguan city Changan town usha BBK Avenue Patentee before: Guangdong Bubugao Electronic Industry Co., Ltd. |