CN105007424A - 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 - Google Patents
一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 Download PDFInfo
- Publication number
- CN105007424A CN105007424A CN201510437197.XA CN201510437197A CN105007424A CN 105007424 A CN105007424 A CN 105007424A CN 201510437197 A CN201510437197 A CN 201510437197A CN 105007424 A CN105007424 A CN 105007424A
- Authority
- CN
- China
- Prior art keywords
- camera
- eye tracking
- user
- eye
- focusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备，第一人称摄像头实现连续记录拍摄，通过眼球跟踪摄像头对用户的眼球位置进行跟踪，并根据眼球位置对画面相对应的位置进行对焦，这样就能清晰地拍摄到用户真正在关注的内容，记录更加清晰、真实、准确。
Description
技术领域
本发明涉及连续记录影像领域，特别是一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备。
背景技术
人生记录，是通过技术设备和手段，以时间、地理信息活动内容等为线索对一个人的生活进行自动的影音和地理位置记录，为了实现人生记录，需要连续录制视频、影像。
目前有多种设备能够进行长时间影音的录制，例如手机、数码相机、数码录像机、运动摄像机、行车记录仪等。这些设备可以记录视频和照片。所记录的视频和照片可以用于对生活的记录。目前现有的摄影设备均具有自动对焦的功能，一般是对拍摄画面正中央位置进行对焦处理，但是画面正中央的位置很多时候并不是用户眼球正在观察的位置，这时就会出现所对焦的地方并不是用户所需观察的地方，如系统对焦的地方是画面正中央的山丘，而用户眼球所观察的地方却是山丘前的人，这时就会出现人像发虚的现象，不能清晰地拍摄用户真正所关注的影像和画面。
发明内容
为解决上述问题，本发明的目的在于提供能根据用户眼球位置自动进行对焦的一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备。
本发明解决其问题所采用的技术方案是：
一种基于眼球跟踪的自动对焦系统，包括用于控制拍摄及对拍摄数据进行处理的摄像系统、用于对用户当前影像进行拍摄的第一人称摄像头、和用于捕捉用户眼球运动画面的眼球跟踪摄像头，所述第一人称摄像头、眼球跟踪摄像头连接至摄像系统，所述摄像系统根据眼球跟踪摄像头所捕捉到的用户眼球位置控制第一人称摄像头相应的对焦位置。
进一步， 所述眼球跟踪摄像头设置有两个，分别对应用户的左眼和右眼。
进一步，对应用户的左眼、右眼分别设置有多个眼球跟踪摄像头。
一种基于眼球跟踪的自动对焦方法，包括以下步骤：
A：基于眼球跟踪的拍摄观察用户眼球画面；
B：摄像系统通过图像分析获取眼球瞳孔在画面的坐标位置EFx、EFy；
C:将眼球瞳孔坐标位置EFx、Efy换算映射在第一人称摄像画面中的对应位置CFx、Cfy；
D：摄像系统控制第一人称摄像头在上述对应位置坐标区域进行对焦。
一种基于眼球跟踪的自动对焦可穿戴设备，包括用户固定在用户头上的佩戴主体，所述佩戴主体上设置有用于对用户当前影像进行拍摄的第一人称摄像头，所述佩戴主体相对于用户左眼、右眼的位置上各设置有用于捕捉用户眼球运动画面的眼球跟踪摄像头，还包括用于控制拍摄及对拍摄数据进行处理的摄像系统，所述第一人称摄像头、眼球跟踪摄像头连接至摄像系统，所述摄像系统根据眼球跟踪摄像头所捕捉到的用户眼球位置控制第一人称摄像头相应的对焦位置。
进一步，所述佩戴主体为眼镜，包括眉梁和设置于眉梁中央两侧的镜腿，所述第一人称摄像头设置于眉梁中央相对于用户面部朝外的侧部上，所述眼球跟踪摄像头设置于眉梁中央朝向用户眼球方向的一侧上。
进一步，所述摄像系统包括控制CPU，和与控制CPU连接的存储模块、电源模块和通信模块。
进一步，所述通信模块为有线数据接口、wifi模块、蓝牙模块、NFC模块的一种或多种组合。
进一步，所述存储模块包括SD卡存储器和FLASH存储模块。
本发明的有益效果是：本发明采用的一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备，第一人称摄像头实现连续记录拍摄，通过眼球跟踪摄像头对用户的眼球位置进行跟踪，并根据眼球位置对画面相对应的位置进行对焦，这样就能清晰地拍摄到用户真正在关注的内容，记录更加清晰、真实、准确。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明可穿戴设备的立体结构视图；
图2是本发明的可穿戴设备的俯视图；
图3是发明的系统原理框图；
图4是本发明的方法流程图；
图5是本发明的第一使用状态视图;
图6是本发明的第一使用状态对应的对焦画面视图;
图7是本发明的第二使用状态视图;
图8是本发明的第二使用状态对应的对焦画面视图。
具体实施方式
参照图1- 图3，本发明的一种基于眼球跟踪的自动对焦系统，包括用于控制拍摄及对拍摄数据进行处理的摄像系统、用于对用户当前影像进行拍摄的第一人称摄像头1、和用于捕捉用户眼球运动画面的眼球跟踪摄像头2，所述第一人称摄像头1、眼球跟踪摄像头2连接至摄像系统，所述摄像系统根据眼球跟踪摄像头2所捕捉到的用户眼球位置控制第一人称摄像头1相应的对焦位置，能清晰地拍摄到用户真正在关注的内容，记录更加清晰、真实。其中第一人称摄像头1的摄像镜头视场为S1，眼球跟踪摄像头2的摄像镜头视场为S2。
由于用户是采用双眼进行观察的，因此分别设置有眼球跟踪摄像头2Ⅰ和眼球跟踪摄像头2Ⅱ，分别对应用户的左眼和右眼。而为了实现更精准的测算和对焦，对应用户的左眼Y1、右眼Y2可以配置多个眼球跟踪摄像头2，对用户的眼球位置进行更准确的跟踪，而为了拍摄多角度或具有立体效果的图像画面，所述第一人称摄像头1可设置有多个。
参照图4所示，本发明一种基于眼球跟踪的自动对焦方法，包括以下步骤：
A：基于眼球跟踪的拍摄观察用户眼球画面；
B：摄像系统通过图像分析获取眼球瞳孔在画面的坐标位置EFx、EFy；
C:将眼球瞳孔坐标位置EFx、Efy换算映射在第一人称摄像画面中的对应位置CFx、Cfy；
D：摄像系统控制第一人称摄像头1在上述对应位置坐标区域进行对焦。
其中步骤C中的换算映射方式可以采用很多方法实现，例如根据EFx、EFy进行等比例换算成CFx、Cfy投影确定对焦点在拍摄画面上的位置。
一种基于眼球跟踪的自动对焦可穿戴设备，包括用户固定在用户头上的佩戴主体3，所述佩戴主体3上设置有用于对用户当前影像进行拍摄的第一人称摄像头1，所述佩戴主体3相对于用户左眼、右眼的位置上各设置有用于捕捉用户眼球运动画面的眼球跟踪摄像头2，还包括用于控制拍摄及对拍摄数据进行处理的摄像系统，所述第一人称摄像头1、眼球跟踪摄像头2连接至摄像系统，所述摄像系统根据眼球跟踪摄像头2所捕捉到的用户眼球位置控制第一人称摄像头1相应的对焦位置。
具体地，所述佩戴主体3为眼镜，包括眉梁31和设置于眉梁31中央两侧的镜腿32，所述第一人称摄像头1设置于眉梁31中央相对于用户面部朝外的侧部上，所述眼球跟踪摄像头2设置于眉梁31中央朝向用户眼球方向的一侧上。采用眼镜作为可穿戴设备的主体，佩戴十分方便，而且能准确地反应当前用户头部的面向位置，使用效果好。
进一步，所述摄像系统包括控制CPU，和与控制CPU连接的存储模块、电源模块和通信模块。所述通信模块为有线数据接口、wifi模块、蓝牙模块、NFC模块的一种或多种组合。本发明摄像系统可以通过多种通信方式实现影像的传输。而为了在拍摄影像的同时能同步录制声音数据，所述佩戴主体3上还设置有录音模块。
进一步，所述存储模块包括SD卡存储器和FLASH存储模块。
参照图5至图8所示，本发明自动跟踪对焦的工作过程如下：
图5为眼球跟踪摄像头2所拍摄的眼球跟踪拍摄画面，通过识别用户眼球通孔在画面上的位置，即可得出其眼球位置坐标EFx1、Efy1，参照图6所示，通过对坐标EFx1、Efy1进行换算后，得到在拍摄画面的对焦坐标位置CFx1、Cfy1，从而得到对焦框D1落在前景的人脸上，从而对人脸进行对焦。
参照图7所示，通过识别用户眼球通孔在画面上的位置，得出其眼球位置坐标EFx2、Efy2，参照图8所示，通过对坐标EFx2、Efy2进行换算后，得到在拍摄画面的对焦坐标位置CFx2、Cfy2，从而得到对焦框D2落在深景的山丘上，从而对山丘进行对焦。
本发明通过眼球跟踪摄像头2对用户的眼球位置进行跟踪，并根据眼球位置对画面相对应的位置进行对焦，这样就能清晰地拍摄到用户真正在关注的内容，记录更加清晰、真实、准确。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。
Claims (9)
1.一种基于眼球跟踪的自动对焦系统，其特征在于：包括用于控制拍摄及对拍摄数据进行处理的摄像系统、用于对用户当前影像进行拍摄的第一人称摄像头（1）、和用于捕捉用户眼球运动画面的眼球跟踪摄像头（2），所述第一人称摄像头（1）、眼球跟踪摄像头（2）连接至摄像系统，所述摄像系统根据眼球跟踪摄像头（2）所捕捉到的用户眼球位置控制第一人称摄像头（1）相应的对焦位置。
2.根据权利要求1所述的一种基于眼球跟踪的自动对焦系统，其特征在于：所述眼球跟踪摄像头（2）设置有两个，分别对应用户的左眼和右眼。
3.根据权利要求1所述的一种基于眼球跟踪的自动对焦系统，其特征在于：对应用户的左眼、右眼分别设置有多个眼球跟踪摄像头（2）。
4.一种基于眼球跟踪的自动对焦方法，其特征在于包括以下步骤：
A：基于眼球跟踪的拍摄观察用户眼球画面；
B：摄像系统通过图像分析获取眼球瞳孔在画面的坐标位置EFx、EFy；
C:将眼球瞳孔坐标位置EFx、Efy换算映射在第一人称摄像画面中的对应位置CFx、Cfy；
D：摄像系统控制第一人称摄像头（1）在上述对应位置坐标区域进行对焦。
5.一种基于眼球跟踪的自动对焦可穿戴设备，其特征在于：包括用户固定在用户头上的佩戴主体（3），所述佩戴主体（3）上设置有用于对用户当前影像进行拍摄的第一人称摄像头（1），所述佩戴主体（3）相对于用户左眼、右眼的位置上各设置有用于捕捉用户眼球运动画面的眼球跟踪摄像头（2），还包括用于控制拍摄及对拍摄数据进行处理的摄像系统，所述第一人称摄像头（1）、眼球跟踪摄像头（2）连接至摄像系统，所述摄像系统根据眼球跟踪摄像头（2）所捕捉到的用户眼球位置控制第一人称摄像头（1）相应的对焦位置。
6.根据权利要求5所述的一种基于眼球跟踪的自动对焦可穿戴设备，其特征在于：所述佩戴主体（3）为眼镜，包括眉梁（31）和设置于眉梁（31）中央两侧的镜腿（32），所述第一人称摄像头（1）设置于眉梁（31）中央相对于用户面部朝外的侧部上，所述眼球跟踪摄像头（2）设置于眉梁（31）中央朝向用户眼球方向的一侧上。
7.根据权利要求5所述的一种基于眼球跟踪的自动对焦可穿戴设备，其特征在于：所述摄像系统包括控制CPU，和与控制CPU连接的存储模块、电源模块和通信模块。
8.根据权利要求7所述的一种基于眼球跟踪的自动对焦可穿戴设备，其特征在于：所述通信模块为有线数据接口、wifi模块、蓝牙模块、NFC模块的一种或多种组合。
9.根据权利要求7所述的一种基于眼球跟踪的自动对焦可穿戴设备，其特征在于：所述存储模块包括SD卡存储器和FLASH存储模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510437197.XA CN105007424A (zh) | 2015-07-22 | 2015-07-22 | 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510437197.XA CN105007424A (zh) | 2015-07-22 | 2015-07-22 | 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105007424A true CN105007424A (zh) | 2015-10-28 |
Family
ID=54379925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510437197.XA Pending CN105007424A (zh) | 2015-07-22 | 2015-07-22 | 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105007424A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106454087A (zh) * | 2016-10-09 | 2017-02-22 | 努比亚技术有限公司 | 一种拍摄装置和方法 |
| CN107092346A (zh) * | 2017-03-01 | 2017-08-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107277376A (zh) * | 2017-08-03 | 2017-10-20 | 上海闻泰电子科技有限公司 | 摄像头动态拍摄的方法及装置 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101004487A (zh) * | 2005-12-24 | 2007-07-25 | 丛繁滋 | 眼镜在视力康复过程中的新用途、制备方法及其使用方法 |
| CN101084857A (zh) * | 2006-11-17 | 2007-12-12 | 北京嘉铖视欣近视防治研究中心 | 互动凝视视觉训练系统及方法 |
| CN101520690A (zh) * | 2006-09-08 | 2009-09-02 | 索尼株式会社 | 图像获取和显示设备以及图像获取和显示方法 |
| CN202795232U (zh) * | 2012-09-17 | 2013-03-13 | 武汉元宝创意科技有限公司 | 一种基于视线追踪技术的演示系统 |
| CN103020983A (zh) * | 2012-09-12 | 2013-04-03 | 深圳先进技术研究院 | 一种用于目标跟踪的人机交互装置及方法 |
| CN103207664A (zh) * | 2012-01-16 | 2013-07-17 | 联想(北京)有限公司 | 一种图像处理方法和设备 |
| CN103246044A (zh) * | 2012-02-09 | 2013-08-14 | 联想(北京)有限公司 | 一种自动对焦方法、系统及具有该系统的照相机和摄像机 |
| CN103500012A (zh) * | 2013-10-17 | 2014-01-08 | 中国科学技术大学 | 头戴式眼动数据获取装置 |
| CN103645806A (zh) * | 2013-12-24 | 2014-03-19 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪的商品浏览方法及系统 |
| CN103731659A (zh) * | 2014-01-08 | 2014-04-16 | 百度在线网络技术（北京）有限公司 | 头戴式显示设备 |
| CN103748598A (zh) * | 2011-05-20 | 2014-04-23 | 爱福露恩斯公司 | 用于识别视线跟踪场景参考位置的系统和方法 |
| CN103795926A (zh) * | 2014-02-11 | 2014-05-14 | 惠州Tcl移动通信有限公司 | 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备 |
| CN103792661A (zh) * | 2013-12-20 | 2014-05-14 | 香港应用科技研究院有限公司 | 用于头戴式显示器的集成双传感光学结构 |
| CN103888163A (zh) * | 2012-12-22 | 2014-06-25 | 华为技术有限公司 | 一种眼镜式通信装置、系统及方法 |
| CN104007820A (zh) * | 2014-05-26 | 2014-08-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104036668A (zh) * | 2014-05-15 | 2014-09-10 | 北海市鑫业智能科技有限公司 | 一种智能汽车模拟驾驶装置 |
| CN104065951A (zh) * | 2013-12-26 | 2014-09-24 | 北京金山网络科技有限公司 | 视频拍摄方法、视频播放方法及智能眼镜 |
| CN104125405A (zh) * | 2014-08-12 | 2014-10-29 | 罗天明 | 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法 |
| CN104469152A (zh) * | 2014-12-02 | 2015-03-25 | 广东欧珀移动通信有限公司 | 穿戴式设备的自动摄像方法及系统 |
-
2015
- 2015-07-22 CN CN201510437197.XA patent/CN105007424A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101004487A (zh) * | 2005-12-24 | 2007-07-25 | 丛繁滋 | 眼镜在视力康复过程中的新用途、制备方法及其使用方法 |
| CN101520690A (zh) * | 2006-09-08 | 2009-09-02 | 索尼株式会社 | 图像获取和显示设备以及图像获取和显示方法 |
| CN101084857A (zh) * | 2006-11-17 | 2007-12-12 | 北京嘉铖视欣近视防治研究中心 | 互动凝视视觉训练系统及方法 |
| CN103748598A (zh) * | 2011-05-20 | 2014-04-23 | 爱福露恩斯公司 | 用于识别视线跟踪场景参考位置的系统和方法 |
| CN103207664A (zh) * | 2012-01-16 | 2013-07-17 | 联想(北京)有限公司 | 一种图像处理方法和设备 |
| CN103246044A (zh) * | 2012-02-09 | 2013-08-14 | 联想(北京)有限公司 | 一种自动对焦方法、系统及具有该系统的照相机和摄像机 |
| CN103020983A (zh) * | 2012-09-12 | 2013-04-03 | 深圳先进技术研究院 | 一种用于目标跟踪的人机交互装置及方法 |
| CN202795232U (zh) * | 2012-09-17 | 2013-03-13 | 武汉元宝创意科技有限公司 | 一种基于视线追踪技术的演示系统 |
| CN103888163A (zh) * | 2012-12-22 | 2014-06-25 | 华为技术有限公司 | 一种眼镜式通信装置、系统及方法 |
| CN103500012A (zh) * | 2013-10-17 | 2014-01-08 | 中国科学技术大学 | 头戴式眼动数据获取装置 |
| CN103792661A (zh) * | 2013-12-20 | 2014-05-14 | 香港应用科技研究院有限公司 | 用于头戴式显示器的集成双传感光学结构 |
| CN103645806A (zh) * | 2013-12-24 | 2014-03-19 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪的商品浏览方法及系统 |
| CN104065951A (zh) * | 2013-12-26 | 2014-09-24 | 北京金山网络科技有限公司 | 视频拍摄方法、视频播放方法及智能眼镜 |
| CN103731659A (zh) * | 2014-01-08 | 2014-04-16 | 百度在线网络技术（北京）有限公司 | 头戴式显示设备 |
| CN103795926A (zh) * | 2014-02-11 | 2014-05-14 | 惠州Tcl移动通信有限公司 | 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备 |
| CN104036668A (zh) * | 2014-05-15 | 2014-09-10 | 北海市鑫业智能科技有限公司 | 一种智能汽车模拟驾驶装置 |
| CN104007820A (zh) * | 2014-05-26 | 2014-08-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104125405A (zh) * | 2014-08-12 | 2014-10-29 | 罗天明 | 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法 |
| CN104469152A (zh) * | 2014-12-02 | 2015-03-25 | 广东欧珀移动通信有限公司 | 穿戴式设备的自动摄像方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106454087A (zh) * | 2016-10-09 | 2017-02-22 | 努比亚技术有限公司 | 一种拍摄装置和方法 |
| CN106454087B (zh) * | 2016-10-09 | 2019-10-29 | 努比亚技术有限公司 | 一种拍摄装置和方法 |
| CN107092346A (zh) * | 2017-03-01 | 2017-08-25 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107092346B (zh) * | 2017-03-01 | 2021-12-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107277376A (zh) * | 2017-08-03 | 2017-10-20 | 上海闻泰电子科技有限公司 | 摄像头动态拍摄的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11860511B2 (en) | Image pickup device and method of tracking subject thereof | |
| CN104469152B (zh) | 穿戴式设备的自动摄像方法及系统 | |
| US9374529B1 (en) | Enabling multiple field of view image capture within a surround image mode for multi-LENS mobile devices | |
| US8817134B2 (en) | Imaging control device, subject detection method, and program | |
| US20160140768A1 (en) | Information processing apparatus and recording medium | |
| CN204948206U (zh) | 一种基于眼球跟踪的自动对焦系统及其可穿戴设备 | |
| CN104125405B (zh) | 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法 | |
| US20140368695A1 (en) | Control device and storage medium | |
| CN103795933B (zh) | 一种图像处理方法及电子设备 | |
| US10254842B2 (en) | Controlling a device based on facial expressions of a user | |
| US8896670B2 (en) | Image processing device, image processing method, and program | |
| CN104580874B (zh) | 一种摄像设备及其实现拍照的方法 | |
| CN103905709A (zh) | 一种控制电子设备的方法及电子设备 | |
| CN105007424A (zh) | 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 | |
| CN107277463A (zh) | 基于智能眼镜的视频采集平台 | |
| CN105072478A (zh) | 一种基于可穿戴设备的人生记录系统及其方法 | |
| WO2019128400A1 (zh) | 控制智能眼镜拍摄视角移动的方法 | |
| CN102790857A (zh) | 影像处理方法 | |
| CN103442173A (zh) | 低亮环境下相机的拍照方法及装置 | |
| CN106559614A (zh) | 拍照的方法、装置及终端 | |
| CN104484051A (zh) | 基于穿戴式眼镜视线的室内实时营销指挥方法和系统 | |
| CN104506766A (zh) | 一种摄像装置及其对焦补偿的方法 | |
| CN209044219U (zh) | 一种基于眼球追踪技术的放大式眼镜 | |
| CN111885303A (zh) | 一种主动跟踪录摄像视觉方法 | |
| CN206906788U (zh) | 一种可穿戴拍照辅助设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151028 |