CN111951332A - 基于视线估计和双目深度估计的眼镜设计方法及其眼镜 - Google Patents

基于视线估计和双目深度估计的眼镜设计方法及其眼镜 Download PDF

Info

Publication number
CN111951332A
CN111951332A CN202010700130.1A CN202010700130A CN111951332A CN 111951332 A CN111951332 A CN 111951332A CN 202010700130 A CN202010700130 A CN 202010700130A CN 111951332 A CN111951332 A CN 111951332A
Authority
CN
China
Prior art keywords
camera
eyes
binocular
estimation
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010700130.1A
Other languages
English (en)
Other versions
CN111951332B (zh
Inventor
金梅
李清天
张立国
杨曼
胡林
李翔宇
刘强
刘海博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202010700130.1A priority Critical patent/CN111951332B/zh
Publication of CN111951332A publication Critical patent/CN111951332A/zh
Application granted granted Critical
Publication of CN111951332B publication Critical patent/CN111951332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种基于视线估计和双目深度估计的眼镜设计方法，其包括眼睛使用状态判定子步骤和眼镜系统。眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置，然后通过双目摄像头估计所注视位置的距离，从而精准的判断出眼睛是在看近处的紧张状态还是在看远处的放松状态；保障科学使用眼睛的智能眼镜系统是根据眼睛使用状态判定子步骤，分别对眼睛处于紧张和放松状态进行计时，达到设定时长震动提醒，从而保障眼睛在设定的使用和休息时长之间科学使用，达到保护眼睛的效果。本发明通过视线跟踪判断眼睛注视目标并用双目相机估计深度的方式，进一步保障了用户的视力健康，解决了用户因长时间近距离用眼导致视力受损的问题。

Description

基于视线估计和双目深度估计的眼镜设计方法及其眼镜
技术领域
本发明涉及佩戴设备领域，特别涉及一种基于视线估计和双目深度估计的眼镜设计方法及其眼镜。
背景技术
眼疲劳是一种常见的病状，这种症状往往伴随眼干、眼涩、眼酸胀甚至视力低下，直接影响着人们的学习工作生活。随着时代的电子化信息化的发展，手机和电脑逐渐成为人们的生活的必需品，无论是上班族还是老人小孩，人们都容易高时长高频率的使用手机和电脑，而用眼习惯不良是造成眼疲劳的主要原因，我国大部分群体对于用眼卫生和保护眼睛都缺乏一个足够的意识，另外学习工作中人们往往难以意识到自己的眼部疲劳，容易造成用眼过度。近年我国近视比率居高不下。眼睛疲劳健康的问题引起广泛关注。
现有的视力保护子步骤通过都是从用眼的姿势，环境及镜片调节入手，来保障眼睛的健康，然而好的眼睛使用状态只是保护眼睛的一部分，长时间用眼没有放松损害眼健康的问题难以得到有效解决，对眼镜疲劳状态的判断也是一大难题，现有的通过眨眼频率、传感器检测外部环境等方式误差大不精准不及时，对眼疲劳防护的效果比较有限。
发明内容
针对现有技术存在的问题，本发明提供一种基于视线估计和双目深度估计的眼镜设计方法，主要是将视线估计和双目深度估计技术结合，判断用户眼睛的使用状态，通过震动提醒与解除的方式，控制用户眼紧张和放松的时长，从而精确的保障用户在科学的使用和放松时长之间科学用眼，以达到视力保护的效果。
本发明提供了一种基于视线估计和双目深度估计的眼镜设计方法，其包括眼睛使用状态判定子步骤和眼镜系统。所述眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置，然后通过双目摄像头估计所注视位置的距离，从而精准的判断出眼睛是在看近处的紧张状态还是在看远处的放松状态；所述保障科学使用眼睛的智能眼镜系统是根据所述眼睛使用状态判定子步骤，分别对眼睛处于紧张和放松状态进行计时，达到设定时长震动提醒，从而保障眼睛在设定的使用和休息时长之间科学使用，达到保护眼睛的效果，眼镜设计方法的具体实施步骤如下：
S1、基于视线估计和双目深度估计的眼睛使用状态判别方法：
S11、用两个相同的左红外光源发射器和右红外光源发射器的红外光源分别对用户左右眼球发射红外光，并分别用左红外光源发射器和右红外光源发射器对应的红外相机接收；
S12、采用瞳孔角膜反射法进行视线估计，并将估计的视线与眼镜上的场景相机采集的图像的交点对比，确定用户眼球注视的区域；
S13、双目相机采用双目立体匹配算法(SGBM)计算出视差图，然后检测视差图的空洞区域，用附近可靠视差值得均值填充，从而得到良好的视差图，再根据视差和深度的转换表达式计算得到深度图；
S14、将双目相机计算的深度图与场景相机采集的图像进行配准，其中，将深度图的平面像素坐标转换到场景相机图像像素坐标系下，分为三小步；
S141、将双目相机的像素坐标变换到其相机坐标系下，其变换公式为：
Figure RE-GDA0002674469790000021
式中，uL、vL、zL分别用来表示双目相机最终图像像素的横坐标、纵坐标和深度值，xL、yL、zL分别表示对应在双目相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例。
从而双目相机的像素坐标到其相机坐标系的变换公式为：
Figure RE-GDA0002674469790000031
式中，LR为双目相机标定的相机内参矩阵。
S142、将场景相机的像素坐标变换到其相机坐标系下，其变换公式为：
Figure RE-GDA0002674469790000032
式中，uR、vR、zR则分别表示场景相机图像像素的横坐标，纵坐标和深度值，xR、yR、zR分别表示对应在场景相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例。
从而世界坐标系到场景相机坐标系的变换公式为：
Figure RE-GDA0002674469790000033
式中，RR为场景相机标定的内参矩阵；
S143、求出双目相机坐标系到场景相机坐标系的变换，从而将双目相机得到的深度图的平面像素坐标转换到场景相机图像像素坐标，其变换公式为：
双目相机坐标系到场景相机坐标系的变换公式为：
Figure RE-GDA0002674469790000034
式中，M为两个相机光心的外参矩阵；
分别将步骤S141和步骤S142中，双目相机和场景相机像素坐标变换为相机坐标的式子，带入步骤S143中的式子中，整理得到：
Figure RE-GDA0002674469790000041
式中，W为最终整理得到的4×4参数矩阵，将其展开列出：
Figure RE-GDA0002674469790000042
由此双目相机深度图的平面像素坐标转换到场景相机像素坐标的表达式为：
Figure RE-GDA0002674469790000043
Figure RE-GDA0002674469790000044
S15、选取视线估计所估计的用户眼球注视区域中心的二维坐标，在对应深度图中获取深度值；
S151、若深度值大于最大设定值，判定用户眼睛是放松状态；
S152、若深度值小于设定的最小值，则认为用户眼睛是紧张状态。
S2、基于步骤S1的保障科学使用眼睛的智能眼镜的系统：
S21、对视线估计的初始化值进行校准，同时设定眼睛紧张状态和放松状态的设定值；
S22、设定护眼模式和等待模式，所述护眼模式主要设置用户眼睛的使用时长以及休息时长，同时根据用户所处的环境设定用户眼睛的远眺距离；
S23、用户开启使用后，激活智能眼镜系统中的视线估计和双目深度估计，若检测到用户眼睛注视目标距离小于设定的规定值，满足眼睛紧张状态的情况达到30秒后，视为眼睛进入紧张状态，触发系统的计时程序，开始计时；
S24、计时程序达到设定时长，给震动马达一电信号，震动马达启动，持续震动，提醒用户休息；
S25、用户远眺，开始放松眼睛；
S251、智能眼镜系统中的传感器检测到用户眼睛所注视目标距离满足规定的远眺距离，给震动马达电信号，震动马达停止震动，同时触发系统的计时程序，开始计时；
S252、若用户眼睛未达到规定休息时长，震动马达继续震动，智能眼镜系统中的传感器检测到用户眼睛所注视距离满足规定的远眺距离，震动马达停止震动；
S26、若用户眼睛达到规定休息时长，解除震动马达的震动提醒；
S27、若检测用户眼睛注视目标距离小于规定的远眺距离为30秒，进入下步骤S22的等待模式。
可优选的是，在步骤S13中，所述视差和深度的转换表达式为：
Figure RE-GDA0002674469790000051
式中，D为深度值；f表为归一化后的焦距，即内参中的fx；b为两相机光心之间距离，即基线距离；d为视差值。
可优选的是，本发明通过视线估计和双目深度估计，提出一种精准估计眼睛使用状态的判别方法；本发明通过对眼睛紧张和放松状态时长的科学控制，实现了一种较为准确有效的眼镜系统。
本发明的另一方面，提供一种基于视线估计和双目深度估计的眼镜设计方法的眼镜，其包括双目相机、右红外光源发射接收器、左红外光源发射接收器和场景相机，所述双目相机位于眼镜框的上部的中心，所述场景相机位于鼻托的中心，所述左红外光源发射接收器和所述右红外光源发射接收器分别位于眼镜框的左右两端。
可优选的是，所述左红外光源发射接收器的发射接收中心和所述右红外光源发射接收器的发射接收中心分别与左右眼球的中心在同一直线上。
本发明与现有技术相比，具有如下优点：
1.本发明通过视线估计和双目深度估计，直接根据对眼球的状态的观测，判断眼使用状态，从方法原理上直接减小了误差。
2.本发明通过视线跟踪判断眼睛注视目标并用双目相机估计深度的方式，有效的避免了用户在复杂环境远眺，在透过窗户远眺等情况下其他距离探测装置易受干扰的弊端，实现了对于眼睛看近处时紧张和看远处放松状态较为精准的判断，避免了传统方案因对眼状态识别不准确，对距离估计易受干扰，对视力保护效果有限的弊端，同时直接精准控制用眼时长的方式，相比传统方案调整用眼姿势的方式，进一步保障了用户眼睛在科学的使用和放松时长间使用，有效的保护了视力，解决了用户因长时间近距离用眼导致视力受损的问题。
附图说明
图1为本发明基于视线估计和双目深度估计的眼镜设计方法的眼镜结构示意图；
图2为本发明基于视线估计和双目深度估计的眼镜设计方法中眼状态判断流程图；以及
图3为本发明基于视线估计和双目深度估计的眼镜设计方法中眼镜系统流程图。
主要附图标记：
双目相机1，右红外光源发射器2，左红外光源发射器3，场景相机4。
具体实施方式
为详尽本发明之技术内容、所达成目的及功效，以下将结合说明书附图进行详细说明。
基于视线估计和双目深度估计的眼镜设计方法，其包括眼睛使用状态判定子步骤和眼镜系统。如图2所示，眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置，然后通过双目相机1的摄像头估计所注视位置的距离，从而精准的判断出眼睛是在看近处的紧张状态还是在看远处的放松状态；如图3 所示，保障科学使用眼睛的智能眼镜系统是根据眼睛使用状态判定子步骤，分别对眼睛处于紧张和放松状态进行计时，达到设定时长震动提醒，从而保障眼睛在设定的使用和休息时长之间科学使用，达到保护眼睛的效果。
具体而言，本发明的详细实施步骤如下：
S1、基于视线估计和双目深度估计的眼睛使用状态判别方法，如图2所示：
S11、用两个相同的左红外光源发射器3和右红外光源发射器2的红外光源分别对用户左右眼球发射红外光，并分别用左红外光源发射器3和右红外光源发射器2对应的红外相机接收。
S12、采用瞳孔角膜反射法进行视线估计，并将估计的视线与眼镜上的场景相机采集的图像的交点对比，确定用户眼球注视的区域。
S13、双目相机1采用双目立体匹配算法(SGBM)计算出视差图，然后检测视差图的空洞区域，用附近可靠视差值得均值填充，从而得到良好的视差图，再根据视差和深度的转换表达式计算得到深度图。
S14、将双目相机1计算的深度图与场景相机4采集的图像进行配准，其中，将深度图的平面像素坐标转换到场景相机图像像素坐标系下，分为三小步；
S141、将双目相机1的像素坐标变换到其相机坐标系下，其变换公式为：
Figure RE-GDA0002674469790000071
式中，uL、vL、zL分别用来表示双目相机最终图像像素的横坐标、纵坐标和深度值，xL、yL、zL分别表示对应在双目相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例。
从而双目相机的像素坐标到其相机坐标系的变换表达式为：
Figure RE-GDA0002674469790000072
式中，LR为双目相机标定的相机内参矩阵。
S142、将场景相机4的像素坐标变换到其相机坐标系下，其变换公式为：
Figure RE-GDA0002674469790000081
式中，uR、vR、zR则分别表示场景相机图像像素的横坐标，纵坐标和深度值，xR、yR、zR分别表示对应在场景相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例。
从而世界坐标系到场景相机坐标系的变换表达式为：
Figure RE-GDA0002674469790000082
式中，RR为场景相机标定的内参矩阵；
S143、求出双目相机1坐标系到场景相机4坐标系的变换，从而将双目相机1得到的深度图的平面像素坐标转换到场景相机4图像像素坐标，其变换公式为：
双目相机坐标系到场景相机坐标系为：
Figure RE-GDA0002674469790000083
式中，M为两个相机光心的外参矩阵；
分别将步骤S141和步骤S142中，双目相机和场景相机像素坐标变换为相机坐标的式子，带入步骤S143中的式子中，整理得到：
Figure RE-GDA0002674469790000084
Figure RE-GDA0002674469790000091
式中，W为最终整理得到的4×4参数矩阵，将其展开列出：
由此双目相机深度图的平面像素坐标转换到场景相机像素坐标的表达式为：
Figure RE-GDA0002674469790000092
Figure RE-GDA0002674469790000093
S15、选取视线估计所估计的用户眼球注视区域中心的二维坐标，在对应深度图中获取深度值；
S151、若深度值大于最大设定值，判定用户眼睛是放松状态；
S152、若深度值小于设定的最小值，则认为用户眼睛是紧张状态。
S2、基于步骤S1的保障科学使用眼睛的智能眼镜的系统，如图3所示：
S21、对视线估计的初始化值进行校准，同时设定眼睛紧张状态和放松状态的设定值。
S22、设定护眼模式和等待模式，护眼模式主要设置用户眼睛的使用时长以及休息时长，同时根据用户所处的环境设定用户眼睛的远眺距离。
S23、用户开启使用后，激活智能眼镜系统中的视线估计和双目深度估计，若检测到用户眼睛注视目标距离小于设定的规定值，满足眼睛紧张状态的情况达到30秒后，视为眼睛进入紧张状态，触发系统的计时程序，开始计时。
S24、计时程序达到设定时长，给震动马达一电信号，震动马达启动，持续震动，提醒用户休息。
S25、用户远眺，开始放松眼睛；
S251、智能眼镜系统中的传感器检测到用户眼睛所注视目标距离满足规定的远眺距离，给震动马达电信号，震动马达停止震动，同时触发系统的计时程序，开始计时；
S252、若用户眼睛未达到规定休息时长，震动马达继续震动，智能眼镜系统中的传感器检测到用户眼睛所注视距离满足规定的远眺距离，震动马达停止震动。
S26、若用户眼睛达到规定休息时长，解除震动马达的震动提醒。
S27、若检测用户眼睛注视目标距离小于规定的远眺距离为30秒，进入下步骤S23的等待模式。
进一步，步骤S13中所使用的视差和深度的转换表达式为：
Figure RE-GDA0002674469790000101
式中，D为深度值；f表为归一化后的焦距，即内参中的fx；b为两相机光心之间距离，即基线距离；d为视差值。
在眼镜系统中，本发明通过视线估计和双目深度估计，提出一种精准估计眼睛使用状态的判别方法。
优选地，在眼镜系统中，本发明通过对眼睛紧张和放松状态时长的科学控制，实现了一种较为准确有效的眼镜系统。
在本发明的一个优选实施方式中，如图1所示，眼镜，其包括双目相机1、右红外光源发射接收器2、左红外光源发射接收器3和场景相机4，双目相机 1位于眼镜框的上部的中心，场景相机4位于鼻托的中心，左红外光源发射接收器3和右红外光源发射接收器2分别位于眼镜框的左右两端，左红外光源发射接收器3的发射接收中心和右红外光源发射接收器2的发射接收中心分别与左右眼球的中心在同一直线上。
具体而言，在眼镜框左右端分别支出一“L”形支架，将左红外光源发射接收器3和右红外光源发射接收器2分别固定在“L”形支架的短边端，红外光源发射接收器由红外光源和红外相机并排排列组成，眼镜腿为中空结构，震动马达分别位于左右镜腿内腔尾部，控制元件均集成在镜腿内腔。
以下结合实施例对本发明一种基于视线估计和双目深度估计的眼镜设计方法做进一步描述：
如图1所示，本眼镜系统设计方法通过左红外光源发射接收器3和右红外光源发射接收器2中的红外相机对眼球进行视线估计，场景相机4采集所处场景的图像，通过计算所估计的视线与场景相机的交点得到人眼注视点的估计坐标；接着通过双目相机1得到场景的深度图，将深度图与场景相机4采集的图像进行配准，然后将注视点对应深度值提取出来，得到人眼与注视目标的估计距离，从而判断，人眼的晶状体是处于紧张看近处的状态还是放松看远处的状态。
S1、基于视线估计和双目深度估计的眼睛使用状态判别方法，如图2所示：
S11、用两个相同的左红外光源发射器3和右红外光源发射器2的红外光源分别对用户左右眼球发射红外光，并分别用左红外光源发射器3和右红外光源发射器2对应的红外相机接收。
S12、对着左右眼球的左红外光源发射器3和右红外光源发射器2的红外点光源发射红外光，在角膜上形成反射光斑，并且成像在左红外光源发射器3 和右红外光源发射器2的红外相机中，同时对瞳孔区域进行定位，提取出瞳孔的中心和光斑的中心，利用瞳孔角膜反射算法，估计视线方向以及计算出估计的视线与环境相机采集的环境图像的交点，从而得到用户注视点的坐标。
S13、双目相机1先经过立体校正，采用双目立体匹配算法(SGBM)计算出视差图，然后检测视差图的空洞区域，用附近可靠视差值得均值填充，从而得到良好的视差图，再根据视差和深度的转换表达式计算得到深度图。
视差和深度的转换表达式如下：
Figure RE-GDA0002674469790000111
式中，D为深度值；f表为归一化后的焦距，即内参中的fx；b为两相机光心之间距离，即基线距离；d为视差值。
S14、将双目相机计算的深度图与场景相机采集的图像进行配准，选取所估计的用户眼球注视区域中心的二维坐标，在对应深度图中获取深度值，具体转化步骤如下。
S141、首先，将双目相机坐标变换到其相机坐标系：
Figure RE-GDA0002674469790000121
式中，uL、vL、zL分别用来表示双目相机最终图像像素的横坐标、纵坐标和深度值，xL、yL、zL分别表示对应在双目相机坐标系下三个方向的坐标， f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例。
从而双目相机的像素坐标到其相机坐标系：
Figure RE-GDA0002674469790000122
式中，LR为双目相机标定的相机内参矩阵。
S142、然后，将场景相机像素坐标变换到其相机坐标系：
Figure RE-GDA0002674469790000123
式中，uR、vR、zR则分别表示场景相机图像像素的横坐标，纵坐标和深度值，xR、yR、zR分别表示对应在场景相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例。
从而世界坐标系到场景相机坐标系：
Figure RE-GDA0002674469790000131
式中，RR为场景相机标定的内参矩阵；
S143、最后，求出双目相机坐标系到场景相机坐标系的变换，从而将双目相机得到的深度图的平面像素坐标转换到场景相机图像像素坐标。
双目相机坐标系到场景相机坐标系：
Figure RE-GDA0002674469790000132
式中，M为两个相机光心的外参矩阵；
分别将前边的双目相机和场景相机像素坐标变换为相机坐标的式子，带入上式，整理得到：
Figure RE-GDA0002674469790000133
式中，W为最终整理得到的4×4参数矩阵，将其展开列出：
Figure RE-GDA0002674469790000134
由此双目相机深度图的平面像素坐标转换到场景相机像素坐标的表达式为：
Figure RE-GDA0002674469790000135
Figure RE-GDA0002674469790000136
即完成配准。
S15、选取视线估计所估计的用户眼球注视区域中心的二维坐标，在对应深度图中获取深度值；
S151、若深度值大于最大设定值，判定用户眼睛是放松状态；
S152、若深度值小于设定的最小值，则认为用户眼睛是紧张状态。
S2、基于步骤S1的保障科学使用眼睛的智能眼镜的系统，如图3所示：
S21、首先对视线估计模块进行初始化校准，通过平视正前方，盯眼镜边框的四个边(左镜片边缘上下和右镜片边缘上下)，完成校准，同时设定眼睛紧张状态和放松状态的设定值。
S22、系统默认为强制模式，即一直进行使用和放松的交替循环，且为达到设定值会持续震动，直到满足，通过蓝牙连接APP，可进行更改为弱提醒模式即每次震动仅持续3次，以及可以选择工作模式和学生模式。工作模式不限至总时长，学生模式总使用时长达到设定值后，则持续震动直至摘下眼镜，无法再继续使用，同时可选择护眼模式和等待模式，护眼模式主要设置用户眼睛的使用时长以及休息时长，根据所在环境所能够远眺的距离选择检测眼放松时的距离，若所处环境视野受限可选择系统内的低测量值。
S23、用户开启使用后，激活智能眼镜系统中的视线估计和双目深度估计，计算出用户所注视点的距离，来判断用户的用眼状态；若检测到用户眼睛注视目标距离小于设定的规定值，满足眼睛紧张状态的情况达到30秒后，视为眼睛进入紧张状态，触发系统的计时程序，开始计时。
S24、计时程序达到设定时长，给位于眼镜腿部的震动马达一电信号，震动马达启动，持续震动，提醒用户休息，进行眼部放松。
S25、用户远眺，开始放松眼睛；
S251、智能眼镜系统中的传感器检测到用户眼睛所注视目标距离满足规定的远眺距离，给震动马达电信号，震动马达停止震动，同时触发系统的计时程序，开始计时；
S252、若用户眼睛未达到规定休息时长，震动马达继续震动，智能眼镜系统中的传感器检测到用户眼睛所注视距离满足规定的远眺距离，震动马达停止震动。
S26、若用户眼睛达到规定休息时长，解除监控状态，解除震动马达的震动提醒，不再出发马达震动。
S27、若检测用户眼睛注视目标距离小于规定的远眺距离为30秒，进入下步骤S23的等待模式。
本发明利用视线估计和双目深度估计对眼睛的使用状态实现了精准的判断，同时通过控制眼睛使用状态时长的方法，来保障用户科学用眼，劳逸结合，避免了传统方案对眼疲劳识别精度差，设别复杂，方法易受干扰的问题，同时也解决了用眼时间过长带来眼睛视力受损的问题，有效准确的实现视力保护。
以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种基于视线估计和双目深度估计的眼镜设计方法，其包括眼睛使用状态判定子步骤和视力保护子步骤，其特征在于，所述眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置，然后通过双目摄像头估计所注视位置的距离，从而判断出眼睛是在看近处的紧张状态还是在看远处的放松状态；所述视力保护子步骤是根据所述眼睛使用状态判定子步骤，分别对眼睛处于紧张和放松状态进行计时，达到设定时长震动提醒，从而保障眼睛在设定的使用和休息时长之间使用，所述眼镜设计方法的具体实施步骤如下：
S1、基于视线估计和双目深度估计的眼睛使用状态判别方法：
S11、用两个相同的左红外光源发射器和右红外光源发射器的红外光源分别对用户左右眼球发射红外光，并分别用左红外光源发射器和右红外光源发射器对应的红外相机接收；
S12、采用瞳孔角膜反射法进行视线估计，并将估计的视线与眼镜上的场景相机采集的图像的交点对比，确定用户眼球注视的区域；
S13、双目相机采用双目立体匹配算法SGBM计算出视差图，然后检测视差图的空洞区域，用附近可靠视差值得均值填充，从而得到视差图，再根据视差和深度的转换表达式计算得到深度图；
S14、将双目相机计算的深度图与场景相机采集的图像进行配准，其中，将深度图的平面像素坐标转换到场景相机图像像素坐标系下，分为三小步；
S141、将双目相机的像素坐标变换到其相机坐标系下，其变换公式为：
Figure FDA0002592707030000011
式中，uL、vL、zL分别用来表示双目相机最终图像像素的横坐标、纵坐标和深度值，xL、yL、zL分别表示对应在双目相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例；
从而双目相机的像素坐标到其相机坐标系的变换公式为：
Figure FDA0002592707030000021
式中，LR为双目相机标定的相机内参矩阵；
S142、将场景相机的像素坐标变换到其相机坐标系下，其变换公式为：
Figure FDA0002592707030000022
式中，uR、vR、zR则分别表示场景相机图像像素的横坐标，纵坐标和深度值，xR、yR、zR分别表示对应在场景相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例；
从而世界坐标系到场景相机坐标系的变换公式为：
Figure FDA0002592707030000023
式中，RR为场景相机标定的内参矩阵；
S143、求出双目相机坐标系到场景相机坐标系的变换，从而将双目相机得到的深度图的平面像素坐标转换到场景相机图像像素坐标，其变换公式为：
双目相机坐标系到场景相机坐标系的变换公式为：
Figure FDA0002592707030000024
式中，M为两个相机光心的外参矩阵；
分别将步骤S141和步骤S142中，双目相机和场景相机像素坐标变换为相机坐标的式子，带入步骤S143中的式子中，整理得到：
Figure FDA0002592707030000031
式中，W为最终整理得到的4×4参数矩阵，将其展开列出：
Figure FDA0002592707030000032
由此双目相机深度图的平面像素坐标转换到场景相机像素坐标的表达式为：
Figure FDA0002592707030000033
Figure FDA0002592707030000034
S15、选取视线估计所估计的用户眼球注视区域中心的二维坐标，在对应深度图中获取深度值；
S151、若深度值大于最大设定值，判定用户眼睛是放松状态；
S152、若深度值小于设定的最小值，则认为用户眼睛是紧张状态；以及
S2、视力保护子步骤：
S21、对视线估计的初始化值进行校准，同时设定眼睛紧张状态和放松状态的设定值；
S22、设定护眼模式和等待模式，所述护眼模式主要设置用户眼睛的使用时长以及休息时长，同时根据用户所处的环境设定用户眼睛的远眺距离；
S23、用户开启使用后，激活智能眼镜系统中的视线估计和双目深度估计，若检测到用户眼睛注视目标距离小于设定的规定值，满足眼睛紧张状态的情况达到30秒后，视为眼睛进入紧张状态，触发系统的计时程序，开始计时；
S24、计时程序达到设定时长，给震动马达一电信号，震动马达启动，持续震动，提醒用户休息；
S25、用户远眺，开始放松眼睛；
S251、智能眼镜系统中的传感器检测到用户眼睛所注视目标距离满足规定的远眺距离，给震动马达电信号，震动马达停止震动，同时触发系统的计时程序，开始计时；
S252、若用户眼睛未达到规定休息时长，震动马达继续震动，智能眼镜系统中的传感器检测到用户眼睛所注视距离满足规定的远眺距离，震动马达停止震动；
S26、若用户眼睛达到规定休息时长，解除震动马达的震动提醒；
S27、若检测用户眼睛注视目标距离小于规定的远眺距离为30秒，进入下步骤S22的等待模式。
2.根据权利要求1所述的基于视线估计和双目深度估计的眼镜设计方法，其特征在于，在步骤S13中，所述视差和深度的转换表达式为：
Figure FDA0002592707030000041
式中，D为深度值；f表为归一化后的焦距，即内参中的fx；b为两相机光心之间距离，即基线距离；d为视差值。
3.根据权利要求1所述的基于视线估计和双目深度估计的眼镜设计方法，其特征在于，本发明通过视线估计和双目深度估计，提出一种精准估计眼睛使用状态的判别方法；本发明通过对眼睛紧张和放松状态时长的科学控制，实现了一种较为准确有效的眼镜系统。
4.一种根据权利要求1-4所述的基于视线估计和双目深度估计的眼镜设计方法的眼镜，其特征在于，其包括双目相机、右红外光源发射接收器、左红外光源发射接收器和场景相机，所述双目相机位于眼镜框的上部的中心，所述场景相机位于鼻托的中心，所述左红外光源发射接收器和所述右红外光源发射接收器分别位于眼镜框的左右两端。
5.根据权利要求4所述的基于视线估计和双目深度估计的眼镜设计方法的眼镜，其特征在于，所述左红外光源发射接收器的发射接收中心和所述右红外光源发射接收器的发射接收中心分别与左右眼球的中心在同一直线上。
CN202010700130.1A 2020-07-20 2020-07-20 基于视线估计和双目深度估计的眼镜设计方法及其眼镜 Active CN111951332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010700130.1A CN111951332B (zh) 2020-07-20 2020-07-20 基于视线估计和双目深度估计的眼镜设计方法及其眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010700130.1A CN111951332B (zh) 2020-07-20 2020-07-20 基于视线估计和双目深度估计的眼镜设计方法及其眼镜

Publications (2)

Publication Number Publication Date
CN111951332A true CN111951332A (zh) 2020-11-17
CN111951332B CN111951332B (zh) 2022-07-19

Family

ID=73341626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010700130.1A Active CN111951332B (zh) 2020-07-20 2020-07-20 基于视线估计和双目深度估计的眼镜设计方法及其眼镜

Country Status (1)

Country Link
CN (1) CN111951332B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414101A (zh) * 2019-07-15 2019-11-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种仿真场景测量方法、准确性测定方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027752A (zh) * 2008-05-12 2011-04-20 汤姆森特许公司 用于测量立体运动画面的潜在眼睛疲劳的系统和方法
CN104089606A (zh) * 2014-06-30 2014-10-08 天津大学 一种自由空间视线跟踪测量方法
WO2015191183A2 (en) * 2014-06-09 2015-12-17 Roger Wu Vision protection method and system thereof
CN108830943A (zh) * 2018-06-29 2018-11-16 歌尔科技有限公司 一种图像处理方法及虚拟现实设备
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109614953A (zh) * 2018-12-27 2019-04-12 华勤通讯技术有限公司 一种基于图像识别的控制方法、车载设备及存储介质
US20200050266A1 (en) * 2018-08-07 2020-02-13 Shenzhen GOODIX Technology Co., Ltd. Method, apparatus and device for detecting fatigue state
CN110889873A (zh) * 2019-11-26 2020-03-17 中国科学院光电研究院 一种目标定位方法、装置、电子设备及存储介质
CN111027356A (zh) * 2019-03-27 2020-04-17 广东小天才科技有限公司 一种听写内容生成方法、学习设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027752A (zh) * 2008-05-12 2011-04-20 汤姆森特许公司 用于测量立体运动画面的潜在眼睛疲劳的系统和方法
WO2015191183A2 (en) * 2014-06-09 2015-12-17 Roger Wu Vision protection method and system thereof
CN104089606A (zh) * 2014-06-30 2014-10-08 天津大学 一种自由空间视线跟踪测量方法
CN108830943A (zh) * 2018-06-29 2018-11-16 歌尔科技有限公司 一种图像处理方法及虚拟现实设备
US20200050266A1 (en) * 2018-08-07 2020-02-13 Shenzhen GOODIX Technology Co., Ltd. Method, apparatus and device for detecting fatigue state
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109614953A (zh) * 2018-12-27 2019-04-12 华勤通讯技术有限公司 一种基于图像识别的控制方法、车载设备及存储介质
CN111027356A (zh) * 2019-03-27 2020-04-17 广东小天才科技有限公司 一种听写内容生成方法、学习设备及存储介质
CN110889873A (zh) * 2019-11-26 2020-03-17 中国科学院光电研究院 一种目标定位方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FERRAN ARGELAGUET；CARLOS ANDUJAR: "《Visual feedback techniques for virtual pointing on stereoscopic displays》", 《PROCEEDINGS OF THE 16TH ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY》 *
PETR KELLNHOFER，PIOTR DIDYK，TOBIAS RITSCHEL，AND ET AL.: "《Motion parallax in stereo 3D: model and applications》", 《ACM TRANSACTIONS ON GRAPHICS》 *
蔡方方: "《基于双目立体视觉的自由空间视线跟踪方法研究》", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414101A (zh) * 2019-07-15 2019-11-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种仿真场景测量方法、准确性测定方法及系统

Also Published As

Publication number Publication date
CN111951332B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
US10795184B2 (en) Apparatus and method for improving, augmenting or enhancing vision
US10048750B2 (en) Content projection system and content projection method
US10690945B2 (en) Method for optimizing an optical lens equipment for a wearer
KR102469507B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP5651386B2 (ja) 眼鏡型表示装置
CN105579884B (zh) 用于确定人的两个眼睛的瞳孔中间点的方法和眼镜
US9961335B2 (en) Pickup of objects in three-dimensional display
KR101836409B1 (ko) 기준 자세를 추정하는 방법
KR20160022921A (ko) 모바일 디바이스 착용 시의 머리 움직임 추적
WO2015043274A1 (en) Imaging to facilitate object observation
US20160247322A1 (en) Electronic apparatus, method and storage medium
US9928421B2 (en) Method for helping determine the vision parameters of a subject
JPWO2016132804A1 (ja) 視力検査装置および視力検査システム
US11676422B2 (en) Devices, systems and methods for predicting gaze-related parameters
US20220280035A1 (en) Device and method for mapping of visual scene onto projection surface
CN111951332B (zh) 基于视线估计和双目深度估计的眼镜设计方法及其眼镜
KR20200027187A (ko) Vr을 이용한 안과검사방법 및 시스템
CN111474740A (zh) 一种基于眼球追踪的视距检测自动变焦系统及方法
JP5652973B1 (ja) 双眼ルーペの製作方法
WO2022103767A1 (en) Determining gaze depth using eye tracking functions
US11200713B2 (en) Systems and methods for enhancing vision
CN111417893B (zh) 用于检验眼科镜片在镜架中的安装的方法和组件
KR20200141230A (ko) 스테레오 비전을 이용한 안경 제작용 인체 데이터 측정장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant