CN110801202A - 一种基于单向透视镜的眼动追踪视频拍摄系统 - Google Patents

一种基于单向透视镜的眼动追踪视频拍摄系统 Download PDF

Info

Publication number
CN110801202A
CN110801202A CN201910994926.XA CN201910994926A CN110801202A CN 110801202 A CN110801202 A CN 110801202A CN 201910994926 A CN201910994926 A CN 201910994926A CN 110801202 A CN110801202 A CN 110801202A
Authority
CN
China
Prior art keywords
eye
eye movement
way perspective
system based
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910994926.XA
Other languages
English (en)
Inventor
刘昱
李振君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910994926.XA priority Critical patent/CN110801202A/zh
Publication of CN110801202A publication Critical patent/CN110801202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，该系统包括左右目镜(3)(4)、左右液晶显示屏(6)(7)以及双眼眼动采集模块；其中：所述双眼眼动采集模块包括第一、第二单向透视镜(11)(12)、左右眼红外摄像头(9)(16)整体系统电路控制单元(10)及红外LED光源(5)：所述双眼眼动采集模块用于高精度同步采集测试者在3D视频刺激下的眼动数据，所述整体系统电路控制单元(10)用于接收左右摄像头(9)(16)所采集的眼动数据进行同步云端上传。本发明可高精度同步采集3D视频刺激下的双眼眼动数据，眼动信息采集的可靠性较高。

Description

一种基于单向透视镜的眼动追踪视频拍摄系统
技术领域
本发明涉及眼动仪器仪表技术领域，特别涉及一种裸眼高清3D视频刺激下的非接触/非头戴双眼眼动采集技术。
背景技术
人眼视觉系统是人类感知外部世界最重要的渠道。视觉系统将感知到的外部世界的影像传递至大脑，大脑和神经系统对影像内容进行理解，并驱动视觉系统对大脑所感兴趣的内容进行视觉关注。因此，人眼视觉系统对外部世界的关注活动(眼球运动)可以在一定程度上反映人类大脑及神经系统的活动。
人眼视觉系统采用双眼感知时，利用视差感知立体世界。众多研究表明，在感知立体世界时，由于视觉系统需要驱动双眼配合感知深度信息，双眼的眼球运动比单眼感知二维世界时的更加复杂。相对于二维图像刺激，立体图像刺激下的眼球运动能更准确的反映大脑和神经系统活动情况。
眼动仪(Eye Tracker，ET)是眼动分析中常用的仪器，在向被测试者呈现特定的图像刺激的同时，采集被测试者的眼动信息。通过采集眼睛运动信息，并应用不同的算法分析和计算各类测试指标，眼动仪可以为不同的应用和研究提供分析报告。
目前，市场主要存在两种类型的眼动仪：桌面式眼动仪及头戴式眼动仪。桌面式眼动仪为非接触式，内置于或连接至显示器。而头戴式眼动仪是由内只有眼动仪的轻型帽子或眼镜，以及内置视频摄像机。然而，目前市面上现有的眼动仪，均无法提供高质量的立体图像刺激，且结构笨重、移动不灵活、穿戴体验感差，亦即无法满足医疗辅助所需的实验条件。
立体视频呈现最简单的方式是采用立体电视、立体投影等，但上述方式的场景都无法满足实验需要，抗干扰性差，眼动信息采集的可靠性较低。
发明内容
本发明的目的在于提出一种基于单向透视镜的眼动追踪视频拍摄系统，利用高清裸眼3D显示光路，实现了双眼眼动视频采集，采集结果用于进行眼动追踪的拍摄。
1.本发明的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，该系统包括左右目镜3、4、左右液晶显示屏6、7以及双眼眼动采集模块；其中：
所述双眼眼动采集模块用于高精度同步采集测试者在3D视频刺激下的眼动数据，其包括第一、第二单向透视镜11、12、左右眼红外摄像头9、16、整体系统电路控制单元10及红外LED光源5：两个相同的左、右眼红外摄像头9、16，置于左右单向透视镜透镜面13、14的一侧，用于采集观察者眼部运动图像；两个单向透视镜垂直设置，垂直相交边处设有视线隔板8；整体系统电路控制单元10位于左右眼红外摄像头9、16后侧，用于处理所采集到的视频图像；左右红外LED光源5、15置于凸透镜即左右目镜3、4上方；
所述整体系统电路控制单元10，分别包括一个播放板，用于提供立体视频源；一个FPGA分屏板，用于将立体视频源图像进行左右切割，一分为二并输送到左右液晶显示屏上6、7；一个多路摄像头编码板，用于接收左右摄像头9、16所采集的眼动数据进行同步云端上传。
本发明有益效果在于：
(1)本发明可提供高质量的立体图像刺激，严格设计参数，满足医疗辅助所需的实验条件；
(2)本发明可高精度同步采集3D视频刺激下的双眼眼动数据，眼动信息采集的可靠性较高。
附图说明
图1为本发明实施例的整体结构框图。
附图标记：
1、2、左、右单向透视镜反射镜面，3、4、左、右目镜，5、15、左、右红外LED光源，6、7、左、右液晶显示屏，8、视线隔板，9、16、左、右眼红外摄像头，10、整体系统电路控制单元，11、12、第一单向透视镜、第二单向透视镜、13、14、左、右单向透视镜透视镜面。
具体实施方式
下面结合附图和实施例对本发明技术方案进行详细描述。
如图1所示，本发明的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统包括左右目镜3、4、左右液晶显示屏6、7以及双眼眼动采集模块。其中所述双眼眼动采集模块用于高精度同步采集测试者在3D视频刺激下的眼动数据，其包括第一、第二单向透视镜11、12、左右眼红外摄像头9、整体系统电路控制单元10及红外LED光源5：两个相同的左、右眼红外摄像头9、16，置于左右单向透视镜透镜面13、14的一侧，用于采集观察者眼部运动图像，整体系统电路控制单元10位于左右眼红外摄像头9、16后侧，用于处理所采集到的视频图像；左右红外LED光源5、15置于凸透镜即左右目镜3、4上方，用于为眼动采集提供光源。凸透镜的作用是基于不同的视觉场以及在局部空间中营造出不同的画面深度感知，在用户大脑视觉系统中形成一个立体3D视场，此处放置红外光源是为了配合红外摄像头进行眼动数据采集。
两个单向透视镜垂直设置，垂直相交边处设有视线隔板8。
所述单向透视镜的入光面视场角θ1的取值范围为18°～22°，所述单向透视镜的出光面视场角θ2的取值范围为40°～50°，所述单向透视镜的出瞳距离D的取值范围为50-70毫米，所述透镜的焦距f的取值范围为100毫米～150毫米，所述单向透视镜的长为L透，所述透镜的宽为W透，所述显示屏的长为L显，所述显示屏的宽为W显，所述透镜和显示屏的距离所述透镜至反光镜光轴交点的距离为L1，所述反光镜光轴交点至显示屏中点的距离为L2，且满足关系式：0.35<L1/L2<1.50。
所述电路控制单元分别包括一个播放板用于提供立体视频源，一个FPGA分屏板，用于将立体视频源图像进行左右切割，一分为二并输送到左右液晶显示屏上6、7，一个多路摄像头编码板，用于接收左右摄像头9所采集的眼动数据进行同步云端上传。
作为优选，所述左、右显示光路中心距L取值范围为60-70毫米，首选为65毫米。
作为优选，所述透镜与显示屏垂直设置。
作为优选，所述显示屏分辨率大于1280*720，首选1920*1080，3840*2160，使得观看到的图像分辨率高，画质清晰。
作为优选，所述LED光源为红外灯光源。该眼动追踪系统主要通采用红外LED光源可以避免可见光源对立体视频播放环境的影响，同时利于摄像头的眼动信息捕捉。由于红外效应，人眼瞳孔附近产生一个普尔钦斑，结合眼动算法可以更加方便地校准被测试人员的注视点位置。
作为优选，所述摄像头为高分辨率红外摄像头，用于同步采集左、右眼高分辨率眼动数据。
单向透视镜(即半反半透镜)，即一面用于反射光线，起到镜子的作用，另外一面用于透射光线，起到透视镜的作用。利用单向透视镜反射镜面1实现裸眼3D效果，
实施例：
左目镜3和右目镜4直对左目反光镜1和右目反光镜2，左目反光镜1和右目反光镜2之间呈90度夹角；左液晶显示屏6和右液晶显示屏6的鲜湿面分别与左目反光镜1和右目反光镜2的镜面相对，并且横向设置。人的左眼和右眼的视线分别通过左目镜3和右目镜4透射至左目反光镜1和右目反光镜2，由于左目反光镜1和右目反光镜2之间的夹角为90度，从而使得左目反光镜1和右目反光镜2的镜面分别呈45度与左、右目镜3、4相对，而90度设置的左、右目反光镜1、2又将人的左眼和右眼发出的视线反射到左、右液晶显示屏6、7播出的画面上，由于人的两眼有65毫米左右的间距，所以看到同一物体不同角度的两幅图像，经人大脑合成产生立体视觉感。
利用视线隔板8，将人的左、右眼发射的视线隔开，避免左眼余光看到右光路和右眼余光看到左光路，确保进入人大脑的左、右光路不混淆，观看立体视频大脑不发晕。
利用单向透视镜透视镜面13、红外LED加上940nm红外摄像头捕捉，结合电路控制单元进行同步视频编码，便能在提供3D视频刺激的同时拍下眼动信息。解决了多数眼动仪无法在提供3D视频刺激的同时进行眼动追踪的问题，利用单向透视镜的半反半透效果，单向透视镜反射面提供3D视频，单向透视镜透射面用于眼动拍摄。
该眼动追踪系统主要通过多个红外LED照射用户眼睛，并利用摄像头传感器捕获反射光，这样系统就能计算用户瞳孔的位置，并得出用户的注视点方向。
采用红外LED光源可以避免可见光源对立体视频播放环境的影响，同时利于摄像头的眼动信息捕捉。由于红外效应，人眼瞳孔附近产生一个普尔钦斑，结合眼动算法可以更加方便地校准被测试人员的注视点位置。

Claims (8)

1.一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，该系统包括左右目镜(3)(4)、左右液晶显示屏(6)(7)以及双眼眼动采集模块；其中：
所述双眼眼动采集模块用于高精度同步采集测试者在3D视频刺激下的眼动数据，其包括第一、第二单向透视镜(11)(12)、左右眼红外摄像头(9)(16)整体系统电路控制单元(10)及红外LED光源(5)：两个相同的左、右眼红外摄像头(9)(16)，置于左右单向透视镜透镜面(13)(14)的一侧，用于采集观察者眼部运动图像；两个单向透视镜垂直设置，垂直相交边处设有视线隔板(8)；整体系统电路控制单元(10)位于左右眼红外摄像头(9)(16)后侧，用于处理所采集到的视频图像；左右红外LED光源(5)(15)置于凸透镜即左右目镜(3)(4)上方；
所述整体系统电路控制单元(10)，分别包括一个播放板，用于提供立体视频源；一个FPGA分屏板，用于将立体视频源图像进行左右切割，一分为二并输送到左右液晶显示屏上(6)(7)；一个多路摄像头编码板，用于接收左右摄像头(9)(16)所采集的眼动数据进行同步云端上传。
2.如权利要求1所述的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，作为优选，所述单向透视镜的入光面视场角θ1的取值范围为18°～22°，出光面视场角θ2的取值范围为40°～50°，出瞳距离D的取值范围为50-70毫米，焦距f的取值范围为100毫米～150毫米。
3.如权利要求1所述的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，作为优选，所述透镜和显示屏的距离所述透镜至反光镜光轴交点的距离为L1，所述反光镜光轴交点至显示屏中点的距离为L2，且满足关系式：0.35<L1/L2<1.50。
4.如权利要求1所述的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，作为优选，所述左、右显示光路中心距L取值范围为60-70毫米，首选为65毫米。
5.如权利要求1所述的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，作为优选，所述透镜与显示屏垂直设置。
6.如权利要求1所述的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，作为优选，所述显示屏分辨率大于1280*720，特别首选1920*1080，3840*2160。
7.如权利要求1所述的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，作为优选，所述光源为红外灯光源。
8.如权利要求1所述的一种基于单向透视镜的高清裸眼3D眼动追踪视频拍摄系统，其特征在于，作为优选，所述摄像头为高分辨率红外摄像头，用于同步采集左、右眼高分辨率眼动数据。
CN201910994926.XA 2019-10-18 2019-10-18 一种基于单向透视镜的眼动追踪视频拍摄系统 Pending CN110801202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910994926.XA CN110801202A (zh) 2019-10-18 2019-10-18 一种基于单向透视镜的眼动追踪视频拍摄系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910994926.XA CN110801202A (zh) 2019-10-18 2019-10-18 一种基于单向透视镜的眼动追踪视频拍摄系统

Publications (1)

Publication Number Publication Date
CN110801202A true CN110801202A (zh) 2020-02-18

Family

ID=69488639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910994926.XA Pending CN110801202A (zh) 2019-10-18 2019-10-18 一种基于单向透视镜的眼动追踪视频拍摄系统

Country Status (1)

Country Link
CN (1) CN110801202A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584123A (zh) * 2020-12-07 2021-03-30 西诺医疗器械集团有限公司 一种双目裸眼3d视频灯
WO2024222146A1 (zh) * 2023-04-25 2024-10-31 温州市人民医院 一种三维眼动检测方法和分析系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2385451A (en) * 2002-02-13 2003-08-20 Loadpoint Ltd Monitoring drowsiness
CN205181314U (zh) * 2015-03-14 2016-04-27 中国科学院苏州生物医学工程技术研究所 一种便携式双目瞳孔检测装置
CN205333973U (zh) * 2015-12-29 2016-06-22 杭州立体世界科技有限公司 高清裸眼3d立体私人影院显示装置
CN109645955A (zh) * 2019-01-31 2019-04-19 北京大学第三医院（北京大学第三临床医学院） 基于vr和眼动追踪的多功能视觉功能检测装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2385451A (en) * 2002-02-13 2003-08-20 Loadpoint Ltd Monitoring drowsiness
CN205181314U (zh) * 2015-03-14 2016-04-27 中国科学院苏州生物医学工程技术研究所 一种便携式双目瞳孔检测装置
CN205333973U (zh) * 2015-12-29 2016-06-22 杭州立体世界科技有限公司 高清裸眼3d立体私人影院显示装置
CN109645955A (zh) * 2019-01-31 2019-04-19 北京大学第三医院（北京大学第三临床医学院） 基于vr和眼动追踪的多功能视觉功能检测装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584123A (zh) * 2020-12-07 2021-03-30 西诺医疗器械集团有限公司 一种双目裸眼3d视频灯
WO2024222146A1 (zh) * 2023-04-25 2024-10-31 温州市人民医院 一种三维眼动检测方法和分析系统

Similar Documents

Publication Publication Date Title
CN103995356B (zh) 一种真实立体感的光场头盔显示装置
US7428001B2 (en) Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US11178380B2 (en) Converting a monocular camera into a binocular stereo camera
CN104090371A (zh) 一种3d眼镜及3d显示系统
WO2012115301A1 (ko) 3차원 안경렌즈와 이를 이용한 안경
SG178785A1 (en) An imaging device and method
CN110801202A (zh) 一种基于单向透视镜的眼动追踪视频拍摄系统
CN106291960A (zh) 能多距离观看的立体视检查方法和装置
Mueller-Richter et al. Possibilities and limitations of current stereo-endoscopy
JP2001290101A (ja) 奥行き方向視点調節意志検出と意志駆動方式および遠近自動補正眼鏡
EP3200003A1 (en) Glasses-free 3d display device
Pietrzak et al. Three-dimensional visualization in laparoscopic surgery.
Cutolo et al. The role of camera convergence in stereoscopic video see-through augmented reality displays
JP2018042755A (ja) 立体画像提示装置、及び眼科装置
CN111885367A (zh) 显示装置及应用方法
USRE32487E (en) Binocular presentation of visual information
CN105049833B (zh) 一种采用对称可调式背光结构的立体视检查方法和装置
CN110769243A (zh) 一种高清裸眼3d立体视频刺激下的双眼眼动采集系统
RU181214U1 (ru) Устройство для создания стереоскопического изображения
RU2609285C1 (ru) Способ формирования многопланового изображения и мультифокальный стереоскопический дисплей
CN111812857A (zh) 显示装置、方法与应用
Kwon et al. Three‐dimensional visualization system for ophthalmic microscopes using visible light and near‐infrared illumination
Ando et al. Evaluation of HOE for head-mounted display
JP7408202B1 (ja) 頭部装着型視認装置
Kojima et al. Comparison of simultaneous measurement of lens accommodation and convergence in stereoscopic target with sine curve movement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200218

WD01 Invention patent application deemed withdrawn after publication