CN109965843B - 一种基于滤波传像的眼动系统 - Google Patents
一种基于滤波传像的眼动系统 Download PDFInfo
- Publication number
- CN109965843B CN109965843B CN201910193707.1A CN201910193707A CN109965843B CN 109965843 B CN109965843 B CN 109965843B CN 201910193707 A CN201910193707 A CN 201910193707A CN 109965843 B CN109965843 B CN 109965843B
- Authority
- CN
- China
- Prior art keywords
- image
- human eye
- filtering
- iris
- image transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 78
- 238000001914 filtration Methods 0.000 title claims abstract description 52
- 230000004424 eye movement Effects 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 35
- 239000012535 impurity Substances 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 210000001747 pupil Anatomy 0.000 claims abstract description 9
- 230000003321 amplification Effects 0.000 claims abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 3
- 239000013307 optical fiber Substances 0.000 claims description 45
- 239000000835 fiber Substances 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 19
- 210000003128 head Anatomy 0.000 claims description 17
- 238000003708 edge detection Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 10
- 210000000554 iris Anatomy 0.000 description 37
- 238000004458 analytical method Methods 0.000 description 12
- 239000006185 dispersion Substances 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 10
- 210000000744 eyelid Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 210000000720 eyelash Anatomy 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 239000011162 core material Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Vascular Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于滤波传像的眼动系统，包括透镜、依次设置于所述透镜前方的滤波传像装置、成像透镜组、成像器件和图像处理装置；所述透镜获取被试者观察不同点时的初始人眼图像，并将所述初始人眼图像传入所述滤波传像装置的入瞳；所述滤波传像装置将所述初始人眼图像以光路传播至所述成像透镜组，并在传播的过程将图像中干扰虹膜检测的噪声滤除；所述成像透镜组接收所述光路，放大成像后获得二级人眼图像，并传入所述成像器件；所述成像器件接收所述二级人眼图像，将其进行光电转化成视频信号导入所述图像处理装置检测被试者的视线落点。本发明所述的基于滤波传像的眼动系统具有能够滤除杂质噪声，精准测试出被试者视线落点的优点。
Description
技术领域
本发明涉及视线追踪领域，特别是涉及一种基于滤波传像的眼动系统。
背景技术
眼动测试就是通过视线追踪技术，也称为眼动跟踪技术，监测用户在看特定目标时的眼睛运动和注视方向，并进行相关分析的过程。视线追踪技术是利用机械、电子、光学等技术手段获取被试者“视觉注意”方向的技术，在认知障碍诊断和人机交互领域有着广泛的应用，如人机交互、虚拟现实、广告学、车辆辅助驾驶、心理与生理学研究等。视线追踪的研究范畴涉及图像处理与分析、计算机视觉、光学、心理学与解剖学等众多领域的专业知识，技术手段需融合多种生物特征识别技术，是典型的多学科交叉性研究课题。按照系统构成和采用的检测方法不同，视线追踪技术可以粗略地划分为侵入式和非侵入式。侵入式视线追踪系统对人的干扰较大，甚至会引起人身体上的不适感。随着相关技术的发展，基于数字视频分析的非侵入式视线追踪系统以其对人的干扰小、操作方便、精度较高等优点成为当前研究的热点方向。
而视线追踪技术的主要研究内容是如何实时、客观、准确地记录被试者当前的视线方向或视线落点位置。早期测量手段比较匮乏时，研究人员多使用诸如机械记录法、电磁记录法、电流记录法等侵入式方法来检测和记录眼动数据。随着机器视觉和数字图像处理技术的迅速发展，利用数字摄像机记录眼动过程并采用图像处理方法分析视线方向的光学记录法得到广泛应用。非侵入式方法主要是在封闭的暗室内或者晚上采用红外光作为光源，利用外部的摄像机获取人眼图像，通过对人眼图像做图像处理得到瞳孔特征点，并对瞳孔做椭圆拟合，找到瞳孔中心位置，从而估算出视线落点位置。随着医学的不断发展和所需条件要求不断的提高，很多医学检测需要在明亮的场景以及强磁场空间内进行，此时的CCD等有源成像器件会对医疗检测产生干扰，需用自然光替代红外光做光源，而用自然光做光源时在获取眼睛图像过程中会产生对实验精度造成不良影响的杂质噪声，导致无法精准地测试出被试者视线落点。
发明内容
基于此，本发明的目的在于，提供一种基于滤波传像的眼动系统，其具有能够滤除杂质噪声，精准测试出被试者视线落点的优点。
一种基于滤波传像的眼动系统，包括透镜、依次设置于所述透镜前方的滤波传像装置、成像透镜组、成像器件和图像处理装置；所述透镜获取被试者观察不同点时的初始人眼图像，并将所述初始人眼图像传入所述滤波传像装置的入瞳；所述滤波传像装置将所述初始人眼图像以光路传播至所述成像透镜组，并在传播的过程将图像中干扰虹膜检测的噪声滤除；所述成像透镜组接收所述光路，放大成像后获得二级人眼图像，并传入所述成像器件；所述成像器件接收所述二级人眼图像，将其进行光电转化成视频信号导入所述图像处理装置检测被试者的视线落点；所述图像处理装置接收所述视频信号还原获得人眼虹膜图像，并检测人眼虹膜中心的位置，确定被试者的视线落点；所述检测人眼虹膜中心位置的步骤为：对所述人眼虹膜图像进行灰度处理和二值化处理以获得黑白图像；对所述黑白图像做边缘检测提取虹膜轮廓；预设一定半径的特定区域，并在特定区域内对圆的参数组进行投票；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心。
本发明所述的基于滤波传像的眼动系统，通过滤波传像装置将初始人眼图像中携带的杂质噪声滤除，获得更清晰的人眼图像，从而更精准测试出被试者视线落点。
进一步地，预设一定半径的特定区域，并在特定区域内对圆的参数组(x，y，r)进行投票，其中圆的极坐标形式为：
其中p为虹膜的宽度，q为虹膜的高度；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心。
进一步地，所述滤波传像装置为传像光纤束；所述传像光纤束中的各条光纤将所述初始人眼图像分割成细微像元，并以光路传播至所述成像透镜组。
进一步地，所述传像光纤束传播所述细微像元时，将直径小于所述细微像元直径的杂质滤除，以获得更清晰的人眼虹膜轮廓。
进一步地，所述传像光纤束的直径与所述透镜的通光孔径相匹配，使得传像光纤束与透镜之间形成良好的图像对接，保证图像的完整度。
进一步地，还包括位于透镜后侧的头托；所述头托用于固定被试者的头部。
进一步地，还包括设置于所述头托的正前方的显示屏；所述显示屏用于显示实验点供被试者观察。该方法提供特定实验点供被试者观察，更有利于对测试数据的分析。
进一步地，所述成像器件为CCD图像传感器。
进一步地，所述滤波传像系统包括位于所述透镜后端的滤波器和传像器；所述滤波器将所述初始人眼图像中的噪声滤除，并传入所述传像器；所述传像器将噪声滤除后的所述初始人眼图像传递至所述成像透镜组。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明所述的基于滤波传像的眼动系统的系统框图；
图2为本发明所述组合式滤波传像装置的结构示意图；
图3为未加滤波传像光纤束时对特殊点的拟合图；
图4为基于滤波传像光纤束的与图3所示的相同特殊点的拟合图；
图5为未加滤波传像光纤束时选取的五组数据纵坐标的变化曲线图；
图6为基于滤波传像光纤束的选取的五组数据纵坐标的变化曲线图；
图7为未加滤波传像光纤束时的二十组数据取均值后做的标准误差曲线图；
图8为基于滤波传像光纤束的二十组数据取均值后做的标准误差曲线图；
图9为未加滤波传像光纤束时的二十组数据取均值后做的残差分析图；
图10为基于滤波传像光纤束的二十组数据取均值后做的残差分析图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
请参阅图1，其是本发明所述的基于滤波传像的眼动系统的系统框图。
本发明所述的基于滤波传像的眼动系统，包括头托10、依次设置于所述头托10前方的透镜20、滤波传像装置30、成像透镜组40、成像器件50、图像处理装置60和显示屏70。
所述头托10设置于透镜20后侧，用于固定被试者的头部，使其免于晃动而影响成像。
所述透镜20通过支架支撑，并位于所述头托10的前方7-15厘米处，透镜的焦距为4毫米。所述透镜20用于获取被试者观察不同点时的初始人眼图像，并将所述初始人眼图像传入所述滤波传像装置30的入瞳。
所述滤波传像装置30位于所述透镜20前侧的焦平面处，将所述初始人眼图像以光路传播至所述成像透镜组40，并在传播的过程中将图像中干扰虹膜检测的噪声滤除。
所述滤波传像装置30同时具备滤波和传像功能，其中传像功能使得眼动系统中的有源器件和无源器件可以远距离分开，适用于某些极端情况的应用，如存在强磁场而使得有源器件无法工作的情况；其滤波功能使得被测者眼睛的光学图像的某些影响实验精度的图像噪声被弱化，甚至被滤除，从而实现对被试者视线落点更加精准地估计。具体地，人眼图像中的噪声可以为人眼虹膜周围的睫毛、眼睑、光纤表面的微小缺陷及污染物、或其他影响成像质量的杂质。
在一个实施例中，所述滤波传像装置30可以为由一定数量的光纤按照一一对应地顺序排列组合而成的传像光纤束。所述传像光纤束中的各条光纤将所述初始人眼图像分割成细微像元，将所述细微像元以光路的形式传播至所述成像透镜组，并在像元的传播过程中将直径小于所述细微像元直径的杂质滤除。例如，单根光纤的直径约为10um，睫毛的直径约为70um，成像到光纤束输入端面上时缩小到原来的二十五分之一，则为2.8um，小于单根光纤的直径而无法分辨，因此，经过传像光纤束的传播后，睫毛可以被过滤掉。实验过程中的其他杂质基于同样的原理也可以滤除。
该传像光纤束中光纤数量的多少是能否将图像完整、清晰传播的关键所在，光纤数量太少分割成的像元数量就少，即传像分辨率较低，无法清晰的传播图像，就会对实验造成影响；光纤数量太多，所分割成的像元数量就太多，即传像分辨率较高，无法将人眼图像中的杂质滤除，也会对实验造成影响。因此，本实施例中，该传像光纤束中光纤的长度截取为30cm，直径为2000±120um，所包含光纤的具体数量为13000根，将初始人眼图像分割成13000个像元以光路的形式来传播，满足实验需求。该传像光纤束的核心材料为PMMA，即聚甲基丙烯酸甲酯；复合材料为氟化高聚物；数值孔径为0.5，可传播光波长范围为可见光波段，因此，加入传像光纤束后的眼动实验可在自然光下进行，不需要采用红外光作为光源。在该传像光纤束的外部还有一层黑色保护套，厚度为0.4mm，材质为聚乙烯。该传像光纤束不仅可以传导自然光还可以传导图像，且价格低廉，适用于低成本运作；同时因其材质为塑料，硬度较低，在端面受污染或有刻痕的情况下可用刀子切割和光纤研磨纸研磨，使用方便。
由于该传像光纤束的材质为塑料，柔软度好，可弯曲的自由度高，且质量轻，本传像光纤束可以随意弯曲，达到改变光路的作用。因此，本眼动系统可根据不同用途做成桌面式、头戴式等多种形式的眼动仪，用于设计图像处理与分析、计算机视觉、光学、心理学与解剖学等多种场合以及某些狭小空间的应用。另外，传像光纤束不受电磁辐射影响，因此可利用其将图像从强磁场区域中传输出来，避免了CCD等有源器件受强磁场的干扰而无法工作，可见采用传像光纤束传像的眼动系统可应用于强磁场环境下。
在其他实施例中，请参阅图2，其是本发明所述组合式滤波传像装置的结构示意图。所述滤波传像装置30还可以是由滤波器和传像器组合而成，具体包括位于所述透镜20的焦平面上的滤波器和传像器；所述滤波器将所述初始人眼图像中的噪声滤除，并传入所述传像器；所述传像器将噪声滤除后的所述初始人眼图像传递至所述成像透镜组。具体地，所述滤波器可以为固定频率或者可调谐的低通滤波器，可以将图像中的高频噪声过滤掉，凸显有用信息使得物像得到改善。所述传像器可以由多块相互错开放置的平面镜组合构成，以改变光路将人眼图像进行传播。
所述成像透镜组40位于所述传像光纤束的后端，接收所述传像光纤束传播过来的光路，成像放大后获得二级人眼图像，并传入所述成像器件50。所述成像透镜组40的焦距可调，体型轻便，并通过固定支架支撑，高度和方向均可以任意调节，以便于调节传像光纤束的距离和契合度。
所述成像器件50接收所述二级人眼图像，将其进行光电转化成视频信号导入所述图像处理装置60检测被试者的视线落点。具体地，所述成像器件可以为摄像管、CCD(电荷耦合器件)、SSPD(自扫描光电二极管阵列)等具有视频信号输出的成像器件。本实施例中的成像器件为CCD5，CCD5通过USB接口将人眼图像导入到图像处理装置60中进行数据处理。
所述图像处理装置60接收所述视频信号，还原获得人眼虹膜图像，针对不完整的虹膜图像，采用霍夫圆变换法进行拟合，以检测人眼虹膜中心的位置，确定被试者的视线落点。本实施例中，所述图像处理装置60为计算机。霍夫圆变换法为：对一个圆来说，需要用三个参数来表示，即：C(xcenter，ycenter，r)，这里的(xcenter，ycenter)为圆的圆心坐标，r为圆的半径，如此，一个唯一的圆就被定义了。具体步骤为：
(1)用图像处理方法将原图像进行灰度处理，对灰度处理后的图像做二值化处理；
(2)对二值化处理后的眼睛图像做边缘检测，并进行轮廓提取；
(3)轮廓提取后，将图像中所有边界点设为(xi，yi)。其中取值为0的点作为非边界点，取值为255的点作为边界点；
(4)对圆的参数组(x，y，r)进行投票的过程即是对圆的检测过程。设圆的极坐标形式为：
(5)在参数空间中，找到参数x，y，r对应的单元，找到后将其所在的单元的累加器加一；
(6)当图像中所有点都完成步骤(3)和(4)后，检查参数空间里每个累加器的值，最大值表示此组参数得到的投票数最多，值最大的单元即为圆心坐标和半径。用数学形式表示，即当H(x0，y0，R)＝max(H(x，y，r))，则圆形的坐标为(x0，y0)，半径为r；一旦在某一个r下面检测到圆，那么r的值也就随之确定，最终确定圆。
具体地，本实施例中，所述检测人眼虹膜中心位置的步骤为：对所述人眼虹膜图像进行灰度处理和二值化处理以获得黑白图像；对所述黑白图像做边缘检测提取虹膜轮廓；预设一定半径的特定区域，并在特定区域内对圆的参数组(x，y，r)进行投票，其中圆的极坐标形式为：
其中p为虹膜的宽度，q为虹膜的高度；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心。
其中二值化处理具体为：预设阈值，将大于阈值的像素点用白色表示，将小于阈值的像素点用黑色表示，该阈值可根据图片需要手动改变。二值化处理后的图像为黑白图像，即其中的虹膜是黑色的，其他内容为白色。另外，为了研究方便，还可以采用对二值化取反的方式对图像进行处理，即背景设为黑色，目标图设为白色来进行处理。
所述显示屏70设置于所述头托的正前方，用于显示实验点供被试者观察。本实施例中，显示屏中显示9个不同的测试点供被试者观察，以拍摄出被试者观察不同点时的人眼图像。
以下从眼动实验进行描述，本实验为基于所述滤波传像的眼动系统所做的实验。具体的实验过程如下：
实验中，首先对被试者进行定标，将定标点坐标代入传统的二次多项式模型求参，在验证实验中代入求出的参数，求出人眼在屏幕上的估计视线落点；对含有某些特殊点的行或列分别求坐标点，单独分析得出规律。
具体地，本实验采用九点定标九点验证方法，显示屏上显示出供被试者观察的九个测试点；被试者眼睛随着九个测试点转移视线，CCD5成像器件读取经前置透镜和传像光纤束传播的人眼图像，将被试者观察不同测试点的人眼图像的每一帧记录下来；并对获取的人眼图像进行霍夫圆变换，检测到虹膜中心，确定眼睛的视线落点。
本实验中采用自然光做光源，解决了红外光不被允许，以及被试者对红外线过敏的问题；同时，由于在自然光下，瞳孔的检测会存在困难，因此本实验中采用检测虹膜中心位置来代替瞳孔中心的位置。当被试者眼睛的视线落在屏幕上一些拐角的点(以下称为特殊点)时，人眼的睫毛、眼睑与虹膜之间的轮廓会影响拟合效果导致视线落点估计产生偏差。如图3所示，其是未加滤波传像光纤束时对特殊点的拟合图，此时虹膜被眼睑遮住的部分无法拟合。为了有效地改善这种误差，选取分辨率处于一定范围内的传像光纤束做传递图像的导体。如图4所示，其是基于滤波传像光纤束的与图3所示的相同特殊点的拟合图，当图像通过传像光纤束时，人眼睫毛被滤掉，眼睑与虹膜之间的轮廓被弱化，虹膜被眼睑遮住部分对整体拟合的影响较小。
进一步，为了验证采用传像光纤束传像时，在某些特殊点体现出的过滤睫毛和弱化眼睑与虹膜之间轮廓的优势，选取了包含特殊点的一行测试点，即在显示屏上显示为一行五列的五个测试点，被试者视线方向随这五个点的变化而变化。分别获取被试者观察这五个点时的人眼图像，并对人眼图像做霍夫圆变换，得出视线估计坐标，选取各个点的纵坐标作比较，画出趋势图。具体请参阅图5和图6，其中图5为未加滤波传像光纤束时选取的五组数据纵坐标的变化曲线图，图6为基于滤波传像光纤束的选取的五组数据纵坐标的变化曲线图。由图5中可以看出，未加滤波传像光纤束时，拟合过程中前四个点的纵坐标相差不大，只有轻微的上下抖动，到第五个点由于无法拟合虹膜被眼睑遮住的部分，导致纵坐标产生一个突增，与前四个点的纵坐标明显有一个较大差值。而基于滤波传像光纤束的眼动系统，同行的五个点一直在同一水平线上上下波动，不存在突变的情况。同时，请参阅图7和图8，其中图7为未加滤波传像光纤束时的二十组数据取均值后做的标准误差曲线图；图8为基于滤波传像光纤束的二十组数据取均值后做的标准误差曲线图。可见，图7和图8中也验证了上述中第五个点由于无法拟合虹膜被眼睑遮住的部分，导致纵坐标产生突增，与前四个点的纵坐标明显有一个较大差值的情况。
为进一步说明这种突变的存在，还对未加传像光纤束和基于滤波传像光纤束的各二十组实验数据进行方差、标准差与离散系数对比，如表1和表2所示，其中表1为未加传像光纤束的实验数据；表2为基于滤波传像光纤束的实验数据。
| 方差 | 9.4464437 |
| 标准差 | 2.749028003 |
| 离散系数 | 0.014309418 |
表1
| 方差 | 1.3634173 |
| 标准差 | 0.998883951 |
| 离散系数 | 0.004046194 |
表2
从表1和表2中可以看出未加光纤束的方差和离散系数都比较大，说明点的偏离程度较大；而基于传像光纤束的方差和离散系数较小，说明点的偏离程度较小。
进一步地，对未加传像光纤束的每组数据除去特殊点的其余四个点做方差与离散系数分析，发现方差减小为原来的三分之一，而离散系数减小为原来的二分之一左右。而对于基于滤波传像光纤束的每组数据除去第五个点后前四个点的方差与离散系数几乎无变化。如表3和表4所示，其中表3为未加传像光纤束除去特殊点的数据，表4为加传像光纤束除去特殊点的数据。
| 方差 | 3.14745025 |
| 标准差 | 1.536420414 |
| 离散系数 | 0.008047341 |
表3
| 方差 | 1.3634173 |
| 标准差 | 0.998883951 |
| 离散系数 | 0.004046194 |
表4
从表3和表4中可以看出，自然光下某些特殊点的视线落点估计得到了很好地改善。
为进一步说明增加传像光纤束后对特殊点的拟合时出现的问题，分别对未加传像光纤束和加传像光纤束的各二十组数据用matlab做残差分析，请参与图9和图10，其中图9为未加滤波传像光纤束时的二十组数据取均值后做的残差分析图；图10为基于滤波传像光纤束的二十组数据取均值后做的残差分析图。从残差分析图可以看出数据的残差离零点的远近，当残差的置信区间均包含零点，这说明回归模型能较好的符合原始数据，否则视为异常点。从图9中可明显看出未加传像光纤束的第五个点，即特殊点偏离较远，为异常点；而图10中基于传像光纤束的五个点都在零点附近波动，无异常点显示。可见，加入传像光纤束后有效改善了人眼睫毛、眼睑对虹膜轮廓检测的影响。
本发明所述的基于滤波传像的眼动系统，利用滤波传像装置对光学图像进行传播并滤除杂质噪声，能够更精确地找到虹膜中心的位置进而估算出被试者视线落点位置。同时，本眼动系统还可根据不同用途做成桌面式、头戴式等多种形式的眼动仪，用于设计图像处理与分析、计算机视觉、光学、心理学与解剖学等多种场合，还可以做成光电分离的形式应用于某些要求较高的环境下，如医学上用于医疗检测的要求无金属器件干扰的强磁场空间等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (8)
1.一种基于滤波传像的眼动系统，其特征在于：包括透镜、依次设置于所述透镜前方的滤波传像装置、成像透镜组、成像器件和图像处理装置；所述透镜获取被试者观察不同点时的初始人眼图像，并将所述初始人眼图像传入所述滤波传像装置的入瞳；所述滤波传像装置将所述初始人眼图像以光路传播至所述成像透镜组，并在传播的过程将图像中干扰虹膜检测的噪声滤除；所述成像透镜组接收所述光路，放大成像后获得二级人眼图像，并传入所述成像器件；所述成像器件接收所述二级人眼图像，将其进行光电转化成视频信号导入所述图像处理装置检测被试者的视线落点；
所述图像处理装置接收所述视频信号还原获得人眼虹膜图像，并检测人眼虹膜中心的位置，确定被试者的视线落点；其中，所述检测人眼虹膜中心位置的步骤为：对所述人眼虹膜图像进行灰度处理和二值化处理以获得黑白图像；对所述黑白图像做边缘检测提取虹膜轮廓；预设一定半径的特定区域，并在特定区域内对圆的参数组进行投票；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心；所述预设一定半径的特定区域，并在特定区域内对圆的参数组进行投票，包括：
预设一定半径的特定区域，并在特定区域内对圆的参数组(x，y，r)进行投票；其中，
圆的极坐标形式为：
其中，p为虹膜的宽度，q为虹膜的高度；找到投票最多的参数组所对应的圆，将该圆的中心确定为虹膜中心。
2.根据权利要求1所述的基于滤波传像的眼动系统，其特征在于：所述滤波传像装置为传像光纤束；所述传像光纤束中的各条光纤将所述初始人眼图像分割成细微像元，并以光路传播至所述成像透镜组。
3.根据权利要求 2所述的基于滤波传像的眼动系统，其特征在于：所述传像光纤束传播所述细微像元时，将直径小于所述细微像元直径的杂质滤除。
4.根据权利要求2所述的基于滤波传像的眼动系统，其特征在于：所述传像光纤束的直径与所述透镜的通光孔径相匹配。
5.根据权利要求1所述的基于滤波传像的眼动系统，其特征在于：还包括位于透镜后侧的头托；所述头托用于固定被试者的头部。
6.根据权利要求5所述的基于滤波传像的眼动系统，其特征在于：还包括设置于所述头托的正前方的显示屏；所述显示屏用于显示实验点供被试者观察。
7.根据权利要求1所述的基于滤波传像的眼动系统，其特征在于：所述成像器件为CCD图像传感器。
8.根据权利要求1所述的基于滤波传像的眼动系统，其特征在于：所述滤波传像装置包括位于所述透镜后端的滤波器和传像器；所述滤波器将所述初始人眼图像中的噪声滤除，并传入所述传像器；所述传像器将噪声滤除后的所述初始人眼图像传递至所述成像透镜组。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910193707.1A CN109965843B (zh) | 2019-03-14 | 2019-03-14 | 一种基于滤波传像的眼动系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910193707.1A CN109965843B (zh) | 2019-03-14 | 2019-03-14 | 一种基于滤波传像的眼动系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109965843A CN109965843A (zh) | 2019-07-05 |
| CN109965843B true CN109965843B (zh) | 2022-05-24 |
Family
ID=67078881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910193707.1A Expired - Fee Related CN109965843B (zh) | 2019-03-14 | 2019-03-14 | 一种基于滤波传像的眼动系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109965843B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117137427A (zh) * | 2023-08-31 | 2023-12-01 | 深圳市华弘智谷科技有限公司 | 一种基于vr的视力检测方法及装置、智能眼镜 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366157A (zh) * | 2013-05-03 | 2013-10-23 | 马建 | 一种人眼视线距离的判断方法 |
| CN104274151A (zh) * | 2013-07-05 | 2015-01-14 | 索尼公司 | 视线检测装置和视线检测方法 |
| CN104921697A (zh) * | 2015-05-18 | 2015-09-23 | 华南师范大学 | 一种人眼视线纵向距离的快速测量方法 |
| CN105739705A (zh) * | 2016-02-04 | 2016-07-06 | 重庆邮电大学 | 一种车载系统人眼控制方法及装置 |
| CN105955465A (zh) * | 2016-04-25 | 2016-09-21 | 华南师范大学 | 一种桌面便携式视线跟踪方法及装置 |
| JP6062688B2 (ja) * | 2012-08-30 | 2017-01-18 | キヤノン株式会社 | 眼科装置、眼科装置の制御方法、およびプログラム |
| CN107145226A (zh) * | 2017-04-20 | 2017-09-08 | 中国地质大学（武汉） | 眼控人机交互系统及方法 |
| CN107273834A (zh) * | 2017-06-06 | 2017-10-20 | 宋友澂 | 一种虹膜识别方法及识别器 |
| CN107645921A (zh) * | 2015-03-16 | 2018-01-30 | 奇跃公司 | 用于诊断和治疗健康疾病的方法和系统 |
| CN107661085A (zh) * | 2017-08-04 | 2018-02-06 | 上海志听医疗科技有限公司 | 一种实时收集眼动和头部位置及稳定性数据的方法 |
| CN107661086A (zh) * | 2017-08-04 | 2018-02-06 | 上海志听医疗科技有限公司 | 一种使用移动视觉记录设备收集眼睛运动数据的系统 |
| CN108354584A (zh) * | 2018-03-06 | 2018-08-03 | 京东方科技集团股份有限公司 | 眼球追踪模组及其追踪方法、虚拟现实设备 |
| KR20180112754A (ko) * | 2015-11-06 | 2018-10-12 | 아큘러스 브이알, 엘엘씨 | 광학 흐름을 사용한 안구 추적 |
| CN108968972A (zh) * | 2018-07-09 | 2018-12-11 | 清华大学 | 柔性疲劳检测装置以及信息处理方法及装置 |
| CN108985210A (zh) * | 2018-07-06 | 2018-12-11 | 常州大学 | 一种基于人眼几何特征的视线追踪方法及系统 |
| CN109044363A (zh) * | 2018-09-04 | 2018-12-21 | 华南师范大学 | 基于头部姿态和眼动的驾驶员疲劳检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ZA200608191B (en) * | 2004-04-01 | 2008-07-30 | William C Torch | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
| US8587514B2 (en) * | 2005-09-27 | 2013-11-19 | Penny Ab | Device for controlling an external unit |
| CN103136519A (zh) * | 2013-03-22 | 2013-06-05 | 中国移动通信集团江苏有限公司南京分公司 | 一种基于虹膜识别的视线跟踪定位方法 |
| CN107871322B (zh) * | 2016-09-27 | 2020-08-28 | 北京眼神科技有限公司 | 虹膜图像分割方法和装置 |
-
2019
- 2019-03-14 CN CN201910193707.1A patent/CN109965843B/zh not_active Expired - Fee Related
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6062688B2 (ja) * | 2012-08-30 | 2017-01-18 | キヤノン株式会社 | 眼科装置、眼科装置の制御方法、およびプログラム |
| CN103366157A (zh) * | 2013-05-03 | 2013-10-23 | 马建 | 一种人眼视线距离的判断方法 |
| CN104274151A (zh) * | 2013-07-05 | 2015-01-14 | 索尼公司 | 视线检测装置和视线检测方法 |
| CN107645921A (zh) * | 2015-03-16 | 2018-01-30 | 奇跃公司 | 用于诊断和治疗健康疾病的方法和系统 |
| CN104921697A (zh) * | 2015-05-18 | 2015-09-23 | 华南师范大学 | 一种人眼视线纵向距离的快速测量方法 |
| KR20180112754A (ko) * | 2015-11-06 | 2018-10-12 | 아큘러스 브이알, 엘엘씨 | 광학 흐름을 사용한 안구 추적 |
| CN105739705A (zh) * | 2016-02-04 | 2016-07-06 | 重庆邮电大学 | 一种车载系统人眼控制方法及装置 |
| CN105955465A (zh) * | 2016-04-25 | 2016-09-21 | 华南师范大学 | 一种桌面便携式视线跟踪方法及装置 |
| CN107145226A (zh) * | 2017-04-20 | 2017-09-08 | 中国地质大学（武汉） | 眼控人机交互系统及方法 |
| CN107273834A (zh) * | 2017-06-06 | 2017-10-20 | 宋友澂 | 一种虹膜识别方法及识别器 |
| CN107661085A (zh) * | 2017-08-04 | 2018-02-06 | 上海志听医疗科技有限公司 | 一种实时收集眼动和头部位置及稳定性数据的方法 |
| CN107661086A (zh) * | 2017-08-04 | 2018-02-06 | 上海志听医疗科技有限公司 | 一种使用移动视觉记录设备收集眼睛运动数据的系统 |
| CN108354584A (zh) * | 2018-03-06 | 2018-08-03 | 京东方科技集团股份有限公司 | 眼球追踪模组及其追踪方法、虚拟现实设备 |
| CN108985210A (zh) * | 2018-07-06 | 2018-12-11 | 常州大学 | 一种基于人眼几何特征的视线追踪方法及系统 |
| CN108968972A (zh) * | 2018-07-09 | 2018-12-11 | 清华大学 | 柔性疲劳检测装置以及信息处理方法及装置 |
| CN109044363A (zh) * | 2018-09-04 | 2018-12-21 | 华南师范大学 | 基于头部姿态和眼动的驾驶员疲劳检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109965843A (zh) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | The comparative measurements of eyestrain caused by 2D and 3D displays | |
| CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
| US8371693B2 (en) | Autism diagnosis support apparatus | |
| US9538947B2 (en) | Method, system and device for assisting diagnosis of autism | |
| Clarke et al. | Using high frame rate CMOS sensors for three-dimensional eye tracking | |
| Su et al. | Noncontact detection of dry eye using a custom designed infrared thermal image system | |
| CN111128382B (zh) | 一种人工智能多模成像分析装置 | |
| US20150050628A1 (en) | Autism diagnosis support method and system, and autism diagnosis support device | |
| EP3355104A1 (de) | Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands | |
| EP2360641B1 (en) | Image processing method and image processing device | |
| CN118196075A (zh) | 图像处理方法、存储介质及眼科装置 | |
| US4812033A (en) | Ophthalmic apparatus | |
| CN111084603A (zh) | 一种基于深度相机的瞳距测量方法及系统 | |
| JP3346618B2 (ja) | 検眼装置 | |
| CN109965843B (zh) | 一种基于滤波传像的眼动系统 | |
| Barsingerhorn et al. | Development and validation of a high-speed stereoscopic eyetracker | |
| JP2020140630A (ja) | 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体 | |
| CN109984719A (zh) | 一种视觉颜色通路功能检测方法和系统 | |
| CN115590462A (zh) | 一种基于摄像头的视力检测方法和装置 | |
| JP5719216B2 (ja) | 視線測定装置および視線測定プログラム | |
| Villanueva et al. | Determination of pupillary distance using YOLO algorithm | |
| CN113711003A (zh) | 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和设备 | |
| KR20100104330A (ko) | 3차원 아드볼 패러다임을 이용하여 객관적으로 3차원 디스플레이 유발 피로감을 측정할 수 있는 방법 및 장치 | |
| KR102025769B1 (ko) | 망막 및 시신경 기능 평가 시스템 및 이의 정보 출력 방법 | |
| Temel et al. | Automated Pupillary Light Reflex Test on a Portable Platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220524 |