CN110807427A - 一种视线追踪方法、装置、计算机设备和存储介质 - Google Patents

一种视线追踪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110807427A
CN110807427A CN201911071010.3A CN201911071010A CN110807427A CN 110807427 A CN110807427 A CN 110807427A CN 201911071010 A CN201911071010 A CN 201911071010A CN 110807427 A CN110807427 A CN 110807427A
Authority
CN
China
Prior art keywords
image
pupil
contour
eye
eye image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911071010.3A
Other languages
English (en)
Other versions
CN110807427B (zh
Inventor
张阳
康涛
李旭
郎立国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caac East China Photoelectric (shanghai) Co Ltd
Original Assignee
Caac East China Photoelectric (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caac East China Photoelectric (shanghai) Co Ltd filed Critical Caac East China Photoelectric (shanghai) Co Ltd
Priority to CN201911071010.3A priority Critical patent/CN110807427B/zh
Publication of CN110807427A publication Critical patent/CN110807427A/zh
Application granted granted Critical
Publication of CN110807427B publication Critical patent/CN110807427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机领域，提供了一种视线追踪方法、装置、计算机设备和存储介质，其中，所述一种视线追踪方法包括：获取第一图像，根据预设的瞳孔提取算法对第一图像进行眼部特征检测以提取瞳孔轮廓，根据随机采样一致性算法对瞳孔轮廓进行计算得到瞳孔中心位置，根据预先标定的结果计算瞳孔中心位置对应的注视点位置。本发明实施例提供的一种视线追踪方法，通过对获取的用户的眼部图像进行眼部特征检测来提取瞳孔轮廓，进而根据随机采样一致性算法对瞳孔轮廓进行计算得到瞳孔中心位置，通过迭代方式提高鲁棒性，提升了后续视线估计的准确性，解决了采用非穿戴式的设备进行视线追踪时存在无法准确提取瞳孔特征的问题。

Description

一种视线追踪方法、装置、计算机设备和存储介质
技术领域
本发明属于计算机领域，尤其涉及一种视线追踪方法、装置、计算机设备和存储介质。
背景技术
视线追踪技术，亦被称为眼动跟踪技术，是一种用于计算人眼注视点或者视线方向的技术，可以实时、准确地记录人们观察场景信息时的眼球运动情况，已广泛应用于航空、车辆驾驶和生理学检测等领域。目前市场上的视线追踪设备大多是穿戴式的设备，不仅成本高，硬件配置复杂，而且需要将视线追踪设备固定在人的头部，导致用户体验感欠佳。
为了改善视线追踪过程的用户体验感，通常的方法是采用非穿戴式的设备，例如依靠电脑或手机摄像头来跟踪用户的瞳孔位置及视线方向，从而实现视线追踪。
但是，采用非穿戴式的设备进行视线追踪时，存在无法准确地提取瞳孔特征的问题。
发明内容
本发明实施例的目的在于提供一种视线追踪方法、装置、计算机设备和存储介质，旨在解决采用非穿戴式的设备进行视线追踪时存在无法准确提取瞳孔特征的问题的技术问题。
本发明实施例是这样实现的：一种视线追踪方法，所述方法包括：
获取第一图像，所述第一图像至少包含用户的眼部图像；
根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，所述预设的瞳孔提取算法至少包括图像灰度化、图像二值化以及模板匹配；
根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置；
根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，所述预先标定的结果用于表示所述瞳孔中心位置与所述注视点位置的对应关系。
本发明实施例的另一目的在于提供一种视线追踪装置，所述视线追踪装置包括：
图像获取模块，用于获取第一图像，所述第一图像至少包含用户的眼部图像；
特征检测模块，用于根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，所述预设的瞳孔提取算法至少包括图像灰度化、图像二值化以及模板匹配；
轮廓计算模块，用于根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置；
位置计算模块，用于根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，所述预先标定的结果用于表示所述瞳孔中心位置与所述注视点位置的对应关系。
本发明实施例的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述视线追踪方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述视线追踪方法的步骤。
本发明实施例提供的视线追踪方法包括：获取第一图像，根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测以提取所述眼部图像中的瞳孔轮廓，根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算得到所述瞳孔轮廓的瞳孔中心位置，根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置并输出所述注视点位置。本发明实施例通过根据预设的瞳孔提取算法对获取的用户的眼部图像进行眼部特征检测来提取瞳孔轮廓，然后通过根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算得到所述瞳孔轮廓的瞳孔中心位置，通过迭代方式提高鲁棒性，提升了后续视线估计的准确性，解决了采用非穿戴式的设备进行视线追踪时存在无法准确提取瞳孔特征的问题。
附图说明
图1为本发明实施例提供的视线追踪方法的应用环境图；
图2为本发明实施例提供的视线追踪方法的流程图；
图3为本发明实施例提供的视线追踪装置的结构框图；
图4为本发明实施例提供的视线追踪方法中的特征点提取方法示意图；
图5为本发明实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一视线追踪脚本称为第二视线追踪脚本，且类似地，可将第二视线追踪脚本称为第一视线追踪脚本。
图1为本发明实施例提供的视线追踪方法的应用环境图，如图1所示，在该应用环境中，包括终端110与服务器120。
服务器120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN(Content Delivery Network，内容分发网络)等基础云计算服务的云服务器，但并不局限于此，可用于数据的传输和数据的处理。
终端110可以是具有图像输入功能的智能终端，如摄像机、照相机、摄像头、扫描仪、数字照相机、传真机等图像输入设备，也可以是台式计算机、笔记本电脑等计算机设备，还可以是便于携带的智能终端，如平板电脑、智能手机、掌上电脑、智能眼镜、智能手环等，但并不局限于此，可用于获取用户的图像，所述终端110与一个红外光源共同构成一个非侵入式系统，可以用于视线追踪。
终端110以及服务器120可以通过有线网络或者无线网络进行连接，本发明在此不做限制。
作为本发明一种实施例提供的应用场景，用户在使用终端110时，通过终端110生成用户的眼部图像，服务器120获取用户的眼部图像。而在本发明实施例中，所述终端110为用户家中的摄像机，所述摄像机与一个红外光源共同构成一个非侵入式系统，所述红外光源可以是用户手机上自动的红外灯，通过使用红外光源照射用户眼睛，然后通过所述摄像机生成用户的眼部图像，所述服务器120获取用户的眼部图像，根据预设的瞳孔提取算法对用户的眼部图像进行眼部特征检测来提取瞳孔轮廓，然后根据随机采样一致性算法对瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置，再根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置至摄像机，摄像机根据所述注视点位置追踪到用户的视线，能够高效准确地提取瞳孔特征，滤去眼镜、眼睑和眉毛等造成的干扰，方便快捷，提升了后续视线估计的准确性，解决了采用非穿戴式的设备进行视线追踪时存在无法准确提取瞳孔特征的问题。
如图2所示，在一个实施例中，提出了一种视线追踪方法，本实施例主要以该方法应用于上述图1中的服务器120来举例说明。
本发明实施例提供了一种视线追踪方法，具体可以包括以下步骤，如图2所示：
在步骤S202中，获取第一图像，所述第一图像至少包含用户的眼部图像。
在本发明实施例中，所述眼部图像是包含所述用户眼球的图像，所述眼部图像可以是摄像机、照相机、摄像头等图像输入设备采集到的图像，也可以是台式计算机、笔记本电脑等带有摄像头的计算机设备采集到的图像，还可以是便于携带的智能终端，如平板电脑、智能手机、掌上电脑等采集到的图像，但并不局限于此，所述第一图像的采集需要使用一个红外光源，所述获取第一图像是通过服务器进行获取，所述服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器，当然，所述服务器也可以是直接和终端110组合构成一个整体系统，具体的服务器类型可以根据用户的实际需求进行选择。
作为本发明一种实施例，所述第一图像为图像输入设备收集的至少包含用户眼部区域的当前帧的图像，由于采用了红外光源，所述第一图像中会形成普尔钦斑，所述普尔钦斑为红外光源的红外光被所述用户眼部反射在所述当前帧的图像中而形成的亮斑区域，通过服务器获取第一图像，所述第一图像至少包含用户的眼部图像，避免因采用自然光源而造成视线精度的降低，进而可以用于后续的图像处理。
本发明实施例通过获取至少包含用户的眼部图像的第一图像，可以避免因采用自然光源进行采集图像而造成视线精度降低的情况发生，进而方便后续的图像处理，减少因采用自然光源而造成的图像干扰。
在步骤S204中，根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，所述预设的瞳孔提取算法至少包括图像灰度化、图像二值化以及模板匹配。
在本发明实施例中，所述瞳孔是动物或人眼睛内虹膜中心的小圆孔，为光线进入眼睛的通道，所述图像灰度化可以是采用分量法对彩色图像进行灰度化，或者是采用最大值法对彩色图像进行灰度化，还可以是采用平均值法加权平均法对彩色图像进行灰度化；例如，采用分量法对彩色图像进行灰度化是将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，即红色分量灰度图、绿色分量灰度图与蓝色分量灰度图，可根据应用需要选取一种灰度图像；采用最大值法对彩色图像进行灰度化是将彩色图像中的三分量亮度求平均得到一个灰度值，所述三分量亮度即红色分量亮度、绿色分量亮度与蓝色分量亮度；所述图像二值化是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果；所述模板匹配是在待检测图像上从左到右，从上向下计算模板图像与重叠子图像的匹配度，匹配程度越大，两者相同的可能性越大。
作为本发明一种实施例，针对获取的第一图像进行预处理。首先，使用高斯滤波对第一图像进行去噪；其次，对去噪后的第一图像进行灰度化处理得到灰度图像；然后，检测红外光源的部分红外光被人眼角膜反射在第一图像上形成的亮斑区域，即为普尔钦斑。
作为本发明又一种实施例，若所述第一图像上无普尔钦斑，则舍弃当前帧图像，直接获取下一帧图像；若普尔钦斑存在，则对所述第一图像进行二值化处理得到二值化图像，就是将第一图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果，最亮的区域即为普尔钦斑；紧接着，计算普尔钦斑中心位置坐标，并使用插补射线的方法移除所述灰度图像和所述二值化图像的普尔钦斑区域。在所述二值化图像上从左到右，从上向下计算模板图像与二值化图像的匹配度，匹配程度越大，两者相同的可能性越大，完全匹配时根据所述模板图像中的瞳孔轮廓来确定所述二值化图像中的瞳孔轮廓，以提取所述眼部图像中的瞳孔轮廓。
本发明实施例通过根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，即通过图像灰度化、图像二值化以及模板匹配来滤去眼睑和眉毛等造成的干扰，能够高效准确地提取瞳孔特征，从而确定所述眼部图像中的瞳孔轮廓。
在步骤S206中，根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置。
在本发明实施例中，所述随机采样一致性算法是根据随机选择的多个数据点构建椭圆模型，将所有的数据点套到这个模型中计算误差，找到所有满足误差阈值的点，然后再重复上述的过程，直到达到一定迭代次数后，选出那个被支持的最多的模型，作为问题的解，即得到所述瞳孔轮廓对应的椭圆，所述椭圆的中心即为所述瞳孔轮廓的瞳孔中心位置；所述根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算是采用服务器进行计算，所述服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
作为本发明一种实施例，使用模板匹配的方法提取所述眼部图像中的瞳孔轮廓，由于是将提取到的最大的瞳孔区域作为候选瞳孔轮廓，需要使用等周商来判定提取的候选瞳孔轮廓是否为正确的瞳孔轮廓，其中，其中，A为候选瞳孔轮廓的面积，P为候选瞳孔轮廓的周长，I越接近于1则表示候选瞳孔轮廓越圆，可以有效排除镜框、眼睑、闭眼等因素的干扰，I接近于0则认为提取瞳孔轮廓失败，跳过当前帧的图像，直接获取下一帧图像；若检测成功，记瞳孔轮廓的函数为fb(x)，中心点为C'pupil。
本发明实施例通过根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置，由于是通过迭代方式估计数学模型的参数，提高了得出合理结果的概率，减少了所述眼部图像因采集误差而造成的错误数据，能鲁棒的估计模型参数，从而能从包含大量局外点的数据集中估计出高精度的参数，减少了因采用非穿戴式的设备进行视线追踪时造成的提取瞳孔特征精度不高的问题。
在步骤S208中，根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，所述预先标定的结果用于表示所述瞳孔中心位置与所述注视点位置的对应关系。
在本发明实施例中，所述瞳孔中心位置与所述注视点位置的对应关系是指人眼注视点发生变化时，所述瞳孔中心位置会跟随人眼注视点在图像平面上的对应点的运动而运动，且两者间的距离是相对稳定的。
作为本发明一种实施例，所述预先标定的结果是在计算人眼注视点在屏幕上的落点之前，需要使用者先进行标定，即在屏幕上依次显示标定点，记录注视标定点时对应的瞳孔中心位置，完成标定后，由瞳孔中心位置坐标和标定点位置坐标计算图像坐标系与屏幕坐标系的图像转换矩阵，所述注视点位置根据获得的图像转换矩阵来映射到显示屏上即可获得。
本发明实施例通过根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，由于是根据所述瞳孔中心位置与所述注视点位置的对应关系来计算所述瞳孔中心位置对应的注视点位置，简单方便，减少了计算量。
本发明实施例通过根据预设的瞳孔提取算法对获取的用户的眼部图像进行眼部特征检测来提取瞳孔轮廓，进而通过根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算得到所述瞳孔轮廓的瞳孔中心位置，有效排除了镜框、眼睑、闭眼等因素的干扰，能够高效准确地提取瞳孔特征，同时通过迭代方式提高鲁棒性，提升了后续视线估计的准确性，解决了采用非穿戴式的设备进行视线追踪时存在无法准确提取瞳孔特征的问题。
本发明实施例提供的视线追踪方法中，所述根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，包括：
根据所述图像灰度化与所述图像二值化对所述第一图像进行预处理，以生成灰度图像以及灰度值为0或255的二值化图像；
根据所述模板匹配对所述二值化图像进行粗提取，以确定所述眼部图像中的瞳孔轮廓；
获取所述眼部图像的像素值，根据所述眼部图像中相邻像素点差异值对所述眼部图像中的瞳孔轮廓进行精提取，以得到所述瞳孔轮廓的特征点。
在本发明实施例中，根据所述第一图像确定当前帧的采样位置信息，所述采样位置信息至少包含所述目标的瞳孔中心位于所述当前帧的图像的位置坐标，所述目标的瞳孔中心位于所述当前帧的图像的位置坐标是根据所述当前帧的图像中的普尔钦斑与瞳孔轮廓获取的，所述普尔钦斑为红外光被所述目标眼部反射在所述当前帧的图像中形成的亮斑区域，使用模板匹配的方法定位瞳孔区域对二值化后的图像进行瞳孔轮廓提取，并将提取到的瞳孔区域面积最大的图像作为候选瞳孔轮廓。
作为本发明一种实施例，请参见图4，图4为所述瞳孔轮廓的特征点的提取方法示意图，所述根据所述眼部图像中相邻像素点差异值对所述眼部图像中的瞳孔轮廓进行精提取是在所述灰度图像中以所述瞳孔轮廓的中心为起始点开始向外发散的搜寻，即辐射式向外直线前进，直到遇到与起点像素值相差阈值为预设值n的像素点位置时停止，从而形成m条射线，记当前位置为Pi(xp,yp)，如图4中的(a)图所示；然后，以Pi(xp,yp)为起始点，作一次同样的向外发散的搜寻，同样记录下各点的位置Pi+1，若为相同点则不记录，如图4中的(b)图所示，对于其他的每一个点重复相同步骤，当Pi的数量收敛时则完成了所述瞳孔轮廓的特征点的记录，如图4中的(c)图所示。所述图像灰度化可以是采用分量法对彩色图像进行灰度化，或者是采用最大值法对彩色图像进行灰度化，还可以是采用平均值法加权平均法对彩色图像进行灰度化；例如，采用分量法对彩色图像进行灰度化是将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，即红色分量灰度图、绿色分量灰度图与蓝色分量灰度图，可根据应用需要选取一种灰度图像；采用最大值法对彩色图像进行灰度化是将彩色图像中的三分量亮度求平均得到一个灰度值，所述三分量亮度即红色分量亮度、绿色分量亮度与蓝色分量亮度；所述图像二值化是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。
本发明实施例通过根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，即通过图像灰度化、图像二值化以及模板匹配来滤去眼睑和眉毛等造成的干扰，能够高效准确地提取瞳孔特征，从而确定所述眼部图像中的瞳孔轮廓。
本发明实施例提供的视线追踪方法中，所述根据所述图像灰度化与所述图像二值化对所述第一图像进行预处理，包括：
获取所述第一图像的灰度值，以生成灰度图像；
对所述灰度图像进行二值化处理，以得到灰度值为0或255的二值化图像，所述二值化图像是移除普尔钦斑区域的图像，所述普尔钦斑区域是所述二值化图像中像素点灰度值为255的区域。
在本发明实施例中，对所述灰度图像进行二值化处理是根据所述图像灰度化对所述第一图像进行灰度化处理生成灰度图像，然后根据所述图像二值化对所述灰度图像进行二值化处理，以得到灰度值为0或255的二值化图像，所述灰度图像是所有像素点只有一个采样颜色的图像，所述预处理是通过服务器进行处理，所述服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
作为本发明一种实施例，根据所述图像灰度化与所述图像二值化对所述第一图像进行预处理前，使用5×5的高斯滤波器去除所述第一图像的散粒噪声，调整所述第一图像每一列的饱和度至平均值去除线噪声，然后获取所述第一图像的灰度值，以生成灰度图像，由于瞳孔的颜色接近于黑色，所以可以使用二值化的方法来进行瞳孔的粗提取，计算整幅灰度图像的平均值G，所述灰度图像的二值化阈值则为threshold＝G·scale，其中scale为系数因子，使用二值化阈值对所述灰度图像进行二值化处理：
Figure BDA0002260960690000121
其中，Gbinary(x,y)是像素点(x，y)的灰度值，Gbinary(x,y)为所述二值化图像上像素点(x，y)的灰度值，值为255的各个像素点所在的区域即为普尔钦斑。
作为本发明又一种实施例，计算所述普尔钦斑中心位置坐标，记为CEyeIr，并使用插补射线的方法移除所述灰度图像和所述二值化图像的普尔钦斑区域。
本发明实施例通过根据所述图像灰度化与所述图像二值化对所述第一图像进行预处理，来滤去眼睑和眉毛等造成的干扰，同时对图像进行二值化处理后移除最亮的区域即为普尔钦斑区域，避免普尔钦斑区域对后续的所述眼部图像中的瞳孔轮廓提取的干扰，能够高效准确地提取瞳孔特征，从而确定所述眼部图像中的瞳孔轮廓。
本发明实施例提供的视线追踪方法中，所述根据所述模板匹配对所述二值化图像进行粗提取，以确定所述眼部图像中的瞳孔轮廓，包括：
根据预设的模板对所述二值化图像中的瞳孔区域进行定位，以提取所述眼部图像中的瞳孔轮廓，所述预设的模板用于表示所述眼部图像中的瞳孔区域的位置，所述眼部图像中的瞳孔轮廓是所述二值化图像中最大面积的瞳孔区域的轮廓。
在本发明实施例中，使用等周商
Figure BDA0002260960690000122
来判定提取的是否为瞳孔轮廓，其中，A为瞳孔轮廓的面积，P为瞳孔轮廓的周长，I越接近于1则越圆，可以有效排除镜框、眼睑、闭眼等因素的干扰，I接近于0则认为提取瞳孔轮廓失败，跳过当前帧的后续处理，直接获取下一帧图像；若检测成功，记瞳孔轮廓区域的函数为fb(x)，中心点为C'pupil，否则，跳过当前帧，直接获取下一帧；所述粗提取是采用服务器进行提取，所述服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
作为本发明一种实施例，在瞳孔的粗提取阶段，提取所述二值化图像中的瞳孔轮廓。由于瞳孔轮廓是接近圆形的，而非瞳孔轮廓的形状通常为非圆或者扁平的，这是由于镜框、眼睑、眉毛等形状造成的干扰，所以为了提取到的轮廓为正确合法的轮廓，通过计算该轮廓的等周商对其进行检验，若检测成功，记轮廓区域的函数为fb(x)，中心点为C'pupil否则，跳过当前帧，直接获取下一帧。
本发明实施例通过根据所述模板匹配对所述二值化图像进行粗提取，以确定所述眼部图像中的瞳孔轮廓，能够高效准确地提取瞳孔特征，滤去眼镜、眼睑和眉毛等造成的干扰。
本发明实施例提供的视线追踪方法中，所述根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置，包括：
获取所述眼部图像的像素值，根据所述眼部图像中相邻像素点差异值对所述眼部图像中的瞳孔轮廓进行精提取，以得到所述瞳孔轮廓的特征点；
根据随机采样一致性算法对所有的所述特征点进行拟合生成椭圆，以确定所述瞳孔轮廓的瞳孔中心位置，所述瞳孔轮廓的瞳孔中心位置是所述椭圆的中心。
在本发明实施例中，所述随机采样一致性算法是根据随机选择的多个数据点构建椭圆模型，将所有的数据点套到这个模型中计算误差，找到所有满足误差阈值的点，然后再重复上述的过程，直到达到一定迭代次数后，选出那个被支持的最多的模型，作为问题的解，即得到所述瞳孔轮廓对应的椭圆，所述椭圆的中心即为所述瞳孔轮廓的瞳孔中心位置；所述根据随机采样一致性算法对所有的所述特征点进行拟合生成椭圆是采用服务器进行拟合，所述服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
作为本发明一种实施例，随机选择所有的所述特征点中的至少五个特征点进行拟合建立椭圆标准方程；将所有的所述特征点代入所述椭圆标准方程中计算误差，以确定满足误差阈值的所述特征点的个数；根据所有的所述椭圆标准方程对应的所述满足误差阈值的所述特征点的个数确定所述椭圆的尺寸，也可以是计算其他点到该椭圆的距离，累加距离较小的数目，数目越多说明拟合的椭圆越好，使用随机采样一致性算法不断进行迭代以获取最佳椭圆，该椭圆中心即为瞳孔中心。
本发明实施例通过根据随机采样一致性算法对所有的所述特征点进行拟合生成椭圆，以确定所述瞳孔轮廓的瞳孔中心位置，由于是通过迭代方式估计数学模型的参数，提高了得出合理结果的概率，减少了所述眼部图像因采集误差而造成的错误数据，能鲁棒的估计模型参数，从而能从包含大量局外点的数据集中估计出高精度的参数，减少了因采用非穿戴式的设备进行视线追踪时造成的提取瞳孔特征精度不高的问题。
本发明实施例提供的视线追踪方法中，所述根据随机采样一致性算法对所有的所述特征点进行拟合生成椭圆，包括：
随机选择所有的所述特征点中的至少五个特征点进行拟合建立椭圆标准方程，并将所有的所述特征点代入所述椭圆标准方程中计算误差，以确定满足误差阈值的所述特征点的个数；
根据所有的所述椭圆标准方程对应的所述满足误差阈值的所述特征点的个数确定所述椭圆的尺寸，以拟合生成所述椭圆。
在本发明实施例中，所述随机采样一致性算法是根据随机选择的多个数据点构建椭圆模型，将所有的数据点套到这个模型中计算误差，找到所有满足误差阈值的点，然后再重复上述的过程，直到达到一定迭代次数后，选出那个被支持的最多的模型，作为问题的解，即得到所述瞳孔轮廓对应的椭圆，所述椭圆的中心即为所述瞳孔轮廓的瞳孔中心位置；所述根据随机采样一致性算法对所有的所述特征点进行拟合生成椭圆是采用服务器进行拟合，所述服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
作为本发明一种实施例，首先，在所述灰度图像中以C'pupil为起始点开始辐射式向外直线前进，直到遇到与起点像素值相差阈值为预设值n的像素点位置时停止，形成m条射线，记当前位置为Pi(xp,yp)；然后，以Pi为起始点，作一次同样的向外发散的搜寻，同样记录下各点的位置Pi+1，若为相同点则不记录，对于其他的每一个点重复相同步骤，当Pi的数量收敛时则完成了图像特征点的记录；接下来，若存在k1·fb(xp)≤yp≤k2·fb(xp)，则认为Pi为最合适的特征点，其中k1，k2为预设的阈值，随机从特征点中选取五个点拟合成一个椭圆，计算其他点到该椭圆的距离，累加距离较小的数目，数目越多说明拟合的椭圆越好，使用随机采样一致性算法不断进行迭代以获取最佳椭圆，记录该椭圆中心Cpupil，即为所述瞳孔轮廓的瞳孔中心位置。
本发明实施例通过随机选择所有的所述特征点中的至少五个特征点进行拟合建立椭圆标准方程，并将所有的所述特征点代入所述椭圆标准方程中计算误差，以确定满足误差阈值的所述特征点的个数；根据所有的所述椭圆标准方程对应的所述满足误差阈值的所述特征点的个数确定所述椭圆的尺寸，以拟合生成所述椭圆，由于是通过迭代方式估计数学模型的参数，提高了得出合理结果的概率，减少了所述眼部图像因采集误差而造成的错误数据，能鲁棒的估计模型参数，从而能从包含大量局外点的数据集中估计出高精度的参数，减少了因采用非穿戴式的设备进行视线追踪时造成的提取瞳孔特征精度不高的问题。
本发明实施例提供的视线追踪方法中，所述根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，还包括：
当所述第一图像中的瞳孔位置发生移动时，根据所述瞳孔轮廓中灰度值最大的区域的中心位置与所述瞳孔轮廓的瞳孔中心位置生成误差补偿参数；
根据所述误差补偿参数对所述注视点位置进行调整得到误差补偿后的注视点位置。
在本发明实施例中，所述预先标定的结果是在计算所述瞳孔中心位置对应的注视点位置，即计算人眼注视点在屏幕上的落点之前，需要使用者先进行标定。具体的，在屏幕上依次显示标定点，记录注视标定点时的瞳孔中心位置，完成标定后，由瞳孔中心位置坐标和标定点位置坐标计算图像坐标系与屏幕坐标系的图像转换矩阵，由于头部发生运动时，普尔钦斑在人眼中的位置也会发生运动，所以引入了一个误差补偿参数，即普尔钦斑中心与瞳孔中心的距离，用以克服头动误差的干扰，结合图像转换矩阵和误差补偿参数构成新函数，计算当人眼注视屏幕上未知位置时的坐标。
作为本发明一种实施例，在计算人眼注视点在屏幕上的落点之前，需要使用者先进行标定。在屏幕上依次显示标定点，记录注视标定点时的瞳孔中心位置，完成标定后，由瞳孔中心位置坐标和标定点位置坐标计算图像坐标系与屏幕坐标系的图像转换矩阵H，人眼注视点发生变化时，图像平面上的瞳孔中心Cpupil会跟随人眼注视点在图像平面上的对应点Ep运动而运动，且两者间的距离D是相对稳定的，根据获得的图像转换矩阵H，将Ep反映射到显示屏上，即可获得人眼注视点E＝H-1·Ep＝H-1·(Cpupil+D)；由于头部发生运动时，普尔钦斑在人眼中的位置也会发生运动，所以引入了一个误差补偿参数d，即普尔钦斑中心与瞳孔中心的距离，用以克服头动误差的干扰；在标定过程中记录普尔钦斑中心与瞳孔中心的距离di，则瞳孔中心Cpupil与Ep的实际距离为
Figure BDA0002260960690000171
d为初始距离，结合映射函数和头动误差补偿构成的新函数，计算当人眼注视屏幕上未知位置时的坐标。
本发明实施例通过当所述第一图像中的瞳孔位置发生移动时根据所述瞳孔轮廓中灰度值最大的区域的中心位置与所述瞳孔轮廓的瞳孔中心位置生成误差补偿参数，进而根据所述误差补偿参数对所述注视点位置进行调整得到误差补偿后的注视点位置，由于在视线估计阶段引入了一个误差补偿参数，即普尔钦斑中心与瞳孔中心的距离，用以克服头动误差的干扰，解决了头部运动产生的误差问题，使得本发明实施例提供的视线追踪方法的鲁棒性得以提高，且适用性更强。
如图3所示，在一个实施例中，提供了一种视线追踪装置，所述视线追踪装置可以集成于上述的服务器120中，具体可以包括：图像获取模块310、特征检测模块320、轮廓计算模块330和位置计算模块340。
图像获取模块310，用于获取第一图像，所述第一图像至少包含用户的眼部图像。
特征检测模块320，用于根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，所述预设的瞳孔提取算法至少包括图像灰度化、图像二值化以及模板匹配。
轮廓计算模块330，用于根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置。
位置计算模块340，用于根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，所述预先标定的结果用于表示所述瞳孔中心位置与所述注视点位置的对应关系。
在本发明实施例中，所述视线追踪装置可以是数据电路端接设备，如调制解调器、集线器、桥接器或交换机；也可以是一个数据终端设备，如数字手机，打印机或主机，所述主机可以是路由器、工作站、服务器或无线传感器；还可以是智能终端，如笔记本电脑等计算机设备，也可以是便于携带的智能终端，如平板电脑、掌上电脑、智能眼镜、智能手表、智能手环、智能音箱等，但并不局限于此，可用于数据的转换、管理、处理和传输，所述图像获取模块310、特征检测模块320、轮廓计算模块330和位置计算模块340均存储有操作系统，用于处理各种基本系统服务和用于执行硬件相关任务的程序；还存储有应用软件，用于实现本发明实施例中的视线追踪方法的步骤。
所述视线追踪装置可执行如上述任一实施例中提供的视线追踪方法的步骤，其中，本发明实施例提供了一种视线追踪方法，所述方法包括如下步骤，如图2所示：
在步骤S202中，获取第一图像，所述第一图像至少包含用户的眼部图像。
在本发明实施例中，所述眼部图像是包含所述用户眼球的图像，所述眼部图像可以是摄像机、照相机、摄像头等图像输入设备采集到的图像，也可以是台式计算机、笔记本电脑等带有摄像头的计算机设备采集到的图像，还可以是便于携带的智能终端，如平板电脑、智能手机、掌上电脑等采集到的图像，但并不局限于此，所述第一图像的采集需要使用一个红外光源，所述获取第一图像是通过服务器进行获取，所述服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器，当然，所述服务器也可以是直接和终端110组合构成一个整体系统，具体的服务器类型可以根据用户的实际需求进行选择。
作为本发明一种实施例，所述第一图像为图像输入设备收集的至少包含用户眼部区域的当前帧的图像，由于采用了红外光源，所述第一图像中会形成普尔钦斑，所述普尔钦斑为红外光源的红外光被所述用户眼部反射在所述当前帧的图像中而形成的亮斑区域，通过服务器获取第一图像，所述第一图像至少包含用户的眼部图像，避免因采用自然光源而造成视线精度的降低，进而可以用于后续的图像处理。
本发明实施例通过获取至少包含用户的眼部图像的第一图像，可以避免因采用自然光源进行采集图像而造成视线精度降低的情况发生，进而方便后续的图像处理，减少因采用自然光源而造成的图像干扰。
在步骤S204中，根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，所述预设的瞳孔提取算法至少包括图像灰度化、图像二值化以及模板匹配。
在本发明实施例中，所述瞳孔是动物或人眼睛内虹膜中心的小圆孔，为光线进入眼睛的通道，所述图像灰度化可以是采用分量法对彩色图像进行灰度化，或者是采用最大值法对彩色图像进行灰度化，还可以是采用平均值法加权平均法对彩色图像进行灰度化；例如，采用分量法对彩色图像进行灰度化是将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，即红色分量灰度图、绿色分量灰度图与蓝色分量灰度图，可根据应用需要选取一种灰度图像；采用最大值法对彩色图像进行灰度化是将彩色图像中的三分量亮度求平均得到一个灰度值，所述三分量亮度即红色分量亮度、绿色分量亮度与蓝色分量亮度；所述图像二值化是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果；所述模板匹配是在待检测图像上从左到右，从上向下计算模板图像与重叠子图像的匹配度，匹配程度越大，两者相同的可能性越大。
作为本发明一种实施例，针对获取的第一图像进行预处理。首先，使用高斯滤波对第一图像进行去噪；其次，对去噪后的第一图像进行灰度化处理得到灰度图像；然后，检测红外光源的部分红外光被人眼角膜反射在第一图像上形成的亮斑区域，即为普尔钦斑。
作为本发明又一种实施例，若所述第一图像上无普尔钦斑，则舍弃当前帧的图像，直接获取下一帧图像；若普尔钦斑存在，则对所述第一图像进行二值化处理得到二值化图像，就是将第一图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果，最亮的区域即为普尔钦斑；紧接着，计算普尔钦斑中心位置坐标，并使用插补射线的方法移除所述灰度图像和所述二值化图像的普尔钦斑区域。在所述二值化图像上从左到右，从上向下计算模板图像与二值化图像的匹配度，匹配程度越大，两者相同的可能性越大，完全匹配时根据所述模板图像中的瞳孔轮廓来确定所述二值化图像中的瞳孔轮廓，以提取所述眼部图像中的瞳孔轮廓。
本发明实施例通过根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，即通过图像灰度化、图像二值化以及模板匹配来滤去眼睑和眉毛等造成的干扰，能够高效准确地提取瞳孔特征，从而确定所述眼部图像中的瞳孔轮廓。
在步骤S206中，根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置。
在本发明实施例中，所述随机采样一致性算法是根据随机选择的多个数据点构建椭圆模型，将所有的数据点套到这个模型中计算误差，找到所有满足误差阈值的点，然后再重复上述的过程，直到达到一定迭代次数后，选出那个被支持的最多的模型，作为问题的解，即得到所述瞳孔轮廓对应的椭圆，所述椭圆的中心即为所述瞳孔轮廓的瞳孔中心位置；所述根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算是采用服务器进行计算，所述服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
作为本发明一种实施例，使用模板匹配的方法提取所述眼部图像中的瞳孔轮廓，由于是将提取到的最大的瞳孔区域作为候选瞳孔轮廓，需要使用等周商
Figure BDA0002260960690000211
来判定提取的候选瞳孔轮廓是否为正确的瞳孔轮廓，其中，其中，A为候选瞳孔轮廓的面积，P为候选瞳孔轮廓的周长，I越接近于1则表示候选瞳孔轮廓越圆，可以有效排除镜框、眼睑、闭眼等因素的干扰，I接近于0则认为提取瞳孔轮廓失败，跳过当前帧的图像，直接获取下一帧图像；若检测成功，记瞳孔轮廓的函数为fb(x)，中心点为C'pupil。
本发明实施例通过根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置，由于是通过迭代方式估计数学模型的参数，提高了得出合理结果的概率，减少了所述眼部图像因采集误差而造成的错误数据，能鲁棒的估计模型参数，从而能从包含大量局外点的数据集中估计出高精度的参数，减少了因采用非穿戴式的设备进行视线追踪时造成的提取瞳孔特征精度不高的问题。
在步骤S208中，根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，所述预先标定的结果用于表示所述瞳孔中心位置与所述注视点位置的对应关系。
在本发明实施例中，所述瞳孔中心位置与所述注视点位置的对应关系是指人眼注视点发生变化时，所述瞳孔中心位置会跟随人眼注视点在图像平面上的对应点的运动而运动，且两者间的距离是相对稳定的。
作为本发明一种实施例，所述预先标定的结果是在计算人眼注视点在屏幕上的落点之前，需要使用者先进行标定，即在屏幕上依次显示标定点，记录注视标定点时对应的瞳孔中心位置，完成标定后，由瞳孔中心位置坐标和标定点位置坐标计算图像坐标系与屏幕坐标系的图像转换矩阵，所述注视点位置根据获得的图像转换矩阵来映射到显示屏上即可获得。
本发明实施例通过根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，由于是根据所述瞳孔中心位置与所述注视点位置的对应关系来计算所述瞳孔中心位置对应的注视点位置，简单方便，减少了计算量。
本发明实施例通过根据预设的瞳孔提取算法对获取的用户的眼部图像进行眼部特征检测来提取瞳孔轮廓，进而通过根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算得到所述瞳孔轮廓的瞳孔中心位置，有效排除了镜框、眼睑、闭眼等因素的干扰，能够高效准确地提取瞳孔特征，同时通过迭代方式提高鲁棒性，提升了后续视线估计的准确性，解决了采用非穿戴式的设备进行视线追踪时存在无法准确提取瞳孔特征的问题。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例中的视线追踪方法的步骤。
图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和输入装置。其中，该计算机设备的存储器存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现所述视线追踪方法。计算机设备的输入装置可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在本发明实施例中，存储器可以是高速随机存取存储器，或者其他随机存取固态存储设备，或者非易失性存储器，诸如一个或多个硬盘存储设备、光盘存储设备、内存设备等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的视线追踪装置可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。计算机设备的存储器中可存储组成该视线追踪装置的各个程序模块，比如，图3所示的图像获取模块310、特征检测模块320、轮廓计算模块330和位置计算模块340。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的视线追踪方法中的步骤。
例如，图5所示的计算机设备可以通过如图3所示的视线追踪装置中的图像获取模块310执行步骤S202，获取第一图像，所述第一图像至少包含用户的眼部图像。计算机设备可通过特征检测模块320执行步骤S204，根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，所述预设的瞳孔提取算法至少包括图像灰度化、图像二值化以及模板匹配。计算机设备可通过轮廓计算模块330执行步骤S206，根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置。计算机设备可通过位置计算模块340执行步骤S208，根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，所述预先标定的结果用于表示所述瞳孔中心位置与所述注视点位置的对应关系。
另外，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述视线追踪方法的步骤。
在本发明所提供的几个实施例中，应该理解到，所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到一起，或一些模块可以忽略，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视线追踪方法，其特征在于，所述方法包括：
获取第一图像，所述第一图像至少包含用户的眼部图像；
根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，所述预设的瞳孔提取算法至少包括图像灰度化、图像二值化以及模板匹配；
根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置；
根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，所述预先标定的结果用于表示所述瞳孔中心位置与所述注视点位置的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，包括：
根据所述图像灰度化与所述图像二值化对所述第一图像进行预处理，以生成灰度图像以及灰度值为0或255的二值化图像；
根据所述模板匹配对所述二值化图像进行粗提取，以确定所述眼部图像中的瞳孔轮廓；
获取所述眼部图像的像素值，根据所述眼部图像中相邻像素点差异值对所述眼部图像中的瞳孔轮廓进行精提取，以得到所述瞳孔轮廓的特征点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图像灰度化与所述图像二值化对所述第一图像进行预处理，包括：
获取所述第一图像的灰度值，以生成灰度图像；
对所述灰度图像进行二值化处理，以得到灰度值为0或255的二值化图像，所述二值化图像是移除普尔钦斑区域的图像，所述普尔钦斑区域是所述二值化图像中像素点灰度值为255的区域。
4.根据权利要求2所述的方法，其特征在于，所述根据所述模板匹配对所述二值化图像进行粗提取，以确定所述眼部图像中的瞳孔轮廓，包括：
根据预设的模板对所述二值化图像中的瞳孔区域进行定位，以提取所述眼部图像中的瞳孔轮廓，所述预设的模板用于表示所述眼部图像中的瞳孔区域的位置，所述眼部图像中的瞳孔轮廓是所述二值化图像中最大面积的瞳孔区域的轮廓。
5.根据权利要求1所述的方法，其特征在于，所述根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置，包括：
获取所述眼部图像的像素值，根据所述眼部图像中相邻像素点差异值对所述眼部图像中的瞳孔轮廓进行精提取，以得到所述瞳孔轮廓的特征点；
根据随机采样一致性算法对所有的所述特征点进行拟合生成椭圆，以确定所述瞳孔轮廓的瞳孔中心位置，所述瞳孔轮廓的瞳孔中心位置是所述椭圆的中心。
6.根据权利要求5所述的方法，其特征在于，所述根据随机采样一致性算法对所有的所述特征点进行拟合生成椭圆，包括：
随机选择所有的所述特征点中的至少五个特征点进行拟合建立椭圆标准方程，并将所有的所述特征点代入所述椭圆标准方程中计算误差，以确定满足误差阈值的所述特征点的个数；
根据所有的所述椭圆标准方程对应的所述满足误差阈值的所述特征点的个数确定所述椭圆的尺寸，以拟合生成所述椭圆。
7.根据权利要求1所述的方法，其特征在于，所述根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，还包括：
当所述第一图像中的瞳孔位置发生移动时，根据所述瞳孔轮廓中灰度值最大的区域的中心位置与所述瞳孔轮廓的瞳孔中心位置生成误差补偿参数；
根据所述误差补偿参数对所述注视点位置进行调整得到误差补偿后的注视点位置。
8.一种视线追踪装置，其特征在于，所述视线追踪装置包括：
图像获取模块，用于获取第一图像，所述第一图像至少包含用户的眼部图像；
特征检测模块，用于根据预设的瞳孔提取算法对所述第一图像进行眼部特征检测，以提取所述眼部图像中的瞳孔轮廓，所述预设的瞳孔提取算法至少包括图像灰度化、图像二值化以及模板匹配；
轮廓计算模块，用于根据随机采样一致性算法对所述眼部图像中的瞳孔轮廓进行计算，得到所述瞳孔轮廓的瞳孔中心位置；
位置计算模块，用于根据预先标定的结果计算所述瞳孔中心位置对应的注视点位置，并输出所述注视点位置，所述预先标定的结果用于表示所述瞳孔中心位置与所述注视点位置的对应关系。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至7中任一项权利要求所述视线追踪方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至7中任一项权利要求所述视线追踪方法的步骤。
CN201911071010.3A 2019-11-05 2019-11-05 一种视线追踪方法、装置、计算机设备和存储介质 Active CN110807427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911071010.3A CN110807427B (zh) 2019-11-05 2019-11-05 一种视线追踪方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911071010.3A CN110807427B (zh) 2019-11-05 2019-11-05 一种视线追踪方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110807427A true CN110807427A (zh) 2020-02-18
CN110807427B CN110807427B (zh) 2024-03-01

Family

ID=69501132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911071010.3A Active CN110807427B (zh) 2019-11-05 2019-11-05 一种视线追踪方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110807427B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339982A (zh) * 2020-03-05 2020-06-26 西北工业大学 一种基于特征的多级瞳孔中心定位技术实现方法
CN112274153A (zh) * 2020-11-11 2021-01-29 西安工业大学 一种基于视线追踪的操控员反应时测定方法
CN112464829A (zh) * 2020-12-01 2021-03-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN112509007A (zh) * 2020-12-14 2021-03-16 科大讯飞股份有限公司 真实注视点定位方法以及头戴式视线跟踪系统
CN113902739A (zh) * 2021-11-29 2022-01-07 广东电网有限责任公司肇庆供电局 Nut线夹缺陷识别方法、装置及设备、可读存储介质
CN114693912A (zh) * 2022-03-10 2022-07-01 山东大学齐鲁医院 具有眼球追功能的内镜检查系统、存储介质及设备
WO2023103609A1 (zh) * 2021-12-07 2023-06-15 图湃(北京)医疗科技有限公司 用于眼前节octa的眼动追踪方法、装置、设备和存储介质
CN117133043A (zh) * 2023-03-31 2023-11-28 荣耀终端有限公司 注视点估计方法、电子设备及计算机可读存储介质
CN112509007B (zh) * 2020-12-14 2024-06-04 科大讯飞股份有限公司 真实注视点定位方法以及头戴式视线跟踪系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788848A (zh) * 2009-09-29 2010-07-28 北京科技大学 用于视线追踪系统的眼部特征参数检测方法
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102520796A (zh) * 2011-12-08 2012-06-27 华南理工大学 一种基于逐步回归分析映射模型的视线跟踪方法
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN103366157A (zh) * 2013-05-03 2013-10-23 马建 一种人眼视线距离的判断方法
CN103390152A (zh) * 2013-07-02 2013-11-13 华南理工大学 基于sopc的适合人机交互的视线跟踪系统
CN103870796A (zh) * 2012-12-13 2014-06-18 汉王科技股份有限公司 一种人眼视线估计的方法与装置
CN103996020A (zh) * 2014-04-10 2014-08-20 中航华东光电（上海）有限公司 一种头戴式眼动仪检测方法
CN105320259A (zh) * 2014-08-05 2016-02-10 深圳Tcl新技术有限公司 遥控方法和装置
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法
CN106919933A (zh) * 2017-03-13 2017-07-04 重庆贝奥新视野医疗设备有限公司 瞳孔定位的方法及装置
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN109086734A (zh) * 2018-08-16 2018-12-25 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN110345815A (zh) * 2019-07-16 2019-10-18 吉林大学 一种基于视线追踪的履带车枪械瞄准方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788848A (zh) * 2009-09-29 2010-07-28 北京科技大学 用于视线追踪系统的眼部特征参数检测方法
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN102520796A (zh) * 2011-12-08 2012-06-27 华南理工大学 一种基于逐步回归分析映射模型的视线跟踪方法
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN103870796A (zh) * 2012-12-13 2014-06-18 汉王科技股份有限公司 一种人眼视线估计的方法与装置
CN103366157A (zh) * 2013-05-03 2013-10-23 马建 一种人眼视线距离的判断方法
CN103390152A (zh) * 2013-07-02 2013-11-13 华南理工大学 基于sopc的适合人机交互的视线跟踪系统
CN103996020A (zh) * 2014-04-10 2014-08-20 中航华东光电（上海）有限公司 一种头戴式眼动仪检测方法
CN105320259A (zh) * 2014-08-05 2016-02-10 深圳Tcl新技术有限公司 遥控方法和装置
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法
CN106919933A (zh) * 2017-03-13 2017-07-04 重庆贝奥新视野医疗设备有限公司 瞳孔定位的方法及装置
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN109086734A (zh) * 2018-08-16 2018-12-25 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN110345815A (zh) * 2019-07-16 2019-10-18 吉林大学 一种基于视线追踪的履带车枪械瞄准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李擎 等: "视线追踪中一种新的由粗及精的瞳孔定位方法", 《工程科学学报》, pages 1 - 11 *
翰墨凝香: "视频瞳孔跟踪之星团模型", 《HTTPS://WWW.CNBLOGS.COM/REN19930504/P/4319156.HTML》, pages 1 - 3 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339982A (zh) * 2020-03-05 2020-06-26 西北工业大学 一种基于特征的多级瞳孔中心定位技术实现方法
CN112274153A (zh) * 2020-11-11 2021-01-29 西安工业大学 一种基于视线追踪的操控员反应时测定方法
CN112464829A (zh) * 2020-12-01 2021-03-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN112509007A (zh) * 2020-12-14 2021-03-16 科大讯飞股份有限公司 真实注视点定位方法以及头戴式视线跟踪系统
CN112509007B (zh) * 2020-12-14 2024-06-04 科大讯飞股份有限公司 真实注视点定位方法以及头戴式视线跟踪系统
CN113902739A (zh) * 2021-11-29 2022-01-07 广东电网有限责任公司肇庆供电局 Nut线夹缺陷识别方法、装置及设备、可读存储介质
CN113902739B (zh) * 2021-11-29 2022-03-22 广东电网有限责任公司肇庆供电局 Nut线夹缺陷识别方法、装置及设备、可读存储介质
WO2023103609A1 (zh) * 2021-12-07 2023-06-15 图湃(北京)医疗科技有限公司 用于眼前节octa的眼动追踪方法、装置、设备和存储介质
CN114693912A (zh) * 2022-03-10 2022-07-01 山东大学齐鲁医院 具有眼球追功能的内镜检查系统、存储介质及设备
CN114693912B (zh) * 2022-03-10 2024-03-05 山东大学齐鲁医院 具有眼球追踪功能的内镜检查系统、存储介质及设备
CN117133043A (zh) * 2023-03-31 2023-11-28 荣耀终端有限公司 注视点估计方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110807427B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN110807427B (zh) 一种视线追踪方法、装置、计算机设备和存储介质
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
US11775056B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
US11315281B2 (en) Pupil positioning method and apparatus, VR/AR apparatus and computer readable medium
US10445574B2 (en) Method and apparatus for iris recognition
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
US20180268458A1 (en) Automated recommendation and virtualization systems and methods for e-commerce
US8755607B2 (en) Method of normalizing a digital image of an iris of an eye
US8682073B2 (en) Method of pupil segmentation
US20150092983A1 (en) Method for calibration free gaze tracking using low cost camera
US20100232654A1 (en) Method for reconstructing iris scans through novel inpainting techniques and mosaicing of partial collections
JP2016515242A (ja) 校正不要な注視点推定の方法と装置
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
US10909363B2 (en) Image acquisition system for off-axis eye images
CN109766007B (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
EP3241151A1 (en) An image face processing method and apparatus
CN110705504B (zh) 视线定位方法、显示装置、电子设备以及存储介质
Vitek et al. Exploring bias in sclera segmentation models: A group evaluation approach
CN115423870A (zh) 一种瞳孔中心定位方法和装置
Parikh et al. Effective approach for iris localization in nonideal imaging conditions
CN105279764B (zh) 眼睛图像处理设备和方法
US9501710B2 (en) Systems, methods, and media for identifying object characteristics based on fixation points
US10796147B1 (en) Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye
CN117392734B (zh) 面部数据处理方法、装置、计算机设备和存储介质
CN113408531B (zh) 一种基于图像识别的目标物形状框选方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant