CN113255476B - 一种基于眼动追踪的目标跟踪方法、系统及存储介质 - Google Patents

一种基于眼动追踪的目标跟踪方法、系统及存储介质 Download PDF

Info

Publication number
CN113255476B
CN113255476B CN202110498486.6A CN202110498486A CN113255476B CN 113255476 B CN113255476 B CN 113255476B CN 202110498486 A CN202110498486 A CN 202110498486A CN 113255476 B CN113255476 B CN 113255476B
Authority
CN
China
Prior art keywords
frame
video stream
target
eye
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110498486.6A
Other languages
English (en)
Other versions
CN113255476A (zh
Inventor
彭进业
邓乐玲
赵万青
李斌
彭先霖
胡琦瑶
张晓丹
王珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202110498486.6A priority Critical patent/CN113255476B/zh
Publication of CN113255476A publication Critical patent/CN113255476A/zh
Application granted granted Critical
Publication of CN113255476B publication Critical patent/CN113255476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于眼动追踪的目标检测方法、系统及存储介质。所公开的方案包括获取眼动信息和目标检测信息，根据眼动信息确定人眼在前景图像中的显示中心视觉区域；之后判断并显示中心视觉区域处的目标检测信息，输出中心视觉区域处物体的预测位置和预测类别信息。本发明将眼动追踪技术与目标检测技术结合，针对性检测出人眼注视区域目标，便于获取用户兴趣点。

Description

一种基于眼动追踪的目标跟踪方法、系统及存储介质
技术领域
本发明属于视觉技术领域，具体涉及一种基于眼动追踪的目标跟踪方法。
背景技术
眼动追踪可以反映眼睛运动与注视点变化之间的位置关系，但是却不能明确注视点到底是什么物体，需要后续人工识别和判断，从而分析运动员的身体状况，了解运动员心理变化过程，以便制定更为科学的训练方法。
将目标检测运用于VR/AR环境可以完成对物体的识别和定位，但是目前的目标检测算法是对图像中所有感兴趣的物体进行物体定位和物体分类，功耗高，无针对性，且会产生很多无关信息。
发明内容
针对现有技术存在的不足，本发明一方面提供了一种基于眼动追踪的目标检测方法。
为此，本发明所提供的方法包括以下步骤：
步骤1，采集同一人的人眼区域视频流It和人眼所能看到的前景视频流Gt；
步骤2，采用瞳孔中心检测方法识别人眼区域视频流It每一帧的瞳孔中心坐标；
步骤3，采用YOLO目标检测方法获取人眼所能看到的前景视频流Gt中每一帧的目标检测信息，每一帧的目标检测信息包括该帧中的所有目标、各目标的预测位置坐标、各目标的预测位置中心点、各目标的预测类别和各目标属于预测类别的置信度；
步骤4，将步骤2所得每一帧瞳孔中心坐标映射至前景视频流中，得到每一帧瞳孔中心坐标在前景视频流中的中心视觉区域，每一帧瞳孔中心坐标在前景视频流中的中心视觉区域包括中心点坐标和中心视觉区域半径，其中，采用水平垂直方向注视跟踪算法计算每一帧中心视觉区域的中心点坐标，中心视觉区域半径采用式(1)计算；
Figure BDA0003055451900000021
式(1)中：
R为任一帧的中心视觉区域的半径；
pr°为人眼中央凹视觉范围，具体可根据行业习惯取值；
Figure BDA0003055451900000022
M＝<(Xt-xt*α),(Yt-yt*ω),Dis>
Figure BDA0003055451900000023
xt为所述任一帧的瞳孔中心的水平坐标，yt为所述任一帧的瞳孔中心的垂直坐标；
Xt为所述任一帧的中心视觉区域中心点的水平坐标，Yt为所述任一帧的中心视觉区域中心点的垂直坐标；
α为拍摄前景视频流Gt的第一摄像头水平分辨率与拍摄人眼区域视频流It的第二摄像头水平分辨率的比值；ω为拍摄前景视频流Gt的第一摄像头垂直分辨率与拍摄人眼区域视频流It的第二摄像头垂直分辨率的比值；
Dis为第一摄像头与第二摄像头之间的像素距离；
步骤5，计算人眼所能看到的前景视频流Gt中每一帧中各目标的判断因子，将每一帧中判断因子最大的目标作为人眼感兴趣目标；其中Gt中任一帧任一目标的判断因子DBIOU采用式(2)计算；
DBIOU＝DIOU+β*CF (2)
式(2)中：
Figure BDA0003055451900000031
IOU为该任一目标的位置坐标与该任一目标所在帧对应的中心视觉区域的交并比；
ρ为bfv与HG'(Xt,Yt)之间的欧式距离；bfv为该任一目标的预测位置的中心点，HG'(Xt,Yt)为该任一帧的中心视觉区域的中心点坐标，Xt为所述任一帧的中心视觉区域中心点的水平坐标，Yt为所述任一帧的中心视觉区域中心点的垂直坐标；
q为同时包含该任一目标预测位置和该任一目标所在帧对应的中心视觉区域的最小闭包区域的对角距离；
β为参数，取值范围为：0.2-0.4；
CF为该任一目标属于预测类别的置信度。
进一步，步骤2中首先采用金字塔LK光流法对人眼区域视频流It中相邻帧的眼部运动状态进行估计后再进行瞳孔中心检测，对于处于眼颤状态帧和眨眼状态帧直接沿用各自上一帧的瞳孔中心坐标。
进一步，步骤3中采用YOLOV4目标检测方法获取人眼所能看到的前景视频流Gt中每一帧的目标检测信息。
进一步，步骤3中采用感知哈希算法对前景视频流Gt的每一帧进行处理，生成每一帧的指纹字符串，之后比较相邻帧的指纹字符串信息，对于指纹字符串信息相似的帧，直接沿用上一帧的目标检测信息。
可选的，pr°＝5°
进一步，Dis的取值范围是950-1100像素。
进一步，建立双通道，其中一个通道用于获取人眼区域视频流It并识别人眼区域视频流It每一帧的瞳孔中心坐标，另一通道用于获取人眼所能看到的前景视频流Gt以及Gt中每一帧的目标检测信息。
同时本发明提供了相应地基于眼动追踪的目标检测系统。所提供的系统包括人眼区域视频流It采集模块、人眼所能看到的前景视频流Gt采集模块、用于执行上述步骤2的瞳孔中心检测模块、用于执行上述步骤3的目标检测模块、用于执行上述步骤4的目标检测模块映射模块和用于执行上述步骤5的目标检测模块。
本发明还提供了一种存储介质，所述存储介质上存储有计算机可执行的程序代码，其特征在于，所述程序代码被计算机系统的一个或多个处理器执行时，所述计算机系统执行一种所述程序用于实现上述基于眼动追踪的目标检测方法。
本发明与现有技术相比，具有如下技术效果：
(Ⅰ)本发明将眼动追踪技术与目标检测技术相结合，分别追踪眼动信息和目标检测信息，再将眼动信息和目标检测信息相匹配，针对性的检测出人眼注视区域目标，以便于获取用户兴趣点。
(Ⅱ)本发明所采用的方法改善了现有目标检测无关信息多，功耗高的问题，能够针对性的对注视物体进行识别，有效提取用户兴趣点实现个性化推荐以及辅助Mise-Unseen隐藏在视线范围内物体的个性化改变，有利于AR/VR走向消费者，扩大VR/AR市场，提高用户使用舒适度，对于VR/VR环境下的游戏娱乐，旅游购物，商业服务，医疗诊断等都具有巨大贡献。
附图说明
图1为本发明眼动追踪目标检测方法的结构示意图，其中：A代表真实人眼，B为实时拍摄眼部区域的红外摄像头模组，C是获取人眼所看到前景区域的广角摄像头模组，a是人眼的真实瞳孔中心，a’是通过瞳孔中心检测方法检测到的瞳孔中心坐标点，b为视场中的人眼中心视觉区域，c是视场中的人眼中心视觉区域在前景摄像头模组获取画面的对应区域；
图2为实施例1中人眼区域视频流It及相关瞳孔中心坐标示例，(a1)为步骤一中采集一人的人眼区域视频流It中的一帧的人眼图像；(a2)为步骤二识别标定的(a1)图像的瞳孔中心坐标；
图3为实施例1中前景视频流Gt及目标检测信息示例，(b1)为步骤一中采集的人眼所能看到的前景视频流Gt中的一帧；(b2)为步骤三中通过YOLOV4方法获取(b1)帧的目标检测信息；
图4为实施例1步骤四得到的图2(a2)在图3(b1)中的中心视觉区域；
图5为实施例1的结果示例，(c2)为人眼向左看花瓶时检测的瞳孔中心坐标(因为镜面成像，所以摄像头采集的人眼区域视频流的每一帧都与真实人眼图像左右方向相反)；(c1)为在(c2)看到的前景画面中人眼中心视觉区域对应的物体检测结果；(d2)为人眼向右看瓶子时检测的人眼中心坐标(因为镜面成像，所以摄像头采集的人眼区域视频流的每一帧都与真实人眼图像左右方向相反)；(d1)为在(d2)看到的前景画面中人眼中心视觉区域对应的物体检测结果；(e2)为人眼平视电脑时检测的人眼中心坐标(因为镜面成像，所以摄像头采集的人眼区域视频流的每一帧都与真实人眼图像左右方向相反)；(e1)为在(e2)看到的前景画面中人眼中心视觉区域对应的物体检测结果；(f2)为人眼向下看电脑键盘时检测的人眼中心坐标(因为镜面成像，所以摄像头采集的人眼区域视频流的每一帧都与真实人眼图像左右方向相反)；(f1)为在(f2)看到的前景画面中人眼中心视觉区域对应的物体检测结果。
图6为对比例与实施例结果对比，(g1)为对比例采用水平垂直方向的注视跟踪算法得到的注视目标点在人眼看向左侧黑色水杯边缘区域时的结果图，该结果图显示无法检测到目标；(g2)为采用实施例1方法得到的人眼中心视觉区域在人眼看向左侧黑色水杯边缘区域时的结果图，该结果图显示可以成功检测到目标；(g3)为(g2)中的检测目标的放大图，为了更清晰的看出检测结果；(h1)为对比例采用水平垂直方向的注视跟踪算法得到的注视目标点在人眼看向右侧鼠标边缘区域时的结果图，该结果显示无法检测到目标；(h2)为采用实施例1方法得到的人眼中心视觉区域在人眼看向右侧鼠标边缘区域时的结果图，该结果显示可以成功检测到目标；(h3)为(h2)中的检测目标放大图。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
除非另有说明，本文中的术语或方法根据相关领域普通技术人员的认识理解或采用已有相关方法实现。
交并比IOU计算的是“预测的边框”和“真实的边框”的交集和并集的比值，表示“预测边框”和“真实边框”的重叠率，可采用现有IOU方法计算，具体如式(3)：
Figure BDA0003055451900000071
其中：Ai od(i＝0,1,2...n)为目标i的预测位置，n是该帧中检测出的目标总数，Afv为该帧的中心视觉区域。
本发明的DIOU在IOU的基础上改进而来，同时考虑了边界框的重叠面积和中心点距离；DBIOU在DIOU的基础上改进而来，同时考虑了边界框的重叠面积，中心点距离和置信度。
本发明所述水平垂直方向注视跟踪算法可参考文献：Li B,F Hong,Wen D,etal.Etracker:A mobile gaze-tracking system with near-eye display based on acombined gaze-tracking algorithm[J].Sensors,2018,18(5):1626.中公开的相关方法。
本发明所述的目标类别指生活或/和生产中所见物料种类，例如人、车、家具、动物、厂房、设备等。
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1：
本实施例的目标跟踪方法步骤为：
步骤1，通过红外摄像头模组实时拍摄的人眼区域视频流It，通过广角摄像头模组拍摄的人眼所能看到的前景视频流Gt；
该实施例中α＝1280/640＝2，ω＝720/360＝2，pr°＝5°，Dis＝1000像素，β具体取0.3；图1(a1)为It中一帧的人眼图像，并同时通过广角摄像头采集人眼所能看到的前景视频流Gt，图2(b1)为Gt中与(a1)相同序列帧的前景图像；
步骤2，采用文献“王鹏,陈园园,邵明磊,等.基于眼动跟踪的智能家居控制器[J].电机与控制学报,2020,v.24；No.187(05):155-164.”中公开的方法对人眼区域视频流It每一帧进行瞳孔中心检测，获得每一帧的瞳孔中心坐标；通过步骤2得到的图2(a1)的人眼瞳孔中心坐标，人眼瞳孔中心坐标显示为(a2)中白色叉；
步骤3，采用YOLOV4目标检测方法(文献“Bochkovskiy A,Wang CY,LiaoH.YOLOv4:Optimal Speed and Accuracy of Object Detection[J].2020.”中公开的方法)获取人眼所能看到的前景视频流Gt中每一帧的目标检测信息，每一帧的目标检测信息包括该帧中的所有目标、各目标的预测位置坐标、各目标的预测位置中心点、各目标的预测类别和各目标属于预测类别的置信度；通过步骤3得到图3(b1)中的目标检测信息，结果为图3(b2)，检测出的目标根据预测位置坐标用矩形框出，矩形框左上方标出该矩形框中目标预测类别和各目标属于预测类别的置信度；
步骤4，根据各视频流的输入序列，将每一帧瞳孔中心坐标映射至前景视频流中，得到每一帧瞳孔中心坐标在前景视频流中的中心视觉区域，每一帧瞳孔中心坐标在前景视频流中的中心视觉区域包括中心点坐标和中心视觉区域半径，其中，采用水平垂直方向注视跟踪算法计算每一帧中心视觉区域的中心点坐标，中心视觉区域半径采用式(1)计算；如图4所示，通过步骤四得到的图2(a2)在图3(b1)中的中心视觉区域，其中中心视觉区域为右侧画面中白色圆圈区域；
步骤5，计算人眼所能看到的前景视频流Gt中每一帧中各目标的判断因子，将每一帧中判断因子最大的目标作为人眼感兴趣目标；图5为人眼分别看向四个不同的方位时得到的最终结果。
实施例2：
该实施例与实施例1不同的是：步骤2中瞳孔中心检测方法的具体步骤为：
以人眼区域视频流It作为输入，采用金字塔LK光流法(Bouguet J Y.Pyramidalimplementation of the Lucas Kanade feature tracker.Opencv Documents,1999.)估计眼部的运动状态，剔除人眼区域视频流It中处于眨眼状态帧和眼颤状态的帧，输出剔除处于眨眼状态和眼颤状态帧的视频流It’；处于眼颤时光流矢量很小，该实施例中取相邻帧的光流失量大小小于100像素时为眼颤；处于眨眼时光流矢量特别大，该实施例中取相邻帧的光流失量大小大于6000像素时为眨眼；
步骤2.1.2，以步骤2.1.1中剔除了处于眨眼状态和眼颤状态的视频流It'作为输入，采用文献“王鹏,陈园园,邵明磊,等.基于眼动跟踪的智能家居控制器[J].电机与控制学报,2020,v.24；No.187(05):155-164.”中公开的方法对每一帧进行瞳孔中心检测，获得每一帧的瞳孔中心坐标，对于剔除掉的眨眼状态和眼颤状态帧沿用其上一帧的通孔中心坐标。
实施例3：
该实施例与实施例2不同的是，步骤3具体为：
通过感知哈希算法处理为前景视频流Gt的每一帧生成“指纹”字符串；比较相邻帧的“指纹”字符串信息，判断相邻帧的相似性，若相似度超过98％，直接延用上一帧的目标检测结果；若相似度未超过98％，进行目标检测；该实施例的目标检测方法采用YOLOv4方法，具体可参考文献“Bochkovskiy A,Wang C Y,Liao H.YOLOv4:Optimal Speed andAccuracy of Object Detection[J].2020.”中公开的方法。
对实施例1-3的方案通过帧率进行实时性能分析(一般帧率达到15帧/秒时人眼看上去为连续，则认为基本实时，帧率越大，实时性越好)，结果如表1所示。
表1
方案 帧率(帧/秒)
实施例1 12
实施例2 16
实施例3 27
表1所示结果显示，实施例3的方案最终速率可达到27帧/秒，说明金字塔LK光流法和感知哈希算法可以提升整个方法的速率，使最终速率达到实时的效果。
对比例：
该对比例的与实施例1不同的是：将步骤4的中心视觉区域替换成现有技术中的水平垂直方向注视跟踪算法计算出的中心点坐标，其他步骤不变；得到结(g1)和(h1)图示结果，(g1)和(h1)中白色点为水平垂直方向注视跟踪算法计算出的中心点坐标，替换后的方案未检测出目标。
对于相同视频流帧，采用实施例1的方案得到结果(g2)和(h2)，(g2)和(h2)中圆圈表示中心视觉区域，矩形框为检测出的目标；
对比上述结果说明本发明的中心视觉区域可以显著提升容错率。

Claims (9)

1.一种基于眼动追踪的目标检测方法，其特征在于，该方法包括以下步骤：
步骤1，采集同一人的人眼区域视频流It和人眼所能看到的前景视频流Gt；
步骤2，采用瞳孔中心检测方法识别人眼区域视频流It中每一帧的瞳孔中心坐标；
步骤3，采用YOLO目标检测方法获取人眼所能看到的前景视频流Gt中每一帧的目标检测信息，每一帧的目标检测信息包括该帧中的所有目标、各目标的预测位置坐标、各目标的预测位置中心点、各目标的预测类别和各目标属于预测类别的置信度；
步骤4，将步骤2所得每一帧瞳孔中心坐标映射至前景视频流中，得到每一帧瞳孔中心坐标在前景视频流中的中心视觉区域，每一帧瞳孔中心坐标在前景视频流中的中心视觉区域包括中心点坐标和中心视觉区域半径，其中，采用水平垂直方向注视跟踪算法计算每一帧中心视觉区域的中心点坐标，中心视觉区域半径采用式(1)计算；
Figure QLYQS_1
式(1)中：
R为任一帧的中心视觉区域的半径；
pr°为人眼中央凹视觉范围；
Figure QLYQS_2
Figure QLYQS_3
xt为所述任一帧的瞳孔中心的水平坐标，yt为所述任一帧的瞳孔中心的垂直坐标；
Xt为所述任一帧的中心视觉区域中心点的水平坐标，Yt为所述任一帧的中心视觉区域中心点的垂直坐标；
α为拍摄前景视频流Gt的第一摄像头水平分辨率与拍摄人眼区域视频流It的第二摄像头水平分辨率的比值；ω为拍摄前景视频流Gt的第一摄像头垂直分辨率与拍摄人眼区域视频流It的第二摄像头垂直分辨率的比值；
Dis为第一摄像头与第二摄像头之间的像素距离；
步骤5，计算人眼所能看到的前景视频流Gt中每一帧中各目标的判断因子，将每一帧中判断因子最大的目标作为人眼感兴趣目标；其中Gt中任一帧任一目标的判断因子DBIOU采用式(2)计算；
DBIOU＝DIOU+β*CF (2)
式(2)中：
Figure QLYQS_4
IOU为该任一目标的位置坐标与该任一目标所在帧对应的中心视觉区域的交并比；
ρ为bfv与HG'(Xt,Yt)之间的欧式距离，bfv为该任一目标的预测位置的中心点，HG'(Xt,Yt)为该任一帧的中心视觉区域的中心点坐标，Xt为所述任一帧的中心视觉区域中心点的水平坐标，Yt为所述任一帧的中心视觉区域中心点的垂直坐标；
q为同时包含该任一目标预测位置和该任一目标所在帧对应的中心视觉区域的最小闭包区域的对角距离；
β为参数，取值范围为：0.2-0.4；
CF为该任一目标属于预测类别的置信度。
2.如权利要求1所述的基于眼动追踪的目标检测方法，其特征在于，步骤2中首先采用金字塔LK光流法对人眼区域视频流It中相邻帧的眼部运动状态进行估计后再进行瞳孔中心检测，对于处于眼颤状态帧和眨眼状态帧直接沿用各自上一帧的瞳孔中心坐标。
3.如权利要求1所述的基于眼动追踪的目标检测方法，其特征在于，步骤3中采用YOLOV4目标检测方法获取人眼所能看到的前景视频流Gt中每一帧的目标检测信息。
4.如权利要求1所述的基于眼动追踪的目标检测方法，其特征在于，步骤3中采用感知哈希算法对前景视频流Gt的每一帧进行处理，生成每一帧的指纹字符串，之后比较相邻帧的指纹字符串信息，对于指纹字符串信息相似的帧，直接沿用上一帧的目标检测信息。
5.如权利要求1所述的基于眼动追踪的目标检测方法，其特征在于，pr°＝5°。
6.如权利要求1所述的基于眼动追踪的目标检测方法，其特征在于，Dis的取值范围是950-1100像素。
7.如权利要求1所述的基于眼动追踪的目标检测方法，其特征在于，建立双通道，其中一个通道用于获取人眼区域视频流It并识别人眼区域视频流It每一帧的瞳孔中心坐标，另一通道用于获取人眼所能看到的前景视频流Gt以及Gt中每一帧的目标检测信息。
8.一种基于眼动追踪的目标检测系统，其特征在于，包括人眼区域视频流It采集模块、人眼所能看到的前景视频流Gt采集模块、用于执行权利要求1-7任一权利要求所述步骤2的瞳孔中心检测模块、用于执行权利要求1-7任一权利要求所述步骤3的目标检测模块、用于执行权利要求1-7任一权利要求所述步骤4的目标检测模块映射模块和用于执行权利要求1-7任一权利要求所述步骤5的目标检测模块。
9.一种存储介质，所述存储介质上存储有计算机可执行的程序代码，其特征在于，所述程序代码被计算机系统的一个或多个处理器执行时，所述计算机系统执行一种所述程序用于实现权利要求1-7任一权利要求所述的基于眼动追踪的目标检测方法。
CN202110498486.6A 2021-05-08 2021-05-08 一种基于眼动追踪的目标跟踪方法、系统及存储介质 Active CN113255476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110498486.6A CN113255476B (zh) 2021-05-08 2021-05-08 一种基于眼动追踪的目标跟踪方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110498486.6A CN113255476B (zh) 2021-05-08 2021-05-08 一种基于眼动追踪的目标跟踪方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113255476A CN113255476A (zh) 2021-08-13
CN113255476B true CN113255476B (zh) 2023-05-19

Family

ID=77223915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110498486.6A Active CN113255476B (zh) 2021-05-08 2021-05-08 一种基于眼动追踪的目标跟踪方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113255476B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298912B (zh) * 2022-03-08 2022-10-14 北京万里红科技有限公司 图像采集方法、装置、电子设备及存储介质
CN114879851B (zh) * 2022-07-11 2022-11-01 深圳市中视典数字科技有限公司 一种基于虚拟现实的数据采集方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536077A (zh) * 2006-11-09 2009-09-16 索尼爱立信移动通讯股份有限公司 基于眼睛跟踪来调整显示亮度和/或刷新率
CN107609516A (zh) * 2017-09-13 2018-01-19 重庆爱威视科技有限公司 自适应眼动追踪方法
CN109815913A (zh) * 2019-01-28 2019-05-28 安徽大学 基于眼动信息的视觉增强感知系统及其方法
CN110659674A (zh) * 2019-09-05 2020-01-07 东南大学 一种基于视线跟踪的测谎方法
WO2020042542A1 (zh) * 2018-08-31 2020-03-05 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
WO2020042541A1 (zh) * 2018-08-31 2020-03-05 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536077A (zh) * 2006-11-09 2009-09-16 索尼爱立信移动通讯股份有限公司 基于眼睛跟踪来调整显示亮度和/或刷新率
CN107609516A (zh) * 2017-09-13 2018-01-19 重庆爱威视科技有限公司 自适应眼动追踪方法
WO2020042542A1 (zh) * 2018-08-31 2020-03-05 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
WO2020042541A1 (zh) * 2018-08-31 2020-03-05 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
CN109815913A (zh) * 2019-01-28 2019-05-28 安徽大学 基于眼动信息的视觉增强感知系统及其方法
CN110659674A (zh) * 2019-09-05 2020-01-07 东南大学 一种基于视线跟踪的测谎方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Real-Time Face&Eye Tracking and Blink Detection Using Event Cameras;Cian Ryan 等;arXiv;1-21 *
在模拟飞机降落过程中的眼动分析;柳忠起 等;北京航空航天大学学报;103-106 *
基于眼动追踪仪的户外标识系统视觉行为提取方法研究;李曜良 等;自动化与仪器仪表;156-159 *

Also Published As

Publication number Publication date
CN113255476A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
EP3539054B1 (en) Neural network image processing apparatus
Kar et al. A review and analysis of eye-gaze estimation systems, algorithms and performance evaluation methods in consumer platforms
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN104978548B (zh) 一种基于三维主动形状模型的视线估计方法与装置
CN113255476B (zh) 一种基于眼动追踪的目标跟踪方法、系统及存储介质
CN106529409A (zh) 一种基于头部姿态的眼睛注视视角测定方法
Cho et al. Long range eye gaze tracking system for a large screen
CN112732071B (zh) 一种免校准眼动追踪系统及应用
EP3893090A1 (en) Method for eye gaze tracking
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN112232128B (zh) 基于视线追踪的老年残障人士照护需求识别方法
CN115171024A (zh) 一种基于视频序列的面部多特征融合疲劳检测方法及系统
Chaudhary et al. Motion tracking of iris features to detect small eye movements
CN115359093A (zh) 一种基于单目的注视点估计视线追踪方法
Lee et al. Multi-modal user interaction method based on gaze tracking and gesture recognition
CN115907869A (zh) 基于关注度的电梯广告推荐方法与系统
CN106023168A (zh) 一种视频监控中边缘检测的方法及装置
Yoshimura et al. Appearance-based gaze estimation for digital signage considering head pose
Manolova et al. Human gaze tracking with an active multi-camera system
Zhu et al. A novel target tracking method of unmanned drones by gaze prediction combined with YOLO algorithm
WO2022246804A1 (zh) 视线追踪方法、装置及系统
US11675428B2 (en) Determining a gaze direction using depth information
Sarkar et al. A hybrid approach for eye-centre localization for estimation of eye-gazes using low-cost web cam
Liu et al. Eye-gaze tracking research based on image processing
Zhang et al. A low complexity method for real-time gaze tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant