CN112883767B - 眼跳图像的处理方法及相关产品 - Google Patents

眼跳图像的处理方法及相关产品 Download PDF

Info

Publication number
CN112883767B
CN112883767B CN201911217138.6A CN201911217138A CN112883767B CN 112883767 B CN112883767 B CN 112883767B CN 201911217138 A CN201911217138 A CN 201911217138A CN 112883767 B CN112883767 B CN 112883767B
Authority
CN
China
Prior art keywords
eye gaze
gaze point
eye
points
currently processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911217138.6A
Other languages
English (en)
Other versions
CN112883767A (zh
Inventor
王文东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911217138.6A priority Critical patent/CN112883767B/zh
Publication of CN112883767A publication Critical patent/CN112883767A/zh
Application granted granted Critical
Publication of CN112883767B publication Critical patent/CN112883767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种眼跳图像的处理方法及相关产品，应用于电子设备，方法包括：首先，通过摄像头采集目标用户的多帧图像帧，之后，确定多帧图像帧中满足第一约束条件的M张目标图像帧，然后，根据M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点，最后，根据M个人眼注视点中除至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。本申请实施例有利于提升眼跳图像的处理的精确度。

Description

眼跳图像的处理方法及相关产品
技术领域
本申请涉及电子技术领域，具体涉及一种眼跳图像的处理方法及相关产品。
背景技术
随着科技的发展，电子设备往往能够提供眼球追踪服务，用户仅仅通过移动眼球或者改变眼睛的状态便可以实现与电子设备的交互，此时，眼球追踪尤为重要，目前，市面上的一些电子设备支持眼球追踪功能。现有技术中，电子设备往往通过实时采集一帧图像，经过眼球追踪算法分析瞳孔的位置从而确定注视点的位置以实现眼球追踪，这样的眼球追踪方式，难以保证眼球追踪的精准性。
发明内容
本申请实施例提供了一种眼跳图像的处理方法及相关产品，以期提升眼跳图像的处理的精确度。
第一方面，本申请实施例提供了一种眼跳图像的处理方法，应用于电子设备，所述方法包括：
通过摄像头采集目标用户的多帧图像帧；
确定所述多帧图像帧中满足第一约束条件的M张目标图像帧，所述第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于或者等于5的正整数；
根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点；
根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。
第二方面，本申请实施例提供了一种眼跳图像处理装置，应用于电子设备，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元通过摄像头采集目标用户的多帧图像帧；以及用于确定所述多帧图像帧中满足第一约束条件的M张目标图像帧，所述第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于或者等于5的正整数；以及用于根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点；以及用于根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。
第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备首先通过摄像头采集目标用户的多帧图像帧，之后，确定多帧图像帧中满足第一约束条件的M张目标图像帧，第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于或者等于5的正整数，然后，根据M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点，最后，根据M个人眼注视点中除至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。可见，本申请实施例的电子设备能够通过联合处理目标用户的多帧图像帧，结合该多帧图像帧的人眼的影像信息，确定多个有效的人眼注视点，最终，根据多个有效的人眼注视点实现对人眼跟踪服务，提高电子设备对人眼跟踪的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种眼跳图像的处理装置的应用场景图；
图2A是本申请实施例提供的一种眼跳图像的处理方法的流程示意图；
图2B是本申请实施例提供的一种M个人眼注视点的示意图；
图2C是本申请实施例提供的另一种M个人眼注视点的示意图；
图3是本申请实施例提供的一种电子设备的结构示意图；
图4是本申请实施例提供的一种眼跳图像处理装置的功能模块组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(MobileStation，MS)，终端设备(terminaldevice)等等。
目前，针对人眼追踪问题，往往会存在无效交互情况，如用户无意识的眨眼，或者用户处于冥想状态时，人眼飘忽不定，等等，都会对人眼追踪造成干扰，以至于导致人眼追踪不精准。
针对上述问题，本申请提出一种眼跳图像的处理方法，下面结合附图对本申请实施例进行详细介绍。
请参见图1，图1是本申请实施例提供的一种电子设备的应用场景图，如图1所示，电子设备10为具备眼动追踪功能的电子设备，用户在使用电子设备时，可以通过眼睛与电子设备进行交互。
在眼动追踪功能后，电子设备10能够通过该电子设备的摄像头101获取用户的多帧图像帧，对多帧图像帧进行处理，实现人眼跟踪服务。
请参阅图2A，图2A是本申请实施例提供的一种眼跳图像的处理方法的流程示意图，应用于电子设备，如图2A所示，本眼跳图像的处理方法包括：
S201，电子设备通过摄像头采集目标用户的多帧图像帧。
其中，所述电子设备通过摄像头采集目标用户的多帧图像帧可以是按照预设的时间间隔采集目标用户的多帧图像帧，该预设时间间隔可以是[12,1000)毫秒之间的时间间隔，其中，可以是连续的8帧，所述多帧图像帧可以是连续的9帧，所述多帧图像帧可以是大于8的其他正整数帧，不作具体限定。
举例来说，电子设备通过摄像头按照16.5毫秒每帧的频率采集目标用户的25帧图像帧。
可见，本示例中，电子设备能够通过摄像头采集目标用户的多帧图像帧。
S202，所述电子设备确定所述多帧图像帧中满足第一约束条件的M张目标图像帧，所述第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于或者等于5的正整数。
其中，所述电子设备确定所述多帧图像帧中满足第一约束条件的M张目标图像帧的实现方式可以包括以下步骤：在检测到当前处理的图像帧中存在用户人眼的影像时，根据所述用户人眼的影像判断所述用户人眼的当前状态是否为睁开状态；若所述用户人眼的当前状态为睁开状态，则判断所述用户人眼相对于所述显示屏幕所处平面的注视点是否处于所述显示屏幕上；若所述用户人眼相对于所述显示屏幕所处平面的注视点处于所述显示屏幕上，则确定所述当前处理的图像帧满足所述第一约束条件。
其中，所述电子设备确定当前处理的图像帧中是否存在用户人眼的影像的实现方式可以是：所述电子设备对所述当前处理的图像帧进行去燥处理；所述电子设备根据去燥后的所述当前处理的图像帧得到灰度图像；所述电子设备确定所述灰度图像中的多个人脸特征点；所述电子设备根据所述多个人脸特征点确定所述灰度图像中的人眼影像。
进一步的，所述电子设备确定所述灰度图像中的多个人脸特征点可以采用边缘提取法，所述电子设备确定所述灰度图像中的多个人脸特征点也可以采用灰度投影法，所述电子设备确定所述灰度图像中的多个人脸特征点还可以采用模板匹配法，所述电子设备确定所述灰度图像中的多个人脸特征点还可以采用其他现有方法，此处，所述电子设备确定所述灰度图像中的多个人脸特征点的技术已经非常成熟，不再赘述。
举例来说，电子设备在获取目标用户的多帧图像帧后，依次对该多帧图像帧中的每一帧图像进行逐一处理，在对每一张图像进行处理的过程中，先判断当前处理的图像帧中是否存在用户人眼的影像，如果当前处理的图像帧中不存在用户的人眼影像，则当前处理的图像帧为无效人眼跟踪图像帧，对应的用户的人眼状态可能是有障碍物遮挡，如用户的手部遮住，或者，如果当前处理的图像帧中存在用户的人眼影像，则根据用户的人眼影像判断所述用户人眼的当前状态是否为睁开状态，若所述用户人眼的当前状态是否为闭眼状态，则当前处理的图像帧为无效人眼跟踪图像帧，不能作为人眼追踪的参考图像帧，若所述用户人眼的当前状态为睁开状态，则进一步判断该用户人眼相对于电子设备的显示屏幕所处平面的注视点是否处于所述显示屏幕上，如果该用户人眼相对于电子设备的显示屏幕所处平面的注视点不处于所述显示屏幕上，则当前处理的图像帧为无效人眼跟踪图像帧，不能作为人眼追踪的参考图像帧。
可见，本示例中，电子设备能够通过图像处理初步排除多帧图像帧中明显无效的人眼跟踪图像帧，根据有效的的人眼跟踪图像帧的注视点进行人眼跟踪服务，提升人眼跟踪服务的准确度和效率。
S203，所述电子设备根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点。
其中，异常人眼注视点是指不符合运动规律的人眼注视点，例如，在用户阅读的过程中，常常会出现眼神飘忽的情况，而眼神飘忽状态所对应的注视点不符合运动规律的人眼注视点，因此，异常人眼注视点作为人眼追踪的参考注视点。
可选的，所述电子设备根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点，可以通过以下方式实现：所述电子设备确定所述M个人眼注视点中相邻两个人眼注视点之间距离；所述电子设备从所述M个人眼注视点中筛选出至少一个参考人眼注视点，所述至少一个参考人眼注视点为距离大于预测距离的人眼注视点，所述预测距离为通过分析所述M个人眼注视的运动规律得到的参考距离；所述电子设备根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，N为大于1的正整数，X为大于1的正整数，且N和X之和小于M-1。
其中，所述预测距离可以是电子设备通过以下方式得到的：统计所述M个人眼注视点每相邻两个人眼注视点之间的距离值，得到一个高频距离值区间，根据该高频距离值区间确定该参考距离，该参考距离可以是高频距离值区间的最大值的a倍，a为[1,2]之间的任意值，进一步的，当相邻两个人眼注视点之间的距离值大于上述参考距离时，则确定该相邻两个人眼注视点为参考人眼注视点。
其中，N和X不做具体限定，在不同情况下，该N和X不同，N和X可以相等。
可选的，所述电子设备根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，包括：所述电子设备判断当前处理的参考人眼注视点是否满足第一运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的前N个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第一运动规律，则判断所述当前处理的参考人眼注视点是否满足第二运动规律，所述第二运动规律为所述当前处理的参考人眼注视点的后X个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第二运动规律，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
此外，若所述当前处理的参考人眼注视点满足所述第二运动规律，则确定所述当前处理的参考人眼注视点不为所述异常人眼注视点；若所述当前处理的参考人眼注视点满足所述第一运动规律，则确定所述当前处理的参考人眼注视点不为所述异常人眼注视点。
请参考图2B，图2B是本申请实施例提供的一种M个人眼注视点的示意图，如图2B所示，一共有15个人眼注视点，为了便于理解，将该15个人眼注视点依照对应图像帧的顺序编号1至15，其中，人眼注视点7、人眼注视点8和人眼注视点9为确定出的人眼参考点，以当前处理的人眼注视点为人眼注视点7为例，电子设备可以先根据人眼注视点1-6确定出人眼注视点的第一运行规律，人眼注视点1-6形成类直线，且每相邻两个人眼注视点的距离相差不大，而分析出人眼注视点7符合人眼注视点1-6的运动规律，则确定人眼注视点7为有效人眼注视点；以当前处理的人眼注视点为人眼注视点8为例，电子设备可以先根据人眼注视点1-7确定出人眼注视点的第一运行规律，人眼注视点1-7形成类直线，且每相邻两个人眼注视点的距离相差不大，而分析出人眼注视点8不符合人眼注视点1-7的运动规律，此时，根据人眼注视点9-13确定出人眼注视点的第二运行规律，人眼注视点9-13形成类直线，且每相邻两个人眼注视点的距离相差不大，而分析出人眼注视点8不符合人眼注视点9-13的运动规律，则确定人眼注视点8为异常人眼注视点；以当前处理的人眼注视点为人眼注视点9为例，电子设备可以先根据人眼注视点2-8确定出人眼注视点的第一运行规律，此时，第一运行规律为人眼注视点2-7确定的运动规律，人眼注视点2-7形成类直线，且每相邻两个人眼注视点的距离相差不大，而分析出人眼注视点9不符合人眼注视点1-8所确定的运动规律，此时，根据人眼注视点10-14确定出人眼注视点的第二运行规律，人眼注视点9-13形成类直线，且每相邻两个人眼注视点的距离相差不大，而分析出人眼注视点9符合人眼注视点10-14的运动规律，则确定人眼注视点9不为异常人眼注视点。
需要说明的是，所述电子设备根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，也可以是：所述电子设备分析当前处理的参考人眼注视点的后X个参考人眼注视点，得到所述后X个参考人眼注视点的第一运动规律；判断所述当前处理的参考人眼注视点是否满足所述第一运动规律；若所述当前处理的参考人眼注视点不满足所述第一运动规律，则分析当前处理的参考人眼注视点的前N个参考人眼注视点，得到所述前N个参考人眼注视点的第二运动规律；所述电子设备判断所述当前处理的参考人眼注视点是否满足所述第二运动规律；若所述当前处理的参考人眼注视点不满足所述第二运动规律，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点；若所述当前处理的参考人眼注视点满足所述第二运动规律，则确定所述当前处理的参考人眼注视点不为所述异常人眼注视点；若所述当前处理的参考人眼注视点满足所述第一运动规律，则确定所述当前处理的参考人眼注视点不为所述异常人眼注视点。方法原理同上述一致，此处不再赘述。
可见，本示例中，电子设备能够通过分析当前处理的参考人眼注视点是否符合前几个人眼注视点确定的运动规律与后几个人眼注视点确定的运动规律，确定当前处理的参考人眼注视点是否为无效人眼注视点。
可选的，所述电子设备根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，包括：若当前处理的参考人眼注视点的前一个人眼注视点和后一个人眼注视点均为参考人眼注视点，则确定所述当前处理的参考人眼注视点为无效人眼注视点；若当前处理的参考人眼注视点的前一个人眼注视点不为参考人眼注视点且后一个人眼注视点为参考人眼注视点，则根据所述当前处理的参考人眼注视点的前N个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点；若当前处理的参考人眼注视点的前一个人眼注视点为参考人眼注视点且后一个人眼注视点不为参考人眼注视点，则根据所述当前处理的参考人眼注视点的后X个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点。
进一步的，所述电子设备根据所述当前处理的参考人眼注视点的前N个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点，包括：所述电子设备分析所述前N个参考人眼注视点，得到所述前N个参考人眼注视点的运动规律；判断所述当前处理的参考人眼注视点是否满足所述运动规律；若是，则确定所述当前处理的参考人眼注视点不为所述异常人眼注视点；若否，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
请参考图2C，图2C是本申请实施例提供的另一种M个人眼注视点的示意图，如图2C所示，一共有12个人眼注视点，为了便于理解，将该12个人眼注视点依照对应图像帧的顺序编号1至12，其中，人眼注视点4、人眼注视点5、人眼注视点6和人眼注视点7为确定出的人眼参考点。
以当前处理的参考人眼注视点为人眼注视点4为例，电子设备确定出人眼注视点3不为参考人眼注视点且人眼注视点5不为参考人眼注视点，此时，电子设备会分析人眼注视点1-3确定参考人眼注视点4是否为异常人眼注视点，如，电子设备会分析人眼注视点1-3的运动规律，人眼注视点1-3形成类直线，且每相邻两个人眼注视点的距离相差不大，而分析出人眼注视点4符合人眼注视点1-3的运动规律，则确定人眼注视点4为有效人眼注视点。
以当前处理的人眼注视点为人眼注视点5为例，电子设备确定出人眼注视点4不为参考人眼注视点且人眼注视点6不为参考人眼注视点，此时，电子设备确定人眼注视点5为无效人眼注视点。
以当前处理的人眼注视点为人眼注视点6为例，电子设备确定出人眼注视点5为参考人眼注视点且人眼注视点7为参考人眼注视点，此时，此时，电子设备确定人眼注视点5为无效人眼注视点。
以当前处理的人眼注视点为人眼注视点7为例，电子设备确定出人眼注视点6为参考人眼注视点且人眼注视点8不为参考人眼注视点，此时，电子设备会分析人眼注视点8-12确定参考人眼注视点7是否为异常人眼注视点，如，电子设备会分析人眼注视点8-12的运动规律，人眼注视点8-12形成类直线，且每相邻两个人眼注视点的距离相差不大，而分析出人眼注视点7符合人眼注视点8-12的运动规律，则确定人眼注视点7为有效人眼注视点。
需要说明的是，在S203之后，所述电子设备还可以将所述至少一个异常人眼注视点对应的至少一帧图像帧和所述多帧图像帧中除所述M张目标图像帧以外的其他图像帧，标记为无效人眼跟踪图像帧，以便于电子设备在后期方便使用有效的人眼跟踪图像帧，进一步，提高人眼追踪的准确性。
举例来说，若电子设备每次获取20帧目标用户的图像帧，其中，有两帧图像帧为为没有用户人眼影像的图像帧，有三帧图像帧为用户人眼处于闭眼状态的图像帧，有三帧图像帧为所述用户人眼相对于所述电子设备的显示屏幕所处平面的注视点不处于所述显示屏幕上，即处于所述显示屏幕外，有1帧图像帧是所述用户人眼相对于所述显示屏幕所处平面的注视点处于所述显示屏幕上但该图像帧对应的人眼注视点为异常人眼注视点，则标记该20帧目标用户的图像帧中的上述7帧图像帧为无效人眼跟踪图像帧。
可见，本示例中，电子设备能够通过分析当前处理的参考人眼注视点是否符合前几个人眼注视点确定的运动规律与后几个人眼注视点确定的运动规律，确定当前处理的参考人眼注视点是否为无效人眼注视点。
S204，所述电子设备根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。
其中，所述电子设备根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务可以是：所述电子设备根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点预估目标用户的第M+1帧图像帧中的用户人眼影像的预估位置，可以根据预估位置确定该第M+1帧图像帧中的用户人眼影像的预估区域，在对第M+1帧图像帧进行处理时，先在该第M+1帧图像帧中的预估区域搜索用户人眼影像，如果预估区域中没有用户人眼影像，则搜索该第M+1帧图像帧中除预估区域之外的其他区域，确定用户人眼影像的位置。
可见，本示例中，电子设备能够通过有效的人眼注视点进行人眼跟踪服务，提升人眼跟踪的准确度。
可以看出，本申请实施例中，电子设备首先通过摄像头采集目标用户的多帧图像帧，之后，确定多帧图像帧中满足第一约束条件的M张目标图像帧，第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于或者等于5的正整数，然后，根据M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点，最后，根据M个人眼注视点中除至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。可见，本申请实施例的电子设备能够通过联合处理目标用户的多帧图像帧，结合该多帧图像帧的人眼的影像信息，确定多个有效的人眼注视点，最终，根据多个有效的人眼注视点实现对人眼跟踪服务，提高电子设备对人眼跟踪的准确性。
与上述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种电子设备300的结构示意图，如图3所示，所述电子设备300包括应用处理器310、存储器320、通信接口330以及一个或多个程序321，其中，所述一个或多个程序321被存储在上述存储器320中，并且被配置由上述应用处理器310执行，所述一个或多个程序321包括用于执行以下步骤的指令；
通过摄像头采集目标用户的多帧图像帧；
确定所述多帧图像帧中满足第一约束条件的M张目标图像帧，所述第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于等于3的正整数；
根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点；
根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。
可以看出，本申请实施例中，电子设备首先通过摄像头采集目标用户的多帧图像帧，之后，确定多帧图像帧中满足第一约束条件的M张目标图像帧，第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于等于3的正整数，然后，根据M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点，最后，根据M个人眼注视点中除至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。可见，本申请实施例的电子设备能够通过联合处理目标用户的多帧图像帧，结合该多帧图像帧的人眼的影像信息，确定多个有效的人眼注视点，最终，根据多个有效的人眼注视点实现对人眼跟踪服务，提高电子设备对人眼跟踪的准确性。
在一个可能的示例中，在所述确定所述多帧图像帧中满足第一约束条件的M张目标图像帧方面，所述一个或多个程序321中的指令具体用于执行以下操作：在检测到当前处理的图像帧中存在用户人眼的影像时，根据所述用户人眼的影像判断所述用户人眼的当前状态是否为睁开状态；若所述用户人眼的当前状态为睁开状态，则判断所述用户人眼相对于所述显示屏幕所处平面的注视点是否处于所述显示屏幕上；若所述用户人眼相对于所述显示屏幕所处平面的注视点处于所述显示屏幕上，则确定所述当前处理的图像帧满足所述第一约束条件。
在一个可能的示例中，在所述根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点方面，所述一个或多个程序321中的指令具体用于执行以下操作：确定所述M个人眼注视点中相邻两个人眼注视点之间距离；从所述M个人眼注视点中筛选出至少一个参考人眼注视点，所述至少一个参考人眼注视点为距离大于预测距离的人眼注视点，所述预测距离为通过分析所述M个人眼注视的运动规律得到的参考距离；根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，N为大于1的正整数，X为大于1的正整数，且N和X之和小于M-1。
在一个可能的示例中，在所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点方面，所述一个或多个程序321中的指令具体用于执行以下操作：判断当前处理的参考人眼注视点是否满足第一运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的前N个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第一运动规律，则判断所述当前处理的参考人眼注视点是否满足第二运动规律，所述第二运动规律为所述当前处理的参考人眼注视点的后X个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第二运动规律，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
在一个可能的示例中，在所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点方面，所述一个或多个程序321中的指令具体用于执行以下操作：若当前处理的参考人眼注视点的前一个人眼注视点和后一个人眼注视点均为参考人眼注视点，则确定所述当前处理的参考人眼注视点为无效人眼注视点；若当前处理的参考人眼注视点的前一个人眼注视点不为参考人眼注视点且后一个人眼注视点为参考人眼注视点，则根据所述当前处理的参考人眼注视点的前N个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点；若当前处理的参考人眼注视点的前一个人眼注视点为参考人眼注视点且后一个人眼注视点不为参考人眼注视点，则根据所述当前处理的参考人眼注视点的后X个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点。
在一个可能的示例中，在所述根据所述当前处理的参考人眼注视点的前N个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点方面，所述一个或多个程序321中的指令具体用于执行以下操作：分析所述前N个参考人眼注视点，得到所述前N个参考人眼注视点的运动规律；判断所述当前处理的参考人眼注视点是否满足所述运动规律；若是，则确定所述当前处理的参考人眼注视点不为所述异常人眼注视点；若否，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
在一个可能的示例中，在所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点方面，所述一个或多个程序321中的指令具体用于执行以下操作：判断当前处理的参考人眼注视点是否满足第一运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的后X个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第一运动规律，则判断所述当前处理的参考人眼注视点是否第二运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的前N个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第二运动规律，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的模块及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述图2A所示的实施例一致的，请参阅图4，图4是本申请实施例中所涉及的眼跳图像处理装置的功能模块组成框图，如图4所示，该眼跳图像处理装置400应用于电子设备，包括处理单元401和通信单元402，其中，
所述处理单元401，用于通过所述通信单元402通过摄像头采集目标用户的多帧图像帧；以及用于确定所述多帧图像帧中满足第一约束条件的M张目标图像帧，所述第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于等于3的正整数；以及用于根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点；以及用于根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。
其中，所述控制装置400还可以包括存储单元403，用于存储电子设备的程序代码和数据。所述处理单元401可以是处理器，所述通信单元402可以是触控显示屏或者收发器，存储单元403可以是存储器。
可以看出，本申请实施例中，电子设备首先通过摄像头采集目标用户的多帧图像帧，之后，确定多帧图像帧中满足第一约束条件的M张目标图像帧，第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于等于3的正整数，然后，根据M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点，最后，根据M个人眼注视点中除至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。可见，本申请实施例的电子设备能够通过联合处理目标用户的多帧图像帧，结合该多帧图像帧的人眼的影像信息，确定多个有效的人眼注视点，最终，根据多个有效的人眼注视点实现对人眼跟踪服务，提高电子设备对人眼跟踪的准确性。
在一个可能的示例中，在所述确定所述多帧图像帧中满足第一约束条件的M张目标图像帧方面，所述处理单元401具体用于：在检测到当前处理的图像帧中存在用户人眼的影像时，根据所述用户人眼的影像判断所述用户人眼的当前状态是否为睁开状态；若所述用户人眼的当前状态为睁开状态，则判断所述用户人眼相对于所述显示屏幕所处平面的注视点是否处于所述显示屏幕上；若所述用户人眼相对于所述显示屏幕所处平面的注视点处于所述显示屏幕上，则确定所述当前处理的图像帧满足所述第一约束条件。
在一个可能的示例中，在所述根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点方面，所述处理单元401具体用于：确定所述M个人眼注视点中相邻两个人眼注视点之间距离；从所述M个人眼注视点中筛选出至少一个参考人眼注视点，所述至少一个参考人眼注视点为距离大于预测距离的人眼注视点，所述预测距离为通过分析所述M个人眼注视的运动规律得到的参考距离；根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，N为大于1的正整数，X为大于1的正整数，且N和X之和小于M-1。
在一个可能的示例中，在所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点方面，所述处理单元401具体用于：判断当前处理的参考人眼注视点是否满足第一运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的前N个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第一运动规律，则判断所述当前处理的参考人眼注视点是否满足第二运动规律，所述第二运动规律为所述当前处理的参考人眼注视点的后X个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第二运动规律，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
在一个可能的示例中，在所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点方面，所述处理单元401具体用于：若当前处理的参考人眼注视点的前一个人眼注视点和后一个人眼注视点均为参考人眼注视点，则确定所述当前处理的参考人眼注视点为无效人眼注视点；若当前处理的参考人眼注视点的前一个人眼注视点不为参考人眼注视点且后一个人眼注视点为参考人眼注视点，则根据所述当前处理的参考人眼注视点的前N个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点；若当前处理的参考人眼注视点的前一个人眼注视点为参考人眼注视点且后一个人眼注视点不为参考人眼注视点，则根据所述当前处理的参考人眼注视点的后X个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点。
在一个可能的示例中，在所述根据所述当前处理的参考人眼注视点的前N个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点方面，所述处理单元401具体用于：分析所述前N个参考人眼注视点，得到所述前N个参考人眼注视点的运动规律；判断所述当前处理的参考人眼注视点是否满足所述运动规律；若是，则确定所述当前处理的参考人眼注视点不为所述异常人眼注视点；若否，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
在一个可能的示例中，在所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点方面，所述处理单元401具体用于：判断当前处理的参考人眼注视点是否满足第一运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的后X个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第一运动规律，则判断所述当前处理的参考人眼注视点是否第二运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的前N个参考人眼注视点对应的运动规律；若所述当前处理的参考人眼注视点不满足所述第二运动规律，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-OnlyMemory，简称：ROM)、随机存取器(英文：RandomAccessMemory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有该变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种眼跳图像的处理方法，其特征在于，应用于电子设备，所述方法包括：
通过摄像头采集目标用户的多帧图像帧；
确定所述多帧图像帧中满足第一约束条件的M张目标图像帧，所述第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于或者等于5的正整数；
根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点，包括：确定所述M个人眼注视点中相邻两个人眼注视点之间距离；从所述M个人眼注视点中筛选出至少一个参考人眼注视点，所述至少一个参考人眼注视点为距离大于预测距离的人眼注视点，所述预测距离为通过分析所述M个人眼注视的运动规律得到的参考距离；根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，N为大于1的正整数，X为大于1的正整数，且N和X之和小于M-1；所述异常人眼注视点指不符合运动规律的人眼注视点；
根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。
2.根据权利要求1所述的方法，其特征在于，所述确定所述多帧图像帧中满足第一约束条件的M张目标图像帧，包括：
在检测到当前处理的图像帧中存在用户人眼的影像时，根据所述用户人眼的影像判断所述用户人眼的当前状态是否为睁开状态；
若所述用户人眼的当前状态为睁开状态，则判断所述用户人眼相对于所述显示屏幕所处平面的注视点是否处于所述显示屏幕上；
若所述用户人眼相对于所述显示屏幕所处平面的注视点处于所述显示屏幕上，则确定所述当前处理的图像帧满足所述第一约束条件。
3.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，包括：
判断当前处理的参考人眼注视点是否满足第一运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的前N个参考人眼注视点对应的运动规律；
若所述当前处理的参考人眼注视点不满足所述第一运动规律，则判断所述当前处理的参考人眼注视点是否满足第二运动规律，所述第二运动规律为所述当前处理的参考人眼注视点的后X个参考人眼注视点对应的运动规律；
若所述当前处理的参考人眼注视点不满足所述第二运动规律，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
4.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，包括：
若当前处理的参考人眼注视点的前一个人眼注视点和后一个人眼注视点均为参考人眼注视点，则确定所述当前处理的参考人眼注视点为无效人眼注视点；
若当前处理的参考人眼注视点的前一个人眼注视点不为参考人眼注视点且后一个人眼注视点为参考人眼注视点，则根据所述当前处理的参考人眼注视点的前N个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点；
若当前处理的参考人眼注视点的前一个人眼注视点为参考人眼注视点且后一个人眼注视点不为参考人眼注视点，则根据所述当前处理的参考人眼注视点的后X个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点。
5.根据权利要求4所述的方法，其特征在于，所述根据所述当前处理的参考人眼注视点的前N个人眼注视点确定所述当前处理的参考人眼注视点是否为异常人眼注视点，包括：
分析所述前N个参考人眼注视点，得到所述前N个参考人眼注视点的运动规律；
判断所述当前处理的参考人眼注视点是否满足所述运动规律；
若是，则确定所述当前处理的参考人眼注视点不为所述异常人眼注视点；
若否，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
6.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，包括：
判断当前处理的参考人眼注视点是否满足第一运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的后X个参考人眼注视点对应的运动规律；
若所述当前处理的参考人眼注视点不满足所述第一运动规律，则判断所述当前处理的参考人眼注视点是否第二运动规律，所述第一运动规律为所述当前处理的参考人眼注视点的前N个参考人眼注视点对应的运动规律；
若所述当前处理的参考人眼注视点不满足所述第二运动规律，则确定所述当前处理的参考人眼注视点为所述异常人眼注视点。
7.一种眼跳图像处理装置，其特征在于，应用于电子设备，所述眼跳图像的处理装置包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元通过摄像头采集目标用户的多帧图像帧；以及用于确定所述多帧图像帧中满足第一约束条件的M张目标图像帧，所述第一约束条件用于约束图像帧中用户的人眼注视点处于显示屏幕上，M为大于或者等于5的正整数；以及用于根据所述M张目标图像帧对应的M个人眼注视点，确定至少一个异常人眼注视点，包括：确定所述M个人眼注视点中相邻两个人眼注视点之间距离；从所述M个人眼注视点中筛选出至少一个参考人眼注视点，所述至少一个参考人眼注视点为距离大于预测距离的人眼注视点，所述预测距离为通过分析所述M个人眼注视的运动规律得到的参考距离；根据所述至少一个参考人眼注视点中每个参考人眼注视点的前N个人眼注视点和/或后X个人眼注视点确定所述每个参考人眼注视点是否为异常人眼注视点，N为大于1的正整数，X为大于1的正整数，且N和X之和小于M-1；所述异常人眼注视点指不符合运动规律的人眼注视点；以及用于根据所述M个人眼注视点中除所述至少一个异常人眼注视点之外的其他人眼注视点进行人眼跟踪服务。
8.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
9.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
CN201911217138.6A 2019-11-29 2019-11-29 眼跳图像的处理方法及相关产品 Active CN112883767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911217138.6A CN112883767B (zh) 2019-11-29 2019-11-29 眼跳图像的处理方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911217138.6A CN112883767B (zh) 2019-11-29 2019-11-29 眼跳图像的处理方法及相关产品

Publications (2)

Publication Number Publication Date
CN112883767A CN112883767A (zh) 2021-06-01
CN112883767B true CN112883767B (zh) 2024-03-12

Family

ID=76039540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911217138.6A Active CN112883767B (zh) 2019-11-29 2019-11-29 眼跳图像的处理方法及相关产品

Country Status (1)

Country Link
CN (1) CN112883767B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373216A (zh) * 2021-12-07 2022-04-19 图湃(北京)医疗科技有限公司 用于眼前节octa的眼动追踪方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN106923908A (zh) * 2015-12-29 2017-07-07 东洋大学校产学协力团 性别注视特性分析系统
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN107422844A (zh) * 2017-03-27 2017-12-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN108572733A (zh) * 2018-04-04 2018-09-25 西安交通大学 一种基于条件随机场的眼动行为视觉搜索目标预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6329635B2 (ja) * 2014-02-25 2018-05-23 アイベリファイ インコーポレイテッド 視線追跡

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN106923908A (zh) * 2015-12-29 2017-07-07 东洋大学校产学协力团 性别注视特性分析系统
CN107422844A (zh) * 2017-03-27 2017-12-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN108572733A (zh) * 2018-04-04 2018-09-25 西安交通大学 一种基于条件随机场的眼动行为视觉搜索目标预测方法

Also Published As

Publication number Publication date
CN112883767A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN108919958B (zh) 一种图像传输方法、装置、终端设备及存储介质
EP3637290B1 (en) Unlocking control method and related product
CN104143078A (zh) 活体人脸识别方法、装置和设备
CN110969116B (zh) 注视点位置确定方法及相关装置
CN107590474B (zh) 解锁控制方法及相关产品
EP3623973B1 (en) Unlocking control method and related product
CN105556539A (zh) 检测兴趣区域的检测装置和方法
US11669162B2 (en) Eye event detection
US11151398B2 (en) Anti-counterfeiting processing method, electronic device, and non-transitory computer-readable storage medium
CN110009004B (zh) 图像数据处理方法、计算机设备和存储介质
CN114302088A (zh) 帧率调整方法、装置、电子设备及存储介质
CN111580665B (zh) 注视点预测方法、装置、移动终端及存储介质
CN112883767B (zh) 眼跳图像的处理方法及相关产品
CN114995628A (zh) 隔空手势识别方法及其相关设备
CN109522789A (zh) 应用于终端设备的眼球追踪方法、装置以及系统
CN104063041B (zh) 一种信息处理方法及电子设备
EP3200092A1 (en) Method and terminal for implementing image sequencing
JP5482080B2 (ja) 手認識装置
CN110248024B (zh) 解锁方法及其装置、电子设备、计算机可读存储介质
CN112749600B (zh) 人眼位置确定方法及相关产品
CN115643483A (zh) 一种终端设备控制方法、装置、可读存储介质及终端设备
CN106325500B (zh) 信息框选方法及装置
CN110266947B (zh) 拍照方法及相关装置
CN110266881B (zh) 应用控制方法及相关产品
CN113642531A (zh) 视频图像的识别方法、系统以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant