CN114627542A - 眼动位置的确定方法、装置、存储介质及电子设备 - Google Patents

眼动位置的确定方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114627542A
CN114627542A CN202210335987.7A CN202210335987A CN114627542A CN 114627542 A CN114627542 A CN 114627542A CN 202210335987 A CN202210335987 A CN 202210335987A CN 114627542 A CN114627542 A CN 114627542A
Authority
CN
China
Prior art keywords
target
face
determining
eye movement
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210335987.7A
Other languages
English (en)
Inventor
刘唱
张锦元
林晓锐
邓泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210335987.7A priority Critical patent/CN114627542A/zh
Publication of CN114627542A publication Critical patent/CN114627542A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种眼动位置的确定方法、装置、存储介质及电子设备,设计人工智能技术领域。该方法包括:采集目标对象不同方向不同角度的多张人脸图像;根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、每张人脸的鼻翼对应的特征信息、每张人脸的脸颊对应的特征信息;根据多个人脸特征信息确定目标头动模型;根据目标头动模型确定目标对象双眼的眼动位置。通过本申请,解决了相关技术中对眼动位置检测精度不够准确的问题。

Description

眼动位置的确定方法、装置、存储介质及电子设备
技术领域
本申请涉及人工智能技术领域,具体而言,涉及一种眼动位置的确定方法、装置、存储介质及电子设备。
背景技术
基于头部姿态分析的摄像头视线追踪系统优化。在使用网络摄像头实现视线追踪的过程中,引入头部姿态分析来优化视线追踪。现有技术中,引入头部姿态的方法是:利用网络摄像头视频数据流,构建头部姿态特征并计算头部姿态相似度的算法。该算法可以有效估算视频流中两帧之间头部姿态的相似程度。需要预先进行一系列校准操作,从而影响用户使用体验,无法做到无感的情况下收集眼动信息,使得检测到的眼动位置的精度不够准确。
针对相关技术中对眼动位置检测精度不够准确的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种眼动位置的确定方法、装置、存储介质及电子设备,以解决相关技术中对眼动位置检测精度不够准确的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种眼动位置的确定方法。该方法包括:采集目标对象不同方向不同角度的多张人脸图像;根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;根据所述多个人脸特征信息确定目标头动模型;根据所述目标头动模型确定所述目标对象双眼的眼动位置。
进一步地,根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息包括:按照预设标识对每张人脸图像进行标识,得到标识后的人脸图像,其中,所述标识后的人脸图像中至少包括:人脸相对于预设坐标的朝向信息、人脸相对于所述预设坐标的角度信息;根据所述标识后的人脸图像与所述目标特征信息进行匹配,得到每张人脸图像的人脸特征信息。
进一步地,根据所述多个人脸特征信息确定目标头动模型包括:提取所述人脸特征信息中的面部特征数据,其中,所述面部特征至少包括所述朝向信息对应的特征数据、所述角度信息对应的特征数据;通过所述面部特征数据对原始头动模型进行训练,得到所述目标头动模型。
进一步地,在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,该所述方法还包括:将摄像设备所处的坐标与预设位置进行连接,得到目标连接线,其中,所述预设位置为所述目标对象的双眼之间的中心位置;根据所述目标连接线与所述摄像设备的拍摄方向构建目标夹角,其中,所述目标夹角用于表示所述目标对象的人脸相对于所述预设坐标的角度偏移量。
进一步地,在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,该所述方法还包括:在所述目标对象的人脸对应的目标朝向信息确定的情况下,根据目标眼动模型计算所述目标对象的人脸对应的眼球特征信息。
进一步地,根据所述目标头动模型确定所述目标对象双眼的眼动位置包括:基于所述目标头动模型确定所述目标对象的头部的转动角度;根据所述头部的转动角度、所述眼球特征信息以及所述角度偏移量确定所述眼动位置。
进一步地,基于所述目标头动模型确定所述目标对象的头部的转动角度包括:将所述面部特征数据输入至所述目标头动模型中;基于所述目标头动模型对所述面部特征数据进行计算,得到所述目标对象的头部的转动角度。
为了实现上述目的,根据本申请的另一方面,提供了一种眼动位置的确定装置。该装置包括:采集单元,用于采集目标对象不同方向不同角度的多张人脸图像;第一确定单元,用于根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;第二确定单元,用于根据所述多个人脸特征信息确定目标头动模型;第三确定单元,用于根据所述目标头动模型确定所述目标对象双眼的眼动位置。
进一步地,所述第一确定单元包括:标识模块,用于按照预设标识对每张人脸图像进行标识,得到标识后的人脸图像,其中,所述标识后的人脸图像中至少包括:人脸相对于预设坐标的朝向信息、人脸相对于所述预设坐标的角度信息;匹配模块,用于根据所述标识后的人脸图像与所述目标特征信息进行匹配,得到每张人脸图像的人脸特征信息。
进一步地,所述第二确定单元包括:提取模块,用于提取所述人脸特征信息中的面部特征数据,其中,所述面部特征至少包括所述朝向信息对应的特征数据、所述角度信息对应的特征数据;训练模块,用于通过所述面部特征数据对原始头动模型进行训练,得到所述目标头动模型。
进一步地,该所述装置还包括:连接单元,用于在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,将摄像设备所处的坐标与预设位置进行连接,得到目标连接线,其中,所述预设位置为所述目标对象的双眼之间的中心位置;构建单元,用于根据所述目标连接线与所述摄像设备的拍摄方向构建目标夹角,其中,所述目标夹角用于表示所述目标对象的人脸相对于所述预设坐标的角度偏移量。
进一步地,该所述装置还包括:计算单元,用于在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,在所述目标对象的人脸对应的目标朝向信息确定的情况下,根据目标眼动模型计算所述目标对象的人脸对应的眼球特征信息。
进一步地,所述第三确定单元包括:第一确定模块,用于基于所述目标头动模型确定所述目标对象的头部的转动角度;第二确定模块,用于根据所述头部的转动角度、所述眼球特征信息以及所述角度偏移量确定所述眼动位置。
进一步地,所述第一确定模块包括:输入子模块,用于将所述面部特征数据输入至所述目标头动模型中;计算子模块,用于基于所述目标头动模型对所述面部特征数据进行计算,得到所述目标对象的头部的转动角度。
通过本申请,采用以下步骤:采集目标对象不同方向不同角度的多张人脸图像;根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;根据所述多个人脸特征信息确定目标头动模型;根据所述目标头动模型确定所述目标对象双眼的眼动位置,解决了相关技术中对眼动位置检测精度不够准确的问题。通过确定的目标头动模型得到所述目标对象双眼的眼动位置,进而达到了提高对眼动位置检测精度的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的眼动位置的确定方法的流程图;
图2是根据本申请实施例提供的眼动位置的确定方法的人脸特征点示意图;
图3是根据本申请实施例提供的眼动位置的确定方法的目标头动模型生成示意图;
图4是根据本申请实施例提供的眼动位置的确定方法的人脸偏移量示意图;
图5是根据本申请实施例提供的眼动位置的确定方法的眼动位置的确定示意图;
图6是根据本申请实施例提供的眼动位置的确定装置的示意图;
图7是根据本申请实施例提供的眼动位置的确定电子设备的网络架构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户目标设备、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
根据本申请的实施例,提供了一种眼动位置的确定方法。
图1是根据本申请实施例的眼动位置的确定方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,采集目标对象不同方向不同角度的多张人脸图像。
需要说明的是,本申请的摄像设备不仅可以对多张人脸图像进行采集,也可以对人脸图像中的RGB信息进行采集。
步骤S102,根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息。
具体的,采集完成不同方向不同角度的多张人脸图像之后,需要根据预设标识对每张人脸进行标记处理。
可选地,在本申请实施例提供的眼动位置的确定方法中,根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息包括:按照预设标识对每张人脸图像进行标识,得到标识后的人脸图像,其中,所述标识后的人脸图像中至少包括:人脸相对于预设坐标的朝向信息、人脸相对于所述预设坐标的角度信息;根据所述标识后的人脸图像与所述目标特征信息进行匹配,得到每张人脸图像的人脸特征信息。
例如,根据表1中规定的标记标准,对每张人脸图像进行打标签,标记每张人脸的朝向和角度,得到标识后的人脸图像,将标识后的人脸图像与图2中的目标特征信息进行匹配,提取得到每张人脸图像的人脸特征信息,其中,如图2所示,选取11-13鼻中线特征点、21-22鼻翼边缘特征点,以及31-32脸颊边缘特征点作为计算头部方向和角度的特征,可以有效提升摄像头对眼动位置计算的的精度。
表1
Figure BDA0003576726680000051
步骤S103,根据所述多个人脸特征信息确定目标头动模型。
具体的,如图3所示,根据面部特征数据确定训练模型的训练数据,并提取面部特征点进行模型的训练,将特征点作为输入数据,标记点作为正确的输出数据,进行算法模型训练,直到模型准确率达到阈值时,输出训练好的目标头动模型。
可选地,在本申请实施例提供的眼动位置的确定方法中,根据所述多个人脸特征信息确定目标头动模型包括:提取所述人脸特征信息中的面部特征数据,其中,所述面部特征至少包括所述朝向信息对应的特征数据、所述角度信息对应的特征数据;通过所述面部特征数据对原始头动模型进行训练,得到所述目标头动模型。
具体的,对相应人脸图像进行方向和角度标记,提取面部特征数据之后,并将面部特征数据生成训练数据,基于训练数据进行原始头动模型的算法训练,生成目标头动模型,该模型的最终效果为,输入摄像头采集的人脸图像,可以输出该人脸当前的朝向和角度,例如:向左15度,进而有效提升了摄像头对眼动位置计算的的精度。
步骤S104,根据所述目标头动模型确定所述目标对象双眼的眼动位置。
例如,在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,还需要对当前目标对象的人脸偏移量进行计算。
可选地,在本申请实施例提供的眼动位置的确定方法中,在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,该所述方法还包括:将摄像设备所处的坐标与预设位置进行连接,得到目标连接线,其中,所述预设位置为所述目标对象的双眼之间的中心位置;根据所述目标连接线与所述摄像设备的拍摄方向构建目标夹角,其中,所述目标夹角用于表示所述目标对象的人脸相对于所述预设坐标的角度偏移量。
具体的,人脸偏移量的示例如图4所示,根据双眼中心的位置,计算当前人脸的偏移量,例如:当前受试人在摄像头偏左位置,双眼中心与摄像头的连线,和摄像头拍摄方向构成的目标夹角为10度,也即,目标对象的人脸相对于所述预设坐标的角度偏移量为10度,通过对人脸偏移量的计算,有效提升了摄像头对眼动位置计算的的精度。
可选地,在本申请实施例提供的眼动位置的确定方法中,在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,该所述方法还包括:在所述目标对象的人脸对应的目标朝向信息确定的情况下,根据目标眼动模型计算所述目标对象的人脸对应的眼球特征信息。
具体的,通过目标眼动模型对目标对象的人脸对应的眼球特征信息进行计算,以便后续可以精准的对目标对象双眼的眼动位置进行确定。
可选地,在本申请实施例提供的眼动位置的确定方法中,根据所述目标头动模型确定所述目标对象双眼的眼动位置包括:基于所述目标头动模型确定所述目标对象的头部的转动角度;根据所述头部的转动角度、所述眼球特征信息以及所述角度偏移量确定所述眼动位置。
具体的,如图5所示,通过将眼动模型根据眼球特征信息计算出的角度、目标头动模型确定所述目标对象的头部的转动角度、人脸偏移角度进行综合计算,最终生成当前视线的位置,使得本申请中目标对象双眼的眼动位置更加精确。
具体的,基于所述目标头动模型确定所述目标对象的头部的转动角度包括:将所述面部特征数据输入至所述目标头动模型中;基于所述目标头动模型对所述面部特征数据进行计算,得到所述目标对象的头部的转动角度,通过对头部的转动角度的获取,提高了对眼动位置进行计算的精准度。
本申请实施例提供的眼动位置的确定方法,通过采集目标对象不同方向不同角度的多张人脸图像;根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;根据所述多个人脸特征信息确定目标头动模型;根据所述目标头动模型确定所述目标对象双眼的眼动位置,解决了相关技术中对眼动位置检测精度不够准确的问题。通过确定的目标头动模型得到所述目标对象双眼的眼动位置,进而达到了提高对眼动位置检测精度的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种眼动位置的确定装置,需要说明的是,本申请实施例的眼动位置的确定装置可以用于执行本申请实施例所提供的用于眼动位置的确定方法。以下对本申请实施例提供的眼动位置的确定装置进行介绍。
图6是根据本申请实施例的眼动位置的确定装置的示意图。如图6所示,该装置包括:采集单元601、第一确定单元602、第二确定单元603、第三确定单元604。
具体的,采集单元601,用于采集目标对象不同方向不同角度的多张人脸图像;
第一确定单元602,用于根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;
第二确定单元603,用于根据所述多个人脸特征信息确定目标头动模型;
第三确定单元604,用于根据所述目标头动模型确定所述目标对象双眼的眼动位置。
综上,本申请实施例提供的眼动位置的确定装置,通过采集单元601采集目标对象不同方向不同角度的多张人脸图像;第一确定单元602根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;第二确定单元603根据所述多个人脸特征信息确定目标头动模型;第三确定单元604根据所述目标头动模型确定所述目标对象双眼的眼动位置,解决了相关技术中对眼动位置检测精度不够准确的问题。通过确定的目标头动模型得到所述目标对象双眼的眼动位置,进而达到了提高对眼动位置检测精度的效果。
进一步地,所述第一确定单元包括:标识模块,用于按照预设标识对每张人脸图像进行标识,得到标识后的人脸图像,其中,所述标识后的人脸图像中至少包括:人脸相对于预设坐标的朝向信息、人脸相对于所述预设坐标的角度信息;匹配模块,用于根据所述标识后的人脸图像与所述目标特征信息进行匹配,得到每张人脸图像的人脸特征信息。
进一步地,所述第二确定单元包括:提取模块,用于提取所述人脸特征信息中的面部特征数据,其中,所述面部特征至少包括所述朝向信息对应的特征数据、所述角度信息对应的特征数据;训练模块,用于通过所述面部特征数据对原始头动模型进行训练,得到所述目标头动模型。
进一步地,该所述装置还包括:连接单元,用于在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,将摄像设备所处的坐标与预设位置进行连接,得到目标连接线,其中,所述预设位置为所述目标对象的双眼之间的中心位置;构建单元,用于根据所述目标连接线与所述摄像设备的拍摄方向构建目标夹角,其中,所述目标夹角用于表示所述目标对象的人脸相对于所述预设坐标的角度偏移量。
进一步地,该所述装置还包括:计算单元,用于在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,在所述目标对象的人脸对应的目标朝向信息确定的情况下,根据目标眼动模型计算所述目标对象的人脸对应的眼球特征信息。
进一步地,所述第三确定单元包括:第一确定模块,用于基于所述目标头动模型确定所述目标对象的头部的转动角度;第二确定模块,用于根据所述头部的转动角度、所述眼球特征信息以及所述角度偏移量确定所述眼动位置。
进一步地,所述第一确定模块包括:输入子模块,用于将所述面部特征数据输入至所述目标头动模型中;计算子模块,用于基于所述目标头动模型对所述面部特征数据进行计算,得到所述目标对象的头部的转动角度。
所述眼动位置的确定装置包括处理器和存储器,上述的采集单元601、第一确定单元602、第二确定单元603、第三确定单元604等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来进行眼动位置的确定。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述眼动位置的确定方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述眼动位置的确定方法。
如图7所示,本发明实施例提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:采集目标对象不同方向不同角度的多张人脸图像;根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;根据所述多个人脸特征信息确定目标头动模型;根据所述目标头动模型确定所述目标对象双眼的眼动位置。
处理器执行程序时还实现以下步骤:按照预设标识对每张人脸图像进行标识,得到标识后的人脸图像,其中,所述标识后的人脸图像中至少包括:人脸相对于预设坐标的朝向信息、人脸相对于所述预设坐标的角度信息;根据所述标识后的人脸图像与所述目标特征信息进行匹配,得到每张人脸图像的人脸特征信息。
处理器执行程序时还实现以下步骤:提取所述人脸特征信息中的面部特征数据,其中,所述面部特征至少包括所述朝向信息对应的特征数据、所述角度信息对应的特征数据;通过所述面部特征数据对原始头动模型进行训练,得到所述目标头动模型。
处理器执行程序时还实现以下步骤:在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,将摄像设备所处的坐标与预设位置进行连接,得到目标连接线,其中,所述预设位置为所述目标对象的双眼之间的中心位置;根据所述目标连接线与所述摄像设备的拍摄方向构建目标夹角,其中,所述目标夹角用于表示所述目标对象的人脸相对于所述预设坐标的角度偏移量。
处理器执行程序时还实现以下步骤:在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,在所述目标对象的人脸对应的目标朝向信息确定的情况下,根据目标眼动模型计算所述目标对象的人脸对应的眼球特征信息。
处理器执行程序时还实现以下步骤:基于所述目标头动模型确定所述目标对象的头部的转动角度;根据所述头部的转动角度、所述眼球特征信息以及所述角度偏移量确定所述眼动位置。
处理器执行程序时还实现以下步骤:将所述面部特征数据输入至所述目标头动模型中;基于所述目标头动模型对所述面部特征数据进行计算,得到所述目标对象的头部的转动角度。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:采集目标对象不同方向不同角度的多张人脸图像;根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;根据所述多个人脸特征信息确定目标头动模型;根据所述目标头动模型确定所述目标对象双眼的眼动位置。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:按照预设标识对每张人脸图像进行标识,得到标识后的人脸图像,其中,所述标识后的人脸图像中至少包括:人脸相对于预设坐标的朝向信息、人脸相对于所述预设坐标的角度信息;根据所述标识后的人脸图像与所述目标特征信息进行匹配,得到每张人脸图像的人脸特征信息。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:提取所述人脸特征信息中的面部特征数据,其中,所述面部特征至少包括所述朝向信息对应的特征数据、所述角度信息对应的特征数据;通过所述面部特征数据对原始头动模型进行训练,得到所述目标头动模型。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,将摄像设备所处的坐标与预设位置进行连接,得到目标连接线,其中,所述预设位置为所述目标对象的双眼之间的中心位置;根据所述目标连接线与所述摄像设备的拍摄方向构建目标夹角,其中,所述目标夹角用于表示所述目标对象的人脸相对于所述预设坐标的角度偏移量。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,在所述目标对象的人脸对应的目标朝向信息确定的情况下,根据目标眼动模型计算所述目标对象的人脸对应的眼球特征信息。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:基于所述目标头动模型确定所述目标对象的头部的转动角度;根据所述头部的转动角度、所述眼球特征信息以及所述角度偏移量确定所述眼动位置。
当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:将所述面部特征数据输入至所述目标头动模型中;基于所述目标头动模型对所述面部特征数据进行计算,得到所述目标对象的头部的转动角度。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种眼动位置的确定方法,其特征在于,包括:
采集目标对象不同方向不同角度的多张人脸图像;
根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;
根据所述多个人脸特征信息确定目标头动模型;
根据所述目标头动模型确定所述目标对象双眼的眼动位置。
2.根据权利要求1所述的方法,其特征在于,根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息包括:
按照预设标识对每张人脸图像进行标识,得到标识后的人脸图像,其中,所述标识后的人脸图像中至少包括:人脸相对于预设坐标的朝向信息、人脸相对于所述预设坐标的角度信息;
根据所述标识后的人脸图像与所述目标特征信息进行匹配,得到每张人脸图像的人脸特征信息。
3.根据权利要求2所述的方法,其特征在于,根据所述多个人脸特征信息确定目标头动模型包括:
提取所述人脸特征信息中的面部特征数据,其中,所述面部特征至少包括所述朝向信息对应的特征数据、所述角度信息对应的特征数据;
通过所述面部特征数据对原始头动模型进行训练,得到所述目标头动模型。
4.根据权利要求3所述的方法,其特征在于,在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,所述方法还包括:
将摄像设备所处的坐标与预设位置进行连接,得到目标连接线,其中,所述预设位置为所述目标对象的双眼之间的中心位置;
根据所述目标连接线与所述摄像设备的拍摄方向构建目标夹角,其中,所述目标夹角用于表示所述目标对象的人脸相对于所述预设坐标的角度偏移量。
5.根据权利要求4所述的方法,其特征在于,在根据所述目标头动模型确定所述目标对象双眼的眼动位置之前,所述方法还包括:
在所述目标对象的人脸对应的目标朝向信息确定的情况下,根据目标眼动模型计算所述目标对象的人脸对应的眼球特征信息。
6.根据权利要求5所述的方法,其特征在于,根据所述目标头动模型确定所述目标对象双眼的眼动位置包括:
基于所述目标头动模型确定所述目标对象的头部的转动角度;
根据所述头部的转动角度、所述眼球特征信息以及所述角度偏移量确定所述眼动位置。
7.根据权利要求6所述的方法,其特征在于,基于所述目标头动模型确定所述目标对象的头部的转动角度包括:
将所述面部特征数据输入至所述目标头动模型中;
基于所述目标头动模型对所述面部特征数据进行计算,得到所述目标对象的头部的转动角度。
8.一种眼动位置的确定装置,其特征在于,包括:
采集单元,用于采集目标对象不同方向不同角度的多张人脸图像;
第一确定单元,用于根据目标特征信息确定每张人脸图像的人脸特征信息,得到多个人脸特征信息,其中,所述目标特征信息至少包括:每张人脸的鼻子中线对应的特征信息、所述每张人脸的鼻翼对应的特征信息、所述每张人脸的脸颊对应的特征信息;
第二确定单元,用于根据所述多个人脸特征信息确定目标头动模型;
第三确定单元,用于根据所述目标头动模型确定所述目标对象双眼的眼动位置。
9.一种计算机可读存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至7中任意一项所述的方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的方法。
CN202210335987.7A 2022-03-31 2022-03-31 眼动位置的确定方法、装置、存储介质及电子设备 Pending CN114627542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210335987.7A CN114627542A (zh) 2022-03-31 2022-03-31 眼动位置的确定方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210335987.7A CN114627542A (zh) 2022-03-31 2022-03-31 眼动位置的确定方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN114627542A true CN114627542A (zh) 2022-06-14

Family

ID=81905247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210335987.7A Pending CN114627542A (zh) 2022-03-31 2022-03-31 眼动位置的确定方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114627542A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117146828A (zh) * 2023-10-30 2023-12-01 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117146828A (zh) * 2023-10-30 2023-12-01 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备
CN117146828B (zh) * 2023-10-30 2024-03-19 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
US11238272B2 (en) Method and apparatus for detecting face image
WO2020228389A1 (zh) 一种创建脸部模型的方法、装置、电子设备及计算机可读存储介质
WO2021169637A1 (zh) 图像识别方法、装置、计算机设备及存储介质
JP4951498B2 (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
US20170161591A1 (en) System and method for deep-learning based object tracking
CN109829396B (zh) 人脸识别运动模糊处理方法、装置、设备及存储介质
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN110073363B (zh) 追踪对象的头部
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
US10991124B2 (en) Determination apparatus and method for gaze angle
CN110276239A (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN111008935A (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN110826610A (zh) 一种用于智能检测人员着装是否规范的方法与系统
CN113449570A (zh) 图像处理方法和装置
CN111597910A (zh) 一种人脸识别方法、装置、终端设备及介质
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
US20240029295A1 (en) Method and apparatus for determining pose of tracked object in image tracking process
CN114627542A (zh) 眼动位置的确定方法、装置、存储介质及电子设备
US20200160037A1 (en) Method and apparatus for pattern recognition
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
CN110020577B (zh) 人脸关键点扩展计算方法、存储介质、电子设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination