CN110503068A - 视线估计方法、终端及存储介质 - Google Patents
视线估计方法、终端及存储介质 Download PDFInfo
- Publication number
- CN110503068A CN110503068A CN201910803877.7A CN201910803877A CN110503068A CN 110503068 A CN110503068 A CN 110503068A CN 201910803877 A CN201910803877 A CN 201910803877A CN 110503068 A CN110503068 A CN 110503068A
- Authority
- CN
- China
- Prior art keywords
- data
- estimated
- target
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Geometry (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种视线估计方法、终端及存储介质，所述视线估计方法包括：获取目标图像，并确定目标图像中的目标位置；其中，目标位置用于对目标图像中的眼部和面部进行定位；根据目标位置生成目标数据集合；其中，目标数据集合包括训练数据和测试数据；根据训练数据生成初始估计模型；并根据测试数据对初始估计模型进行测试处理，获得目标估计模型；其中，目标估计模型用于进行视线估计。对待估计图像进行特征采集处理，获得待估计图像中的待估计对象；根据待估计对象对待估计图像进行预处理，获得待估计数据；其中，待估计数据表征待估计对象在待估计图像中的位置；将待估计数据输入至目标估计模型中，输出待估计图像对应的视点位置。
Description
技术领域
本申请实施例涉及计算机视觉和图像处理领域，尤其涉及一种视线估计方法、终端及存储介质。
背景技术
目前，瞳孔中心角膜反射(Pupil Center-Cornea Reflection，PCCR)法常被用于视线估计处理。具体地，PCCR法可以先提取瞳孔中心的位置信息、亮斑的位置信息，然后通过多个点的标定过程，建立瞳孔中心亮斑中心向量与屏幕中视点的映射关系，最后便可以通过映射函数完成视线估计。
然而，在通过PCCR进行视线估计的处理，往往需要额外的传感器设备和光源，实现过程较为复杂，视线估计的效率较低，降低了终端的智能性。
发明内容
本申请实施例提供了一种视线估计方法、终端及存储介质，可以有效地提高视线估计的效率和准确性，从而提升终端的智能性。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种视线估计方法，所述方法包括：
获取目标图像，并确定所述目标图像中的目标位置；
根据所述目标位置生成目标数据集合；其中，所述目标数据集合包括训练数据和测试数据；
根据所述训练数据生成初始估计模型；并根据所述测试数据对所述初始估计模型进行测试处理，获得目标估计模型；其中，所述目标估计模型用于进行视线估计。
本申请实施例提供了一种视线估计方法，所述方法包括：
对待估计图像进行特征采集处理，获得所述待估计图像中的待估计对象；
根据所述待估计对象对所述待估计图像进行预处理，获得待估计数据；其中，所述待估计数据表征所述待估计对象在所述待估计图像中的位置；
将所述待估计数据输入至目标估计模型中，输出所述待估计图像对应的视点位置；其中，所述目标估计模型用于进行视线估计。
本申请实施例提供了一种第一终端，所述第一终端包括：第一获取单元，确定单元，生成单元以及测试单元，
所述第一获取单元，用于获取目标图像；
所述确定单元，用于确定所述目标图像中的目标位置；其中，所述目标位置用于对所述目标图像中的眼部和面部进行定位；
所述生成单元，用于根据所述目标位置生成目标数据集合；其中，所述目标数据集合包括训练数据和测试数据；以及根据所述训练数据生成初始估计模型；
所述测试单元，用于根据所述测试数据对所述初始估计模型进行测试处理，获得目标估计模型；其中，所述目标估计模型用于进行视线估计。
本申请实施例提供了一种第二终端，所述第二终端包括：第二获取单元和估计单元，
所述第二获取单元，用于对待估计图像进行特征采集处理，获得所述待估计图像中的待估计对象；以及根据所述待估计对象对所述待估计图像进行预处理，获得待估计数据；其中，所述待估计数据表征所述待估计对象在所述待估计图像中的位置；
所述估计单元，用于将所述待估计数据输入至目标估计模型中，输出所述待估计图像对应的视点位置；其中，所述目标估计模型用于进行视线估计。
本申请实施例提供了一种第一终端，所述第一终端包括第一处理器、存储有所述第一处理器可执行指令的第一存储器，当所述指令被所述第一处理器执行时，实现如上所述的视线估计方法。
本申请实施例提供了一种第二终端，所述第二终端包括第二处理器、存储有所述第二处理器可执行指令的第二存储器，当所述指令被所述第二处理器执行时，实现如上所述的视线估计方法。
本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于第一终端和第二终端中，所述程序被处理器执行时，实现如上所述的视线估计方法。
本申请实施例提供了一种视线估计方法、终端及存储介质，第一终端获取目标图像，并确定目标图像中的目标位置；其中，目标位置用于对目标图像中的眼部和面部进行定位；根据目标位置生成目标数据集合；其中，目标数据集合包括训练数据和测试数据；根据训练数据生成初始估计模型；并根据测试数据对初始估计模型进行测试处理，获得目标估计模型；其中，目标估计模型用于进行视线估计。第二终端对待估计图像进行特征采集处理，获得待估计图像中的待估计对象；根据待估计对象对待估计图像进行预处理，获得待估计数据；其中，待估计数据表征待估计对象在待估计图像中的位置；将待估计数据输入至目标估计模型中，输出待估计图像对应的视点位置。也就是说，在本申请的实施例中，终端可以先基于目标图像中的目标位置，生成包括训练数据和测试数据的目标数据集合，其中，训练数据用于进行视线估计模型的训练，测试数据用于进行视线估计模型的测试，因此，终端可以基于训练数据生成初始估计模型，然后基于测试数据获得目标估计模型，以完成用于进行视线估计的目标估计模型的训练，从而便可以根据目标估计模型实现对待估计图像的视线估计处理，确定出待估计图像对应的视点位置和目标区域。由此可见，本申请不需要额外的传感器设备和光源，便可以实现视线估计的处理，因此提升了视线估计的效率，同时，由于目标位置包括有眼部和面部的具体位置坐标，因此目标估计模型的生成结合了头部姿势和眼睛相对于头部的姿势，从而大大提高了视线估计的准确性，提升了终端的智能性。
附图说明
图1为本申请实施例提出的视线估计方法的实现流程示意图一；
图2为目标估计模型的生成的示意图；
图3为获取初始数据集合示意图；
图4为初始估计模型的生成示意图；
图5为本申请实施例提出的视线估计方法的实现流程示意图二；
图6为基于对待估计图像进行视线估计的示意图；
图7为本申请实施例提出的第一终端的组成结构示意图一；
图8为本申请实施例提出的第一终端的组成结构示意图二；
图9为本申请实施例提出的第二终端的组成结构示意图一；
图10为本申请实施例提出的第二终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
视线估计技术的应用领域十分广阔，例如：智能家电、广告研究、智能计算机、虚拟游戏、汽车驾驶、助残和军事等领域，具有十分广阔的应用前景。在网页及广告设计中，可利用视线估计技术来获取用户的主要关注区域，进行设计评估。在智能计算机中，可使用视线估计技术代替传统的鼠标进行控制和输入。并可逐步取代一般人机交互输入系统，作为特定目标系统的输入子系统，为目标系统的事实控制动作提供判断依据，服务于需要双手进行操作的专业人士。
现有技术中，进行视线估计的方法主要包括基于外观(Appearance-based)的方法和基于特征(Feature-based)的方法。基于外观的方法具体为：定位眼睛区域；建立眼睛图像与屏幕中视点坐标的映射关系；通过映射函数完成视线估计。基于特征的方法中最常用的是PCCR技术的视线估计方法，具体为：提取瞳孔中心的位置信息、亮斑的位置信息；通过多个点(通常为9个点)的标定过程，建立瞳孔中心亮斑中心向量与屏幕中视点的映射关系；通过映射函数完成视线估计。由于PCCR法具有良好的用户体验和较高的估计精度，因此PCCR常被用于视线估计处理。
对于最常用的是基于瞳孔中心角膜反射技术，使用户眼睛的角膜和瞳孔上产生反射图像，然后使用图像传感器采集眼睛与反射的图像，最后基于三维眼球模型计算眼睛在空间中的位置和视线。这个方法虽然具有较高的精度，但是受限于昂贵的传感器设备难以普及。
针对上述问题，出现了基于3D人脸模型的视线估计方法。它只需要摄像头采集的图片作为输入数据，对采集到的图片进行目标点定位，并结合已知的模型估计头部姿态以及眼球中心位置，然后结合检测到的瞳孔中心位置得到视线角度。
但现有的基于3D人脸模型的视线估计方法在计算瞳孔中心位置时，由于数据库的局限性不能够涵盖所有现实的情况，对于头部姿态或眼部偏置较大的情况下存在较大的误差，导致最终对视线的估计出现极大偏差。
为了克服现有技术中存在的上述缺陷，本申请提出的视线估计方法，终端不需要额外的传感器设备和光源，便可以实现视线估计的处理，因此提升了视线估计的效率，同时，由于目标位置包括有眼部和面部的具体位置坐标，因此目标估计模型的生成结合了头部姿势和眼睛相对于头部的姿势，从而大大提高了视线估计的准确性，提升了终端的智能性。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请一实施例提供了一种视线估计方法，图1为本申请实施例提出的视线估计方法的实现流程示意图一，如图1所示，在本申请的实施例中，第一终端进行视线估计处理的方法可以包括以下步骤：
步骤101、获取目标图像，并确定目标图像中的目标位置；其中，目标位置用于对目标图像中的眼部和面部进行定位。
在本申请的实施例中，第一终端可以先获取目标图像，然后在目标图像中确定出目标位置，其中，目标位置用于对目标图像中的眼部和面部的具体位置进行确定。
需要说明的是，在本申请的实施例中，第一终端可以为任何具备通信和存储功能的设备。例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备等设备。
具体地，第一终端可以为生成进行视线估计的目标估计模型的设备，其中，第一终端同时也可以为利用目标估计模型的设备进行视线估计处理的设备。
进一步地，在本申请的实施例中，目标图像可以为包括有面部特征和眼部特征的图像。相应地，目标位置可以为目标图像中的眼部特征位置和面部特征位置。
需要说明的是，在本申请的实施例中，第一终端在获取目标图像时，可以先获取初始图像。具体地，第一终端可以通过多种方式获取初始图像，例如，第一终端可以通过配置的摄像头获取初始图像，也可以通过配置的摄像头获取视频，然后在视频中获取初始图像，还可以直接调用对预先存储的照片进行读取，从而获取初始图像。
进一步地，在本申请的实施例中，第一终端在获取初始图像之后，可以根据预设特征检测模型生成与初始图像对应的目标图像。具体地，第一终端可以将初始图像输入至预设特征检测模型中，从而便可以输出目标图像。其中，预设特征检测模型用于进行生物特征的检测。
进一步地，在本申请的实施例中，第一终端在将初始图像输入至预设特征检测模型之后，可以确定初始图像对应的置信度参数，如果置信度参数大于或者等于预设置信度阈值时，那么第一终端便可以根据初始图像生成目标图像。
也就是说，第一终端可以通过基于预设特征检测模型获得的初始图像的置信度，进一步选择出包括有面部特征和眼部特征的目标图像。即第一终端可以采用预设特征检测模型对图像或者视频中的某一帧图像进行生物特征检测，然后将置信度参数较高的图像作为实现视线估计的目标图像。例如，第一终端可以调用摄像头模块获得视频，然后从视频中获取一帧图像，通过预设特征检测模型进行面部和眼部检测，然后根据初始图像中置信度较高的人脸面部区域生成目标图像。第一终端还可以加载本地照片，通过设特征检测模型进行面部和眼部检测，如果预测到本地照片中有人脸存在，将图片显示出来，框住其中满足置信度阈值的人脸，生成目标图像。
进一步地，在本申请的实施例中，第一终端在获取目标图像之后，便可以确定出目标图像中的目标位置，也就是说，第一终端可以在目标图像中确定出眼部区域的位置和面部区域的位置。
需要说明的是，在本申请的实施例中，第一终端在确定目标位置时，具体可以根据预先存储的预设位置检测模型，对目标图像中的面部区域和眼部区域进行定位，从而获得目标位置。
进一步地，在本申请的实施例中，第一终端基于预设位置检测模型确定目标图像中的目标位置时，可以先对目标图像进行归一化处理，获得归一化后图像；然后可以根据归一化后图像和预设位置检测模型，获得目标图像对应的目标位置。
需要说明的是，在本申请的实施例中，归一化是一种无量纲处理手段，使物理系统数值的绝对值变成某种相对值关系。具体地，归一化处理已经成为简化计算，缩小量值的有效办法。
进一步地，在本申请的实施例中，第一终端通过对目标图像进行归一化处理，可以有效的降低目标图像的大小，从而可以大大提升处理效率。
需要说明的是，在本申请的实施例中，第一终端可以基于预设位置检测模型，获得归一化后图像中的面部区域和眼部区域的初始坐标，从而便可以根据初始坐标确定出目标位置。
步骤102、根据目标位置生成目标数据集合；其中，目标数据集合包括训练数据和测试数据。
在本申请的实施例中，第一终端在获取目标图像，并确定目标图像中的目标位置之后，可以继续根据目标位置生成目标图像对应的目标数据集合。
需要说明的是，在本申请的实施例中，目标数据集合可以用于对视线估计模型进行训练和测试。
进一步地，在本申请的实施例中，目标数据集合可以包括训练数据和测试数据。其中，训练数据和测试数据完全不同，即一个目标图像对应的数据只能为训练数据或者测试数据中的一种。
需要说明的是，在本申请的实施例中，第一终端在根据目标位置生成目标数据集合时，可以依据目标位置对目标图像进行裁剪处理，从而便可以获得目标位置对应的初始数据集合。
进一步地，在本申请的实施例中，由于目标位置可以包括目标图像中的左眼位置、右眼位置以及面部位置，因此，初始数据集合可以为目标图像中的左眼的数据、右眼的数据以及面部的数据。
需要说明的是，在本申请的实施例中，第一终端在获得初始数据集合之后，便可以对初始数据集合进行划分，具体可以将初始数据集合中的数据划分为训练数据和测试数据，从而便可以获得包括训练数据和测试数据的目标数据集合。也就是说，在本申请的实施例中，初始数据集合与目标数据集合中均包括有左眼区域数据、右眼区域数据以及标准面部数据。
需要说明的是，在本申请的实施例中，第一终端在进行数据划分时，需要遵循训练数据和测试数据不重合的原则，即对于同一张目标图像中的左眼区域数据、右眼区域数据以及标准面部数据仅可以被划分在相同的类别中，也就是说，目标图像A对应的左眼区域数据、右眼区域数据以及标准面部数据均为训练数据，或者均为测试数据。
步骤103、根据训练数据生成初始估计模型；并根据测试数据对初始估计模型进行测试处理，获得目标估计模型；其中，目标估计模型用于进行视线估计。
在本申请的实施例中，第一终端在根据目标位置生成目标数据集合之后，便可以根据训练数据生成初始估计模型，然后可以根据测试数据对初始估计模型进行测试处理，最终便可以获得用于进行视线估计的目标估计模型。
需要说明的是，在本申请的实施例中，第一终端在根据训练数据生成初始估计模型时，可以根据训练数据中的左眼区域数据获得左眼位置数据，同时，还可以根据训练数据中的右眼区域数据获得右眼位置数据，同时，还可以根据训练数据中的标准面部数据获得面部位置数据。
进一步地，在本申请的实施例中，第一终端在同时获得左眼位置数据、右眼位置数据以及面部位置数据之后，便可以先对左眼位置数据和右眼位置数据进行融合处理，获得眼部位置数据，然后再对眼部位置数据和面部位置数据进行融合处理，获得视线估计结果，从而便可以根据训练数据完成初始估计模型的训练。
由此可见，在本申请的实施例中，第一终端可以先分别将左眼区域数据和右眼区域数据分别送入不同的支路进行训练提取眼神注视特征，再进行特征联结，构成基于双眼的位置数据；同时将标准面部数据送入另一个不同的支路提取面部位置特征，最后再进行眼部位置数据和面部位置数据的特征融合，回归出最终的人眼视线坐标。
需要说明的是，在本申请的实施例中，第一终端在对左眼区域数据、右眼区域数据以及标准面部数据分别进行训练的每个支路的训练模型都可以为基于卷积神经网络Mobilenet v2。
进一步地，在本申请的实施中，第一终端在基于训练数据完成对初始估计模型的训练之后，便可以根据测试数据对初始估计模型进行测试处理，从而可以获得目标估计模型。
需要说明的是，在本申请的实施例中，第一终端在根据测试数据对初始估计模型进行测试处理时，可以根据测试数据和初始估计模型，获得测试数据对应的准确性参数，如果准确性参数小于预设准确性阈值，那么第一终端可以根据测试数据对初始估计模型进行调整处理，从而便可以获得目标估计模型。
由此可见，在本申请的实施例中，第一终端可以将测试数据送入到训练好的初始估计模型中进行测试，验证模型的准确性，获得测试数据对应的准确性参数，然后可以根据准确性参数将判断错误的测试数据再次送入初始估计模型中进行fine-tuning，从而提高初始估计模型的泛化性，最终获得目标估计模型。
进一步地，在本申请的实施例中，第一终端在根据训练数据生成初始估计模型；并根据测试数据对初始估计模型进行测试处理，获得目标估计模型之后，便可以基于目标估计模型，对待估计图像进行视线估计，从而可以获得待估计图像对应的视点位置。
需要说明的是，在本申请的实施例中，目标估计模型可以对输入的待估计图像进行视线估计处理，从而确定出待估计图像中的眼睛注视的视点位置，进一步地，还可以基于视点位置，获得待估计图像对应的目标区域。
基于上述步骤101至步骤103所提出的视线估计方法，图2为目标估计模型的生成的示意图，如图2所示，第一终端可以先获取包含人脸图像的目标图像；然后识别目标图像中的人脸区域，并通过预设位置检测模型定位目标图像中的左眼、右眼以及面部位置，即获得目标位置；第一终端可以继续根据目标位置对目标图像进行裁剪处理，生成包括训练数据和测试数据的目标数据集合；然后第一终端可以先基于训练数据生成初始估计模型，然后基于测试数据对初始估计模型进行测试，最终获得目标估计模型；第一终端便可以根据目标估计模型对输入的待估计图像进行视线估计，获得待估计图像中的视点位置和目标区域。
本申请实施例提供了一种视线估计方法，第一终端获取目标图像，并确定目标图像中的目标位置；其中，目标位置用于对目标图像中的眼部和面部进行定位；根据目标位置生成目标数据集合；其中，目标数据集合包括训练数据和测试数据；根据训练数据生成初始估计模型；并根据测试数据对初始估计模型进行测试处理，获得目标估计模型；其中，目标估计模型用于进行视线估计。也就是说，在本申请的实施例中，终端可以先基于目标图像中的目标位置，生成包括训练数据和测试数据的目标数据集合，其中，训练数据用于进行视线估计模型的训练，测试数据用于进行视线估计模型的测试，因此，终端可以基于训练数据生成初始估计模型，然后基于测试数据获得目标估计模型，以完成用于进行视线估计的目标估计模型的训练，从而便可以根据目标估计模型实现对待估计图像的视线估计处理，确定出待估计图像对应的视点位置和目标区域。由此可见，本申请不需要额外的传感器设备和光源，便可以实现视线估计的处理，因此提升了视线估计的效率，同时，由于目标位置包括有眼部和面部的具体位置坐标，因此目标估计模型的生成结合了头部姿势和眼睛相对于头部的姿势，从而大大提高了视线估计的准确性，提升了终端的智能性。
基于上述实施例，在本申请的另一实施例中，第一终端根据归一化后图像和预设位置检测模型，获得目标图像对应的目标位置的方法可以包括以下步骤：
步骤201、将归一化后图像输入至预设位置检测模型，输出初始坐标参数。
步骤202、根据初始坐标参数在目标图像中确定目标位置。
在本申请的实施例中，第一终端在对目标图像进行归一化处理，获得归一化后图像，可以先将归一化后图像输入至预设位置检测模型中，输出初始坐标参数，然后可以根据初始坐标参数在目标图像中确定目标位置。
需要说明的是，在本申请的实施例中，基于归一化后图像，第一终端通过预设位置检测模型，可以获得归一化后图像中的面部区域和眼部区域的具体位置坐标，即获得初始坐标参数。也就是说，初始坐标参数可以包括归一化后图像中的面部区域的坐标和归一化后图像中的眼部区域的坐标。
进一步地，在本申请的实施例中，第一终端在获得归一化后图像对应的初始坐标参数之后，便可以进一步根据初始坐标参数确定出目标图像中的面部区域和眼部区域的具体位置坐标，即在目标图像中确定目标位置。
需要说明的是，在本申请的实施例中，由于第一终端在对目标图像进行归一化处理之后获得了归一化后图像，因此，第一终端可以基于归一化后图像对应的初始坐标参数，获得目标图像中的面部区域和眼部区域的具体位置坐标。
需要说明的是，在本申请的实施例中，初始坐标参数和目标位置中均包括有眼部区域和面部区域的具体位置坐标，其中，眼部区域的位置坐标可以包括左眼和右眼的四周轮廓和瞳孔中心。面部区域的位置坐标可以包括人脸的四周轮廓。
在本申请的实施例中，进一步地，第一终端根据目标位置生成目标数据集合的方法可以包括以下步骤：
步骤102a、根据目标位置对目标图像进行裁剪处理，获得目标位置对应的初始数据集合。
在本申请的实施例中，第一终端在获取目标图像，并确定目标图像中的目标位置之后，可以先根据目标位置对目标图像进行裁剪处理，从而可以获得目标位置对应的初始数据集合。
进一步地，在本申请的实施例中，由于目标位置可以包括目标图像中的左眼位置、右眼位置以及面部位置，因此，第一终端在依据目标位置对目标图像进行裁剪处理时，可以分别依据左眼位置、右眼位置以及面部位置，获得目标图像中的左眼区域数据、右眼区域数据以及面部区域数据，即获得初始数据集合。也就是说，初始数据集合可以为目标图像中的左眼的数据、右眼的数据以及面部的数据。
图3为获取初始数据集合示意图，如图3所示，第一终端可以按照定位后的左眼、右眼以及面部等目标位置，对目标图像进行裁剪，从而可以包括左眼区域数据、右眼区域数据以及面部区域数据的初始数据集合。
进一步地，在本申请的实施中，第一终端在根据目标位置对目标图像进行裁剪处理时，可以根据左眼位置对目标图像进行裁剪处理，获得左眼区域数据；同时可以根据右眼位置对目标图像进行裁剪处理，获得右眼区域数据；同时可以根据面部位置对目标图像进行裁剪处理，获得面部区域数据。
进一步地，在本申请的实施中，第一终端在获得面部区域数据之后，可以根据预设分辨率和面部区域数据，从而生成标准面部数据。其中，预设分辨率用于对面部区域的分辨率大小进行统一化处理。
也就是说，无论裁剪后获得的面部区域数据的大小是多少，第一终端都会对该面部区域进行分辨率的同一，获得一个与预设分辨率大小相同的表征面部数据。其中，预设分辨率为第一终端预先设置存储的，例如，预设分辨率可以为224×224。
需要说明的是，在本申请的实施例中，第一终端在根据目标位置对目标图像进行裁剪处理之后，再基于面部区域数据，根据预设分辨率向四周增加或者减少预定比例的边距，获得标准面部数据，从而便可以获得包括有左眼区域数据、右眼区域数据以及标准面部数据的初始数据集合。
步骤102b、对初始数据集合进行划分处理，获得目标数据集合。
在本申请的实施例中，第一终端在根据目标位置对目标图像进行裁剪处理，获得目标位置对应的初始数据集合之后，可以对初始数据集合进行划分处理，获得目标数据集合。
需要说明的是，在本申请的实施例中，第一终端在对初始数据集合进行划分之前，可以再次对初始数据集合进行归一化处理，是的初始数据集合中的像素值从(0，255)归一化到(0，1)，从而可以去除初始数据集合中包含的冗余信息，提高处理效率。
进一步地，在本申请的实施例中，第一终端在对初始数据集合进行划分处理时，可以按照一个预先设置的比例参数对训练数据和测试数据进行划分。其中，该比例参数的划分可以遵循训练数据远多于测试数据的原则进行设置。例如，第一终端可以将比例参数设置为8:2。
也就是说，在本申请的实施例中，第一终端可以将初始数据集合中的数据按照一定的比例参数进行划分，从而可以获得用于视线估计任务训练的训练数据，和用于视线估计任务测试的测试数据。
本申请实施例提供了一种视线估计方法，第一终端不需要额外的传感器设备和光源，便可以实现视线估计的处理，因此提升了视线估计的效率，同时，由于目标位置包括有眼部和面部的具体位置坐标，因此目标估计模型的生成结合了头部姿势和眼睛相对于头部的姿势，从而大大提高了视线估计的准确性，提升了第一终端的智能性。
基于上述实施例，在本申请的再一实施例中，第一终端根据训练数据生成初始估计模型的方法可以包括：
步骤301、分别根据左眼区域数据、右眼区域数据以及标准面部数据，获得左眼位置数据、右眼位置数据以及面部位置数据。
步骤302、对左眼位置数据和右眼位置数据进行融合处理，获得眼部位置数据。
步骤303、将眼部位置数据和面部位置数据进行融合处理，获得视线估计结果，以完成初始估计模型的训练。
在本申请的实施例中，第一终端在根据目标位置生成目标数据集合之后，可以分别根据目标数据集合中的训练数据所对应的左眼区域数据、右眼区域数据以及标准面部数据，获得左眼位置数据、右眼位置数据以及面部位置数据。然后第一终端可以先对左眼位置数据和右眼位置数据进行融合处理，获得眼部位置数据，在获得眼部位置数据之后，第一终端便可以将眼部位置数据和面部位置数据进行融合处理，获得视线估计结果，从而便可以完成初始估计模型的训练。
需要说明的是，在本申请的实施例中，图4为初始估计模型的生成示意图，如图4所示，第一终端在进行初始估计模型的训练时，可以先分别将左眼区域数据和右眼区域数据分别送入不同的支路进行训练提取眼神注视特征，再进行特征融合，获得眼部位置数据；同时可以将标准面部数据送入另一个不同的支路提取面部位置数据，最后再进行眼部位置数据和面部位置数据的特征融合，从而可以生成初始估计模型。
进一步地，在本申请的实施例中，第一终端在进行初始估计模型的训练时，每个支路的训练模型都可以为基于卷积神经网络Mobilenet v2。Mobilenet v2是一种轻量级的卷积神经网络。其中，Mobilenet v2的整体网络结构不仅继承了一些大网络性能好、精度高的特点，同时由于其结构精简，所以速度快、利于部署在移动端。Mobilenet v2结构基于Inverted residual block(本质是一个残差网络设计，传统Residual block是block的两端通道数多，中间少，而本文设计的inverted residual是block的两端通道数少，block内通道数多)，同时提出了Linear Bottlenecks的思想，将最后输出的ReLU6去掉，直接线性输出，理由是：ReLU变换后保留非0区域对应于一个线性变换，仅当输入低维时ReLU能保留所有完整信息。
由此可见，本申请提出的基于深度学习的视线估计方法，可以同时将左眼区域数据、右眼区域数据以及标准面部数据单独输入，然后再融合左眼、右眼以及面部的特征完成视线估计的任务，即结合了头部姿势和眼睛相对于头部的注视点，提高了目标估计模型的泛化性和准确性，同时，由于目标估计模型是一个端到端的模型，第一终端在进行视线估计时不需要借助其他外界设备，从而避免了中间过多的数据处理和传输所带来的麻烦，提升了视线估计的处理效率。
在本申请的实施例中，进一步地，第一终端根据测试数据对初始估计模型进行测试处理，获得目标估计模型的方法可以包括以下步骤：
步骤401、根据测试数据和初始估计模型，获得测试数据对应的准确性参数。
步骤402、当准确性参数小于预设准确性阈值时，根据测试数据对初始估计模型进行调整处理，获得目标估计模型。
在本申请的实施例中，第一终端在基于训练数据完成对初始估计模型的训练之后，便可以先根据测试数据和初始估计模型，获得测试数据对应的准确性参数，如果准确性参数小于预设准确性阈值，那么第一终端便可以根据测试数据对初始估计模型进行调整处理，最终获得目标估计模型。
需要说明的是，在本申请的实施例中，第一终端在根据测试数据对初始估计模型进行测试处理时，可以基于初始估计模型输出测试数据对应的准确性参数，如果准确性参数小于预设准确性阈值，第一终端便可以认为当前正在测试的一组数据为错误的样本，为了提高初始估计模型的泛化性，第一终端便可以将被判定为错误样本的测试数据重新输入至初始估计模型中进行fine-tuning，完成对初始估计模型的训练，最终获得目标估计模型。
进一步地，在本申请的实施了张，第一终端在根据测试数据对初始估计模型进行测试处理时，可以采用Adam梯度下降算法，Adam是一种高效计算方法，可以提高梯度下降收敛速度。训练过程中将训练集输入卷积神经网络模型并迭代预设次数epochs。例如，第一终端可以设置epochs为90次。每一次迭代计算过程中使用Adam梯度下降算法优化目标函数，Adam梯度下降算法需设置批处理样本大小batch_size，例如，第一终端可以设置batch_size为64。
需要说明的是，在本申请的实施例中，第一终端在确定测试数据对应的准确性参数时，可以选用回归问题中常用的评价准则平均绝对值误差(mean absolute error，MAE)作为测试数据的评价标准，对初始估计模型进行测评，该值越小，则模型的学习能力越强，视线估计越准确，准确性参数越高。由于在视线估计任务中返回的是一个坐标，因此，MAE的计算方法如公式(1)和(2)：
其中，xi，yi是真实横坐标、纵坐标；是估计的横坐标、纵坐标；N是样本个数。
本申请实施例提供了一种视线估计方法，第一终端不需要额外的传感器设备和光源，便可以实现视线估计的处理，因此提升了视线估计的效率，同时，由于目标位置包括有眼部和面部的具体位置坐标，因此目标估计模型的生成结合了头部姿势和眼睛相对于头部的姿势，从而大大提高了视线估计的准确性，提升了第一终端的智能性。
本申请一实施例提供了一种视线估计方法，图5为本申请实施例提出的视线估计方法的实现流程示意图二，如图5所示，在本申请的实施例中，第二终端进行视线估计处理的方法可以包括以下步骤：
步骤501、对待估计图像进行特征采集处理，获得待估计图像中的待估计对象。
在本申请的实施例中，第二终端可以对待估计图像进行特征在即处理，从而获得待估计图像中的待估计对象。其中，待估计对象可以为待估计图像中的面部特征和眼部特征。
需要说明的是，在本申请的实施例中，第二终端可以为任何具备通信和存储功能的设备。例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备等设备。
具体地，第二终端可以为利用目标估计模型的设备进行视线估计处理的设备，其中，第二终端同时也可以为生成进行视线估计的目标估计模型的设备。也就是说，在本申请中，第一终端和第二终端可以为同一个终端，也可以为不同的终端。
需要说明的是，在本申请的实施例中，第二终端在对待估计图像进行特征采集处理，获得待估计图像中的待估计对象之前，可以先获取待估计图像。具体地，第二终端可以通过多种方式获取待估计图像，例如，第二终端可以通过配置的摄像头获取待估计图像，也可以通过配置的摄像头获取视频，然后在视频中获取待估计图像，还可以直接调用对预先存储的照片进行读取，从而获取待估计图像。
进一步地，在本申请的实施例中，第二终端可以通过预设特征检测模型对待估计图像进行特征采集处理，具体地，第二终端可以将待估计图像输入至预设特征检测模型中，从而便可以输出待估计图像中的眼部特征和面部特征，即获得待估计图像中的待估计对象。
步骤502、根据待估计对象对待估计图像进行预处理，获得待估计数据；其中，待估计数据表征待估计对象在待估计图像中的位置。
在本申请的实施例中，第二终端在获得待估计图像中的待估计对象之后，可以根据待估计对象对待估计图像进行预处理，从而可以获得表征待估计对象的具体位置的待估计数据。
需要说明的是，在本申请的实施例中，第二终端可以先根据预先存储的预设位置检测模型，对待估计图像中的待估计对象进行定位。具体地，第二终端基于预设位置检测模型对待估计对象进行定位之前，可以先对待估计图像进行归一化处理，获得归一化后的待估计图像；然后可以根据归一化后的待估计图像和预设位置检测模型，对待估计对象进行定位，获得待估计对象的具体位置。
进一步地，在本申请的实施例中，第二终端通过对待估计对象进行归一化处理，可以有效的降低待估计图像的大小，从而可以大大提升处理效率。
需要说明的是，在本申请的实施例中，第二终端在获得待估计对象的具体位置之后，可以依据待估计对象的具体位置对待估计图像进行裁剪处理，从而便可以获得待估计数据。
进一步地，在本申请的实施例中，待估计数据包括待估计左眼数据、待估计右眼数据以及待估计面部数据。
步骤503、将待估计数据输入至目标估计模型中，输出待估计图像对应的视点位置；其中，目标估计模型用于进行视线估计。
在本申请的实施例中，第二终端在根据待估计对象对待估计图像进行预处理，获得待估计数据之后，便可以将待估计数据输入至用于进行视线估计的目标估计模型中，从而便可以输出待估计图像对应的视点位置。
图6为基于对待估计图像进行视线估计的示意图，如图6所示，可以先对待估计图像进行特征采集处理，获得待估计图像中的待估计对象，其中，待估计对象可以为左特征、右眼特征以及面部特征，根据待估计对象对待估计图像进行预处理，获得包括有待估计左眼数据、待估计右眼数据以及待估计面部数据的待估计数据，然后可以将待估计数据输入至目标估计模型中，从而可以输出待估计图像对应的视点位置(x，y)。
进一步地，在本申请的实施例中，第二终端在将预处理后的估计对象输入至目标估计模型中，输出待估计图像对应的视点位置之后，即步骤503之后，第二终端进行视线估计的方法还可以包括以下步骤：
步骤504、基于视点位置，按照预设扩展规则进行区域扩展，获得待估计图像对应的目标区域；其中，目标区域表征待估计图像中的视线注视范围。
在本申请的实施例中，第二终端在确定出待估计图像中的眼睛注视的视点位置之后，还可以基于视点位置，按照预先设置的预设扩展规则进行区域扩展，从而便获得待估计图像对应的目标区域。
需要说明的是，在本申请的实施例中，目标区域表征待估计图像中的视线注视范围。也就是说，目标区域可以为以视点位置为中心的、待估计图像中的眼睛注视区域。
进一步地，在本申请的实施例中，由于第二终端利用目标估计模型所获得待估计图像对应的视点位置，为一个表示眼睛注视点的具体的坐标数据，因此，第二终端按照预设扩展规则对该坐标数据进行扩展，即基于视点位置向四周扩展一定的范围，便可以定位出待估计图像中眼睛注视的感兴趣区域。
在本申请的实施例中，进一步地，由于待估计数据包括待估计左眼数据、待估计右眼数据以及待估计面部数据，因此，第二终端将待估计数据输入至目标估计模型中，输出待估计图像对应的视点位置的方法可以包括以下步骤：
步骤503a、基于目标估计模型，对待估计左眼数据和待估计左眼数据进行融合处理，获得待估计眼部数据。
步骤503b、将待估计眼部数据和待估计面部数据进行融合处理，获得视点位置。
在本申请的实施例中，第二终端在根据待估计对象对待估计图像进行预处理，获得待估计数据之后，可以基于目标估计模型，对待估计左眼数据和待估计右眼数据进行融合处理，从而便可以获得待估计眼部数据，然后可以进一步将待估计眼部数据和待估计面部数据进行融合处理，从而便可以获得视点位置。
需要说明的是，在本申请的实施例中，基于目标估计模型，待估计左眼数据和待估计右眼数据可以被分别送入不同的支路进行眼神注视特征的提取，再进行特征融合处理，从而可以获得待估计眼部数据；然后可以进行待估计面部数据和待估计眼部数据的特征融合，从而可以回归出最终的视线坐标。
由此可见，本申请提出的基目标估计模型的视线估计方法，可以同时将待估计左眼数据、待估计右眼数据以及待估计面部数据单独输入，然后再融合左眼、右眼以及面部的特征完成视线估计的任务，即结合了头部姿势和眼睛相对于头部的注视点，提高了视线估计的准确性，同时，由于目标估计模型是一个端到端的模型，第二终端在进行视线估计时不需要借助其他外界设备，从而避免了中间过多的数据处理和传输所带来的麻烦，提升了视线估计的处理效率。
本申请实施例提供了一种视线估计方法，第二终端对待估计图像进行特征采集处理，获得待估计图像中的待估计对象；根据待估计对象对待估计图像进行预处理，获得待估计数据；其中，待估计数据表征待估计对象在待估计图像中的位置；将待估计数据输入至目标估计模型中，输出待估计图像对应的视点位置。也就是说，在本申请的实施例中，终端可以先基于目标图像中的目标位置，生成包括训练数据和测试数据的目标数据集合，其中，训练数据用于进行视线估计模型的训练，测试数据用于进行视线估计模型的测试，因此，终端可以基于训练数据生成初始估计模型，然后基于测试数据获得目标估计模型，以完成用于进行视线估计的目标估计模型的训练，从而便可以根据目标估计模型实现对待估计图像的视线估计处理，确定出待估计图像对应的视点位置和目标区域。由此可见，本申请不需要额外的传感器设备和光源，便可以实现视线估计的处理，因此提升了视线估计的效率，同时，由于目标位置包括有眼部和面部的具体位置坐标，因此目标估计模型的生成结合了头部姿势和眼睛相对于头部的姿势，从而大大提高了视线估计的准确性，提升了终端的智能性。
基于上述实施例，在本申请的另一实施例中，图7为本申请实施例提出的第一终端的组成结构示意图一，如图7所示，本申请实施例提出的第一终端1可以包括第一获取单元11，确定单元12，生成单元13以及测试单元14。
所述第一获取单元11，用于获取目标图像；
所述确定单元12，用于确定所述目标图像中的目标位置；
所述生成单元13，用于根据所述目标位置生成目标数据集合；其中，所述目标数据集合包括训练数据和测试数据；以及根据所述训练数据生成初始估计模型；
所述测试单元14，用于根据所述测试数据对所述初始估计模型进行测试处理，获得目标估计模型；其中，所述目标估计模型用于进行视线估计。
进一步地，在本申请的实施例中，所述第一获取单元11，具体用于获取初始图像；以及将所述初始图像输入至预设特征检测模型中，输出所述目标图像。
进一步地，在本申请的实施例中，所述确定单元12，具体用于对所述目标图像进行归一化处理，获得归一化后图像；以及根据所述归一化后图像和预设位置检测模型，获得所述目标图像对应的所述目标位置。
所述确定单元12，还具体用于将所述归一化后图像输入至所述预设位置检测模型，输出初始坐标参数；以及根据所述初始坐标参数在所述目标图像中确定所述目标位置。
进一步地，在本申请的实施例中，所述生成单元13，具体用于根据所述目标位置对所述目标图像进行裁剪处理，获得所述目标位置对应的初始数据集合；以及对所述初始数据集合进行划分处理，获得所述目标数据集合。
进一步地，在本申请的实施例中，所述目标位置包括：左眼位置、右眼位置以及面部位置；
所述生成单元13，还具体用于分别根据所述左眼位置、右眼位置以及面部位置对所述目标图像进行裁剪处理，获得左眼区域数据、右眼区域数据以及面部区域数据；以及根据预设分辨率和所述面部区域数据，生成标准面部数据；以及将所述左眼区域数据、所述右眼区域数据以及所述标准面部数据，生成所述初始数据集合。
进一步地，在本申请的实施例中，所述生成单元13，还具体用于分别根据所述左眼区域数据、右眼区域数据以及所述标准面部数据，获得左眼位置数据、右眼位置数据以及面部位置数据；以及对所述左眼位置数据和所述右眼位置数据进行融合处理，获得眼部位置数据；以及将所述眼部位置数据和所述面部位置数据进行融合处理，获得视线估计结果，以完成所述初始估计模型的训练。
进一步地，在本申请的实施例中，所述测试单元14，具体用于根据所述测试数据和所述初始估计模型，获得所述测试数据对应的准确性参数；以及当所述准确性参数小于预设准确性阈值时，根据所述测试数据对所述初始估计模型进行调整处理，获得所述目标估计模型。
在本申请的实施例中，进一步地，图8为本申请实施例提出的第一终端的组成结构示意图二，如图8所示，本申请实施例提出的第一终端1还可以包括第一处理器15、存储有第一处理器15可执行指令的第一存储器16，进一步地，第一终端1还可以包括第一通信接口17，和用于连接第一处理器15、第一存储器16以及第一通信接口17的第一总线18。
在本申请的实施例中，上述第一处理器15可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。第一终端1还可以包括第一存储器16，该第一存储器16可以与第一处理器15连接，其中，第一存储器16用于存储可执行程序代码，该程序代码包括计算机操作指令，第一存储器16可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，第一总线18用于连接第一通信接口17、第一处理器15以及第一存储器16以及这些器件之间的相互通信。
在本申请的实施例中，第一存储器16，用于存储指令和数据。
进一步地，在本申请的实施例中，上述第一处理器15，用于获取目标图像，并确定所述目标图像中的目标位置；其中，所述目标位置用于对所述目标图像中的眼部和面部进行定位；根据所述目标位置生成目标数据集合；其中，所述目标数据集合包括训练数据和测试数据；根据所述训练数据生成初始估计模型；并根据所述测试数据对所述初始估计模型进行测试处理，获得目标估计模型；其中，所述目标估计模型用于进行视线估计。
图9为本申请实施例提出的第二终端的组成结构示意图一，如图9所示，本申请实施例提出的第二终端2可以包括第二获取单元21、估计单元22以及扩展单元23。
所述第二获取单元21，用于对待估计图像进行特征采集处理，获得所述待估计图像中的待估计对象；以及根据所述待估计对象对所述待估计图像进行预处理，获得待估计数据；其中，所述待估计数据表征所述待估计对象在所述待估计图像中的位置；
所述估计单元22，用于将所述待估计数据输入至目标估计模型中，输出所述待估计图像对应的视点位置；其中，所述目标估计模型用于进行视线估计。
进一步地，在本申请的实施例中，所述扩展单元23，用于将所述预处理后的估计对象输入至目标估计模型中，输出所述待估计图像对应的视点位置之后，基于所述视点位置，按照预设扩展规则进行区域扩展，获得所述待估计图像对应的目标区域；其中，所述目标区域表征所述待估计图像中的视线注视范围。
进一步地，在本申请的实施例中，所述第二获取单元21，具体用于在所述待估计图像中，对所述待估计对象进行裁剪处理，获得所述待估计数据。
进一步地，在本申请的实施例中，所述待估计数据包括待估计左眼数据、待估计右眼数据以及待估计面部数据；所述估计单元22，具体用于基于所述目标估计模型，对所述待估计左眼数据和所述待估计左眼数据进行融合处理，获得待估计眼部数据；以及将所述待估计眼部数据和所述待估计面部数据进行融合处理，获得所述视点位置。
在本申请的实施例中，进一步地，图10为本申请实施例提出的第二终端的组成结构示意图二，如图10所示，本申请实施例提出的第二终端2还可以包括第二处理器24、存储有第二处理器24可执行指令的第二存储器25，进一步地，第二终端1还可以包括第二通信接口26，和用于连接第二处理器24、第二存储器25以及第二通信接口26的第二总线27。
在本申请的实施例中，上述第二处理器24可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。第二终端1还可以包括第二存储器25，该第二存储器25可以与第二处理器24连接，其中，第二存储器25用于存储可执行程序代码，该程序代码包括计算机操作指令，第二存储器25可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，第二总线27用于连接第二通信接口26、第二处理器24以及第二存储器25以及这些器件之间的相互通信。
在本申请的实施例中，第二存储器25，用于存储指令和数据。
进一步地，在本申请的实施例中，上述第二处理器24，用于对待估计图像进行特征采集处理，获得所述待估计图像中的待估计对象；根据所述待估计对象对所述待估计图像进行预处理，获得待估计数据；其中，所述待估计数据表征所述待估计对象在所述待估计图像中的位置；将所述待估计数据输入至目标估计模型中，输出所述待估计图像对应的视点位置；其中，所述目标估计模型用于进行视线估计。
本申请实施例提出的一种第一终端和第二终端，第一终端和第二终端不需要额外的传感器设备和光源，便可以实现视线估计的处理，因此提升了视线估计的效率，同时，由于目标位置包括有眼部和面部的具体位置坐标，因此目标估计模型的生成结合了头部姿势和眼睛相对于头部的姿势，从而大大提高了视线估计的准确性，提升了终端的智能性。
本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的视线估计方法。
具体来讲，本实施例中的一种视线估计方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种视线估计方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
获取目标图像，并确定所述目标图像中的目标位置；其中，所述目标位置用于对所述目标图像中的眼部和面部进行定位；
根据所述目标位置生成目标数据集合；其中，所述目标数据集合包括训练数据和测试数据；
根据所述训练数据生成初始估计模型；并根据所述测试数据对所述初始估计模型进行测试处理，获得目标估计模型；其中，所述目标估计模型用于进行视线估计。
当存储介质中的与一种视线估计方法对应的程序指令被一电子设备读取或被执行时，还包括如下步骤：
对待估计图像进行特征采集处理，获得所述待估计图像中的待估计对象；
根据所述待估计对象对所述待估计图像进行预处理，获得待估计数据；其中，所述待估计数据表征所述待估计对象在所述待估计图像中的位置；
将所述待估计数据输入至目标估计模型中，输出所述待估计图像对应的视点位置；其中，所述目标估计模型用于进行视线估计。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (18)
1.一种视线估计方法，其特征在于，所述方法包括：
获取目标图像，并确定所述目标图像中的目标位置；其中，所述目标位置用于对所述目标图像中的眼部和面部进行定位；
根据所述目标位置生成目标数据集合；其中，所述目标数据集合包括训练数据和测试数据；
根据所述训练数据生成初始估计模型；并根据所述测试数据对所述初始估计模型进行测试处理，获得目标估计模型；其中，所述目标估计模型用于进行视线估计。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图像，包括：
获取初始图像；
将所述初始图像输入至预设特征检测模型中，输出所述目标图像。
3.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像中的目标位置，包括：
对所述目标图像进行归一化处理，获得归一化后图像；
根据所述归一化后图像和预设位置检测模型，获得所述目标图像对应的所述目标位置。
4.根据权利要求3所述的方法，其特征在于，所述根据所述归一化后图像和预设位置检测模型，获得所述目标图像对应的所述目标位置，包括：
将所述归一化后图像输入至所述预设位置检测模型，输出初始坐标参数；
根据所述初始坐标参数在所述目标图像中确定所述目标位置。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标位置生成目标数据集合，包括：
根据所述目标位置对所述目标图像进行裁剪处理，获得所述目标位置对应的初始数据集合；
对所述初始数据集合进行划分处理，获得所述目标数据集合。
6.根据权利要求5所述的方法，其特征在于，所述目标位置包括：左眼位置、右眼位置以及面部位置。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标位置对所述目标图像进行裁剪处理，获得所述目标位置对应的初始数据集合，包括：
分别根据所述左眼位置、右眼位置以及面部位置对所述目标图像进行裁剪处理，获得左眼区域数据、右眼区域数据以及面部区域数据；
根据预设分辨率和所述面部区域数据，生成标准面部数据；
将所述左眼区域数据、所述右眼区域数据以及所述标准面部数据，生成所述初始数据集合。
8.根据权利要求7所述的方法，其特征在于，所述根据所述训练数据生成初始估计模型，包括：
分别根据所述左眼区域数据、右眼区域数据以及所述标准面部数据，获得左眼位置数据、右眼位置数据以及面部位置数据；
对所述左眼位置数据和所述右眼位置数据进行融合处理，获得眼部位置数据；
将所述眼部位置数据和所述面部位置数据进行融合处理，获得视线估计结果，以完成所述初始估计模型的训练。
9.根据权利要求1所述的方法，其特征在于，所述根据所述测试数据对所述初始估计模型进行测试处理，获得目标估计模型，包括：
根据所述测试数据和所述初始估计模型，获得所述测试数据对应的准确性参数；
当所述准确性参数小于预设准确性阈值时，根据所述测试数据对所述初始估计模型进行调整处理，获得所述目标估计模型。
10.一种视线估计方法，其特征在于，所述方法包括：
对待估计图像进行特征采集处理，获得所述待估计图像中的待估计对象；
根据所述待估计对象对所述待估计图像进行预处理，获得待估计数据；其中，所述待估计数据表征所述待估计对象在所述待估计图像中的位置；
将所述待估计数据输入至目标估计模型中，输出所述待估计图像对应的视点位置；其中，所述目标估计模型用于进行视线估计。
11.根据权利要求10所述的方法，其特征在于，所述将所述预处理后的估计对象输入至目标估计模型中，输出所述待估计图像对应的视点位置之后，所述方法还包括：
基于所述视点位置，按照预设扩展规则进行区域扩展，获得所述待估计图像对应的目标区域；其中，所述目标区域表征所述待估计图像中的视线注视范围。
12.根据权利要求10所述的方法，其特征在于，所述根据所述待估计对象对所述待估计图像进行预处理，获得待估计数据，包括：
在所述待估计图像中，对所述待估计对象进行裁剪处理，获得所述待估计数据。
13.根据权利要求12所述的方法，其特征在于，所述待估计数据包括待估计左眼数据、待估计右眼数据以及待估计面部数据；所述将所述待估计数据输入至目标估计模型中，输出所述待估计图像对应的视点位置，包括：
基于所述目标估计模型，对所述待估计左眼数据和所述待估计左眼数据进行融合处理，获得待估计眼部数据；
将所述待估计眼部数据和所述待估计面部数据进行融合处理，获得所述视点位置。
14.一种第一终端，其特征在于，所述第一终端包括：第一获取单元，确定单元，生成单元以及测试单元，
所述第一获取单元，用于获取目标图像；
所述确定单元，用于确定所述目标图像中的目标位置；
所述生成单元，用于根据所述目标位置生成目标数据集合；其中，所述目标数据集合包括训练数据和测试数据；以及根据所述训练数据生成初始估计模型；
所述测试单元，用于根据所述测试数据对所述初始估计模型进行测试处理，获得目标估计模型；其中，所述目标估计模型用于进行视线估计。
15.一种第二终端，其特征在于，所述第二终端包括：第二获取单元和估计单元，
所述第二获取单元，用于对待估计图像进行特征采集处理，获得所述待估计图像中的待估计对象；以及根据所述待估计对象对所述待估计图像进行预处理，获得待估计数据；其中，所述待估计数据表征所述待估计对象在所述待估计图像中的位置；
所述估计单元，用于将所述待估计数据输入至目标估计模型中，输出所述待估计图像对应的视点位置；其中，所述目标估计模型用于进行视线估计。
16.一种第一终端，其特征在于，所述第一终端包括第一处理器、存储有所述第一处理器可执行指令的第一存储器，当所述指令被所述第一处理器执行时，实现如权利要求1-9任一项所述的方法。
17.一种第二终端，其特征在于，所述第二终端包括第二处理器、存储有所述第二处理器可执行指令的第二存储器，当所述指令被所述第二处理器执行时，实现如权利要求10-13任一项所述的方法。
18.一种计算机可读存储介质，其上存储有程序，应用于第一终端和第二终端中，其特征在于，所述程序被处理器执行时，实现如权利要求1-13任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910803877.7A CN110503068A (zh) | 2019-08-28 | 2019-08-28 | 视线估计方法、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910803877.7A CN110503068A (zh) | 2019-08-28 | 2019-08-28 | 视线估计方法、终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110503068A true CN110503068A (zh) | 2019-11-26 |
Family
ID=68590184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910803877.7A Pending CN110503068A (zh) | 2019-08-28 | 2019-08-28 | 视线估计方法、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503068A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680546A (zh) * | 2020-04-26 | 2020-09-18 | 北京三快在线科技有限公司 | 注意力检测方法、装置、电子设备及存储介质 |
| CN113361441A (zh) * | 2021-06-18 | 2021-09-07 | 山东大学 | 基于头部姿态和空间注意力的视线区域估计方法及系统 |
| JP2022553776A (ja) * | 2019-12-30 | 2022-12-26 | 上海商▲湯▼▲臨▼港智能科技有限公司 | 視線方向特定方法、装置、電子機器及び記憶媒体 |
| CN116052264A (zh) * | 2023-03-31 | 2023-05-02 | 广州视景医疗软件有限公司 | 一种基于非线性偏差校准的视线估计方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096810A (zh) * | 2011-01-26 | 2011-06-15 | 北京中星微电子有限公司 | 一种电脑前疲劳状态的检测方法和装置 |
| CN102375974A (zh) * | 2010-08-06 | 2012-03-14 | 佳能株式会社 | 信息处理设备和信息处理方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| CN104978548A (zh) * | 2014-04-02 | 2015-10-14 | 汉王科技股份有限公司 | 一种基于三维主动形状模型的视线估计方法与装置 |
| CN107315997A (zh) * | 2017-05-27 | 2017-11-03 | 湖北天业云商网络科技有限公司 | 一种基于快速特征点定位的视线朝向判断方法及系统 |
| CN108171152A (zh) * | 2017-12-26 | 2018-06-15 | 深圳大学 | 深度学习人眼视线估计方法、设备、系统及可读存储介质 |
| CN109344714A (zh) * | 2018-08-31 | 2019-02-15 | 电子科技大学 | 一种基于关键点匹配的视线估计方法 |
| CN110046546A (zh) * | 2019-03-05 | 2019-07-23 | 成都旷视金智科技有限公司 | 一种自适应视线追踪方法、装置、系统及存储介质 |
| CN110058694A (zh) * | 2019-04-24 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 视线追踪模型训练的方法、视线追踪的方法及装置 |
-
2019
- 2019-08-28 CN CN201910803877.7A patent/CN110503068A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102375974A (zh) * | 2010-08-06 | 2012-03-14 | 佳能株式会社 | 信息处理设备和信息处理方法 |
| CN102096810A (zh) * | 2011-01-26 | 2011-06-15 | 北京中星微电子有限公司 | 一种电脑前疲劳状态的检测方法和装置 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| CN104978548A (zh) * | 2014-04-02 | 2015-10-14 | 汉王科技股份有限公司 | 一种基于三维主动形状模型的视线估计方法与装置 |
| CN107315997A (zh) * | 2017-05-27 | 2017-11-03 | 湖北天业云商网络科技有限公司 | 一种基于快速特征点定位的视线朝向判断方法及系统 |
| CN108171152A (zh) * | 2017-12-26 | 2018-06-15 | 深圳大学 | 深度学习人眼视线估计方法、设备、系统及可读存储介质 |
| CN109344714A (zh) * | 2018-08-31 | 2019-02-15 | 电子科技大学 | 一种基于关键点匹配的视线估计方法 |
| CN110046546A (zh) * | 2019-03-05 | 2019-07-23 | 成都旷视金智科技有限公司 | 一种自适应视线追踪方法、装置、系统及存储介质 |
| CN110058694A (zh) * | 2019-04-24 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 视线追踪模型训练的方法、视线追踪的方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022553776A (ja) * | 2019-12-30 | 2022-12-26 | 上海商▲湯▼▲臨▼港智能科技有限公司 | 視線方向特定方法、装置、電子機器及び記憶媒体 |
| JP7309116B2 (ja) | 2019-12-30 | 2023-07-18 | 上海臨港絶影智能科技有限公司 | 視線方向特定方法、装置、電子機器及び記憶媒体 |
| CN111680546A (zh) * | 2020-04-26 | 2020-09-18 | 北京三快在线科技有限公司 | 注意力检测方法、装置、电子设备及存储介质 |
| CN113361441A (zh) * | 2021-06-18 | 2021-09-07 | 山东大学 | 基于头部姿态和空间注意力的视线区域估计方法及系统 |
| CN113361441B (zh) * | 2021-06-18 | 2022-09-06 | 山东大学 | 基于头部姿态和空间注意力的视线区域估计方法及系统 |
| CN116052264A (zh) * | 2023-03-31 | 2023-05-02 | 广州视景医疗软件有限公司 | 一种基于非线性偏差校准的视线估计方法及装置 |
| CN116052264B (zh) * | 2023-03-31 | 2023-07-04 | 广州视景医疗软件有限公司 | 一种基于非线性偏差校准的视线估计方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12067689B2 (en) | Systems and methods for determining the scale of human anatomy from images | |
| EP3539054B1 (en) | Neural network image processing apparatus | |
| KR102204810B1 (ko) | 안경테를 가상으로 조정하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| JP7538186B2 (ja) | ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル | |
| CN110503068A (zh) | 视线估计方法、终端及存储介质 | |
| WO2019128508A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US11715231B2 (en) | Head pose estimation from local eye region | |
| JP7542563B2 (ja) | 眼追跡待ち時間向上 | |
| EP3339943A1 (en) | Method and system for obtaining optometric parameters for fitting eyeglasses | |
| CN109661194A (zh) | 使用角膜曲率的虹膜边界估计 | |
| CN109343700B (zh) | 眼动控制校准数据获取方法和装置 | |
| CN110956071B (zh) | 眼部关键点的标注及其检测模型的训练方法和装置 | |
| WO2013052132A2 (en) | Image-based head position tracking method and system | |
| CN106056064A (zh) | 一种人脸识别方法及人脸识别装置 | |
| US20220148333A1 (en) | Method and system for estimating eye-related geometric parameters of a user | |
| CN112183200B (zh) | 一种基于视频图像的眼动追踪方法和系统 | |
| KR102134476B1 (ko) | 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
| CN109407828A (zh) | 一种凝视点估计方法及系统、存储介质及终端 | |
| KR102444768B1 (ko) | 안경 렌즈의 국부적 굴절력 및/또는 굴절력 분포를 측정하기 위한 방법 및 장치 | |
| Perra et al. | Adaptive eye-camera calibration for head-worn devices | |
| CN115713794A (zh) | 一种基于图像的视线落点估计方法、装置 | |
| US10036902B2 (en) | Method of determining at least one behavioural parameter | |
| CN112400148A (zh) | 使用离轴相机执行眼睛跟踪的方法和系统 | |
| CN117056786A (zh) | 非接触式应激状态识别方法与系统 | |
| CN113283318B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191126 |