CN113537295B - 基于离群点引导的视线估计跨场景适配方法和装置 - Google Patents

基于离群点引导的视线估计跨场景适配方法和装置 Download PDF

Info

Publication number
CN113537295B
CN113537295B CN202110689959.0A CN202110689959A CN113537295B CN 113537295 B CN113537295 B CN 113537295B CN 202110689959 A CN202110689959 A CN 202110689959A CN 113537295 B CN113537295 B CN 113537295B
Authority
CN
China
Prior art keywords
collaborative
model group
learning model
outlier
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110689959.0A
Other languages
English (en)
Other versions
CN113537295A (zh
Inventor
陆峰
刘云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110689959.0A priority Critical patent/CN113537295B/zh
Publication of CN113537295A publication Critical patent/CN113537295A/zh
Priority to US17/561,866 priority patent/US20220405953A1/en
Application granted granted Critical
Publication of CN113537295B publication Critical patent/CN113537295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了基于离群点引导的视线估计跨场景适配方法和装置。该方法的一具体实施方式包括：基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；确定协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；基于目标图像、该协同学习模型组和该平均协同模型组，生成该协同学习模型组对应的离群点；利用离群点损失函数和离群点，对协同学习模型组进行优化；利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。该实施方式能够有效地稳定跨域适配过程，提高系统的可扩展性。

Description

基于离群点引导的视线估计跨场景适配方法和装置
技术领域
本公开的实施例涉及计算机技术领域，具体涉及基于离群点引导的视线估计跨场景适配方法和装置。
背景技术
视线信息已在各种应用中得到利用，例如人机交互，虚拟增强现实游戏，智能座舱系统，医学分析等。随着深度学习技术的发展，基于外观的视线估计任务近来引起了很多关注。为了提高视线估计的性能，很多大型视线估计数据集已经被提出。为了减少实际应用中的跨域问题，基于对抗学习的方法应运而生。这些方法的核心思想是引入一个判别器来判别区分不同域的图像数据，进而使视线估计部分提取的特征更具有通用性。此外，伪标签法等基于自训练的方法也被提出用于解决跨域适配问题。这些方法使用模型自身的预测结果反过来优化模型参数，能够帮助模型提取与任务真正相关的特征。
然而，当采用上述方式进行视线估计时，经常会存在如下技术问题：
大型视线估计数据集的环境、背景和光照等条件不同，在单个数据集(源域)上训练的视线估计模型应用于新的目标域时，通常由于模型的泛化性能受限，导致方法的性能大大降低。而基于对抗学习的方法难以保证模型提取的特征与视线估计任务真正相关。另外，伪标签法等基于自训练的方法专注于分类任务而不是回归任务，直接将该方法用于视线估计这类回归任务时很容易出现误差放大问题。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了基于离群点引导的视线估计跨场景适配方法和装置，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开的一些实施例提供了一种基于离群点引导的视线估计跨场景适配方法，该方法包括：基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；确定上述协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；基于目标图像、上述协同学习模型组和上述平均协同模型组，生成上述协同学习模型组对应的离群点；利用离群点损失函数和上述离群点，对上述协同学习模型组进行优化；利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。
第二方面，本公开的一些实施例提供了一种基于离群点引导的视线估计跨场景适配装置，装置包括：预训练单元，被配置成基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；确定单元，被配置成确定上述协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；生成单元，被配置成基于目标图像、上述协同学习模型组和上述平均协同模型组，生成上述协同学习模型组对应的离群点；优化单元，被配置成利用离群点损失函数和上述离群点，对上述协同学习模型组进行优化；视线估计单元，被配置成利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的基于离群点引导的视线估计跨场景适配方法能够有效地稳定跨域适配过程，提高系统的可扩展性。基于此，本公开的一些实施例的基于离群点引导的视线估计跨场景适配方法，首先，构建了一种离群点指导的学习框架，用于视线估计任务的跨域适配问题，使用发明的离群点损失函数来保证互学习的可靠性并且能应用于各种不同的视线估计模型。该框架十分灵活，能够即插即用多种不同的视线估计方法，提升了整个系统的可扩展性。其次，建立了一种离群点引导的协同学习策略，通过构建协同学习组和平均协同组，进而构建跨域适配框架。基于该框架结合协同学习策略，仅需少量目标域上的图像，即可完成视线估计模型的跨域适配。最后，构造了一种基于离群点的损失函数，能够帮助更好地进行域自适应任务，通过对模型的离群预测给予较大的惩罚，非离群预测则惩罚较小，能够有效地稳定适配过程，提高模型的适配性能结果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是根据本公开的基于离群点引导的视线估计跨场景适配方法的一些实施例的流程图；
图2是根据本公开的基于离群点引导的视线估计跨场景适配方法的一些实施例的预测结果图像示意图；
图3是根据本公开的基于离群点引导的视线估计跨场景适配装置的一些实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的基于离群点引导的视线估计跨场景适配方法的一些实施例的流程100。该基于离群点引导的视线估计跨场景适配方法，包括以下步骤：
步骤101，基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组。
在一些实施例中，基于离群点引导的视线估计跨场景适配方法的执行主体可以基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组。其中，上述视线估计模型的网络结构可以是Resnet(Deep residual network，深度残差网络)结构。上述执行主体可以用多层感知机来回归视线方向。上述协同学习模型组中的协同学习模型具有相同的卷积神经网络结构。
作为示例，将视线估计模型在源域数据上进行预训练，训练的迭代次数可以为200次。训练完成后选择性能高的前10个模型为一组(即协同学习组)，作为协同学习组的成员。
步骤102，确定协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组。
在一些实施例中，上述执行主体可以通过复制上述协同学习模型组中的每个协同学习模型作为对应的平均协同模型，得到平均协同模型组。
在一些实施例的一些可选的实现方式中，上述执行主体可以利用指数移动平均的方式，确定上述协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组。其中，指数移动平均模型的构建方法可以如下所示：
E(T)(θ)＝α×E(T-1)(θ)+(1-α)×θ。
其中，E表示指数移动平均参数。T表示迭代次数。E(T)表示第T次迭代时的指数移动平均参数。α表示权重，可以是0.99。E(T-1)表示第T-1次迭代时的指数移动平均参数。θ表示模型参数。
其中，指数移动平均模型可以保留模型自适应过程中的时序信息，从而得到更可靠的预测结果，避免过于剧烈的梯度下降导致的误差放大。
步骤103，基于目标图像、协同学习模型组和平均协同模型组，生成协同学习模型组对应的离群点。
在一些实施例中，上述执行主体可以通过狄克逊检验法，基于目标图像、协同学习模型组和平均协同模型组，生成协同学习模型组对应的离群点，生成协同学习模型组对应的离群点。
在一些实施例的一些可选的实现方式中，上述执行主体基于目标图像、上述协同学习模型组和上述平均协同模型组，生成协同学习模型组对应的离群点，可以包括以下步骤：
第一步，基于目标图像、上述协同学习模型组和上述平均协同模型组，生成协同学习模型组对应的预测结果和平均协同模型组对应的预测结果。
第二步，基于上述平均协同模型组对应的预测结果，确定高斯分布。其中，上述高斯分布的构建方式可以如下所示：
其中，μ表示上述平均协同模型组中的平均协同模型的预测结果的均值。H表示预训练时模型的数量。k表示序号。表示上述平均协同模型组中的平均协同模型的预测结果。/>表示上述平均协同模型组中的第k个平均协同模型的预测结果。σ表示上述平均协同模型组中的平均协同模型的预测结果的标准差。μ表示上述平均协同模型组中的平均协同模型的预测结果的均值。u1-∈表示正态分布的1-∈分位点。∈表示用于判断离群点的显著性水平。
其中，响应于协同学习模型组的第k个协同学习模型的预测结果gk满足以下条件：
则判定为离群的预测。指数移动平均模型保留了模型迭代过程中的时序信息，能够给出更为稳定和可靠的预测，使用指数移动平均模型的预测来指导模型的预测结果，能够防止模型产生剧烈波动，避免误差放大。因此，为了利用互学习以及指数移动平均所带来的鲁棒性和可靠性，本公开根据指数移动平均模型在目标域上的预测结果来检测模型在目标域上的离群预测，进而得出模型优化的方向。
第三步，根据上述高斯分布，对上述协同学习模型组对应的预测结果进行离群预测，得到上述离群点。
步骤104，利用离群点损失函数和离群点，对协同学习模型组进行优化。
在一些实施例中，上述执行主体可以利用离群点损失函数和上述离群点，通过反向传播的方法，对上述协同学习模型组进行优化。其中，上述离群点损失函数的构造方式可以为：
其中，γ表示权重因子。表示标准正态分布的分布函数。k表示序号。g表示上述协同学习模型组中的协同学习模型的预测结果。gk表示上述协同学习模型组中的第k个协同学习模型的预测结果。μ表示上述平均协同模型组中的平均协同模型的预测结果的均值。σ表示上述平均协同模型组中的平均协同模型的预测结果的标准差。/>表示标准正态分布的分布函数在0处的值，即0.5。u1-∈表示正态分布的1-∈分位点，∈表示用于判断离群点的显著性水平，可以取0.05。LOG(gk，μ，σ)表示上述离群点损失函数。
其中，上述标准正态分布的分布函数是：
其中，x表示自变量。表示分布函数。/>表示关于自变量x的分布函数。∞表示无穷大。π表示第一常数。取值可以是3.14。e表示第二常数，取值可以是2.17。
步骤105，利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。
在一些实施例中，上述执行主体可以利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。其中，上述执行主体可以目标域上随机挑选少量图片，通过在少量图片上迭代更新少量次数，完成对模型的跨域适配。
作为示例，在目标域图像上的适配前后的结果如图2所示。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的基于离群点引导的视线估计跨场景适配方法能够有效地稳定跨域适配过程，提高系统的可扩展性。基于此，本公开的一些实施例的基于离群点引导的视线估计跨场景适配方法，首先，构建了一种离群点指导的学习框架，用于视线估计任务的跨域适配问题，使用发明的离群点损失函数来保证互学习的可靠性并且能应用于各种不同的视线估计模型。该框架十分灵活，能够即插即用多种不同的视线估计方法，提升了整个系统的可扩展性。其次，建立了一种离群点引导的协同学习策略，通过构建协同学习组和平均协同组，进而构建跨域适配框架。基于该框架结合协同学习策略，仅需少量目标域上的图像，即可完成视线估计模型的跨域适配。最后，构造了一种基于离群点的损失函数，能够帮助更好地进行域自适应任务，通过对模型的离群预测给予较大的惩罚，非离群预测则惩罚较小，能够有效地稳定适配过程，提高模型的适配性能结果。
进一步参考图3，作为对上述各图所示方法的实现，本公开提供了一种基于离群点引导的视线估计跨场景适配装置的一些实施例，这些装置实施例与图1所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，一些实施例的基于离群点引导的视线估计跨场景适配装置300包括：预训练单元301、确定单元302、生成单元303、优化单元304和视线估计单元305。其中，预训练单元301，被配置成基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；确定单元302，被配置成确定上述协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；生成单元303，被配置成基于目标图像、上述协同学习模型组和上述平均协同模型组，生成上述协同学习模型组对应的离群点；优化单元304，被配置成利用离群点损失函数和上述离群点，对上述协同学习模型组进行优化；视线估计单元305，被配置成利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计。
可以理解的是，该装置300中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置300及其中包含的单元，在此不再赘述。

Claims (4)

1.一种基于离群点引导的视线估计跨场景适配方法，包括：
基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；
确定所述协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；
基于目标图像、所述协同学习模型组和所述平均协同模型组，生成所述协同学习模型组对应的离群点；
利用离群点损失函数和所述离群点，对所述协同学习模型组进行优化；
利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计；
其中，所述确定所述协同学习模型组中的每个协同学习模型对应的平均协同模型，包括：
利用指数移动平均的方式，确定所述协同学习模型组中的每个协同学习模型对应的平均协同模型，其中，指数移动平均模型的构建方法如下所示：
，其中，/>表示指数移动平均参数，/>表示迭代次数，/>表示第/>次迭代时的指数移动平均参数，/>表示权重，表示第/>次迭代时的指数移动平均参数，/>表示模型参数；
其中，所述基于目标图像、所述协同学习模型组和所述平均协同模型组，生成所述协同学习模型组对应的离群点，包括：基于目标图像、所述协同学习模型组和所述平均协同模型组，生成协同学习模型组对应的预测结果和平均协同模型组对应的预测结果；基于所述平均协同模型组对应的预测结果，确定高斯分布；
根据所述高斯分布，对所述协同学习模型组对应的预测结果进行离群预测，得到所述离群点；
其中，所述离群点损失函数的构造方式为：
，其中，表示权重因子，/>表示标准正态分布的分布函数，/>表示序号，/>表示所述协同学习模型组中的协同学习模型的预测结果，/>表示所述协同学习模型组中的第/>个协同学习模型的预测结果，/>表示所述平均协同模型组中的平均协同模型的预测结果的均值，/>表示所述平均协同模型组中的平均协同模型的预测结果的标准差，/>表示标准正态分布的分布函数在0处的值，即0.5，/>表示正态分布的/>分位点，/>表示用于判断离群点的显著性水平，/>表示所述离群点损失函数。
2.根据权利要求1所述的方法，其中，所述协同学习模型组中的协同学习模型具有相同的卷积神经网络结构。
3.根据权利要求2所述的方法，其中，所述利用离群点损失函数和所述离群点，对所述协同学习模型组进行优化，包括：
利用离群点损失函数和所述离群点，通过反向传播的方法，对所述协同学习模型组进行优化。
4.一种基于离群点引导的视线估计跨场景适配装置，包括：
预训练单元，被配置成基于给定的任意视线估计模型，在源域上进行预训练，得到协同学习模型组；
确定单元，被配置成确定所述协同学习模型组中的每个协同学习模型对应的平均协同模型，得到平均协同模型组；
生成单元，被配置成基于目标图像、所述协同学习模型组和所述平均协同模型组，生成所述协同学习模型组对应的离群点；
优化单元，被配置成利用离群点损失函数和所述离群点，对所述协同学习模型组进行优化，其中，所述离群点损失函数的构造方式为：
，其中，/>表示权重因子，表示标准正态分布的分布函数，/>表示序号，/>表示所述协同学习模型组中的协同学习模型的预测结果，/>表示所述协同学习模型组中的第/>个协同学习模型的预测结果，/>表示所述平均协同模型组中的平均协同模型的预测结果的均值，/>表示所述平均协同模型组中的平均协同模型的预测结果的标准差，/>表示标准正态分布的分布函数在0处的值，即0.5，/>表示正态分布的/>分位点，/>表示用于判断离群点的显著性水平，表示所述离群点损失函数；
视线估计单元，被配置成利用优化后的协同学习模型组中的任意一个协同学习模型进行视线估计；其中，所述确定单元，进一步被配置成：利用指数移动平均的方式，确定所述协同学习模型组中的每个协同学习模型对应的平均协同模型，其中，指数移动平均模型的构建方法如下所示：，其中，/>表示指数移动平均参数，/>表示迭代次数，/>表示第/>次迭代时的指数移动平均参数，/>表示权重，/>表示第/>次迭代时的指数移动平均参数，/>表示模型参数；
其中，所述生成单元，进一步被配置成：基于目标图像、所述协同学习模型组和所述平均协同模型组，生成协同学习模型组对应的预测结果和平均协同模型组对应的预测结果；基于所述平均协同模型组对应的预测结果，确定高斯分布；根据所述高斯分布，对所述协同学习模型组对应的预测结果进行离群预测，得到所述离群点。
CN202110689959.0A 2021-06-22 2021-06-22 基于离群点引导的视线估计跨场景适配方法和装置 Active CN113537295B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110689959.0A CN113537295B (zh) 2021-06-22 2021-06-22 基于离群点引导的视线估计跨场景适配方法和装置
US17/561,866 US20220405953A1 (en) 2021-06-22 2021-12-24 Gaze estimation cross-scene adaptation method and device based on outlier guidance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110689959.0A CN113537295B (zh) 2021-06-22 2021-06-22 基于离群点引导的视线估计跨场景适配方法和装置

Publications (2)

Publication Number Publication Date
CN113537295A CN113537295A (zh) 2021-10-22
CN113537295B true CN113537295B (zh) 2023-10-24

Family

ID=78125493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110689959.0A Active CN113537295B (zh) 2021-06-22 2021-06-22 基于离群点引导的视线估计跨场景适配方法和装置

Country Status (2)

Country Link
US (1) US20220405953A1 (zh)
CN (1) CN113537295B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077211A (zh) * 2014-10-23 2017-08-18 皇家飞利浦有限公司 视线跟踪驱动的感兴趣区域分割
CN107111753A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 用于注视跟踪模型的注视检测偏移
CN107256332A (zh) * 2017-05-24 2017-10-17 上海交通大学 基于眼动数据的脑电实验评估系统及方法
CN111857329A (zh) * 2020-05-26 2020-10-30 北京航空航天大学 注视点计算方法、装置及设备
CN112698664A (zh) * 2020-12-11 2021-04-23 南京航空航天大学 一种用于无人集群协同导航优化的视线扇区动态估计方法
CN112766163A (zh) * 2021-01-13 2021-05-07 北京航空航天大学 一种基于对抗优化的视线方向确定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179833B2 (en) * 2013-02-28 2015-11-10 Carl Zeiss Meditec, Inc. Systems and methods for improved ease and accuracy of gaze tracking
US11238340B1 (en) * 2016-12-21 2022-02-01 Facebook Technologies, Llc Predictive eyetracking using recurrent neural networks
US11586915B2 (en) * 2017-12-14 2023-02-21 D-Wave Systems Inc. Systems and methods for collaborative filtering with variational autoencoders
JP7087681B2 (ja) * 2018-05-30 2022-06-21 ヤマハ株式会社 画像処理方法、画像処理装置およびプログラム
US10996751B2 (en) * 2018-12-21 2021-05-04 Tobii Ab Training of a gaze tracking model
JP7230173B2 (ja) * 2019-03-01 2023-02-28 株式会社日立製作所 置去り物検知装置および置去り物検知方法
SE543273C2 (en) * 2019-03-29 2020-11-10 Tobii Ab Training an eye tracking model
US11468288B2 (en) * 2020-07-28 2022-10-11 Oken Technologies, Inc. Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data
US11704814B2 (en) * 2021-05-13 2023-07-18 Nvidia Corporation Adaptive eye tracking machine learning model engine

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077211A (zh) * 2014-10-23 2017-08-18 皇家飞利浦有限公司 视线跟踪驱动的感兴趣区域分割
CN107111753A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 用于注视跟踪模型的注视检测偏移
CN107256332A (zh) * 2017-05-24 2017-10-17 上海交通大学 基于眼动数据的脑电实验评估系统及方法
CN111857329A (zh) * 2020-05-26 2020-10-30 北京航空航天大学 注视点计算方法、装置及设备
CN112698664A (zh) * 2020-12-11 2021-04-23 南京航空航天大学 一种用于无人集群协同导航优化的视线扇区动态估计方法
CN112766163A (zh) * 2021-01-13 2021-05-07 北京航空航天大学 一种基于对抗优化的视线方向确定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PureGaze: Purifying Gaze Feature for Generalizable Gaze Estimation;Yihua Cheng;《arXiv:2103.13173v1》;第1-12页 *
基于头眼特征融合的驾驶员视线区域估计研究;郑传杨;《中国优秀博硕士论文全文数据库（硕士）工程科技II辑》;第1-64页 *

Also Published As

Publication number Publication date
US20220405953A1 (en) 2022-12-22
CN113537295A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110520871B (zh) 使用学习进度测量训练机器学习模型
CN110770759B (zh) 神经网络系统
US20180189950A1 (en) Generating structured output predictions using neural networks
US11741398B2 (en) Multi-layered machine learning system to support ensemble learning
US11797839B2 (en) Training neural networks using priority queues
US20230049747A1 (en) Training machine learning models using teacher annealing
US20220215209A1 (en) Training machine learning models using unsupervised data augmentation
US20220067588A1 (en) Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model
US9536206B2 (en) Method and apparatus for improving resilience in customized program learning network computational environments
CN112116090A (zh) 神经网络结构搜索方法、装置、计算机设备及存储介质
WO2019146057A1 (ja) 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム
US20190251419A1 (en) Low-pass recurrent neural network systems with memory
KR20220094967A (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
CN113726545A (zh) 基于知识增强生成对抗网络的网络流量生成方法及装置
CN110704668B (zh) 基于网格的协同注意力vqa方法和装置
CN114612688A (zh) 对抗样本生成方法、模型训练方法、处理方法及电子设备
CN113033774B (zh) 图处理网络模型的训练方法、装置、电子设备和存储介质
CN110298384B (zh) 对抗样本图像生成方法和装置
CN113537295B (zh) 基于离群点引导的视线估计跨场景适配方法和装置
US9336498B2 (en) Method and apparatus for improving resilience in customized program learning network computational environments
CN114548288A (zh) 模型训练、图像识别方法和装置
US11775815B2 (en) System and method for deep memory network
CN112861601A (zh) 生成对抗样本的方法及相关设备
WO2020075462A1 (ja) 学習器推定装置、学習器推定方法、リスク評価装置、リスク評価方法、プログラム
CN114912568A (zh) 数据处理的方法、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant