CN112950670A - 眼睛跟踪方法和眼睛跟踪设备 - Google Patents

眼睛跟踪方法和眼睛跟踪设备 Download PDF

Info

Publication number
CN112950670A
CN112950670A CN202010647052.3A CN202010647052A CN112950670A CN 112950670 A CN112950670 A CN 112950670A CN 202010647052 A CN202010647052 A CN 202010647052A CN 112950670 A CN112950670 A CN 112950670A
Authority
CN
China
Prior art keywords
image
eye tracking
eye
input image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010647052.3A
Other languages
English (en)
Inventor
许珍九
姜东佑
南东暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112950670A publication Critical patent/CN112950670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

公开了眼睛跟踪方法和眼睛跟踪设备。所述眼睛跟踪方法包括：确定输入图像与重构图像之间的差；基于确定的差来选择输入图像、重构图像和替代图像中的一个；以及针对输入图像、重构图像和替代图像中的一个执行眼睛跟踪。

Description

眼睛跟踪方法和眼睛跟踪设备
本申请要求于2019年12月10日在韩国知识产权局提交的第10-2019-0163642号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
与示例性实施例一致的方法和设备涉及一种用于基于眼睛重构来跟踪眼睛的方法和设备。
背景技术
平视显示器(HUD)装置通过在驾驶员前方显示虚拟图像来提供有助于驾驶员驾驶的各种驾驶信息。近来，三维(3D)HUD装置正在开发中。例如，3D HUD装置使用增强现实(AR)。在这个示例中，驾驶信息被显示为与实际对象重叠，使得驾驶员可更直观地识别驾驶信息。目前存在各种类型的3D显示器。在那些3D显示器之中，具有相对高分辨率和相对高自由度的眼睛跟踪3D显示器可应用于3D HUD装置。
发明内容
一个或多个示例性实施例可至少解决以上问题和/或缺点以及以上未描述的其他缺点。此外，不要求示例性实施例克服上述缺点，并且示例性实施例可以不克服上述任何问题。
根据示例性实施例的一个方面，提供一种眼睛跟踪方法，所述眼睛跟踪方法包括：通过针对输入图像执行眼睛重构来生成重构图像；确定输入图像与重构图像之间的差；通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像；以及基于目标图像执行眼睛跟踪。
眼睛重构可包括降低输入图像中的噪声分量。生成的步骤可包括：使用与输入图像对应的主成分向量中的具有高优先级的部分来生成重构图像，并且主成分向量可各自对应于基于针对各种面部图像的主成分分析而预定的特征脸。
选择的步骤可包括：如果确定的差小于第一阈值，则选择输入图像作为目标图像；如果确定的差大于第一阈值并且小于第二阈值，则选择重构图像作为目标图像；以及如果确定的差大于第二阈值，则选择替代图像作为目标图像。
替代图像可不同于输入图像和重构图像。所述眼睛跟踪方法还可包括：在存储在数据库中的样本图像之中，选择与输入图像具有最高相似度的样本图像作为替代图像。相似度可基于输入图像的特征点与所述样本图像中的每个样本图像的特征点之间的比较来确定。输入图像的特征点和所述样本图像中的每个样本图像的特征点可各自从除了眼睛之外的区域被提取。所述样本图像可对应于先前已成功进行眼睛跟踪的图像。所述眼睛跟踪方法还可包括：如果眼睛跟踪基于输入图像或重构图像而成功，则将输入图像作为样本图像存储在数据库中。
如果眼睛检测针对输入图像而成功，则可执行生成的步骤。如果替代图像被选择为目标图像，则执行的步骤可包括：基于映射到替代图像的眼睛位置信息来执行眼睛跟踪。
根据示例性实施例的一个方面，提供一种电子装置，所述电子装置包括：处理器；存储器，被配置为存储可由处理器执行的指令；以及相机，被配置为通过拍摄用户来生成输入图像，其中，当所述指令被处理器执行时，处理器可被配置为：通过针对输入图像执行眼睛重构来生成重构图像，确定输入图像与重构图像之间的差，通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像，以及基于目标图像执行眼睛跟踪。
根据示例性实施例的一个方面，提供一种眼睛跟踪设备，所述眼睛跟踪设备包括：处理器；以及存储器，被配置为存储可由处理器执行的指令，其中，当所述指令被处理器执行时，处理器可被配置为：通过针对输入图像执行眼睛重构来生成重构图像，确定输入图像与重构图像之间的差，通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像，以及基于目标图像执行眼睛跟踪。
附图说明
通过参照附图描述特定的示例性实施例，以上和/或其他方面将更清楚，其中：
图1示出根据示例性实施例的使用输入图像、重构图像和替代图像的眼睛跟踪设备的操作；
图2是示出根据示例性实施例的眼睛检测处理和眼睛跟踪处理的流程图；
图3是示出根据示例性实施例的确定目标图像并且执行眼睛跟踪的处理的流程图；
图4示出根据示例性实施例的增强外貌空间；
图5示出根据示例性实施例的眼睛重构处理；
图6示出根据示例性实施例的如果差值小于第二阈值则选择目标图像的操作；
图7示出根据示例性实施例的如果差值大于第二阈值则选择目标图像的操作；
图8示出根据示例性实施例的将输入图像的特征和样本图像的特征进行匹配的操作；
图9示出根据示例性实施例的存储在数据库中的样本图像；
图10是示出根据示例性实施例的基于眼睛重构的眼睛跟踪方法的流程图；
图11是示出根据示例性实施例的基于眼睛重构的眼睛跟踪设备的框图；以及
图12是示出根据示例性实施例的包括眼睛跟踪设备的电子装置的框图。
具体实施方式
下面详细的结构性或功能性描述仅作为示例提供，并且可对示例性实施例进行各种改变和修改。因此，示例性实施例不被解释为限于公开，并且应当被理解为包括公开的技术范围内的所有改变、等同物和替代物。
在此可使用诸如第一、第二等的术语来描述组件。这些术语中的每个不用于定义相应组件的本质、次序或顺序，而仅用于将相应组件与其他一个或多个组件区分开来。例如，第一组件可被称为第二组件，并且类似地，第二组件也可被称为第一组件。
除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解的是，当在此使用术语“包含”和/或“包括”时，指定存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)将被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于形式化的含义进行解释。
在下文中，将参照附图详细描述示例性实施例。在附图中，相同的参考标号用于相同的元件。
图1示出根据示例性实施例的使用输入图像、重构图像和替代图像的眼睛跟踪设备的操作。参照图1，眼睛跟踪设备100可针对输入图像110执行眼睛跟踪，并且输出眼睛位置信息作为眼睛跟踪的结果。输入图像110可包括用户(例如，观看者或驾驶员)的面部。眼睛位置信息可用于各种应用(诸如，自动立体三维(3D)显示器和驾驶员状态监测)。自动立体3D显示器可包括各种类型的显示器(例如，3D平视显示器(HUD)、3D TV和3D移动装置)。
自动立体3D显示器可向用户的双眼显示不同的图像。为了实现前述内容，可需要用户的眼睛的位置信息。例如，可准备针对左眼的左图像和针对右眼的右图像以提供3D图像。在这个示例中，3D显示装置基于眼睛位置信息确定用户的眼睛的位置，并且将左图像提供到左眼的位置以及将右图像提供到右眼的位置。以这种方式，用户可观看3D图像。
如果输入图像110通过在光适合并且用户的眼睛完全露出时拍摄用户而生成，则可相对容易地跟踪用户的眼睛。相反，如果输入图像110通过在光不足、或者用户的眼睛覆盖有太阳镜、或者在用户的眼睛周围存在光反射分量时拍摄用户而生成，则可能难以跟踪用户的眼睛。眼睛跟踪设备100可根据情况选择性地使用输入图像110、重构图像121和替代图像131，从而即使在这样的不适合的环境下也成功地执行眼睛跟踪。
输入图像110可以是包括多个帧的视频。输入图像111可对应于输入图像110的一个帧。以下将描述的眼睛跟踪处理可针对输入图像110的各个帧被顺序地执行。
当接收到输入图像111时，眼睛跟踪设备100可通过针对输入图像111执行眼睛重构来生成重构图像121。眼睛重构可包括降低输入图像111中的噪声分量的各种技术。例如，噪声分量可包括高频分量(例如，从眼镜反射的光或光晕)和遮挡分量(例如，太阳镜、厚眼镜或头发)。通过主成分分析(PCA)的降维可用于眼睛重构。稍后将进一步描述眼睛重构的详细示例。
当生成重构图像121时，眼睛跟踪设备100可通过将输入图像111与重构图像121进行比较来确定输入图像111与重构图像121之间的差。在下文中，确定的差将被称为差值。例如，眼睛跟踪设备100可通过将输入图像111与重构图像121的相应像素进行比较来确定输入图像111与重构图像121之间的差。相应像素可以是存在于各个图像中的相同位置处的像素。
眼睛跟踪设备100可通过基于差值选择输入图像111、重构图像121和替代图像131中的一个来确定目标图像。目标图像可以是作为眼睛跟踪的目标的图像，并且对应于输入图像111、重构图像121和替代图像131中的一个。例如，如果差值小于第一阈值，则可选择输入图像111作为目标图像。如果差值大于第一阈值并且小于第二阈值，则可选择重构图像121作为目标图像。如果差值大于第二阈值，则可选择替代图像131作为目标图像。可假设第二阈值大于第一阈值。
替代图像131可不同于输入图像111和重构图像121，并且从样本图像130之中被选择。样本图像130可包括处于适合于眼睛跟踪的状态的各种图像。可从样本图像130选择与输入图像111具有最高相似度的样本图像作为替代图像131。例如，可基于输入图像111的特征点与样本图像130中的每个样本图像的特征点之间的比较来确定每个样本图像与输入图像111之间的相似度。
眼睛跟踪设备100可通过将相似度和阈值进行比较来从输入图像111、重构图像121和替代图像131之中选择最适合于眼睛跟踪的图像。例如，如果输入图像111适合于眼睛跟踪，则由于输入图像111与重构图像121之间存在微小的差(小于第一阈值的差)，所以可选择输入图像111作为目标图像。
如果输入图像111包括噪声分量(诸如，光反射)，则重构图像121可比输入图像111更适合于眼睛跟踪。在这个示例中，可通过眼睛重构来去除噪声分量，并且由于噪声分量的存在和不存在，可在输入图像111与重构图像121之间存在差(例如，大于第一阈值并且小于第二阈值的差)。因此，重构图像121可被选择为目标图像。
如果如在用户正佩戴太阳镜的示例中，在输入图像111中存在许多噪声分量，则替代图像131可比输入图像111和重构图像121更适合于眼睛跟踪。在这个示例中，在眼睛重构处理期间，可在输入图像111与重构图像121之间存在大的差(例如，大于第二阈值的差)，因此，替代图像131可被选择为目标图像。
可通过眼睛重构处理从构成输入图像111的分量去除干扰眼睛跟踪的分量。例如，通过眼睛重构处理，与一般面部对应的分量可被保持，并且不与一般面部对应的分量可被去除。可基于通过眼睛重构处理从输入图像111去除的分量的比例来选择输入图像111、重构图像121和替代图像131中的一个。例如，在高频分量的情况下，去除的分量的比例可相对较低，因此重构图像121可被选择为目标图像。在遮挡分量的情况下，被去除的分量的比例可相对较大，因此替代图像131可被选择为目标图像。
当选择目标图像时，眼睛跟踪设备100可通过针对目标图像执行眼睛跟踪来生成眼睛位置信息。眼睛跟踪设备100可顺序地接收多个帧并且跟踪每个帧中的眼睛。眼睛位置信息可包括每个帧中出现的眼睛的位置。例如，眼睛的位置可表示为图像中的眼睛的坐标。
图2是示出根据示例性实施例的眼睛检测处理和眼睛跟踪处理的流程图。参照图2，如果接收到输入图像的第一帧，则在操作210中，眼睛跟踪设备可针对输入图像的第一帧执行眼睛检测。眼睛跟踪设备可通过眼睛检测处理确定包括用户的眼睛的眼睛检测区域。在操作220中，眼睛跟踪设备确定眼睛检测是否成功。如果眼睛检测失败，则可针对输入图像的第二帧执行操作210，如果眼睛检测成功，则可执行操作230。也就是说，直到眼睛检测成功为止，操作210和220可针对每个帧迭代地执行。
在操作230中，眼睛跟踪设备可针对输入图像的第一帧执行眼睛重构。在眼睛重构之后，可生成与输入图像的第一帧对应的重构图像和替代图像，并且可选择输入图像的第一帧、重构图像和替代图像中的一个作为目标图像。在操作240中，眼睛跟踪设备可针对目标图像执行眼睛跟踪。眼睛跟踪设备可基于眼睛检测区域来确定用于眼睛跟踪的眼睛跟踪区域。眼睛跟踪设备可提取眼睛跟踪区域中的特征点，并且通过对齐提取的特征点来执行眼睛跟踪。
在操作250中，眼睛跟踪设备可确定眼睛跟踪是否成功。如果眼睛跟踪区域包括用户的眼睛，则可确定眼睛跟踪成功。如果眼睛跟踪区域不包括用户的眼睛，则可确定眼睛跟踪失败。如果眼睛跟踪成功，则眼睛跟踪设备可更新眼睛跟踪区域并且针对输入图像的第二帧执行操作230。例如，眼睛跟踪设备可基于眼睛的位置来调整眼睛跟踪区域的位置。具体地，眼睛跟踪设备可调整眼睛跟踪区域的位置，使得眼睛之间的中点可被置于眼睛跟踪区域的中心处。眼睛跟踪设备可确定与输入图像的第二帧对应的目标图像，并且使用目标图像和更新的眼睛跟踪区域来继续眼睛跟踪。
图3是示出根据示例性实施例的确定目标图像并且执行眼睛跟踪的处理的流程图。图3的操作310至操作390可对应于图2中用虚线框标记的操作230和操作240，并且当在图2的操作220中确定眼睛检测成功时，可执行操作310。
参照图3，在操作310中，眼睛跟踪设备可通过执行眼睛重构来生成重构图像。眼睛重构可包括降低输入图像中的噪声分量的各种技术。例如，通过PCA的降维可应用于眼睛重构，这将参照图4和图5进一步描述。
图4示出根据示例性实施例的增强外貌空间(augmented appearance space)。可通过针对各种参考面部图像执行PCA来获得多个主成分向量。主成分向量的维数可等于每个图像的数据(例如，像素)的维数。在这个示例中，可获得范围从主要面部成分(dominantface component)到异常面部成分(exceptional face component)的主成分向量。参考面部图像中的包括主要面部形状的图像的比例可相对较高。在这个示例中，主要面部成分可对应于标准面部，并且异常面部成分可对应于噪声。由于主成分向量可彼此正交，所以所有输入图像中的面部图像可通过主成分向量来表示。
主成分向量可被再次解释为面部图像，并且因此被解释的面部图像可被称为特征脸(eigenface)。也就是说，可在各种(即，多种)面部图像上基于PCA来确定特征脸，并且主成分向量可各自对应于特征脸。输入图像中的面部图像可使用特征脸在增强外貌空间中表示。
参照图4，面部图像A可由λiAi的和表示。Ai表示主成分向量，λi表示主成分向量的系数。λi也可称为外貌参数。λi可指示Ai在面部图像A中的比例。基于每个λiAi的值，可表示如图4中的面部图像。索引i可具有从1到n的值。具有较小i的Ai可以是更接近标准的成分，并且具有较大i的Ai可以是更接近噪声的成分。
图5示出根据示例性实施例的眼睛重构处理。参照图5，输入图像I可由λ0A0到λnAn的和表示，重构图像I'可由λ0A0到λmAm的和表示。n是正整数，m是大于或等于0的整数，n可大于m，这可被认为通过眼睛重构降低了维度。此外，可从输入图像I去除具有相对大的索引的成分(相对类似于噪声的成分)，因此，可从输入图像I去除噪声成分(诸如，高频成分或遮挡成分)。在输入图像I中，λm+1Im+1或λnAn可被称为去除成分或噪声成分。具有较小索引的主成分向量可被表示为具有较高优先级。在这个示例中，眼睛跟踪设备可使用与输入图像对应的主成分向量(A0至An)之中的具有相对高的优先级的至少一个主成分向量(A0至Am)来生成重构图像。
再参照图3，在操作320中，眼睛跟踪设备可确定输入图像与重构图像之间的差。例如，眼睛跟踪设备可通过比较输入图像与重构图像的相应像素来确定差值。眼睛重构处理中去除的各个噪声分量的较大系数可被解释为在输入图像中存在大量噪声，在这个示例中，输入图像与重构图像之间的差可被确定为较大。因此，重构图像或替代图像将用作目标图像的可能性可增大。
可基于眼睛区域来确定差值。也就是说，眼睛跟踪设备可通过比较输入图像的眼睛区域与重构图像的眼睛区域的相应像素来确定差值。这是因为当与由眼睛重构引起的全部图像中的变化的比较相比时，眼睛区域中的变化的比较可在利用重构图像或替代图像中是有效的。
例如，如果用户正佩戴口罩(或面具，mask)，则眼睛跟踪可能是可行的，而如果用户正佩戴太阳镜，则眼睛跟踪可能是困难的。因此，非常有必要检测用户正佩戴太阳镜而不是正佩戴口罩的情况，并且针对该情况使用重构图像或替代图像。在这个示例中，可基于眼睛检测区域或眼睛跟踪区域来确定眼睛区域。
在操作330中，眼睛跟踪设备可将差值与第一阈值进行比较。如果差值小于第一阈值，则在操作340中，眼睛跟踪设备可将输入图像确定为目标图像。如果差值大于第一阈值，则在操作350中，眼睛跟踪设备可将差值与第二阈值进行比较。如果差值小于第二阈值，则在操作360中，眼睛跟踪设备可将重构图像确定为目标图像。如果差值大于第二阈值，则在操作370中，眼睛跟踪设备可从样本图像之中选择替代图像。在操作380中，眼睛跟踪设备可将替代图像确定为目标图像。在操作390中，眼睛跟踪设备可针对目标图像执行眼睛跟踪。
图6示出根据示例性实施例的如果差值小于第二阈值则选择目标图像的操作。参照图6，可通过针对输入图像610的眼睛重构来生成重构图像620。通过眼睛重构，可从输入图像610去除包括眼镜的光反射的高频分量，并且当与输入图像610相比时，重构图像620可被表示为相对平滑。
在眼睛重构之后，可确定输入图像610与重构图像620之间的差值。如果差值小于第一阈值，则输入图像610可被确定为目标图像。如果差值大于第一阈值并且小于第二阈值，则重构图像620可被确定为目标图像。例如，由于包括在输入图像610中的高频分量被去除，所以重构图像620可被确定为目标图像。
图7示出根据示例性实施例的如果差值大于第二阈值则选择目标图像的操作。参照图7，可通过针对输入图像710的眼睛重构来生成重构图像720。通过眼睛重构，可从输入图像710去除包括太阳镜的光反射的高频分量和包括太阳镜的遮挡分量，并且当与输入图像710相比时，重构图像720可被表示为相对平滑。
在眼睛重构之后，可确定输入图像710与重构图像720之间的差值。如果差值小于第一阈值，则输入图像710可被确定为目标图像。如果差值大于第一阈值并且小于第二阈值，则重构图像720可被确定为目标图像。如果差值大于第二阈值，则可生成替代图像740。例如，由于包括在输入图像710中的高频分量和遮挡分量被去除，所以差值可被确定为大于第二阈值。
在这个示例中，可在输入图像710与样本图像730中的每个样本图像之间执行特征匹配，并且可在样本图像730之中选择与输入图像710最相似的样本图像作为替代图像740。然后，替代图像740可被确定为目标图像并且用于眼睛跟踪。样本图像730可包括易于跟踪眼睛的各种面部图像。例如，样本图像730可包括不存在眼镜的面部图像和/或存在眼镜但在眼镜中不存在光反射的面部图像。在图7的示例中，存在眼镜的样本图像可被确定为与存在太阳镜的输入图像710最相似，因此该样本图像可被选择作为替代图像740。
图8示出根据示例性实施例的将输入图像的特征和样本图像的特征进行匹配的操作。参照图8，可将输入图像810的特征点与样本图像820的特征点进行比较，由此可确定输入图像810与样本图像820之间的相似度。输入图像810的特征点和样本图像820的特征点可各自从除了眼睛之外的区域被提取。例如，可从鼻子、嘴和面部轮廓提取特征点。如果在眼睛的位置处存在太阳镜或其他遮挡，则替代图像很可能被使用。因此，从除了眼睛之外的区域提取特征点可在获得与输入图像810相似的替代图像以及从替代图像获得适当视点方面是有利的。
图9示出根据示例性实施例的存储在数据库中的样本图像。参照图9，数据库910可包括样本图像921至923(即，样本图像921、样本图像922和样本图像923)。数据库910可存在于眼睛跟踪设备中或不同于眼睛跟踪设备的另一设备中。如果数据库910存在于另一设备中，则眼睛跟踪设备可通过网络访问数据库910以使用样本图像921至923。样本图像921至923可各自具有适合于眼睛跟踪的状态。适合于眼睛跟踪的状态可包括不存在高频分量或遮挡分量的状态。
样本图像921至923可对应于先前已成功进行眼睛跟踪的图像。这里，术语“先前”可表示在执行针对当前帧的眼睛跟踪之前的时间。例如，在制造眼睛跟踪设备的处理中，可从已成功进行眼睛跟踪的图像之中选择适合于替代图像的图像作为样本图像921至923。在另一示例中，样本图像921至923可以是在针对先前输入图像的每一帧执行眼睛跟踪的处理或针对当前输入图像的先前帧执行眼睛跟踪的处理期间存储的图像。例如，如果眼睛跟踪基于当前帧或与当前帧对应的重构图像而成功，则当前帧或与当前帧对应的重构图像可被存储在数据库910中以用作未来替代图像。
眼睛位置信息931至933(即，眼睛位置信息931、眼睛位置信息932和眼睛位置信息933)可被映射到样本图像921至923。由于样本图像921至923是先前已成功进行眼睛跟踪的样本图像，所以当眼睛跟踪在先前成功时，可相对于样本图像921至923确保眼睛位置信息931至933。因此，当样本图像921至923被用作替代图像时，已经确保的眼睛位置信息931至933可被使用，而不是单独地跟踪样本图像921至923中的眼睛。例如，假设样本图像921被选择作为输入图像的替代图像，则眼睛跟踪设备可立即输出映射到样本图像921的眼睛位置信息931，而不是通过跟踪样本图像921中的眼睛来生成眼睛位置信息。
图10是示出根据示例性实施例的基于眼睛重构的眼睛跟踪方法的流程图。参照图10，在操作1010中，眼睛跟踪设备可通过针对输入图像执行眼睛重构来生成重构图像。在操作1020中，眼睛跟踪设备可确定输入图像与重构图像之间的差。在操作1030中，眼睛跟踪设备可通过基于所确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像。在操作1040中，眼睛跟踪设备可基于目标图像执行眼睛跟踪。另外，参照图1至图9提供的描述可应用于图10的眼睛跟踪方法。
图11是示出根据示例性实施例的基于眼睛重构的眼睛跟踪设备的框图。参照图11，眼睛跟踪设备1100可执行在此关于眼睛跟踪描述和示出的操作中的至少一个，并且向用户提供眼睛位置信息作为眼睛跟踪的结果。
眼睛跟踪设备1100可包括至少一个处理器1110和存储器1120。存储器1120可连接到处理器1110，并且存储可由处理器1110执行的指令、将由处理器1110计算的数据或由处理器1110处理的数据。存储器1120可包括非暂时性计算机可读介质(例如，高速随机存取存储器)和/或非易失性计算机可读介质(例如，至少一个盘存储装置、闪存装置或另一非易失性固态存储器装置)。
处理器1110可执行指令以执行参照图1至图10描述的操作中的至少一个操作。如果存储在存储器1120中的指令被处理器1110执行，则处理器1110可通过针对输入图像执行眼睛重构来生成重构图像，确定输入图像与重构图像之间的差，通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像，并且基于目标图像执行眼睛跟踪。
图12是示出根据示例性实施例的包括眼睛跟踪设备的电子装置的框图。参照图12，电子装置1200可包括参照图1至图11描述的眼睛跟踪设备，或者执行参照图1至图12描述的眼睛跟踪设备的功能。
电子装置1200可包括处理器1210、存储器1220、相机1230、存储装置1240、输入装置1250、输出装置1260和网络接口1270。处理器1210、存储器1220、相机1230、存储装置1240、输入装置1250、输出装置1260和网络接口1270可通过通信总线1280彼此通信。例如，电子装置1200可包括智能电话、平板PC、笔记本、台式PC、可穿戴装置、智能家用电器、智能扬声器和智能汽车。具体地，电子装置1200可安装在车辆上以提供用于三维平视显示器(3DHUD)的功能。
处理器1210可执行将在电子装置1200中执行的指令和功能。例如，处理器1210可处理存储在存储器1220或存储装置1240中的指令。处理器1210可执行参照图1至图11描述的操作中的至少一个操作。
存储器1220可存储将用于处理参照图1至图11描述的操作中的至少一个操作的信息。存储器1220可包括计算机可读存储介质或计算机可读存储装置。存储器1220可存储将由处理器1210执行的指令，并且在软件或应用程序通过电子装置1200运行时存储相关信息。
相机1230可拍摄静止图像、视频图像或两者。相机1230可拍摄用于眼睛跟踪的用户的面部并且生成输入图像。相机1230可提供包括与对象相关的深度信息的3D图像。
存储装置1240可包括计算机可读存储介质或计算机可读存储装置。存储装置1240可存储比存储器1220更多数量的信息并且将信息存储相对长的时间。例如，存储装置1240可以是磁性硬盘、光盘、闪存、软盘或本技术领域中已知的另一类型的非易失性存储器。存储装置1240可包括图9的数据库910。
输入装置1250可通过经由键盘或鼠标的传统输入方案或新输入方案(诸如，触摸输入、语音输入和图像输入)从用户接收输入。例如，输入装置1250可包括键盘、鼠标、触摸屏、麦克风或被配置为检测来自用户的输入并且将检测到的输入发送到电子装置1200的任何装置。可通过输入装置1250输入用户的数据(诸如，指纹、虹膜、语音、声音和音频)。
输出装置1260可通过视觉通道、音频通道或触觉通道向用户提供电子装置1200(例如，用户装置)的输出。输出装置1260可包括例如显示器、触摸屏、扬声器、振动发生器或被配置为向用户提供输出的任何装置。例如，输出装置1260可包括用于实现3D HUD的显示面板、3D光学层(视差屏障、双凸透镜或定向背光源)和光学系统(反射镜或透镜)。网络接口1270可通过有线或无线网络与外部装置进行通信。
在此描述的单元可使用硬件组件、软件组件和/或它们的组合来实现。处理装置可使用一个或多个通用或专用计算机(诸如，以处理器、控制器和算术逻辑单元(ALU)、DSP、微型计算机、FPGA、可编程逻辑单元(PLU)、微处理器或能够以限定的方式响应并执行指令的任何其他装置为例)来实现。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。响应于软件的执行，处理装置也可访问、存储、操控、处理和创建数据。为了简单的目的，处理装置的描述被用作单数，然而，本领域技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者处理器和控制器。此外，不同的处理配置(诸如，并行处理器)是可行的。
软件可包括计算机程序、代码段、指令或它们的一些组合，以独立地或共同地指示或配置处理装置根据期望进行操作。软件和数据可永久地或暂时地体现在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中，或者永久地或暂时地体现在能够将指令或数据提供到处理装置或者能够由处理装置解释的传播信号波中。软件还可以分布在联网的计算机系统上，使得软件以分布式方式被存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质存储。
根据上述示例性实施例的方法可记录在包括程序指令的非暂时性计算机可读介质中，以实现上述示例性实施例的各种操作。介质也可单独地或组合地包括程序指令、数据文件、数据结构等。记录在介质上的程序指令可以是为了示例性实施例的目的而专门设计和构造的程序指令，或者它们可以是计算机软件领域的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD-ROM盘、DVD和/或蓝光盘)、磁光介质(诸如，光盘)以及被专门配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储卡、记忆棒等))等。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器执行的高级代码的文件两者。上述装置可被配置为用作一个或多个软件模块，以便执行上述示例性实施例的操作，或者反之亦然。
以上已经描述了多个示例性实施例。然而，应当理解，可对这些示例性实施例进行各种修改。例如，如果描述的技术以不同的次序被执行，和/或如果所描述的系统、架构、装置或电路中的组件以不同的方式被组合，和/或由其他组件或其等同物替换或补充，则可实现合适的结果。因此，其他实施方式在权利要求的范围之内。

Claims (20)

1.一种眼睛跟踪方法，包括：
通过针对输入图像执行眼睛重构来生成重构图像；
确定输入图像与重构图像之间的差；
通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像；以及
基于目标图像执行眼睛跟踪。
2.根据权利要求1所述的眼睛跟踪方法，其中，眼睛重构包括降低输入图像中的噪声分量。
3.根据权利要求1所述的眼睛跟踪方法，其中，生成的步骤包括：使用与输入图像对应的多个主成分向量中的具有高于预定优先级的优先级的至少一个主成分向量来生成重构图像，并且
所述多个主成分向量各自对应于基于针对多种面部图像的主成分分析而预定的特征脸。
4.根据权利要求3所述的眼睛跟踪方法，其中，选择的步骤包括：
如果确定的差小于第一阈值，则选择输入图像作为目标图像；
如果确定的差大于第一阈值并且小于第二阈值，则选择重构图像作为目标图像；以及
如果确定的差大于第二阈值，则选择替代图像作为目标图像，
其中，第二阈值大于第一阈值。
5.根据权利要求1所述的眼睛跟踪方法，其中，替代图像不同于输入图像和重构图像。
6.根据权利要求1至权利要求5中的任一项所述的眼睛跟踪方法，还包括：
在存储在数据库中的多个样本图像之中，选择与输入图像具有最高相似度的样本图像作为替代图像。
7.根据权利要求6所述的眼睛跟踪方法，其中，相似度基于输入图像的特征点与所述多个样本图像中的每个样本图像的特征点之间的比较来确定。
8.根据权利要求7所述的眼睛跟踪方法，其中，输入图像的特征点和所述多个样本图像中的每个样本图像的特征点各自从除了眼睛之外的区域被提取。
9.根据权利要求6所述的眼睛跟踪方法，其中，所述多个样本图像对应于先前已成功进行眼睛跟踪的图像。
10.根据权利要求1所述的眼睛跟踪方法，还包括：
如果眼睛跟踪基于输入图像或重构图像而成功，则将输入图像或重构图像作为样本图像存储在数据库中。
11.根据权利要求1所述的眼睛跟踪方法，其中，如果眼睛检测针对输入图像而成功，则执行生成的步骤。
12.根据权利要求1所述的眼睛跟踪方法，其中，如果替代图像被选择为目标图像，则执行的步骤包括：基于映射到替代图像的眼睛位置信息来执行眼睛跟踪。
13.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使得处理器执行权利要求1至权利要求12中的任意一项的眼睛跟踪方法。
14.一种电子装置，包括：
处理器；
存储器，被配置为：存储可由处理器执行的指令；以及
相机，被配置为：通过拍摄用户来生成输入图像，
其中，当所述指令被处理器执行时，处理器被配置为：通过针对输入图像执行眼睛重构来生成重构图像，确定输入图像与重构图像之间的差，通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像，以及基于目标图像执行眼睛跟踪。
15.一种眼睛跟踪设备，包括：
处理器；以及
存储器，被配置为：存储可由处理器执行的指令，
其中，当所述指令被处理器执行时，处理器被配置为：通过针对输入图像执行眼睛重构来生成重构图像，确定输入图像与重构图像之间的差，通过基于确定的差选择输入图像、重构图像和替代图像中的一个来确定目标图像，以及基于目标图像执行眼睛跟踪。
16.根据权利要求15所述的眼睛跟踪设备，其中，处理器还被配置为：使用与输入图像对应的多个主成分向量中的具有高于预定优先级的优先级的至少一个主成分向量来生成重构图像，并且
所述多个主成分向量各自对应于基于针对多种面部图像的主成分分析而预定的特征脸。
17.根据权利要求15所述的眼睛跟踪设备，其中，处理器还被配置为：
如果确定的差小于第一阈值，则选择输入图像作为目标图像；
如果确定的差大于第一阈值并且小于第二阈值，则选择重构图像作为目标图像；以及
如果确定的差大于第二阈值，则选择替代图像作为目标图像，
其中，第二阈值大于第一阈值。
18.根据权利要求15至权利要求17中的任一项所述的眼睛跟踪设备，其中，处理器还被配置为：在存储在数据库中的多个样本图像之中，选择与输入图像具有最高相似度的样本图像作为替代图像。
19.根据权利要求18所述的眼睛跟踪设备，其中，相似度基于输入图像的特征点与所述多个样本图像中的每个样本图像的特征点之间的比较来确定，并且
输入图像的特征点和所述多个样本图像中的每个样本图像的特征点各自从除了眼睛之外的区域被提取。
20.根据权利要求15所述的眼睛跟踪设备，其中，如果替代图像被选择为目标图像，则处理器还被配置为：基于映射到替代图像的眼睛位置信息来执行眼睛跟踪。
CN202010647052.3A 2019-12-10 2020-07-07 眼睛跟踪方法和眼睛跟踪设备 Pending CN112950670A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0163642 2019-12-10
KR1020190163642A KR20210073135A (ko) 2019-12-10 2019-12-10 눈 복원 기반의 눈 추적 방법 및 장치

Publications (1)

Publication Number Publication Date
CN112950670A true CN112950670A (zh) 2021-06-11

Family

ID=72087947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010647052.3A Pending CN112950670A (zh) 2019-12-10 2020-07-07 眼睛跟踪方法和眼睛跟踪设备

Country Status (5)

Country Link
US (2) US11327562B2 (zh)
EP (1) EP3836073B1 (zh)
JP (1) JP2021093125A (zh)
KR (1) KR20210073135A (zh)
CN (1) CN112950670A (zh)

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3045129B2 (ja) 1997-11-28 2000-05-29 沖電気工業株式会社 動物の個体識別装置
US7206435B2 (en) * 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
EP2584525B1 (en) * 2010-06-17 2015-04-01 Panasonic Intellectual Property Corporation of America Determining ambient light reflection
JP5538160B2 (ja) * 2010-09-24 2014-07-02 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
US9230180B2 (en) * 2013-01-18 2016-01-05 GM Global Technology Operations LLC Eyes-off-the-road classification with glasses classifier
US9239957B2 (en) 2014-04-04 2016-01-19 Fotonation Limited Image processing method and apparatus
CN106462724B (zh) * 2014-04-11 2019-08-02 北京市商汤科技开发有限公司 基于规范化图像校验面部图像的方法和系统
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
US9704038B2 (en) * 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
US9691165B2 (en) * 2015-07-24 2017-06-27 Disney Enterprises, Inc. Detailed spatio-temporal reconstruction of eyelids
KR102415503B1 (ko) 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
AU2016310451B2 (en) 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
KR102564476B1 (ko) 2015-11-30 2023-08-07 삼성전자주식회사 영상 내의 객체 정렬 방법 및 장치
US10423830B2 (en) * 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
CN109416572A (zh) 2016-04-29 2019-03-01 托比股份公司 启用眼睛跟踪的可穿戴设备
JP6911841B2 (ja) 2016-05-11 2021-07-28 ソニーグループ株式会社 画像処理装置及び画像処理方法、並びに移動体
KR102476897B1 (ko) * 2016-10-05 2022-12-12 삼성전자주식회사 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
EP3404611A1 (en) * 2017-05-19 2018-11-21 RetinAI Medical GmbH Reducing noise in an image
KR102410834B1 (ko) * 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
US11068052B2 (en) * 2019-03-15 2021-07-20 Microsoft Technology Licensing, Llc Holographic image generated based on eye position
KR20190119548A (ko) * 2019-10-02 2019-10-22 엘지전자 주식회사 이미지 노이즈 처리방법 및 처리장치
US11163995B2 (en) * 2019-12-31 2021-11-02 Logitech Europe S.A. User recognition and gaze tracking in a video system

Also Published As

Publication number Publication date
KR20210073135A (ko) 2021-06-18
EP3836073A1 (en) 2021-06-16
US20210173476A1 (en) 2021-06-10
US20220269343A1 (en) 2022-08-25
JP2021093125A (ja) 2021-06-17
EP3836073B1 (en) 2023-11-29
US11327562B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
CN106575154B (zh) 全息对象的智能透明度
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
EP3289761B1 (en) Stereoscopic display of objects
US11683470B2 (en) Determining inter-pupillary distance
KR101502362B1 (ko) 영상처리 장치 및 방법
KR20140034252A (ko) 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법
US10595001B2 (en) Apparatus for replaying content using gaze recognition and method thereof
CN102474636A (zh) 调节立体图像对中的透视性和差异
US9978181B2 (en) System for virtual reality display
US10789766B2 (en) Three-dimensional visual effect simulation method and apparatus, storage medium, and display device
CN114690900A (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
US20220124300A1 (en) 3d display system and 3d display method
US11823353B2 (en) System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same
US11543655B1 (en) Rendering for multi-focus display systems
KR20210133083A (ko) 카메라를 이용하여 공간의 깊이를 획득하는 디바이스 및 방법
CN112562087A (zh) 用于估计姿态的方法和装置
CN112950670A (zh) 眼睛跟踪方法和眼睛跟踪设备
CN111277812A (zh) 图像处理方法和设备
CN112585673A (zh) 信息处理设备、信息处理方法及程序
CN116225210A (zh) 追踪装置、头戴式显示装置及虚拟现实系统
KR101828340B1 (ko) 객체 추출 방법 및 그 장치
WO2021065607A1 (ja) 情報処理装置および方法、並びにプログラム
EP3771187B1 (en) Electronic device including front plate slidable in both directions
US20230305625A1 (en) Eye Tracking Data Filtering
US20240121370A1 (en) System and method for parallax correction for video see-through augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination