CN111277812A - 图像处理方法和设备 - Google Patents

图像处理方法和设备 Download PDF

Info

Publication number
CN111277812A
CN111277812A CN201910659582.7A CN201910659582A CN111277812A CN 111277812 A CN111277812 A CN 111277812A CN 201910659582 A CN201910659582 A CN 201910659582A CN 111277812 A CN111277812 A CN 111277812A
Authority
CN
China
Prior art keywords
region
image processing
image
face region
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910659582.7A
Other languages
English (en)
Other versions
CN111277812B (zh
Inventor
姜东佑
许珍九
姜柄敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111277812A publication Critical patent/CN111277812A/zh
Application granted granted Critical
Publication of CN111277812B publication Critical patent/CN111277812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

公开一种图像处理方法和设备。图像处理方法包括：接收图像帧；检测图像帧中的用户的脸部区域；将多个预设特征点对准在包括在脸部区域中的多个特征部位；基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查；基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查；基于确定第一检查和第二检查中的至少一个的失败，重新检测脸部区域；以及基于确定第一检查和第二检查的成功，输出关于脸部区域的信息。

Description

图像处理方法和设备
本申请基于并要求于2018年12月4日提交到韩国知识产权局的第10-2018-0154351号韩国专利申请的优先权，所述韩国专利申请的公开通过整体引用包含于此。
技术领域
与示例实施例一致的方法和设备涉及一种图像处理方法和设备。
背景技术
基于相机的眼睛跟踪技术(例如，基于视点跟踪的自动立体或无眼镜三维(3D)超多视图(super-multiview,SMV)显示等)用于各种领域。眼睛跟踪技术的性能的水平基于所使用的相机捕获的图像质量来确定。眼睛跟踪技术在一些条件下(例如，在具有背光或强烈阳光的环境下、在黑暗或低照明环境下，以及在剧烈变化的照明环境下(例如，当车辆在实际驾驶期间通过隧道时))可表现出恶化的操作稳定性。因此，需要一种可在增强现实(AR)3D平视显示器(HUD)的实际使用期间(例如，在车辆驾驶期间)，在各种照明条件下稳定地操作的眼睛跟踪方法。因为当用户佩戴眼镜时，用户的眼睛可受到由红外(IR)光源和强烈阳光引起的眼镜的镜片的反射的影响，因此，眼睛跟踪方法的稳定性和准确度可被降低。
发明内容
一个或多个示例实施例可至少解决以上问题和/或缺点以及以上没有描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可不克服上述的任何问题。
根据公开的一个方面，提供一种图像处理方法，包括：接收图像帧；检测图像帧中的用户的脸部区域；将多个预设特征点对准在包括在脸部区域中的多个特征部位；基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查；基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查；基于确定第一检查和第二检查中的至少一个的失败，重新检测脸部区域；以及基于确定第一检查和第二检查二者的成功，输出关于脸部区域的信息。
检测脸部区域的步骤可包括：当图像帧是初始图像帧时，检测包括在图像帧中的用户的脸部区域；以及当图像帧不是初始图像帧时，接收基于图像帧的多个先前图像帧之一检测的脸部区域。
对准的步骤可包括：将所述多个预设特征点对准在包括在脸部区域和脸部区域的周围区域中的所述多个特征部位。
对准的步骤可包括：基于脸部区域的图像信息移动所述多个预设特征点。
当图像帧是初始图像帧时，在被对准之前的所述多个预设特征点可对应于多个用户的特征部位的平均位置。
当图像帧不是初始图像帧时，在被对准之前的所述多个预设特征点可对应于基于先前图像帧对准的点。
所述多个特征部位的组合可包括用户的眼睛和鼻子，并且单个特征部位包括用户的眼睛。
执行第一检查的步骤可包括：基于第一区域的图像信息确定第一区域是否包括所述多个特征部位的组合。
执行第一检查的步骤可包括：基于第一区域的图像信息确定第一区域是否对应于与所述多个特征部位的组合对应的类别。
执行第二检查的步骤可包括：基于第二区域的图像信息确定第二区域是否对应于单个特征部位。
执行第二检查的步骤可包括：基于第二区域的图像信息确定第二区域是否对应于与单个特征部位对应的类别。
输出关于脸部区域的信息的步骤可包括：输出关于以下项中的至少一个的信息：包括在脸部区域中的瞳孔的位置、基于瞳孔的位置的视点和脸部区域中的面部表情。
所述图像处理方法还可包括：对重新检测的脸部区域重复地执行对准、第一检查和第二检查。
图像帧包括彩色图像帧和红外(IR)图像帧中的至少一个。
一种非暂时性计算机可读存储介质可存储指令，其中，所述指令能够由用于执行如上所述的图像处理方法的处理器来执行。
根据公开的另一方面，提供一种图像处理设备，包括：处理器，被配置为：检测图像帧中的用户的脸部区域，将多个预设特征点对准在包括在脸部区域中的多个特征部位，基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查，基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查，并且基于确定第一检查和第二检查中的至少一个的失败重新检测脸部区域；以及通信接口，被配置为：接收图像帧，并基于确定第一检查和第二检查二者的成功输出关于脸部区域的信息。
处理器还可被配置为：当图像帧是初始图像帧时，检测包括在图像帧中的用户的脸部区域；以及当图像帧不是初始图像帧时，接收基于图像帧的多个先前图像帧之一检测的脸部区域。
处理器还可被配置为：将所述多个预设特征点对准在包括在脸部区域和脸部区域的周围区域中的所述多个特征部位。
处理器还可被配置为：基于脸部区域的图像信息移动所述多个预设特征点。
当图像帧是初始图像帧时，在被对准之前的所述多个预设特征点对应于多个用户的特征部位的平均位置。
当图像帧不是初始图像帧时，在被对准之前的所述多个预设特征点对应于基于先前图像帧对准的点。
所述多个特征部位的组合可包括用户的眼睛和鼻子，并且单个特征部位包括用户的眼睛。
处理器还可被配置为：基于第一区域的图像信息确定第一区域是否包括所述多个特征部位的组合。
处理器还可被配置为：基于第一区域的图像信息确定第一区域是否对应于与所述多个特征部位的组合对应的类别。
处理器还可被配置为：基于第二区域的图像信息确定第二区域是否对应于单个特征部位。
处理器还可被配置为：基于第二区域的图像信息确定第二区域是否对应于与单个特征部位对应的类别。
通信接口还可被配置为：输出关于以下项中的至少一个的信息：包括在脸部区域中的瞳孔的位置、基于瞳孔的位置的视点和脸部区域中的面部表情。
处理器还可被配置为：对重新检测的脸部区域重复地执行对准、第一检查和第二检查。
图像帧可包括彩色图像帧和红外(IR)图像帧中的至少一个。
根据公开的另一方面，提供一种图像处理设备，包括：存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行所述一个或多个指令以：检测图像帧中用户的脸部区域，确定第一区域中的多个特征部位的组合是否满足第一标准，确定所述多个特征部位中的一个或多个是否单独地满足第二标准，基于确定第一区域中的所述多个特征部位的组合不满足第一标准或者所述多个特征部位中的一个或多个不单独地满足第二标准，重新检测脸部区域；以及基于确定第一区域中的所述多个特征部位的组合满足第一标准并且所述多个特征部位中的一个或多个单独地满足第二标准，输出关于脸部区域的信息。
第一标准可对应于脸部的特征。
第二标准可对应于眼睛的特征。
根据公开的另一方面，提供一种图像处理方法，包括：检测图像帧中用户的脸部区域；确定第一区域中的多个特征部位的组合是否满足第一标准；确定所述多个特征部位中的一个或多个是否单独地满足第二标准；基于确定第一区域中的所述多个特征部位的组合不满足第一标准或者所述多个特征部位中的一个或多个不单独地满足第二标准，重新检测脸部区域；以及基于确定第一区域中的所述多个特征部位的组合满足第一标准并且所述多个特征部位中的一个或多个单独地满足第二标准，输出关于脸部区域的信息。
第一标准可对应于脸部的特征。
第二标准可对应于眼睛的特征。
附图说明
通过结合附图描述特定示例实施例，以上和/或其他方面将更清楚，其中：
图1是示出错误的眼睛跟踪的示例的示图；
图2是示出根据示例实施例的图像处理方法的流程图；
图3是示出根据另一示例实施例的图像处理方法的流程图；
图4是示出根据示例实施例的如何输出关于脸部区域的信息的示例的示图；
图5A和图5B是示出根据示例实施例的由第一检查器和第二检查器获得的结果的示例的示图；
图6是示出根据示例实施例的图像处理方法的示例的示图；
图7是示出根据示例实施例的图像处理设备的示图。
具体实施方式
现在将详细参照示例实施例，示例实施例的示例在附图中示出，其中，相同的参考标号始终表示相同的元件。
以下结构或功能性的描述是示例性的以仅描述示例实施例，并且示例实施例的范围不限于公开中提供的描述。本领域普通技术人员可对其进行各种改变和修改。
尽管使用“第一”或“第二”的术语来解释各种组件，但是组件不受限于这些术语。这些术语应该仅用于将一个组件与另一组件区分开来。例如，根据公开的示例实施例，在权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
将理解，当组件被称为“连接到”另一组件时，该组件可直接连接或结合到另一组件，或者可存在中间组件。
如在此所使用的，除非上下文另外明确地指示，否则单数形式也意在包括复数形式。还应理解，当在本说明书中使用术语“包括”和/或“包含”时，表明存在叙述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。当诸如“……中的至少一个”的表述在一列元素之后时，修饰整列元素，而不是修饰列中的单个元素。例如，表述“a、b和c中的至少一个”应理解为：仅包括a、仅包括b、仅包括c、包括a和b二者、包括a和c二者、包括b和c二者、或者包括a、b和c全部。
除非在此另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本领域普通技术人员通常理解的含义相同的含义。除非在此另外定义，否则术语(诸如，在通用字典中定义的术语)将被解释为具有与相关领域的上下文含义相匹配的含义，并且将不被解释为理想化或过于形式化的意义。
将在下文中描述的示例实施例可适用于例如自动立体或无眼镜三维(3D)监视器、自动立体或无眼镜3D平板或智能电话、车辆3D平视显示器(HUD)等，以使用红外(IR)相机跟踪用户的眼睛并输出被跟踪的眼睛的位置的坐标。例如，示例实施例可以以监视器的芯片中的软件算法、平板电脑或智能电话中的应用以及硬件眼睛跟踪设备的形式来配置。例如，示例实施例还可适用于自主驾驶车辆、智能车辆、智能电话、移动装置等。在下文中，将参照附图详细描述示例实施例，并且附图中相同的参考标号始终表示相同的元件。
图1是示出错误的眼睛跟踪的示例的示图。图1示出通过捕获用户的图像而获得的图像帧110、120和130，以及检测框125，其中，将从检测框125检测用户的眼睛区域和鼻子区域。
参照图1，在未能跟踪图像帧110中的用户的眼睛之后，眼睛跟踪器使用图像帧120中的检测框125来检测用户的眼睛区域和鼻子区域。例如，在如上所述使用检测框125来检测眼睛区域和鼻子区域时，当用户的脸部向右移动时，眼睛跟踪器可将与眼睛区域和鼻子区域对应的多个预设点对准在与向右移动的脸部对应的位置。然而，通过使用在与向右移动的脸部对应的位置对准的点来跟踪用户的眼睛，可对每个后续图像帧中的不正确位置连续地执行眼睛跟踪。也就是说，当眼睛跟踪器使用先前对准的点跟踪眼睛时，可在所有的后续图像帧中错误地执行眼睛跟踪。这是因为，尽管检测框125用于正确地检测用户的脸部区域，但是当用户的脸部再次移动如图像帧130中所示面对前方时，眼睛跟踪器可通过使用在与向右移动的脸部对应的位置对准的点连续地并错误地跟踪用户的眼睛。也就是说，普通型眼睛跟踪器可仅通过检查用户的脸部或执行脸部检查来跟踪用户的眼睛，因此，不会快速地响应跟踪中的潜在错误。
根据示例实施例，可通过每当多个点被对准以进行眼睛跟踪时检查正确的区域是否被跟踪并且当不正确的区域被跟踪时从图像帧再次检测脸部区域，来提高眼睛跟踪的准确度，同时解决如上所述连续地执行错误的眼睛跟踪的问题。
图2是示出根据示例实施例的图像处理方法的流程图。将在下文中描述的图像处理方法可由图像处理设备执行。参照图2，在操作210中，图像处理设备接收图像帧。例如，图像帧可以是彩色图像帧和IR图像帧。
在操作220中，图像处理设备获得包括在图像帧中的用户的脸部区域。例如，当在操作210中接收到的图像帧是由图像处理设备最初接收到的图像帧或初始图像帧时，图像处理设备可通过检测包括在初始图像帧中的用户的脸部区域来获得脸部区域。然而，当图像帧不是初始图像帧时，图像处理设备可接收基于图像帧的多个先前图像帧之一检测的脸部区域，从而获得脸部区域。
在操作230中，图像处理设备将多个预设点对准在包括在脸部区域中的多个特征部位。例如，多个预设点可以是指示主要脸部特征(例如，用户的眼睛和鼻子)的11个关键点。多个点(即，多个预设点)在所附图4、图5A、图5B和图6中被指示为点(●)或星号(*)。此外，多个特征部位可以是包括在图像帧的脸部区域中的一些部位或区域，并且除了眼睛和鼻子之外还包括例如嘴唇、眉毛、眼镜等。图像处理设备可将多个点对准在包括在脸部区域和脸部区域的周围区域中的多个特征部位。图像处理设备可基于脸部区域的图像信息移动多个点以对准在多个特征部位。
例如，图像处理设备可使用如下方法来从图像帧的脸部区域识别与用户的眼睛和鼻子对应的特征部位的位置：使用从初始形状学习的下降矢量将点与图像形状对准的监督下降法(SDM)、基于主成分分析(PCA)对准点以分析形状和形状的主成分的基于主动形状模型(ASM)的方法、基于主动外观模型(AAM)的方法和基于约束的局部模型(CLM)的方法。图像处理设备可将多个点移动到多个特征部位的识别的位置以将多个点对准在识别的部位。例如，当图像帧是初始图像帧时，在被对准之前的多个点可对应于多个用户的特征部位的平均位置。在这个示例中，在被对准之前的多个点中的每个可对应于多个用户的对应的特征部位的位置的坐标的平均值。然而，当图像帧不是初始图像帧时，在被对准之前的点可对应于基于先前图像帧对准的点。
在操作240中，图像处理设备基于与多个特征部位的组合对应的第一区域，对对准的结果执行第一检查。第一区域可包括例如眼睛、鼻子、嘴唇和眼镜等的区域。然而，第一区域不限于前述的示例。图像处理设备可基于第一区域的图像信息检查第一区域是否包括多个特征部位(例如，眼睛和鼻子)的组合。图像处理设备可基于第一区域的图像信息检查第一区域是否对应于与多个特征部位的组合对应的类别(class)。与特征部位的组合对应的类别可以是例如用户的脸部。图像处理设备可基于例如尺度不变特征变换(SIFT)特征，使用第一检查器检查第一区域是否对应于这样的脸部类别。例如，当与指示存储在训练图像数据库(DB)中的每个脸部的眼睛和鼻子的关键点对应的11个点对准在训练图像帧的脸部区域时，第一检查器可以是使用从多个对准点中的每个提取的SIFT特征训练的分类器。第一检查器可基于图像帧的脸部区域的图像信息检查对准了多个点的脸部区域是否对应于实际脸部类别。第一检查器可以是例如支持向量机(SVM)分类器。因为第一检查器被配置为首先检查脸部区域中的对准，所以第一检查器也可被称为脸部检查器。
可通过以下两个阶段获得SIFT特征。图像处理设备可从第一区域的图像数据的图像金字塔表示(image pyramid representation)的比例空间提取具有局部最大或局部最小图像亮度的候选特征点，并且对具有低对比范围(contrast range)的特征点执行滤波并选择将用于图像匹配的特征点。图像处理设备可基于所选择的特征点的周围区域的梯度来获得定向分量，并且基于获得的定向分量重置感兴趣区域(ROI)，检测特征点的大小，并生成描述符。描述符可对应于SIFT特征。
在操作250中，图像处理设备基于与多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查。第二区域可包括例如眼睛、鼻子或眼镜的区域。然而，第二区域不限于前述的示例。图像处理设备可基于第二区域的图像信息检查第二区域是否对应于单个特征部位。图像处理设备可基于第二区域的图像信息检查第二区域是否对应于与单个特征部位对应的类别。例如，图像处理设备可基于第二区域的SIFT特征使用第二检查器检查第二区域是否对应于眼睛类别。例如，当与指示存储在训练图像DB中的每只眼睛的关键点对应的三个点对准在训练图像帧的眼睛区域时，第二检查器可以是使用从多个对准点中的每个提取的SIFT特征训练的分类器。第二检查器可基于图像帧的眼睛区域的图像信息检查对准了多个点的眼睛区域是否对应于实际眼睛类别。第二检查器可以是例如SVM分类器。因为第二检查器被配置为其次检查眼睛区域中的对准，所以第二检查器还可被称为眼睛检查器。
在操作260中，图像处理设备响应于第一检查和第二检查中的至少一个的失败而重新检测脸部区域。然后，图像处理设备可基于在操作260中重新检测的脸部区域重复地执行操作230、240和250。
在操作270中，图像处理设备响应于第一检查和第二检查的成功而输出关于脸部区域的信息。例如，图像处理设备可输出关于如下的信息：例如，包括在脸部区域中的瞳孔的位置、基于瞳孔的位置的视点、脸部区域中的面部表情等。图像处理设备可在操作270中明确地或隐含地输出关于脸部区域的信息。在此，关于脸部区域的信息的明确输出可包括：在显示器或屏幕上显示包括在脸部区域中的瞳孔的位置和/或脸部区域中的面部表情，和/或通过音频输出输出信息。关于脸部区域的信息的隐含输出可包括例如通过包括在脸部区域中的瞳孔的位置和基于瞳孔的位置的视点来调节将在HUD上显示的图像，或者提供与脸部区域中的面部表情对应的服务。
图3是示出根据另一示例实施例的图像处理方法的流程图。将在下文中描述的图像处理方法可由图像处理设备执行。参照图3，在操作310中，图像处理设备从相机获得第n图像帧，其中，n可以是整数。图像帧可以是例如红色、绿色和蓝色(RGB)彩色图像帧或IR图像帧。
在操作320中，图像处理设备确定是否从先前的第n-1图像帧检测到眼睛和鼻子。在操作390中，响应于在操作320中做出的确定未检测到眼睛和鼻子，图像处理设备使用检测框来检测眼睛和鼻子。
在操作330中，响应于在操作320中做出的确定检测到眼睛和鼻子，图像处理设备将特征点对准在包括在检测框的周围区域中的多个特征部位(例如，眼睛和鼻子)。根据示例实施例，可存在构成特征点的11个点。11个点可包括例如每只眼睛的三个点、眼睛之间的一个点、鼻尖的一个点和嘴唇的三个点(或者鼻子的三个点)。
在操作340中，图像处理设备使用对准的特征点执行对与眼睛和鼻子的组合对应的脸部区域的对准的结果的第一检查。
在操作350中，图像处理设备确定是否在脸部区域中跟踪到眼睛和鼻子作为第一检查的结果。在操作390中，响应于在操作350做出的确定未跟踪到眼睛和鼻子，图像处理设备使用检测框来检测眼睛和鼻子。
通常，检测对象(例如，脸部区域)的速度可小于或等于20毫秒(ms)，跟踪对象的速度可小于或等于3ms。因此，对象检测速度可明显慢于对象跟踪速度。根据示例实施例，可通过仅在对象跟踪失败时再次执行对象检测来提高图像处理速度，而一旦对象跟踪成功则不再执行对象检测。
在操作360中，响应于在操作350中做出的确定检测到眼睛和鼻子，图像处理设备使用对准的三个点执行对眼睛区域的对准的结果的第二检查。
在操作370中，图像处理设备确定是否检测到眼睛作为第二检查的结果。在操作390中，响应于在操作370中做出的确定未检测到眼睛，图像处理设备使用检测框检测眼睛和鼻子。
在操作380中，响应于在操作370中做出的确定检测到眼睛，图像处理设备输出眼睛的坐标或瞳孔的坐标。
图4是示出根据示例实施例的如何输出关于脸部区域的信息的示例的示图。参照图4，在操作410中，当图像处理设备从相机接收到图像帧时，图像处理设备使用用于检测包括眼睛和鼻子的区域的脸部区域的检测框405，从图像帧检测眼睛和鼻子。
在操作420中，图像处理设备在检测框405的周围区域内将多个点对准在眼睛和鼻子，其中，周围区域包括检测框405。
在操作430中，图像处理设备基于对准的点检查对准的结果。详细地讲，在操作433中，图像处理设备执行用于检查对准的点之中的与眼睛和鼻子对应的点是否对准在实际图像帧中的眼睛和鼻子的位置的第一检查。例如，图像处理设备可获得由脸部区域中的对准的点指示的形状。图像处理设备可执行用于使用与该形状对应的区域的周围区域的图像信息来确定多个点是否对准在脸部的第一检查。随后，在操作436中，图像处理设备执行用于检查对准的点之中的与眼睛对应的点是否对准在实际图像帧中的眼睛的位置的第二检查。
响应于在操作430中第一检查和第二检查中的任何一个的失败，图像处理设备在操作410中使用检测框405从后续的图像帧检测眼睛和鼻子。
响应于在操作430中第一检查和第二检查两者的成功，图像处理设备在操作440中从对准的点提取瞳孔的位置。
图5A和图5B是示出根据示例实施例的由第一检查器和第二检查器获得的结果的示例的示图。图5A示出将预设的11个点对准在包括在图像帧的脸部区域中的多个特征部位(例如，眼睛和鼻子)的结果。
如上所述，第一检查器或脸部检查器检查11个点是如图像510中所示对准在图像帧中的眼睛和鼻子，还是如图像520中所示尽管11个点对准在图像帧的脸部区域，但是未正确地对准在图像帧中的眼睛和鼻子。
图5B示出将预设的11个点之中的与眼睛对应的三个点对准在包括在图像帧中的单个特征部位(例如，眼睛)的结果。
如上所述，第二检查器或眼睛检查器确定三个点是如图像530中所示对准在图像帧的脸部区域中的眼睛，还是如图像540中所示尽管三个点被放置在图像帧中的眼睛区域，但是三个点未正确地对准在图像帧的脸部区域中的眼睛。
根据示例实施例，通过使用脸部检查器和眼睛检查器的这样的两步跟踪检查，可通过使用对准在图像帧的多个点提高脸部检测的准确度和眼睛对准的准确度，来提高整体眼睛跟踪的稳定性和准确度。
根据一个实施例，第一检查可包括确定第一区域中的多个特征部位的组合是否满足第一标准，第二检查可包括确定多个特征部位中的一个或多个是否单独满足第二标准。此外，基于确定第一区域中的多个特征部位的组合不满足第一标准，脸部可被重新检测。否则，基于确定第一区域中的多个特征部位的组合满足第一标准并且多个特征部位中的一个或多个单独满足第二标准，关于脸部区域的信息可被输出。
根据一个实施例，第一标准可以是多个特征点(即，11个点)是否对准在图像帧中的眼睛和鼻子。根据一个实施例，第二标准可以是多个特征点之中的一个或多个点(即，3个点)是否正确地对准在图像帧的脸部区域中的眼睛。根据一个实施例，第一标准可对应于脸部的特征，第二标准可对应于眼睛的特征。
图6是示出根据示例实施例的图像处理方法的示例的示图。参照图6，在操作610中，图像处理设备使用检测框从相机的每个图像帧检测包括眼睛和鼻子的用户的脸部区域。然后，除非对准和/或跟踪失败，否则图像处理设备执行跟踪而不执行另外的检测。
在操作630中，图像处理设备将多个预设点对准在包括在脸部区域中的眼睛和鼻子。响应于在操作640中确定操作630中的对准失败，图像处理设备在操作610中从新的图像帧检测包括眼睛和鼻子的用户的脸部区域。响应于操作630中的对准的成功，图像处理设备在操作650中执行两步跟踪检查。两步跟踪检查被如下地执行。
当在操作651中输入对准了11个点的脸部区域时，图像处理设备在操作652中提取对准的多个点的SIFT特征。
在操作653中，图像处理设备使用利用图像DB中的成千上万个图像训练的SVM分类器，基于在操作652中提取的SIFT特征来检查脸部对准和眼睛对准的结果。
在操作653中，图像处理设备使用上述脸部检查器对脸部执行第一跟踪检查。脸部检查器被配置为使用图像帧的脸部区域的图像信息来检查对准了多个点的脸部区域是否对应于实际脸部。
在操作653中，图像处理设备使用上述眼睛检查器对眼睛执行第二跟踪检查。眼睛检查器被配置为使用图像帧的眼睛区域的图像信息来检查对准了多个点的眼睛区域是否对应于实际眼睛。
如图6中的670所示，通过在操作653中执行的两步跟踪检查，图像处理设备可通过去除错位对准异常值来校正早期跟踪中的潜在错误。在操作654中，响应于两步跟踪检查中的至少一个的失败，图像处理设备在操作656中重新检测脸部区域。在操作655中，响应于两步跟踪检查的成功，图像处理设备保持对准。
图7是示出根示例实施例的图像处理设备的示图。参照图7，图像处理设备700包括传感器710、处理器730、存储器750、通信接口770和显示器790。传感器710、处理器730、存储器750、通信接口770和显示器790可通过通信总线705彼此通信。根据另一示例实施例，图像处理设备可不包括显示器790。然而，图像处理设备可被配置为与显示器通信。
传感器710可感测图像帧。传感器710可以是例如通过IR照射捕获输入图像的图像传感器、视觉传感器或IR相机。图像帧可以是例如用户的脸部的图像或车辆行驶的图像。
处理器730可获得包括在图像帧中的用户的脸部区域。处理器730可将多个预设点对准在包括在脸部区域中的多个特征部位。处理器730可基于与多个特征部位的组合对应的第一区域，对对准的结果执行第一检查。处理器730可基于与多个特征部位之中的单个特征部位对应的第二区域，对对准的结果执行第二检查。响应于第一检查和第二检查中的至少一个的失败，处理器730可重新检测脸部区域。
处理器730可执行上面参照图1至图6所述的至少一种方法，或与所述方法对应的算法。处理器730可执行程序并控制图像处理设备700。将由处理器730执行的程序的程序代码可被存储在存储器750中。处理器730可通过例如中央处理器(CPU)和图形处理器(GPU)来配置。
存储器750可存储图像帧、由处理器730获得的用户的脸部区域、关于脸部区域的信息等。存储器750可以是易失性存储器或非易失性存储器。
通信接口770可接收图像帧。响应于第一检查和第二检查的成功，通信接口770可输出关于脸部区域的信息。根据示例实施例，通信接口770可接收由图像处理设备700的外部源捕获的图像帧，或者从图像处理设备700的外部接收到的来自各种传感器的信息。
显示器790可显示处理器730的处理结果。例如，在图像处理设备700被嵌入在车辆中的情况下，显示器790可通过安装在车辆中的HUD来配置。
在此描述的单元可使用硬件组件和软件组件来实现。例如，硬件组件可包括麦克风、放大器、带通滤波器、模数转换器、非暂时性计算机存储器和处理装置。处理装置可使用一个或多个通用计算机或专用计算机(诸如，例如，处理器、控制器和算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、可编程逻辑单元(PLU)、微处理器或者能够以限定的方式响应和执行指令的任何其他装置)来实现。处理装置可运行操作系统(OS)以及在OS上运行的一个或多个软件应用。响应于软件的执行，处理装置还可访问、存储、操作、处理和创建数据。为了简明的目的，处理装置的描述被用作单数，然而，本领域的技术人员将理解，处理装置可包括多个处理元件以及多种类型的处理元件。例如，处理装置可包括多个处理器或者处理器和控制器。此外，不同的处理配置是可行的，诸如并行处理器。
软件可包括计算机程序、代码段、指令或它们的一些组合，以独立地或共同地指导或配置处理装置按照期望的那样进行操作。软件和数据可被永久或临时地实现在任何类型的机器、组件、物理装备或虚拟装备、计算机存储介质或装置中，或者以能够将指令或数据提供到处理装置或者能够由处理装置解释的传播信号波来实现。软件还可分布在联网的计算机系统上，以使软件以分布式的方式被存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质来存储。非暂时性计算机可读记录介质可包括可存储其后可由计算机系统或处理装置读取的数据的任何数据存储装置。
示例实施例包括包含用于实现可由计算机实现的各种操作的程序指令的非暂时性计算机可读介质。介质还可单独地包括程序指令、数据文件、数据结构、表格等，或与程序指令相结合地包括数据文件、数据结构、表格等。介质和程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是公知的种类并且是计算机软件领域的技术人员可用的程序指令。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD ROM盘)、磁光介质(诸如，光盘)、以及被专门配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)和随机存取存储器(RAM))。程序指令的示例包括机器代码(诸如，由编译器产生的代码)以及包含可由计算机使用解释器执行的高级代码的文件二者。描述的装置可被配置为用作一个或多个软件模块以便执行上述示例实施例的，反之亦然。
在此描述的示例仅在描述性意义上被考虑，而不是为了限制的目的。每个示例中的特征或方面的描述将被认为适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或由其他组件或它们的等同物替换或补充，则可实现合适的结果。
虽然本公开包括特定示例，但是对于本领域普通技术人员来说将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可对这些示例进行形式和细节上的各种改变。

Claims (35)

1.一种图像处理方法，包括：
接收图像帧；
检测图像帧中的用户的脸部区域；
将多个预设特征点对准在包括在脸部区域中的多个特征部位；
基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查；
基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查；
基于确定第一检查和第二检查中的至少一个的失败，重新检测脸部区域；以及
基于确定第一检查和第二检查二者的成功，输出关于脸部区域的信息。
2.根据权利要求1所述的图像处理方法，其中，检测脸部区域的步骤包括：
当图像帧是初始图像帧时，检测包括在图像帧中的用户的脸部区域；以及
当图像帧不是初始图像帧时，接收基于图像帧的多个先前图像帧之一检测的脸部区域。
3.根据权利要求1所述的图像处理方法，其中，对准的步骤包括：
将所述多个预设特征点对准在包括在脸部区域和脸部区域的周围区域中的所述多个特征部位。
4.根据权利要求1所述的图像处理方法，其中，对准的步骤包括：
基于脸部区域的图像信息移动所述多个预设特征点。
5.根据权利要求1所述的图像处理方法，其中，当图像帧是初始图像帧时，在被对准之前的所述多个预设特征点对应于多个用户的特征部位的平均位置。
6.根据权利要求1所述的图像处理方法，其中，当图像帧不是初始图像帧时，在被对准之前的所述多个预设特征点对应于基于先前图像帧对准的点。
7.根据权利要求1所述的图像处理方法，其中，所述多个特征部位的组合包括用户的眼睛和鼻子，并且单个特征部位包括用户的眼睛。
8.根据权利要求1所述的图像处理方法，其中，执行第一检查的步骤包括：
基于第一区域的图像信息确定第一区域是否包括所述多个特征部位的组合。
9.根据权利要求1所述的图像处理方法，其中，执行第一检查的步骤包括：
基于第一区域的图像信息确定第一区域是否对应于与所述多个特征部位的组合对应的类别。
10.根据权利要求1所述的图像处理方法，其中，执行第二检查的步骤包括：
基于第二区域的图像信息确定第二区域是否对应于单个特征部位。
11.根据权利要求1所述的图像处理方法，其中，执行第二检查的步骤包括：
基于第二区域的图像信息确定第二区域是否对应于与单个特征部位对应的类别。
12.根据权利要求1所述的图像处理方法，其中，输出关于脸部区域的信息的步骤包括：
输出关于以下项中的至少一个的信息：包括在脸部区域中的瞳孔的位置、基于瞳孔的位置的视点和脸部区域中的面部表情。
13.根据权利要求1所述的图像处理方法，还包括：
对重新检测的脸部区域重复地执行对准、第一检查和第二检查。
14.根据权利要求1所述的图像处理方法，其中，图像帧包括彩色图像帧和红外图像帧中的至少一个。
15.一种存储指令的非暂时性计算机可读存储介质，所述指令能够由用于执行权利要求1所述的图像处理方法的处理器来执行。
16.一种图像处理设备，包括：
处理器，被配置为：
检测图像帧中的用户的脸部区域，
将多个预设特征点对准在包括在脸部区域中的多个特征部位，
基于与所述多个特征部位的组合对应的第一区域，对对准的结果执行第一检查，基于与所述多个特征部位的单个特征部位对应的第二区域，对对准的结果执行第二检查，并且基于确定第一检查和第二检查中的至少一个的失败重新检测脸部区域；以及
通信接口，被配置为：接收图像帧，并基于确定第一检查和第二检查二者的成功输出关于脸部区域的信息。
17.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
当图像帧是初始图像帧时，检测包括在图像帧中的用户的脸部区域；以及
当图像帧不是初始图像帧时，接收基于图像帧的多个先前图像帧之一检测的脸部区域。
18.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
将所述多个预设特征点对准在包括在脸部区域和脸部区域的周围区域中的所述多个特征部位。
19.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
基于脸部区域的图像信息移动所述多个预设特征点。
20.根据权利要求16所述的图像处理设备，其中，当图像帧是初始图像帧时，在被对准之前的所述多个预设特征点对应于多个用户的特征部位的平均位置。
21.根据权利要求16所述的图像处理设备，其中，当图像帧不是初始图像帧时，在被对准之前的所述多个预设特征点对应于基于先前图像帧对准的点。
22.根据权利要求16所述的图像处理设备，其中，所述多个特征部位的组合包括用户的眼睛和鼻子，并且单个特征部位包括用户的眼睛。
23.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
基于第一区域的图像信息确定第一区域是否包括所述多个特征部位的组合。
24.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
基于第一区域的图像信息确定第一区域是否对应于与所述多个特征部位的组合对应的类别。
25.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
基于第二区域的图像信息确定第二区域是否对应于单个特征部位。
26.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
基于第二区域的图像信息确定第二区域是否对应于与单个特征部位对应的类别。
27.根据权利要求16所述的图像处理设备，其中，通信接口还被配置为：
输出关于以下项中的至少一个的信息：包括在脸部区域中的瞳孔的位置、基于瞳孔的位置的视点和脸部区域中的面部表情。
28.根据权利要求16所述的图像处理设备，其中，处理器还被配置为：
对重新检测的脸部区域重复地执行对准、第一检查和第二检查。
29.根据权利要求16所述的图像处理设备，其中，图像帧包括彩色图像帧和红外图像帧中的至少一个。
30.一种图像处理设备，包括：
存储器，被配置为存储一个或多个指令；以及
处理器，被配置为执行所述一个或多个指令以：
检测图像帧中用户的脸部区域，
确定第一区域中的多个特征部位的组合是否满足第一标准，
确定所述多个特征部位中的一个或多个是否单独地满足第二标准，
基于确定第一区域中的所述多个特征部位的组合不满足第一标准或者所述多个特征部位中的一个或多个不单独地满足第二标准，重新检测脸部区域；以及
基于确定第一区域中的所述多个特征部位的组合满足第一标准并且所述多个特征部位中的一个或多个单独地满足第二标准，输出关于脸部区域的信息。
31.根据权利要求30所述的图像处理设备，其中，第一标准对应于脸部的特征。
32.根据权利要求30所述的图像处理设备，其中，第二标准对应于眼睛的特征。
33.一种图像处理方法，包括：
检测图像帧中用户的脸部区域；
确定第一区域中的多个特征部位的组合是否满足第一标准；
确定所述多个特征部位中的一个或多个是否单独地满足第二标准；
基于确定第一区域中的所述多个特征部位的组合不满足第一标准或者所述多个特征部位中的一个或多个不单独地满足第二标准，重新检测脸部区域；以及
基于确定第一区域中的所述多个特征部位的组合满足第一标准并且所述多个特征部位中的一个或多个单独地满足第二标准，输出关于脸部区域的信息。
34.根据权利要求33所述的图像处理方法，其中，第一标准对应于脸部的特征。
35.根据权利要求33所述的图像处理方法，其中，第二标准对应于眼睛的特征。
CN201910659582.7A 2018-12-04 2019-07-22 图像处理方法和设备 Active CN111277812B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0154351 2018-12-04
KR1020180154351A KR20200067465A (ko) 2018-12-04 2018-12-04 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
CN111277812A true CN111277812A (zh) 2020-06-12
CN111277812B CN111277812B (zh) 2024-09-27

Family

ID=68699322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910659582.7A Active CN111277812B (zh) 2018-12-04 2019-07-22 图像处理方法和设备

Country Status (5)

Country Link
US (3) US10915736B2 (zh)
EP (1) EP3663970B1 (zh)
JP (1) JP7419017B2 (zh)
KR (1) KR20200067465A (zh)
CN (1) CN111277812B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200067465A (ko) * 2018-12-04 2020-06-12 삼성전자주식회사 영상 처리 방법 및 장치
KR20210024859A (ko) 2019-08-26 2021-03-08 삼성전자주식회사 영상 처리 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149462A (zh) * 2006-09-22 2008-03-26 索尼株式会社 成像设备、成像设备的控制方法和计算机程序
US20100303294A1 (en) * 2007-11-16 2010-12-02 Seereal Technologies S.A. Method and Device for Finding and Tracking Pairs of Eyes
CN106599656A (zh) * 2016-11-28 2017-04-26 深圳超多维科技有限公司 显示方法、装置及电子设备
CN107209849A (zh) * 2015-01-07 2017-09-26 微软技术许可有限责任公司 眼睛跟踪
US20180098057A1 (en) * 2016-10-05 2018-04-05 Samsung Electronics Co., Ltd. Object tracking method and apparatus and three-dimensional (3d) display apparatus using the same

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1211640A3 (en) 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
TW569148B (en) * 2002-04-09 2004-01-01 Ind Tech Res Inst Method for locating facial features in an image
JP4286860B2 (ja) 2004-05-21 2009-07-01 旭化成株式会社 動作内容判定装置
JP4645223B2 (ja) 2005-02-18 2011-03-09 富士通株式会社 顔追跡プログラムおよび顔追跡方法
JP4811259B2 (ja) 2006-12-11 2011-11-09 日産自動車株式会社 視線方向推定装置及び視線方向推定方法
JP2009110048A (ja) 2007-10-26 2009-05-21 Seiko Epson Corp 顔領域の設定
KR20130067465A (ko) 2011-12-14 2013-06-24 현대자동차주식회사 특징점을 이용한 얼굴방향 추적 장치 및 그 방법
KR101977638B1 (ko) 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US9268993B2 (en) * 2013-03-13 2016-02-23 Futurewei Technologies, Inc. Real-time face detection using combinations of local and global features
KR20150064977A (ko) 2013-12-04 2015-06-12 건국대학교 산학협력단 얼굴정보 기반의 비디오 분석 및 시각화 시스템
KR101610525B1 (ko) 2014-10-20 2016-04-07 현대자동차주식회사 조도를 고려한 동공 검출 장치 및 그 방법
KR102349059B1 (ko) 2014-11-07 2022-01-10 삼성전자주식회사 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
EP3259734B1 (en) 2015-02-20 2024-07-24 Seeing Machines Limited Glare reduction
KR101717222B1 (ko) 2015-04-24 2017-03-17 가천대학교 산학협력단 시선 검출 시스템 및 그 방법
KR101755883B1 (ko) 2015-11-09 2017-07-07 현대자동차주식회사 시선 추적 장치 및 그의 눈 특징점 검출 오류 판별 방법
US9959678B2 (en) 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
KR102487223B1 (ko) 2016-07-29 2023-01-12 백석대학교산학협력단 눈동자 추적 기반의 하르유사특징을 이용한 얼굴인증 방법
KR101819164B1 (ko) 2016-07-29 2018-01-17 상명대학교산학협력단 시선 추적 장치 및 방법
KR102410834B1 (ko) 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR102455633B1 (ko) * 2017-12-21 2022-10-17 삼성전자주식회사 라이브니스 검사 방법 및 장치
GB2571300B (en) * 2018-02-23 2020-05-27 Sony Interactive Entertainment Inc Eye tracking method and apparatus
KR20200067465A (ko) * 2018-12-04 2020-06-12 삼성전자주식회사 영상 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149462A (zh) * 2006-09-22 2008-03-26 索尼株式会社 成像设备、成像设备的控制方法和计算机程序
US20100303294A1 (en) * 2007-11-16 2010-12-02 Seereal Technologies S.A. Method and Device for Finding and Tracking Pairs of Eyes
CN107209849A (zh) * 2015-01-07 2017-09-26 微软技术许可有限责任公司 眼睛跟踪
US20180098057A1 (en) * 2016-10-05 2018-04-05 Samsung Electronics Co., Ltd. Object tracking method and apparatus and three-dimensional (3d) display apparatus using the same
CN106599656A (zh) * 2016-11-28 2017-04-26 深圳超多维科技有限公司 显示方法、装置及电子设备

Also Published As

Publication number Publication date
US11972634B2 (en) 2024-04-30
CN111277812B (zh) 2024-09-27
US20230130355A1 (en) 2023-04-27
US11538277B2 (en) 2022-12-27
JP7419017B2 (ja) 2024-01-22
KR20200067465A (ko) 2020-06-12
US20210133431A1 (en) 2021-05-06
EP3663970A1 (en) 2020-06-10
US10915736B2 (en) 2021-02-09
US20200175258A1 (en) 2020-06-04
EP3663970B1 (en) 2024-05-22
JP2020091848A (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
US10572009B2 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
US20190392587A1 (en) System for predicting articulated object feature location
US9202280B2 (en) Position estimation based rotation of switched off light source
US11972634B2 (en) Image processing method and apparatus
US10869028B2 (en) Object tracking method and apparatus and three-dimensional (3D) display apparatus using the same
US20190286229A1 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
US11430151B2 (en) Online learning for 3D pose estimation using simplified constellations
US11715217B2 (en) Method and apparatus for eye tracking
US20240046487A1 (en) Image processing method and apparatus
US20220028109A1 (en) Image processing method and apparatus
US11816855B2 (en) Array-based depth estimation
US20220159174A1 (en) Method of controlling electronic device by recognizing movement in peripheral zone of field of view of camera, and electronic device therefor
KR101828340B1 (ko) 객체 추출 방법 및 그 장치
KR20220013834A (ko) 영상 처리 방법 및 장치
CN114202771A (zh) 对猪只图像进行识别的图像识别系统及其图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant