CN105308618A - 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别 - Google Patents

借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别 Download PDF

Info

Publication number
CN105308618A
CN105308618A CN201380076958.2A CN201380076958A CN105308618A CN 105308618 A CN105308618 A CN 105308618A CN 201380076958 A CN201380076958 A CN 201380076958A CN 105308618 A CN105308618 A CN 105308618A
Authority
CN
China
Prior art keywords
feature
group
face
tracks
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380076958.2A
Other languages
English (en)
Other versions
CN105308618B (zh
Inventor
C·孙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105308618A publication Critical patent/CN105308618A/zh
Application granted granted Critical
Publication of CN105308618B publication Critical patent/CN105308618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

在此公开与人脸识别相关联的装置、方法和存储介质。在各实施例中，用于识别人脸的方法可以包括通过计算设备的第一线程检测多个图像帧中散布的已选择图像帧中人脸的存在。在检测到多个图像帧的已选择图像帧中的第一帧中存在人脸时，第一线程请求通过计算设备的第二线程跟踪该人脸，该第二线程由计算设备与第一线程并行操作。作为响应，可以由第二线程为第一线程跟踪该人脸。可以描述和要求保护其他实施例。

Description

借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别
技术领域
本公开内容涉及数据处理的领域，尤其涉及与包括但不限于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别相关联的装置、方法和存储介质。
背景
在此提供的背景描述用于一般地呈现本公开内容的上下文的目的。除非本文另外指出，否则本节中所描述的材料不是本申请中的权利要求的现有技术，且不被承认为通过包含在本节中而成为现有技术。
通用微处理器、图形处理器和相关技术的进步已经允许计算机视觉的进一步发展。现在，多种应用涉及通常包括人脸跟踪的人脸识别。大多数现有的人脸跟踪器使用全局方法来跟踪人脸。全局方法通常使用统计分类技术来预测ROI区域，以便判断人脸是否出现在这一ROI区域中。它常常包含“上次检测”—“预测更大的ROI区域”—“当前检测”的步骤。它使得进行人脸跟踪高度依赖于人脸检测。因为这种依赖性，现有技术的全局方法具有至少两个缺点。第一缺点是，在人脸旋转或部分遮挡时，跟踪由于检测失效而常常失败。另一缺点是相互依赖性阻止了现有技术方法利用来自并行和/或多核处理的性能提升。
附图简述
结合附图，通过下列详细描述将容易地理解各实施例。为了促进本描述，类似的标号表示类似的结构元素。在附图的各图中作为示例而非限制阐释各实施例。
图1阐释根据各种实施例与用于人脸跟踪的本公开内容的教导合并的示例计算装置的概览。
图2阐释根据各种实施例的并行人脸检测和跟踪。
图3阐释根据各种实施例人脸位于其中的图像帧的关注区域的特征。
图4阐释根据各种实施例使用无向图分组特征，且确定组的中心。
图5-7阐释根据各种实施例确定一组的优势速度。
图8-10阐释根据各种实施例消除漂移特征和再次会聚一组的特征。
图11-12阐释根据各种实施例基于作为一组的特征的运动移位跟踪特征的示例过程。
图13阐释根据各种实施例适用于实践本公开内容的示例计算环境。
图14阐释根据各种实施例带有被配置为允许装置实践各种的各方面本公开内容的指令的示例存储介质。
详细描述
在此公开的与人脸识别相关联的装置、方法和存储介质。在各实施例中，用于识别人脸的方法可以包括通过计算设备的第一线程检测多个图像帧中散布的已选择图像帧中人脸的存在。在检测到多个图像帧的已选择图像帧中的第一帧中存在人脸时，第一线程请求通过计算设备的第二线程跟踪该人脸，第二线程由计算设备与第一线程并行操作。作为响应，可以由第二线程为第一线程跟踪该人脸。
在各实施例中，第二线程可以使用基于分组局部特征的人脸跟踪器。该方法可以包括由计算设备检测多个图像帧中的一个中人脸的存在。在检测到多个图像帧中的一个中存在人脸时，至少部分地基于在人脸所处的关注区域中的一组N个特征的组运动移位跟踪人脸。
在各实施例中，一种装置，例如智能电话或计算平板，可以包括一个或多个处理器以及具有人脸检测功能和人脸跟踪功能的存储介质，该人脸检测功能和人脸跟踪功能被配置为引起该装置响应于由一个或多个处理器操作而执行任何上述的方法和它们的变种。在各实施例中，至少一种存储介质可以包括指令，所述指令被配置为引起装置响应于由装置执行而执行任何上述的方法和它们的变种。因此，在跟踪移动/旋转的人脸时，这样的装置可以具有高的响应灵敏度。
在下面的详细描述中，对附图进行引用，附图形成详细描述的一部分，其中，类似的标号始终表示类似的部分，且附图中作为阐释示出可以实践的实施例。应理解，在不偏离本公开内容的范围的前提下，可以利用其他实施例且可以做出结构或逻辑改变。因此，下列详细描述不应以限制意义来理解，且各实施例的范围由所附权利要求界定和它们的等效物。
又可以以最有助于理解所要求保护的本主题的方式把各种操作描述为多个分离的动作或操作。然而，描述的次序不应被解释成暗示这些操作必然是依赖于次序的。尤其，这些操作可以不按呈现的次序来执行。可以按与所描述的实施例不同的次序来执行所描述的操作。可以执行各种附加的操作和/或在附加的实施例中可以省略所描述的操作。
出于本公开内容的目的，短语“A和/或B”意味着(A)、(B)或(A和B)。出于本公开内容的目的，短语“A、B和/或C”意味着(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
本描述可以使用短语“在一种实施例中”或“在各实施例中”，这些术语都可以指相同或不同的实施例中的一个或多个。此外，本公开内容的各实施例所使用的术语“包括”、“包含”、“具有”等等是同义词。
如下文所使用的，包括权利要求，术语“模块”可以是指是以下的部分或包括以下：执行一个或多个软件或固件程序、组合逻辑电路和/或提供所描述的功能的其他合适的组件的专用集成电路(ASIC)、电子电路、处理器(共享、专用或组)和/或存储器(共享、专用或组)。术语“隐藏式字幕(closedcaption)”包括传统的隐藏式字幕和/或对白字幕(subtitle)。
现在参见图1，示出根据各种实施例与用于人脸跟踪的本公开内容的教导合并的示例计算装置的概览。正如所阐释的，在各实施例中，计算装置100可以包括处理器和存储器装置102以及外围设备104，如所示出的，它们经由耦合106彼此耦合。处理器和存储器装置102可以被配置为主控并执行操作系统和服务114以及应用112，而外围设备104可以例如包括被配置为捕捉或接收多个图像帧的图像捕捉或接收设备142。图像捕捉设备的示例可以是摄像机，而图像接收设备的示例可以是通信接口，该通信接口被配置为把处理器和存储器装置102耦合到提供图像帧的流的远程图像源(未示出)。
在各实施例中，应用112可以在操作系统和服务114的控制下执行和/或利用操作系统和服务114的服务。操作系统和服务114所提供的服务可以包括人脸识别服务122，人脸识别服务122可以包括但不限于人脸检测功能132和人脸跟踪功能134。可以把所捕捉的或流传播的图像帧提供给应用112，应用112又可以调用人脸识别服务122的服务以便识别和/或跟踪图像帧中的一个或多个人脸。下面将更详细地描述人脸识别服务122，尤其是人脸检测功能132和人脸跟踪功能134。
处理器和存储器装置102预期表示宽范围的处理器和存储器设备，包括但不限于被设计为用于移动计算的装置。例如而非限制，处理器可以是本领域中已知的多种单核或多核通用或专用处理器中的任何一种。可以使用一个或多个通用或专用处理器。专用处理器的示例可以包括但不限于图形处理器。存储器可以是本领域中已知的多种易失性和/或非易失性存储器中的任何一种，包括但不限于动态随机存取存储器(DRAM)、闪速存储器等等。类似地，可以使用一个或多个存储器单元。
如先前所描述的，外围设备104可以包括图像捕捉设备，例如相机或通信接口。在相机的情况下，它可以是本领域中已知的宽范围的照相机中的任何一种。在通信接口的情况下，它同样可以是被配置为把耦合处理器和存储器装置102耦合到个域网、局域网和/或广域网的宽范围的有线和/或无线通信接口中的任何一种。有线通信接口的示例可以包括以太网联网接口。无线通信接口的示例可以包括支持WiFi、3G/4G无线通信的接口。局域网和/或广域网可以包括私有和/或公共网络，例如因特网。
进一步，外围设备104可以包括其他组件，例如存储设备。存储设备可以是多种光、磁或固态存储设备中的任何一种。外围设备104也可以包括输入和输出设备。输入设备可以包括键盘或其他光标控制和/或手势识别设备。输出设备可以包括显示设备。显示设备可以是本领域中已知的多种显示设备中的任何一种，包括但不限于触摸屏显示器，触摸屏显示器也可以充当输入设备。更进一步，计算装置100可以包括全球定位系统(GPS)支持和各种传感器。
处理器和存储器装置102和外围设备104中的一些可以一起位于相同的平台上且借助于耦合106相互耦合，耦合106例如是系统总线。处理器和存储器装置102和其他外围设备104可相互远程定位，且借助于耦合106相互耦合，耦合106例如是通信链路。即，处理器和存储器装置102单独地或者与外围设备104联合，可以形成单个计算设备，例如智能电话、计算平板、超极本、膝上型、台式、服务器、机顶盒、游戏控制台、媒体播放器、电子阅读器等等。
仍然参见图1，在各种实施例中，人脸检测功能(FDF)132可以被配置为检测图像帧中人脸的存在，且标识该人脸所处的图像帧的关注区域(ROI)。在各实施例中，人脸跟踪功能(FTF)134可以被配置为至少部分地基于作为一组的在ROI内的多达N个特征的运动移位，为FDF132跟踪ROI内的人脸。N可以是大于2的整数。在各实施例中，FDF132和FTF134可以被配置为在两个并行线程例如第一和第二线程中操作，以便潜在地增强人脸识别服务(FRS)122的整体性能。
现在参见图2，图2进一步详细阐释根据各种实施例的并行人脸检测和跟踪。正如所阐释的，FDF132可以被配置为检测图像帧202中散布的已选择图像帧204中的图像帧中人脸的存在。在各实施例中，FDF132可以被配置为检测每第k个图像帧204中的图像帧中人脸的存在。为便于表示，其中FDF132执行人脸检测的图像帧204可以被称为关键帧。在各实施例中，FDF132也可以被配置为在人脸可能位于其中的关键帧内标识ROI。进一步，FDF132可以被配置为请求FTF134代表它在关键帧的ROI内跟踪人脸。作为响应，在后续的帧序列中，FTF134在关键帧的ROI内跟踪人脸，直到FDF132请求跟踪另一关键帧。可以重复该过程，直到不再需要FDF132和FTF134的服务。在各实施例中，经由FDF132的规则检测，可以减少FTF134的跟踪误差。
在各实施例中，正如所阐释的，在框212，FTF134可以被配置为提取在图像帧的ROI内的N个特征。另外，在框214–218，FTF134可以被配置为迭代地跟踪作为一组的多达N个特征的运动移位。在每一迭代期间，在框214中，FTF134可以跟踪N个特征的移动。在框216，FTF134可以过滤掉所跟踪的特征中的不合格特征(如果有的话)留下n个特征，其中n少于或等于N。在框218，FTF134可以跟踪作为一组的n个特征的运动移位，且再次产生其他至少N-n个特征以便达到N个特征的集，以便用于下一迭代。
在各实施例中，FTF134可以被配置为在框212采用特征加速片段测试(FAST)角提取算法来提取最高N个FAST角响应特征。进一步，FTF134可以被配置为在框214执行Kanade-Lucas-Tomasi(KLT)光流特征跟踪，且在框216执行中值滤波以便过滤掉所跟踪的特征中的不合格特征。如下面将更详细地描述的，FTF134可以被配置为在框218跟踪作为一组的剩下的N个特征的运动移位。
在各实施例中，不作为限制，FDF132和FTF134可以借助于多种硬件和/或软件组件中的任何一种来实现。硬件组件可以借助于专用集成电路(ASIC)和/或诸如现场可编程门阵列(FPGA)之类的可编程集成电路来实现。软件组件可以借助于多种编程语言中的任何一种来实现，这些编程语言可以被汇编或编译成底层硬件的指令集体系结构(ISA)的指令。
现在参见图3-10，图3-10中阐释了根据各种实施例至少部分地基于作为一组的n个或多达N个特征(N>＝n)的运动移位，跟踪人脸的各方面。首先，图3阐释根据各种实施例人脸所处的图像帧(例如关键帧)的ROI的特征。正如所示出的，对于ROI300，可以由FTF134使用例如FAST角提取算法来提取人脸302的N个特征304。
图4阐释根据各种实施例由FTF134使用例如无向图400分组N个特征(在中值滤波之后)，并且确定该组的中心(C)。在各实施例中，可以使用等式#1计算C。
C = arg min i j Σ i D j , i - - - ( 1 )
其中，Dj,i是从特征i到j的加权距离。
图4-5和7-10中每一组节点的所阐释的值402是用于表示特征j的总和的示例。
在各实施例中，可以使用式#2计算Dj-i。
D j , i = 1 w j · d j , i - - - ( 2 )
其中，dj-i是从特征i到j的像素距离；
wj是用参数表示速度的一致性的权重。
通常，用较高的权重表示较高的一致性，且得到较低的加权距离。
图5-7阐释根据各种实施例确定一组n个特征的优势速度。尤其，图5阐释一组n个特征的多种示例速度方向500。在各实施例中，正如图6中所阐释的，可以构建速度方向的直方图600。此后，可以至少部分地基于直方图600的峰的正则方向(canonicalorientation)把优势速度方向指派给该组n个特征。
在各实施例中，优势速度方向700可以由单位矢量表示。进一步，可以使用矢量来把速度一致性权重(wj,j＝[l,n])指派给每一特征。尤其，在各实施例中，可以基于两个矢量的角的余弦指派速度一致性权重，以便用参数表示权重，且使用矢量操作按照下式#3指定的来计算权重：
w j = a + c o s θ = a + u ^ · v j | u ^ | × | v j | - - - ( 3 )
其中wj表示特征j的权重，
vj是特征j的速度矢量，
θ是在vj和之间的角，
a是调节wj的影响的因子。
因而，利用加权距离的定义，图中心C可以有效地表示整个组的平均位置和移动趋势。
现在参见图8-10，其中，阐释根据各种实施例的示例跟踪和更新n个或多达N个特征(N>＝n)。尤其，图8阐释FTF134对一组示例n个或多达N个特征(N>＝n)的示例跟踪结果800。用轻度加粗圆圈阐释的示例特征802表示良好的跟踪结果。而用双倍加粗圆圈阐释的示例特征804表示漂移的跟踪结果，该结果可以例如经由会聚而更新。图9阐释使用图中心C来会聚漂移的跟踪结果的过程，例如拉紧在图8中是804的特征904，且更新为特征902。拉紧过程可以消除902，且然后在C到904之间再次提取新的特征。图10阐释该组示例n个或多达N个特征(N>＝n)的组运动移位结果1000。此后，可以通过再次产生其他N-n个特征来更新该特征组，以便为下一迭代达到N个特征的集。
图11-12阐释根据各种实施例基于作为一组的特征的运动移位跟踪特征的示例过程。正如所阐释的，基于作为一组的特征的运动移位跟踪特征的过程1100可以包括在框1102-1110执行的各种操作。例如在基于运动移位跟踪的迭代组的迭代期间，可以例如由FTF134执行各操作以便跟踪人脸。
正如所示出的，过程1100可以在框1102开始。在框1102，可以首先把n个特征结合成一组。如先前所描述的，n个特征可以是从图像帧的ROI提取的特征。离开框1102，过程1100可以进行到框1104。在框1104，可以跟踪特征的移动。例如，如先前所描述的，可以根据KLT光流跟踪来跟踪特征的移动。
离开框1104，过程1100可以进行到框1106。在框1106，可以确定反映该组的平均位置和运动的该组的中心C。例如，如先前所描述的，可以至少部分地基于由它们的速度的一致性加权的、在各特征之间的像素距离来确定中心C。离开框1106，过程1100可以进行到框1108。在框1108，参考所确定的中心C，可以消除太远离中心C的该组的漂移特征，且该组特征再次重新会聚。可以基于应用而配置构成太远距离的特征，例如取决于所期望的精度。该组的再次会聚可以包括从中心C的邻域再次构建一组n个特征。离开框1108，过程1100可以进行到框1110。在框1110，接近已确定的中心C，可以再次提取新的特征，以便达到N个特征的集。也可以基于应用而配置邻域的尺寸和形状，例如取决于所期望的精度。
图12阐释根据各种实施例用于确定一个组的中心C的过程，中心C反映该组特征的平均位置和移动。正如所阐释的，用于确定一个组的中心C的过程1200可以包括在框1202–1208执行的各种操作。操作可以由FTF134例如为过程1100的框1106执行。
正如所示出的，过程1200可以在框1202开始。在框1202，可以确定各种特征的速度方向。离开框1202，过程1200可以进行到框1204。在框1204，可以确定优势速度。如先前描述的，例如使用直方图，且根据直方图的峰处的正则方向，可以确定优势速度。
离开框1204，过程1200可以进行到框1206。在框1206，可以确定和指派该组特征的速度一致性权重。例如，如先前所描述的，可以使用单位矢量来计算速度一致性权重。离开框1206，过程1200可以进行到框1208。在框1208，可以计算反映该组的平均位置和运动的该组的中心C。例如，如先前所描述的，至少部分地基于由它们的速度一致性加权的在各特征之间的像素距离，可以计算中心C。
现在参见图13，其中，阐释根据各种实施例适合用于图1的装置的示例计算机。正如所示出的，计算机1300可以包括一个或多个处理器或处理器核心1302以及系统存储器1304。出于本申请、包括权利要求的目的，除非上下文另外明确要求，否则术语“处理器”和“处理器核心”可以被认为是同义词。另外，计算机1300可以包括大容量存储设备1306(例如软盘驱动器、硬盘驱动器、紧致盘只读存储器(CD-ROM)等等)、输入/输出设备1308(例如显示器、键盘、光标控制器、照相机等等)和通信接口1310(例如网卡、调制解调器等等)。各元素可以经由系统总线1312彼此耦合。系统总线1312可以表示一种或多种总线。在多种总线的情况下，它们可以通过一个或多个总线桥(未示出)桥接。
这些元素中的每一个都可以执行本领域中已知的其常规功能。尤其，系统存储器1304和大容量存储设备1306可以用来存储如先前所描述的实现与图1的FDF132和/或FTF134相关联的操作的编程指令的工作副本和持久副本，它们共同被称为计算逻辑1322。各种元素可以由(多个)处理器1302所支持的汇编指令或高级语言实现，高级语言诸如例如C，它们可以被编译成这样的指令。
例如，通过分布介质(未示出)例如紧致盘(CD)，或通过通信接口1310(源于分布服务器(未示出))，可以在工厂中或者在现场把编程指令的持久副本放置到持久/大容量存储设备1306中。即是说，拥有代理程序的实现一个或多个分布介质可以用来分布代理和程序各种计算设备。
这些元素1310-1312的数量、能力和/或容量可以改变，这取决于示例计算机1300的预期用途，例如，示例计算机1300是固定计算设备如机顶盒还是台式计算机，或者是移动计算设备，如智能电话、平板、超极本或膝上型计算机。这些元素1310-1312的构造别处已知，且因此将不进一步描述。
图14阐释根据各种实施例带有指令的示例非暂态计算机可读存储介质，所述指令被配置为实践与如先前所描述的图1的FDF132和FTF134相关联的操作中的全部或经选择的操作。正如所阐释的，非暂态计算机可读存储介质1402可以包括多个编程指令1404。编程指令1404可以被配置为允许设备例如计算机1300响应于编程指令的执行而执行例如图11和/或12的过程1100和/或1200的各种操作。在备选的实施例中，编程指令1404可以改为放置在多个非暂态计算机可读存储介质1402中。
回头参见图13，对于一种实施例，处理器1302中的至少一个可以与被配置为实践图11和/或12的(多个)过程的各方面的计算逻辑1322封装在一起(代替存储在存储器1304和/或大容量存储设备1306中)。对于一种实施例，处理器1302中的至少一个可以与被配置为实践图11和/或12的(多个)过程的各方面的计算逻辑1322封装在一起，以便形成系统级封装(SiP)。对于一种实施例，处理器1302中的至少一个可以集成在与被配置为实践图11和/或12的(多个)过程的各方面的计算逻辑1322相同的管芯上。对于一种实施例，处理器1302中的至少一个可以与被配置为实践图11和/或12的(多个)过程的各方面的计算逻辑1322封装在一起，以便形成片上系统(SoC)。对于至少一种实施例，SoC可以用于例如但不限于计算平板。
因而，所描述的示例实施例包括但不限于：
示例1可以是用于在多个图像帧中识别人脸的方法。该方法可以包括通过计算设备的第一线程检测多个图像帧中散布的已选择图像帧中人脸的存在。在检测到多个图像帧的已选择图像帧中的第一帧中存在人脸时，由所述第一线程请求通过所述计算设备的第二线程跟踪所述人脸，所述第二线程由所述计算设备与所述第一线程并行操作；以及由所述第二线程为所述第一线程跟踪所述人脸。
示例2可以是示例1，其中，检测包括检测多个图像帧中每第k个中人脸的存在，其中k是大于或等于2的整数。
示例3可以是示例1或2中的任何一个，其中，跟踪所述人脸包括至少部分地基于在所述人脸所处的关注区域中的一组N个特征的组运动移位在两次检测之间迭代地跟踪所述人脸。
示例4可以是示例3，其中，至少部分地基于在所述人脸所处的关注区域中的一组N个特征的组运动移位在两次检测之间迭代地跟踪所述人脸包括从所述人脸所处的所述关注区域提取N个特征，其中N是大于或等于2的整数；以及迭代地跟踪作为一组的N个特征的子集或全部的运动移位。
示例5可以是示例4，其中，提取N个特征包括通过经由片段测试提取角来提取N个特征。
示例6可以是示例4，其中，迭代地跟踪作为一组的N个特征的子集或全部的运动移位包括：对于每一迭代，跟踪全部N个特征；过滤掉所述所跟踪的N个特征的不合格特征，留下n个特征，其中n小于N；至少部分地基于所述跟踪的结果确定作为一组的所述n个特征的运动移位；以及至少部分地基于已确定的所述一组n个特征的运动移位从所述关注区域再次提取其他N-n个特征以便实现用于所述下次迭代的N个特征的集。
示例7可以是示例6，其中，跟踪所述N个特征包括使用Kanade-Lucas-Tomasi(KLT)特征跟踪来跟踪所述N个特征。
示例8可以是示例6，其中，过滤包括所述N个特征的中值滤波。
示例9可以是示例6，其中，确定作为一组的所述n个特征的运动移位包括确定由所述N个特征形成的组的中心至少部分地基于分别由用参数表示所述n个特征的速率的一致性的权重加权的、在所述n个特征之间的像素距离。
示例10可以是示例9，其中，确定由所述n个特征形成的组的中心包括生成无向图以便分组所述n个特征，且使用所述无向图的邻接矩阵表示来确定所述中心。
示例11可以是示例9，其中，确定作为一组的所述n个特征的运动移位进一步包括确定所述组的优势速度定向，且至少部分地基于特征的速度与所述一组的优势速度的一致性确定所述权重。确定所述一组的优势速度定向可以包括使用速度直方图。
示例12可以是示例9，进一步包括对于每一迭代，使用在所述组的所述已确定中心和所述n个特征之间的加权距离来过滤所述n个特征中太远的不合格特征。过滤所述n个特征中太远的不合格特征可以通过以下来实施：消除所述n个特征中的原始特征，且然后，在组的中心和所述n个特征中的所述已消除原始特征之间再次提取新特征。
示例13可以是示例9，其中，从所述关注区域再次提取，其他N-n个特征以便达到用于所述下次迭代的N个特征的集包括从所述一组n个特征的所述中心的邻域区域再次提取用于所述下一迭代的另外N-n个特征。
示例14可以是用于识别人脸的装置，包括一个或多个处理器；以及存储介质，其被耦合到所述一个或多个处理器，且具有第一和第二多个模块，这些模块被配置为引起所述装置响应于由所述一个或多个处理器并行操作所述第一和第二多个模块而执行示例1-13所述的方法中的任何一种。
示例15可以是示例14，其中，所述装置是从机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中选择的一种。
示例16可以是至少一种存储介质，其包括多个指令，所述指令被配置为引起装置响应于由所述装置执行所述指令执行示例1-13所述的方法中的任何一种。
示例17可以是用于在多个图像帧中识别人脸的方法，包括：由计算设备检测多个图像帧中的一个图像帧中人脸的存在；以及在检测到多个图像帧中的一个图像帧中人脸的存在时，至少部分地基于在所述人脸所处的关注区域中的一组N个特征的组运动移位跟踪所述人脸。
示例18可以是示例17，其中，至少部分地基于在所述人脸所处的关注区域中的一组N个特征的组运动移位跟踪所述人脸包括：从所述人脸位于其中的所述关注区域提取N个特征，其中N是大于或等于2的整数；以及跟踪作为一组的N个特征的子集或全部的运动移位。
示例19可以是示例18，其中，跟踪作为一组的N个特征的子集或全部的运动移位包括：跟踪全部N个特征；过滤掉所述所跟踪的N个特征的不合格特征，留下n个特征，其中n小于N；以及至少部分地基于所述跟踪的结果确定作为一组的所述n个特征的运动移位。
示例20可以是示例19，其中，确定作为一组的所述n个特征的运动移位包括确定由所述n个特征形成的组的中心，至少部分地基于分别由用参数表示所述n个特征的速率的一致性的权重加权的、在所述n个特征之间的像素距离。
示例21可以是示例20，其中，确定由所述n个特征形成的组的中心包括生成无向图以便分组所述n个特征，且使用所述无向图的邻接矩阵表示来确定所述中心。
示例22可以是示例20，其中，确定作为一组的所述N个特征的运动移位进一步包括确定所述组的优势速度定向，且至少部分地基于特征的速度与所述一组的优势速度的一致性确定所述权重。确定所述一组的优势速度定向可以包括使用速度直方图。
示例23可以是示例20，进一步包括过滤所述n个特征中太远的不合格特征，使用在所述组的所述已确定中心和所述n个特征之间的加权距离。过滤所述n个特征中太远的不合格特征可以通过以下实施：消除所述n个特征中的原始特征，且然后，在组的中心和所述n个特征中的所述已消除的原始特征之间再次提取新特征。
示例24可以是用于识别人脸的装置，包括一个或多个处理器；以及存储介质，其被耦合到所述一个或多个处理器，且具有多个模块，所述模块被配置为引起所述装置响应于由所述一个或多个处理器操作所述多个模块执行示例17-23所述的方法中的任何一种。
示例25可以是至少一种存储介质，其包括多个指令，所述指令被配置为引起装置响应于由所述装置执行所述指令执行示例17-23所述的方法中的任何一种。
尽管出于描述的目的在此已经阐释和描述了某些实施例，但在不偏离本公开内容的范围的前提下，经计算为达到相同目的多种多样的备选和/或等效的实施例或实现可以取代所示出和描述的实施例。本申请旨在覆盖在此讨论的实施例的任何修改或变型。因此，明确预期在此描述的实施例仅受权利要求限制。
在本公开内容陈述“一种”或“第一”元素或其同义词的场合，这样的公开内容包括一个或多个这样的元素，既不要求也不排除两个或更多个这样的元素。进一步，除非另外具体指出，否则已标识元素的顺序指示符(例如，第一、第二或第三)用来区分各元素，且不表示或暗示这样的元素的要求或受限的数量，也不表示这样的元素的具体的位置或次序。

Claims (26)

1.一种用于在多个图像帧中识别人脸的方法，包括：
通过计算设备的第一线程检测多个图像帧中散布的已选择图像帧中人脸的存在；
在检测到多个图像帧的已选择图像帧中的第一帧中存在人脸时，由所述第一线程请求通过所述计算设备的第二线程跟踪所述人脸，所述第二线程由所述计算设备与所述第一线程并行操作；以及
由所述第二线程为所述第一线程跟踪所述人脸。
2.如权利要求1所述的方法，其特征在于，检测包括检测多个图像帧中每第k个中人脸的存在，其中k是大于或等于2的整数。
3.如权利要求1所述的方法，其特征在于，跟踪所述人脸包括至少部分地基于在所述人脸所处的关注区域中的一组N个特征的组运动移位，在两次检测之间迭代地跟踪所述人脸。
4.如权利要求3所述的方法，其特征在于，至少部分地基于在所述人脸所处的关注区域中的一组N个特征的组运动移位，在两次检测之间迭代地跟踪所述人脸，包括：
从所述人脸所处的所述关注区域提取N个特征，其中N是大于或等于2的整数；以及
迭代地跟踪作为一组的N个特征的子集或全部的运动移位。
5.如权利要求4所述的方法，其特征在于，提取N个特征包括通过经由片段测试提取角来提取N个特征。
6.如权利要求4所述的方法，其特征在于，迭代地跟踪作为一组的N个特征的子集或全部的运动移位包括：
对于每一迭代，跟踪全部N个特征；
过滤掉所述所跟踪的N个特征的不合格特征，留下n个特征，其中n小于N；
至少部分地基于所述跟踪的结果确定作为一组的所述n个特征的运动移位；以及
至少部分地基于已确定的所述一组n个特征的运动移位，从所述关注区域再次提取其他N-n个特征以便达到用于所述下次迭代的N个特征的集。
7.如权利要求6所述的方法，其特征在于，跟踪所述N个特征包括使用Kanade-Lucas-Tomasi(KLT)特征跟踪来跟踪所述N个特征。
8.如权利要求6所述的方法，其特征在于，过滤包括所述N个特征的中值滤波。
9.如权利要求6所述的方法，其特征在于，确定作为一组的所述n个特征的运动移位包括至少部分地基于分别由用参数表示所述n个特征的速率的一致性的权重加权的、在所述n个特征之间的像素距离确定由所述n个特征形成的组的中心。
10.如权利要求9所述的方法，其特征在于，确定由所述n个特征形成的组的中心包括生成无向图以便分组所述n个特征，并且使用所述无向图的邻接矩阵表示来确定所述中心。
11.如权利要求9所述的方法，其特征在于，确定作为一组的所述n个特征的运动移位进一步包括确定所述组的优势速度定向，并且至少部分地基于特征的速度与所述组的优势速度的一致性确定所述权重。
12.如权利要求9所述的方法，进一步包括对于每一迭代，使用在所述组的所述已确定中心和所述n个特征之间的加权距离过滤所述n个特征中太远的不合格特征。
13.如权利要求9所述的方法，其特征在于，从所述关注区域再次提取其他N-n个特征以便达到用于所述下次迭代的N个特征的集包括从所述一组n个特征的所述中心的邻域区域再次提取用于所述下一迭代的另外N-n个特征。
14.一种用于识别人脸的装置，包括：
一个或多个处理器；以及
存储介质，其被耦合到所述一个或多个处理器，且具有第一和第二多个模块，所述模块被配置为引起所述装置响应于由所述一个或多个处理器并行操作所述第一和第二多个模块执行如权利要求1-13中所述的方法中的任何一种。
15.如权利要求14所述的装置，其特征在于，所述装置是从机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中选择的一种。
16.至少一种存储介质，其包括多个指令，所述指令被配置为引起装置响应于由所述装置执行所述指令执行如权利要求1-13中所述的方法中的任何一种。
17.一种用于在多个图像帧中识别人脸的方法，包括：
由计算设备检测多个图像帧中的一个图像帧中人脸的存在；以及
在检测到多个图像帧中的一个图像帧中人脸的存在时，至少部分地基于在所述人脸所处的关注区域中的一组N个特征的组运动移位跟踪所述人脸。
18.如权利要求17所述的方法，其特征在于，至少部分地基于在所述人脸所处的关注区域中的一组N个特征的组运动移位跟踪所述人脸包括：
从所述人脸所处的所述关注区域提取N个特征，其中N是大于或等于2的整数；以及
跟踪作为一组的N个特征的子集或全部的运动移位。
19.如权利要求18所述的方法，其特征在于，跟踪作为一组的N个特征的子集或全部的运动移位包括：
跟踪全部N个特征；
过滤掉所述所跟踪的N个特征的不合格特征，留下n个特征，其中n小于N；以及
至少部分地基于所述跟踪的结果，确定作为一组的所述n个特征的运动移位。
20.如权利要求19所述的方法，其特征在于，确定作为一组的所述n个特征的运动移位包括至少部分地基于分别由用参数表示所述n个特征的速率的一致性的权重加权的、在所述n个特征之间的像素距离确定由所述n个特征形成的组的中心。
21.如权利要求所述的方法20，其特征在于，确定由所述n个特征形成的组的中心包括生成无向图以便分组所述n个特征，并且使用所述无向图的邻接矩阵表示来确定所述中心。
22.如权利要求20所述的方法，其特征在于，确定作为一组的所述N个特征的运动移位进一步包括确定所述组的优势速度定向，并且至少部分地基于特征的速度与所述组的优势速度的一致性，确定所述权重。
23.如权利要求20所述的方法，进一步包括使用在所述组的所述已确定中心和所述n个特征之间的加权距离来过滤所述n个特征太远的不合格特征。
24.至少一种存储介质，其包括多个指令，所述指令被配置为引起装置响应于执行由所述装置执行所述指令执行如权利要求17-23中所述的方法中的任何一种。
25.一种用于识别人脸的装置，包括：
一个或多个处理器；以及
存储介质，其被耦合到所述一个或多个处理器，且具有多个模块，所述模块被配置为引起所述装置响应于由所述一个或多个处理器操作所述多个模块执行如权利要求17-23所述的方法中的任何一种。
26.如权利要求25所述的装置，其特征在于，所述装置是从机顶盒、智能电话、计算平板、超极本、膝上型计算机、台式计算机、服务器计算机、游戏控制台或媒体播放器中选择的一种。
CN201380076958.2A 2013-06-27 2013-06-27 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别 Active CN105308618B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/078122 WO2014205715A1 (en) 2013-06-27 2013-06-27 Face recognition with parallel detection and tracking, and/or grouped feature motion shift tracking

Publications (2)

Publication Number Publication Date
CN105308618A true CN105308618A (zh) 2016-02-03
CN105308618B CN105308618B (zh) 2020-04-03

Family

ID=52140815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380076958.2A Active CN105308618B (zh) 2013-06-27 2013-06-27 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别

Country Status (5)

Country Link
US (1) US9477889B2 (zh)
EP (1) EP3014519A4 (zh)
KR (1) KR101969623B1 (zh)
CN (1) CN105308618B (zh)
WO (1) WO2014205715A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127251A (zh) * 2016-06-23 2016-11-16 合肥工业大学 一种用于描述人脸特征变化的计算机视觉方法
CN108257176A (zh) * 2016-12-29 2018-07-06 英特尔公司 用于特征检测和跟踪的技术
CN108491258A (zh) * 2018-03-29 2018-09-04 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN108717522A (zh) * 2018-04-18 2018-10-30 上海交通大学 一种基于深度学习和相关滤波的人体目标跟踪方法
CN109716354A (zh) * 2016-10-12 2019-05-03 英特尔公司 人类交互物识别的复杂性降低
CN110008793A (zh) * 2018-01-05 2019-07-12 中国移动通信有限公司研究院 人脸识别方法、装置及设备
CN111723353A (zh) * 2019-03-22 2020-09-29 北京小米移动软件有限公司 基于人脸识别的身份认证方法、装置、终端及存储介质
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564028A (zh) * 2018-04-11 2018-09-21 开放智能机器（上海）有限公司 一种基于嵌入式系统的多线程人脸识别系统
CN115719461A (zh) * 2022-08-03 2023-02-28 中国银联股份有限公司 一种基于光流分析的人脸操控检测方法及其检测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908960A (zh) * 2005-08-02 2007-02-07 中国科学院计算技术研究所 一种基于特征分组的多分类器组合人脸识别方法
JP2009075926A (ja) * 2007-09-21 2009-04-09 Mitsubishi Electric Corp 動画像顔検出装置および動画像顔検出方法
US20120243738A1 (en) * 2011-03-25 2012-09-27 Olympus Imaging Corp. Image processing device and image processing method
CN103150546A (zh) * 2012-12-26 2013-06-12 冉阳 视频人脸识别方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
US8675099B2 (en) * 2009-06-16 2014-03-18 Aptina Imaging Corporation Efficient system and method for face tracking
KR101062225B1 (ko) * 2009-09-30 2011-09-06 아주대학교산학협력단 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
JP2011193063A (ja) * 2010-03-12 2011-09-29 Sanyo Electric Co Ltd 電子カメラ
CN102214291B (zh) 2010-04-12 2013-01-16 云南清眸科技有限公司 一种快速准确的基于视频序列的人脸检测跟踪方法
JP6000954B2 (ja) * 2010-09-20 2016-10-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ クラウド支援型拡張現実のための適応可能なフレームワーク
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
US9489567B2 (en) * 2011-04-11 2016-11-08 Intel Corporation Tracking and recognition of faces using selected region classification
KR101248808B1 (ko) * 2011-06-03 2013-04-01 주식회사 동부하이텍 경계 영역의 잡음 제거 장치 및 방법
CN105027550B (zh) * 2012-11-06 2018-04-06 阿尔卡特朗讯公司 用于处理视觉信息以检测事件的系统和方法
US9292753B2 (en) * 2012-11-21 2016-03-22 Intel Corporation Parallel face detection and tracking system
CN103116756B (zh) 2013-01-23 2016-07-27 北京工商大学 一种人脸检测与跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1908960A (zh) * 2005-08-02 2007-02-07 中国科学院计算技术研究所 一种基于特征分组的多分类器组合人脸识别方法
JP2009075926A (ja) * 2007-09-21 2009-04-09 Mitsubishi Electric Corp 動画像顔検出装置および動画像顔検出方法
US20120243738A1 (en) * 2011-03-25 2012-09-27 Olympus Imaging Corp. Image processing device and image processing method
CN103150546A (zh) * 2012-12-26 2013-06-12 冉阳 视频人脸识别方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127251A (zh) * 2016-06-23 2016-11-16 合肥工业大学 一种用于描述人脸特征变化的计算机视觉方法
CN109716354A (zh) * 2016-10-12 2019-05-03 英特尔公司 人类交互物识别的复杂性降低
CN109716354B (zh) * 2016-10-12 2024-01-09 英特尔公司 人类交互物识别的复杂性降低
CN108257176A (zh) * 2016-12-29 2018-07-06 英特尔公司 用于特征检测和跟踪的技术
CN110008793A (zh) * 2018-01-05 2019-07-12 中国移动通信有限公司研究院 人脸识别方法、装置及设备
CN108491258A (zh) * 2018-03-29 2018-09-04 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN108717522A (zh) * 2018-04-18 2018-10-30 上海交通大学 一种基于深度学习和相关滤波的人体目标跟踪方法
CN111723353A (zh) * 2019-03-22 2020-09-29 北京小米移动软件有限公司 基于人脸识别的身份认证方法、装置、终端及存储介质
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN111754543B (zh) * 2019-03-29 2024-03-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统

Also Published As

Publication number Publication date
EP3014519A1 (en) 2016-05-04
US20150154455A1 (en) 2015-06-04
KR20150138374A (ko) 2015-12-09
CN105308618B (zh) 2020-04-03
US9477889B2 (en) 2016-10-25
EP3014519A4 (en) 2017-02-15
WO2014205715A1 (en) 2014-12-31
KR101969623B1 (ko) 2019-04-16

Similar Documents

Publication Publication Date Title
CN105308618A (zh) 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别
US9720936B2 (en) Biometric matching engine
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN107690657B (zh) 根据影像发现商户
US11048948B2 (en) System and method for counting objects
CN108229314B (zh) 目标人物的搜索方法、装置和电子设备
CN110163889A (zh) 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN108520229A (zh) 图像检测方法、装置、电子设备和计算机可读介质
CN105894464B (zh) 一种中值滤波图像处理方法和装置
US20050084133A1 (en) Object measuring apparatus, object measuring method, and program product
CN105139425A (zh) 一种人数统计方法及装置
CN106503703A (zh) 使用终端设备来识别信用卡号码和到期日期的系统和方法
US20150213323A1 (en) Video anomaly detection based upon a sparsity model
CN109711427A (zh) 目标检测方法及相关产品
CN110490839A (zh) 一种检测高速公路中损坏区域的方法、装置及计算机设备
KR20150093453A (ko) 차량 번호판 이중 검출 방법 및 장치
CN114169425B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
US20230252654A1 (en) Video analysis device, wide-area monitoring system, and method for selecting camera
CN108280388A (zh) 训练面部检测模型的方法和装置以及面部检测方法和装置
CN109829909A (zh) 一种目标检测方法、装置及存储介质
CN113096080A (zh) 图像分析方法及系统
US20220292683A1 (en) Liver fibrosis recognition method based on medical images and computing device using thereof
Truong et al. Single object tracking using particle filter framework and saliency-based weighted color histogram
AU2021240277A1 (en) Methods and apparatuses for classifying game props and training neural network
KR102546193B1 (ko) 컬러 정보를 이용한 학습 데이터 분류 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant