CN106709932A - 一种人脸位置跟踪方法、装置和电子设备 - Google Patents

一种人脸位置跟踪方法、装置和电子设备 Download PDF

Info

Publication number
CN106709932A
CN106709932A CN201510772348.7A CN201510772348A CN106709932A CN 106709932 A CN106709932 A CN 106709932A CN 201510772348 A CN201510772348 A CN 201510772348A CN 106709932 A CN106709932 A CN 106709932A
Authority
CN
China
Prior art keywords
frame picture
human face
face region
next frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510772348.7A
Other languages
English (en)
Other versions
CN106709932B (zh
Inventor
王楠
杜志军
张宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201510772348.7A priority Critical patent/CN106709932B/zh
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to EP16863576.1A priority patent/EP3376469A4/en
Priority to SG11201803990YA priority patent/SG11201803990YA/en
Priority to AU2016352215A priority patent/AU2016352215B2/en
Priority to PCT/CN2016/104491 priority patent/WO2017080399A1/zh
Priority to KR1020187016518A priority patent/KR102150776B1/ko
Priority to SG10202001825PA priority patent/SG10202001825PA/en
Priority to JP2018524732A priority patent/JP6873126B2/ja
Priority to MYPI2018000714A priority patent/MY196931A/en
Publication of CN106709932A publication Critical patent/CN106709932A/zh
Priority to US15/977,576 priority patent/US10410046B2/en
Priority to PH12018501017A priority patent/PH12018501017A1/en
Priority to US16/561,918 priority patent/US10713472B2/en
Priority to US16/925,072 priority patent/US11003893B2/en
Application granted granted Critical
Publication of CN106709932B publication Critical patent/CN106709932B/zh
Priority to US17/316,487 priority patent/US11423695B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种人脸位置跟踪方法、装置及电子设备。所述方法包括：获取当前帧图片的人脸区域；根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域；在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；检测所述下一帧图片的人脸区域；基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。利用本申请中各个实施例，可以在强光线干扰、人脸快速移动等复杂场景中准确定位跟踪出帧图片中的人脸区域，提高人脸跟踪效果，提高用户使用体验。

Description

一种人脸位置跟踪方法、装置和电子设备
技术领域
本申请属于图像信息数据处理领域，尤其涉及一种人脸位置跟踪方法、装置和电子设备。
背景技术
人脸跟踪通常可以指在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程。一直以来，人脸跟踪在图像分析与识别、图像监控与检索、即时视频通信等领域都具有重大意义和广泛应用。
一般的，所述的人脸跟踪的处理过程可以主要包括在视频中找到人脸的位置，在视频拍摄时期，当人脸移动时，可以根据特定的算法例如粒子偏移、Mean shift(均值偏移)等跟踪出人脸在视频的具体位置。目前现有技术中主要采用的人脸跟踪方法的处理过程包括：对每一帧图片做人脸检测，即可以认为每一帧为单独的一张图片，然后对每帧图片做人脸检测，从而计算得到每一帧图片中人脸的位置。而在实际的应用中，例如用户用手机前置摄像头进行自拍的过程中，往往由于光线或者场景的突然变化、强光或测光的干扰、人脸的快速移动等造成人脸跟踪丢失或者检测错误的问题。这样往往会导致用户视频监测、视频通话等使用过程中出现人脸跟踪画面不连续，不能达到实时流畅跟踪的效果，大大降低了用户体验，尤其是在处理性能较低的终端设备中表现的更为明显。当然，现有技术中的人脸跟踪方法也难以满足对人脸跟踪要求较高的用户的需要。
现有技术中的人脸跟踪方法，尤其是在光线变化强烈、光线干扰、人脸快速移动等复杂场景中仍然存在人脸跟踪丢失或错误的问题，导致视频画面中人脸图片模糊、人脸跟踪画面不连续等，降低了人脸检测和跟踪的效果和用户的使用体验。
发明内容
本申请目的在于提供一种人脸位置跟踪方法、装置和电子设备，可以在光线变化强烈、光线干扰、人脸快速移动等复杂场景中较准确定位出帧图片中的人脸区域，提高人脸跟踪效果。同时解决了人脸跟踪丢失的问题，达到较为流程的人脸位置跟踪效率，提高用户使用体验。
本申请提供的一种人脸位置跟踪方法、装置和电子设备是这样实现的：
一种人脸位置跟踪方法，所述方法包括：
获取当前帧图片的人脸区域；
根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域；
在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；
检测所述下一帧图片的人脸区域；基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
一种人脸位置跟踪装置，所述装置包括：
检测模块，用于检测帧图片的人脸区域；
预测区域计算模块，用于根据所述检测模块检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域；
预选区域计算模块，用于在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；
跟踪结果选取模块，用于基于所述第一预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
一种人脸位置跟踪的电子设备，所述电子设备被设置成，包括：
信息获取单元，用于获取待处理的帧图片；
处理单元，用于检测所述帧图片的人脸区域；还用于根据检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域，并在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；还用于基于所述第一预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果；
显示单元，用于显示所述处理单元得到的人脸位置跟踪结果。
本申请提供的人脸位置跟踪方法、装置和电子设备，可以根据当前帧图片中的人脸区域预测下一帧图片中人脸出现的预测区域的范围。然后可以在所述预测区域的范围内找到与前一帧图片的人脸区域相似度达到预定要求(例如相似度最高)的人脸区域的预选区域。这样，在所述当前帧的下一帧图片中可以获取根据上一帧图片根据得到的预选人脸的信息。进一步的，本申请方案中可以检测所述下一帧图片的人脸区域，如果在所述下一帧图片中检测不到人脸区域，则可以使用根据上一帧计算得到的预选区域作为所述下一帧的人脸区域。如果可以检测到人脸区域，则所述下一帧图片的至少两个人脸区域，然后可以根据预先设置的选取规则选取符合要求的人脸区域作为所述下一帧图片最终的人脸位置跟踪的结果。因此，在本申请中，即使发生光线突变等复杂场景导致当前帧检测不到人脸区域，也可以使用基于上一帧的人脸区域预测的得到的预选区域定位跟踪人脸位置，保障了人脸检测、跟踪的连续性，提高人脸检测和跟踪效果，以及用户使用人脸跟踪的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请所述一种人脸位置跟踪方法一种实施例的方法流程图；
图2是根据当前帧图片的人脸区域确定下一帧图片中人脸出现的预测区域的示意图；
图3是本申请在所述预测区域匹配查找到的第一预选区域的示意图；
图4是本申请提供的一种确定人脸位置跟踪结果的选取场景示意图；
图5是本申请实施例中进一步查找所述第二预选区域的示意图；
图6是本申请所述人脸位置跟踪装置一种实施例的模块结构示意图；
图7是本申请提供的所述预选区域计算模块一种实施例的模块结构示意图；
图8是本申请所述预选区域计算模块另一种实施例的模块结构示意图；
图9是本申请提供的跟踪结果选取模块一种实施例的模块结构示意图；
图10是本申请所述人脸位置跟踪的电子装置的一种实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
下面结合附图对本申请所述的基础数据处理方法进行详细的说明。图1是本申请所述一种人脸位置跟踪方法一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述的方法的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
具体的本申请提供的一种人脸位置跟踪方法的一种实施例如图1所示，所述方法可以包括：
S1：获取当前帧图片中人脸区域。
一般的，人脸位置跟踪多用于利用摄像装置拍摄的视频流信息处理中，例如监控设备，或者用户使用手机摄像头视频拍摄等。本申请提供的人脸位置跟踪方法可以包括但不限于视频流的信息处理，在其他的一些跟踪图像序列中人脸位置的应用场景中连续图画或电影胶片数字信息中的人脸跟踪等仍然可以使用本申请方案。为便于清楚的描述本申请方案，本实施例中可以以用户使用手机前置摄像头进行自拍的应用场景进行说明。在本实施例中，可以先获取当前视频当前帧图片中的人脸区域。具体的可以在视频流刚开始对视频帧图片进行人脸检测。一般的，需要对每一帧图片进行人脸检测，直至检测出人脸。通常情况，在当前帧图片检测到人脸时，可以获取得到与该人脸图像相关的信息，如图像色彩参数、大小、边框距等。通常的还可以以一定的区域范围表示人脸的位置，例如常用的表示方式可以包括使用矩形框表示检测到的人脸所在的位置区域。
考虑到本申请在移动通讯终端、车载视频记录仪等相比于PC电脑数据处理能力较弱的终端产品中的应用场景，本申请可以提供一种检测人脸区域的实施方式。在一种实施例中，所述的获取当前帧图片的人脸区域可以包括：
采用降低分类级数的Adaboost方法检测并获取当前帧图片的人脸区域。
所述的Adaboost是一种迭代算法，其主要处理过程可以包括针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。所述的Adaboost算法通常可以根据每次训练集之中每个样本的分类是否正确以及上次的总体分类的准确率，来确定每个样本的权值。然后可以将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。Adaboost级联结构的分类器通常是由一系列的分类器的串联组成。对待识别的样本进行判别时，只有被前面一级的分类器判决为正的样本才被送入后面的分类器继续处理，反之则被认为是负样本直接拒绝。在级联结构中，前面几级的分类器相对来说结构比较简单，使用的特征数也较少，但检测率很高，同时能够尽可能地滤除那些与目标差异较大的负样本。后面级次的分类器则使用更多的特征和更复杂的结构，从而可以将那些与目标相似的负样本与目标物体区分开。
需要说明的是，本实施例在采用所述Adaboost方法检测所述当前帧图片的人脸区域的处理过程中，可以根据需求适当减少分类级数，从而实现减少人脸检测的计算量，实现快速人脸检测。
本申请的所述人脸位置跟踪方法的一种应用场景中，用户在利用手机前置或者后置摄像头主动拍摄的情况下，如果存在对多人进行拍摄，通常情况下是主要的被拍摄者的人脸所占屏幕或显示器的比例较大。此时往往是里摄像头最近的人脸为主要关注焦点。因此，为了更加准确的跟踪人脸位置，更加符合用户人脸位置跟踪的预期，本申请的另一种实施例中，在人脸位置跟踪处理时可以只跟踪离摄像头最近的人脸，在实施过程中可以取当前帧图片中最大的人脸框作为人脸跟踪对象。因此，本申请的另一种实施例中，所述获取当前帧图片的人脸区域可以包括：
在检测出当前帧图片中至少存在两组人脸时，选取所述当前帧中图片面积最大的人脸对应的区域作为所述当前帧图片的人脸区域。
本实施例中可以获取视频当前帧图片的人脸区域。
S2：根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域。
在获取所述当前帧图片的人脸区域后，可以根据所述当前帧图片的人脸区域确定出下一帧图片中人脸出现的预测区域。所述的预测区域可以包括根据一定的算法或者规则计算确定的在当前帧的下一帧图片中人脸出现的区域范围。图2是一种根据当前帧图片的人脸区域确定下一帧图片中人脸出现的预测区域的示意图。如图2所示，在当前帧图片N中，矩形框A为检测获取的所述当前帧图片的人脸区域。在所述下一帧图片(N+1)中，可以以上一帧(即上述的当前帧N)图片N中的人脸区域A的矩形框区域长和宽分别扩展K个像素后形成的矩形框B作为所述下一帧图片(N+1)中人脸出现的预测区域。当然，在其他的实施例中也可以采取其他的方式确定所述预测区域，例如将所述当前帧图片的人脸区域的矩形框A长和宽分开扩大1.5倍后形成的矩形框作为所述预测区域等方式。
基于所述当前帧图片的人脸区域，按照一定的规则确定所述当前帧图片的下一帧图片中人脸出现的预测区域。
S3：在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域。
确定出所述下一帧图片人脸可能出现的预测区域后，可以在所述预测区域范围内查找匹配与上一帧(即S2中的所述当前帧N)图片中获取的人脸区域相似度高的人脸区域的第一预选区域。
在本实施例可以提供一种模板匹配的方法来计算所述下一帧图片中的第一预选区域所述人脸区域的相似性。实施过程中，可以以所述当前帧图片人脸区域为原模板，可以设置以所述人脸区域的边界范围为移动窗口的大小，每次窗口移动可以形成新的匹配模块。在本实施例所述预测区域范围内，每次移动一个步长可以获取新的移动窗口区域的数据，分别计算所述移动窗口区域与所述人脸区域的相似性。本申请中可以不限制具体的某一种计算或判断两个区域相似性的方法，其他的可实现相同或相似功能的方法仍然可以适用本申请的实施过程中。具体的，所述根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域可以包括：
S301：按照第一移动步长遍历所述预测区域，获取所述人脸区域的比对区域。
所述的第一步长可以根据实际人脸位置跟踪的处理速度或处理精度需求进行设置。可以选的实施例中，为减少数据计算量以提高数据处理速度，同时保障人脸位置跟踪的精度要求，本实施例所述第一移动步长的取值范围额可以为大于或等于两个像素点。
S302：计算得到所述人脸区域与比对区域的相似度。
不同图像区域相似度的计算可以根据不同的应用场景或数据处理的需求选取相应的计算方式及计算参数。例如可以基于不同区域的图像的色彩、纹理、梯度等计算所述人脸区域与比对区域的相似度。本申请提供了一种计算所述相似度的实施方式，具体的，本申请的一种实施例中，可以利用下述公式计算所述人脸区域与所述比对区域的相似度dis：
min X＝max(-leftori,-leftdes)
max X＝max(width-leftori,width-leftdes)
min Y＝max(-topori,-topdes)
max Y＝max(height-topori,height-topdes)
effctiveNum＝[min(width,max X)-max(1,min X)]*[min(height,max X)-max(1,min Y)]
dis＝sumDis*(width*height)/effctiveNum
上述公式中，leftori、leftdes、topori、topdes可以分别表示为所述人脸区域的左边界位置、当前比对区域的左边界位置、所述人脸区域的上边界位置、当前比对区域的上边界位置；width可以表示为所述人脸区域的宽度，height可以表示为所述人脸区域的高度，f(i，j)可以表示为所述当前帧图片(即所述下一帧K+1的上一帧K)人脸区域中坐标为(i，j)像素点的灰度值，g(i，j)可以表示为所述下一帧图片比对区域中坐标为(i，j)像素点的灰度值；x可以表示为设置的经验阈值，dis为所述人脸区域与所述比对区域的相似度。上述公式中，max(a，b)可以不表示为取a、b中值较大的项，min(a，b)可以表为取a、b中值较小的项。
S303：将所述下一帧图片中相似度达到预定要求的比对区域作为所述下一帧图片的第一预选区域。
本实施例中可以设置预定要求，可以用于筛选出所述预测区域中符合预测要求的比对区域。例如所述预定要求可以设置为所述比对区域于所述人脸区域的相似度达到90％以上。或者所述相似度排序后指定百分比内的比对区域，例如所述相似度最高的前三个比对区域。本申请可选的一种实施例中，所述相似度达到预定要求的比对区域可以设置为，包括：
所述下一帧图片的比对区域中相似度的值最大的比对区域。
图3是本申请在所述预测区域匹配查找到的第一预选区域的示意图。如图3所示，在所述下一帧图片(N+1)的预测区域B内，可以查找到与所述当前帧图片N中的人脸区域A匹配度符合要求的第一预选区域C。本实施例可以仅选取所述下一帧比对区域中与所述当前帧图片的人脸区域最相似的区域作为所述第一预选区域。这样，相比于选取出多个预先区域可以减少数据处理量，更快的筛选出预先区域，提高人脸位置处理速度。
本实施例采用的模板匹配方法在计算获取所述第一预选区域时可以仅对一定区域内做像素灰度值的加减运算，相比于现有的其他跟踪算法，无需做过多处理和存储，时间和空间复杂度低。适用范围更广，尤其是对信息数据处理能力较弱的中低端类型手机、监控设备，可以有效减少计算量的同时提高人脸跟踪精度。另一方面，在近距离视频拍摄的人脸跟踪环境下，例如在手机前置摄像头的应用场景下，使用者在自拍的时候，人脸所占屏幕的比例旺旺会较大。采用本实施例所述的模板匹配方法可以获取整个视频界面内更多比例的人脸区域的有效信息，相比于其他跟踪算法，跟踪结果更可靠。
本实施例中可以在所述预测区域内根据一定的计算方法查找获取与所述人脸区域相似度达到预定要求的第一预选区域。
S4：检测所述下一帧图片的人脸区域；基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
在切换到所述下一帧图片时，可以检测所述下一帧图片是否存在人脸区域。如果检测出所述下一帧图片存在人脸区域，那么所述下一帧图片会得到所述检测出的人脸区域和人脸跟踪预测得到第一预选区域的至少两个人脸区域。本申请中可以结合所述的至少两个人脸区域通过一定的协同计算分析得到所述下一帧图片最终的人脸跟踪结果。
本申请可以采用所述根据预先设置的选取规则来判断选用哪一个人脸区域作为最终的人脸位置跟踪结果。本实施例中所述的选取规则可以包括根据所述下一帧图片的人脸区域与所述第一预选区域的重合面积占到其中一个人脸区域面积的不同百分比设置的选取所述下一帧图片人脸区域还是所述第一预选区域的选取规则。在本实施例中可以将所述下一帧图片的人脸区域与所述第一预选区域的重合面积占到所述下一帧图片的人脸区域或者所述第一预选区域面积的百分比定义为重合系数Q。
图4是本申请提供的一种确定人脸位置跟踪结果的选取场景示意图。如图4中所示，矩形框D可以表示为检测出的所述下一帧图片的人脸区域，在此简称为检测结果；矩形框C可以表示通过上述步骤S1至S3以及其他实施例跟踪计算得到的所述下一帧图片的第一预选区域，在此简称为跟踪结果；阴影部分为最终确定的所述下一帧图片的人脸位置跟踪结果。在所述下一帧图片中同时存在所述检测结果和所述跟踪结果时，如果所述检测结果与所述跟踪结果不重合，即所述重合系数Q为0，可以使用跟踪结果作为所述人脸位置跟踪结果，如图4中4-1所示。如果所述检测结果和所述跟踪结果有重合区域，但重合面积较小，未达到设定的重合要求，此时可以使用跟踪结果作为所述人脸位置跟踪结果，如图4中4-2所示。另一种情况下，如果所述检测结果与所述跟踪结果大面积重合，达到设定重合要求，例如95％的面积重合，此时可以选取检测结果作为所述人脸位置跟踪结果，如图4中4-3所示。当然，如果所述下一帧图片未检测到人脸区域，则可以直接使用所述跟踪结果作为所述人脸位置跟踪结果，如图4中4-4所示。
因此，可选的实施例中，所述根据所述下一帧图片的人脸区域的检测结果和预设的选取规则确定所述下一帧图片的人脸位置跟踪结果可以包括：
所述下一帧图片的人脸区域的检测结果为未检测到人脸区域时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；
检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数为0时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；
检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数小于预定阀值时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；
检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数大于或等于预定阀值时，以所述检测出的所述下一帧图片的人脸区域作为所述下一帧图片的人脸位置跟踪结果。
本实施例给出了一种从所述检测结果和跟踪结果中如何选取最终人脸位置跟踪结果的实施方法。利用本申请所述实施例可以实现在人脸快速移动、光线突变、强光干扰等复杂环境下准确、快速的跟踪人脸位置。实施方案中在帧图片中出现帧丢失，未检测到人脸的情况时，仍然可以实现人脸位置的跟踪确认，达到人脸位置的连续跟踪的效果，使人脸跟踪画面流畅。即使未出现帧丢失，在帧图片中也可以在检测结果和跟踪结果之间根据预定的选取规则选取更为合适的区域作为人脸位置跟踪结果，提高人脸跟踪效果，提升用户体验。
需要主要说明的是，本申请中所述的当前帧、下一帧、上一帧以及前一阵等描述在实际的应用中可以认为是对帧图片信息处理对象描述的相对概念。如可以标记视频流中某个时刻的帧图片为当前帧图片N，那么相应的下一帧可以为第N+1帧图片，上一帧可以为第N-1帧图片。在跟踪处理完所述下一帧第N+1帧图片后可以继续处理跟踪第N+2帧图片中的人脸位置，此时，所述的当前帧图片应该为第N+1帧图片，相应的，相对应所述当前帧图片(N+1)的下一帧图片可以为第N+2帧图片。
在连续帧图片处理时，在跟踪处理完当前帧图片的人脸位置跟踪后，可以以当前帧图片的处理结果作为下一帧人脸位置跟踪时的参考或者初始化信息继续跟踪下一帧图片中的人脸位置。在一些应用场景中，一般的，所述视频流中每秒需要处理的帧图片较多，可以到达十几帧甚至几十帧。在人脸位置跟踪处理时，如果出现光线强烈变、人脸快速移动等导致某一帧N中人脸跟踪丢失导致未检测出人脸时，可以将上一帧(N-1)检测或处理的结果得到的人脸区域作为该人脸跟踪丢失的帧N跟踪出的人脸区域。可扩展的实施方式中，如果所述上一帧(N-1)仍然未检测和跟踪出出人脸，则可以继续使用前一帧(N-2)的检测或者根据处理得到人脸区域结果，依次类推。当然，如果根据预先设定的判断规则，如果连续多帧未检测出人脸，可以判断当前人脸不再摄像范围内。
上述实施例在所述下一帧图片中查找人脸出现的预测区域时，可以根据需要设置所述第一移动步长的值，例如可以设置每次移动2个像素点或者每次移动5个像素点。一般的，所述的移动步长的值设置的越大，查找与上一帧人脸区域相似区域的速度越快，处理的数据量也越少。所述移动步长的值设置的越小，相应的查找的精度也就越高。在上述所述第一移动步长的取值范围为大于或等于两个像素点的实施例中，为进一步提高查找所述第一预选区域的精度，本申请提供的另一种优选的实施例中，所述方法还可以包括：
S304：在所述第一预选区域周围的第二步长范围内以查找与所述人脸区域相似度最高的第二预选区域，所述第二步长的取值小于所述第一步长；此时，可以将通过更精细的查找获得的第二预选区域作为所述下一帧图片人脸位置区域的跟踪结果。在后续确认最终的人脸位置跟踪结果时可以在检测结果和所述第二预选区域之间进行选取，因此，
相应的，所述基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果包括：基于所述第二预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
具体的应用中，例如所述第一步长为2个像素，那么本实施例中可以将在所述第一预选区域周围一个像素点的范围内人脸区域与所述上一帧图片的人脸区域进行相似性计算，获取相似度值最高的区域。具体的，本实施例中可以使用步骤S302中所述的相似度计算方法来计算得出所述第二预选区域，当然也不排除其他的判断两个区域相似性的计算方法，在此不做赘述。图5是本申请实施例中进一步查找所述第二预选区域的示意图。如图5所示，矩形框C为在预测区域内以步长2个像素确定的人脸区域的第一预选区域，矩形框D为所述第一预选区域C右上角一个像素点的一个比对区域C_ru。当然，所述第一预选区域周围一个像素点的范围可以包括所述第一预选区域向下移动一个像素点形成的比对区域C_d、向上移动一个像素点形成的比对区域C_u、向左下角移动一个像素点形成的比对区域C_ld等。然后可以分别计算所述第一预选区域周围一个像素点的比对区域与所述人脸区域的相似度，可以从中选取所述相似度数值最高的比对区域作为所述第二预选区域。
本实施例中通过值设置较大第一步长的计算得到第一预选区域，可以有效减少图片对比查找的计算量，提高人脸位置跟踪的数据处理速度。然后本实施例可以基于所述第一预选区域的结果在周围比第一步长小的第二步长范围内进行更精细的查找，获取跟踪结果更为准确的第二预选区域。这样，可以达到快速查找处理的同时，又可以提供人脸跟踪的准确性，提高人脸跟踪效果。
基于本申请所述的人脸位置跟踪方法，本申请提供一种人脸位置跟踪装置。图6是本申请所述人脸位置跟踪装置一种实施例的模块结构示意图，如图6所示，所述装置可以包括：
检测模块101，可以用于检测帧图片的人脸区域；
预测区域计算模块102，可以用于根据所述次检测模块101检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域；
预选区域计算模块103，可以用于在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；
跟踪结果选取模块104，可以用于基于所述第一预选区域和所述检测模块101对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
在本申请所述人脸位置跟踪装置的实施例中，所述检测模块101可以随着时间轴的推进连续检测摄像装置拍摄获取的帧图片中的人脸区域。例如视频流中每秒拍摄15帧视频图片，在进行人脸位置跟踪时可以检测当前帧(第N帧)图片中的人脸区域。检测、跟踪处理完当前帧(第N帧)图片的信息数据后可以继续检测下一帧(第N+1)图片中的人脸区域。
本申请装置所述检测模块101的一种实施例中可以采用降低分类级数的Adaboost方法检测并获取当前帧图片的人脸区域。这样，可以减少人脸检测的数据计算量，提高人脸位置跟踪的定位、处理速度。
本申请装置的另一种实施例中，在人脸位置跟踪处理时可以只跟踪离摄像头最近的人脸，在实施过程中可以取当前帧图片中最大的人脸框作为人脸跟踪对象。因此，本申请所述装置的另一种实施例中，所述述检测模块101检测帧图片的人脸区域包括：
在检测出当前帧图片中至少存在两组人脸时，选取所述当前帧中图片面积最大的人脸对应的区域作为所述当前帧图片的人脸区域。
本申请中不限制所述的预选区域计算模块103查找计算所述第一预选区域的方法。图7是本申请所述装置提供的所述预选区域计算模块103一种实施例的模块结构示意图。如图7所示，所述预选区域计算模块103可以包括：
比对区域模块1031，可以用于按照设定的第一步长遍历所述预测区域，获取所述人脸区域的比对区域；
相似度计算模块1032，可以用于计算得到所述人脸区域与比对区域的相似度。
本申请所述装置的一种实施例中，所述相似度计算模块1032可以利用下述公式计算所述人脸区域与所述比对区域的相似度dis：
min X＝max(-leftori,-leftdes)
max X＝max(width-leftori,width-leftdes)
min Y＝max(-topori,-topdes)
max Y＝max(height-topori,height-topdes)
effctiveNum＝[min(width,max X)-max(1,min X)]*[min(height,max X)-max(1,min Y)]
dis＝sumDis*(width*height)/effctiveNum
上述公式中，leftori、leftdes、topori、topdes分别表示为所述人脸区域的左边界位置、当前比对区域的左边界位置、所述人脸区域的上边界位置、当前比对区域的上边界位置；width表示为所述人脸区域的宽度，height表示为所述人脸区域的高度，f(i，j)表示为所述当前帧图片人脸区域中坐标为(i，j)像素点的灰度值，g(i，j)表示为所述下一帧图片比对区域中坐标为(i，j)像素点的灰度值；x表示为设置的经验阈值，dis为所述人脸区域与所述比对区域的相似度；
第一预选模块1033，可以用于将所述下一帧图片中相似度达到预定要求的比对区域作为所述下一帧图片的第一预选区域。
上述所述装置以及包括所述相似度计算模块1032中利用的计算公式，可以所述装置/模块具体的实施过程中可以以计算机可读的程序语言实现，例如C语言。或者结合必要的硬件结构以硬件+软件的方式实现。
可以选取实施例中，所述第一预选模块1033中设定的预选要求可以设置为与所述人脸区域相似度最高。因此，另一种实施例中，所述第一预选模块1033中所述相似度达到预定要求的比对区域可以包括：
所述下一帧图片的比对区域中相似度的值最大的比对区域。
上述实施例中，所述比对区域模块1031中设置的第一步长可以根据本申请对人脸位置跟踪装置的处理速度或精度的要求进行设置。本申请所述装置的一种实施方式中，所述第一移动步长的取值范围可以设置为大于或等于两个像素点。
本申请还可以提供所述人脸位置跟踪装置一种优选的实施例。图8本申请所述预选区域计算模块另一种实施例的模块结构示意图。如图8所示，所述预选区域计算模块103还可以包括：
第二预选模块1034，可以用于在所述第一预选区域周围的第二步长范围内查找与所述人脸区域相似度最高的第二预选区域，其中，所述第二步长的取值小于所述第一步长。
相应的，所述跟踪结果选取模块104基于所述第一预选区域和所述检测模块101对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果，包括：所述跟踪结果选取模块104基于所述第二预选区域和所述检测模块101对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
在本实施例所述的人脸位置跟踪装置，可以基于所述第一预选区域的结果在周围比第一步长小的第二步长范围内进行更精细的查找，获取跟踪结果更为准确的第二预选区域。这样，可以达到快速查找处理的同时，又可以提供人脸位置跟踪的准确性，提高人脸跟踪效果。
图9是本申请提供的跟踪结果选取模块104一种实施例的模块结构示意图。如图9所示，所述跟踪结果选取模块104可以包括：
检测计算模块1041，可以用于检测所述下一帧图片的人脸区域；还可以用于在检测出所述下一帧图片的人脸区域时计算所述下一帧人脸区域与所述第一预选区域的重合系数Q。该实施例中，所述的重合系数Q可以表示为所述下一帧图片的人脸区域与所述第一预选区域的重合面积占到所述下一帧图片的人脸区域或者所述第一预选区域面积的百分比。
选取模块1042，可以用于在所述检测计算模块1041满足未检测到所述下一帧图片的人脸区域、所述检测计算模块1041计算得到的重合系数为0、所述检测计算模块1041计算得到的重合系数小于预定阀值中的至少一项时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；还可以用于在所述检测计算模块1041计算得到的重合系数大于或等于预定阀值时，以检测模块101检测出的所述下一帧图片的人脸区域作为所述下一帧图片的人脸位置跟踪结果。
本实施例方案提供了一种从检测结果和跟踪结果中确定最终人脸位置跟踪结果的选取方案。利用本申请所述实施例可以实现在人脸快速移动、光线突变、强光干扰等复杂环境下准确、快速的跟踪人脸位置。本实施例在帧图片中出现帧丢失，未检测到人脸的情况时，仍然可以实现人脸位置的跟踪确认，达到人脸位置的连续跟踪效果，使人脸跟踪画面流畅。即使未出现帧丢失，在帧图片中也可以在检测结果和跟踪结果之间根据预定的选取规则选取更为合适的区域作为人脸位置跟踪结果，提高人脸跟踪效果，提升用户体验。
本申请所述的人脸位置跟踪方法或装置可以适用在多种终端设备上，实现人脸更加快速、准确、流程的人脸位置跟踪，例如基于Android或iOS系统的移动通讯终端的视频拍摄、监控设备、连续帧序列图片的人脸位置跟踪设备等。因此，本申请还提供一种人脸位置跟踪的电子设备，所述电子设备可以包括检测获取视频帧图片的摄像装置、视频播放显示的显示器和信息数据处理的处理单元等。具体的，图10是本申请所述人脸位置跟踪的电子装置的一种实施例结构示意图，如图10所示，所述电子设备可以被设置成，包括：
信息获取单元1，可以用于获取待处理的帧图片；
处理单元2，可以用于检测所述帧图片的人脸区域；还可以用于根据检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域，并在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；还可以用于基于所述第一预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果；
显示单元3，可以用于显示所述处理单元2得到的人脸位置跟踪结果。
本申请中所述的电子设备中的信息获取单元1，可以包括移动终端的前置摄像头、后置设置头，或者监控设置的摄像装置。在其他的应用场景中，也可以包括计算机处理实时或者已经摄像完成的图像信息数据的实施方式，例如通过计算机对一段视频信息进行人脸位置跟踪的处理。所述的处理单元2可以包括中央处理器(CPU)，当然也可以包括其他的具有逻辑处理能力的单片机、逻辑门电路、集成电路等等。所述显示单元3一般的可以包括显示器、移动终端显示屏、投影设备等。
尽管本申请内容中提到人脸检测方法、模块单元之间的数据交互等的数据处理、信息展示的描述，但是，本申请并不局限于必须是完全标准或者实施例中所提及的数据处理、信息展示的情况。本申请中各个实施例所涉及的上述描述仅是本申请中的一些实施例中的应用，在某些标准、方法的基础上略加修改后的处理方法也可以实行上述本申请各实施例的方案。当然，在符合本申请上述各实施例的中所述的处理方法步骤的其他无创造性的变形，仍然可以实现相同的申请，在此不再赘述。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的单元或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置、设备时以功能分为各种模块、单元分别描述。当然，在实施本申请时可以把多个模块的功能在同一个或多个软件和/或硬件中实现，如第一预选模块和第二预选模块。也可以将实现同一功能的模块由多个子模块或子单元的组合实现。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如C语言、或者基于Android、iOS设计平台的程序模块等。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (17)

1.一种人脸位置跟踪方法，其特征在于，所述方法包括：
获取当前帧图片的人脸区域；
根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域；
在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；
检测所述下一帧图片的人脸区域；基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
2.如权利要求1所述的一种人脸位置跟踪方法，其特征在于，所述在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域包括：
按照第一移动步长遍历所述预测区域，获取所述人脸区域的比对区域；
计算得到所述人脸区域与比对区域的相似度；
将所述下一帧图片中相似度达到预定要求的比对区域作为所述下一帧图片的第一预选区域。
3.如权利要求2所述的一种人脸位置跟踪方法，其特征在于，利用下述公式计算所述人脸区域与所述比对区域的相似度：
min X＝max(-leftori,-leftdes)
max X＝max(width-leftori,width-leftdes)
min Y＝max(-topori,-topdes)
max Y＝max(height-topori,height-topdes)
s u m D i s = { Σ i = max ( 1 , min X ) min ( w i d t h , max X ) Σ j = max ( 1 , min Y ) min ( h e i g h t , max X ) min { | f ( i , j ) - g ( i , j ) | , x } }
effctiveNum＝[min(width,max X)-max(1,min X)]*[min(height,max X)-max(1,min Y)]
dis＝sumDis*(width*height)/effctiveNum
上述公式中，leftori、leftdes、topori、topdes分别表示为所述人脸区域的左边界位置、当前比对区域的左边界位置、所述人脸区域的上边界位置、当前比对区域的上边界位置；width表示为所述人脸区域的宽度，height表示为所述人脸区域的高度，f(i，j)表示为所述当前帧图片人脸区域中坐标为(i，j)像素点的灰度值，g(i，j)表示为所述下一帧图片比对区域中坐标为(i，j)像素点的灰度值；x表示为设置的经验阈值，dis为所述人脸区域与所述比对区域的相似度。
4.如权利要求2所述的一种人脸位置跟踪方法，其特征在于，所述相似度达到预定要求的比对区域包括：
所述下一帧图片的比对区域中相似度的值最大的比对区域。
5.如权利要求2所述的一种人脸位置跟踪方法，其特征在于，所述第一移动步长的取值范围为大于或等于两个像素点。
6.如权利要求2至5中任意一项所述的一种人脸位置跟踪方法，其特征在于，所述方法还包括：
在所述第一预选区域周围的第二步长范围内查找与所述人脸区域相似度最高的第二预选区域，所述第二步长的取值小于所述第一步长；
相应的，所述基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果包括：基于所述第二预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
7.如权利要求1所述的一种人脸位置跟踪方法，其特征在于，所述基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果包括：
所述下一帧图片的人脸区域的检测结果为未检测到人脸区域时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；
检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数为0时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；
检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数小于预定阀值时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；
检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数大于或等于预定阀值时，以所述检测出的所述下一帧图片的人脸区域作为所述下一帧图片的人脸位置跟踪结果。
8.如权利要求1所述的一种人脸位置跟踪方法，其特征在于，所述的获取当前帧图片的人脸区域包括：
在检测出当前帧图片中至少存在两组人脸时，选取所述当前帧中图片面积最大的人脸对应的区域作为所述当前帧图片的人脸区域。
9.一种人脸位置跟踪装置，其特征在于，所述装置包括：
检测模块，用于检测帧图片的人脸区域；
预测区域计算模块，用于根据所述检测模块检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域；
预选区域计算模块，用于在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；
跟踪结果选取模块，用于基于所述第一预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
10.如权利要求9所述的一种人脸位置跟踪装置，其特征在于，所述预选区域计算模块包括：
比对区域模块，用于按照设定的第一步长遍历所述预测区域，获取所述人脸区域的比对区域；
相似度计算模块，用于计算得到所述人脸区域与比对区域的相似度；
第一预选模块，用于将所述下一帧图片中相似度达到预定要求的比对区域作为所述下一帧图片的第一预选区域。
11.如权利要求10所述的一种人脸位置跟踪装置，其特征在于，利用下述公式计算所述人脸区域与所述比对区域的相似度：
min X＝max(-leftori,-leftdes)
max X＝max(width-leftori,width-leftdes)
min Y＝max(-topori,-topdes)
max Y＝max(height-topori,height-topdes)
s u m D i s = { Σ i = max ( 1 , min X ) min ( w i d t h , max X ) Σ j = max ( 1 , min Y ) min ( h e i g h t , max X ) min { | f ( i , j ) - g ( i , j ) | , x } }
effctiveNum＝[min(width,max X)-max(1,min X)]*[min(height,max X)-max(1,min Y)]
dis＝sumDis*(width*height)/effctiveNum
上述公式中，leftori、leftdes、topori、topdes分别表示为所述人脸区域的左边界位置、当前比对区域的左边界位置、所述人脸区域的上边界位置、当前比对区域的上边界位置；width表示为所述人脸区域的宽度，height表示为所述人脸区域的高度，f(i，j)表示为所述当前帧图片人脸区域中坐标为(i，j)像素点的灰度值，g(i，j)表示为所述下一帧图片比对区域中坐标为(i，j)像素点的灰度值；x表示为设置的经验阈值，dis为所述人脸区域与所述比对区域的相似度。
12.如权利要求10所述的一种人脸位置跟踪装置，其特征在于，所述第一预选模块中所述相似度达到预定要求的比对区域包括：
所述下一帧图片的比对区域中相似度的值最大的比对区域。
13.如权利要求10所述的一种人脸位置跟踪装置，其特征在于，所述第一移动步长的取值范围为大于或等于两个像素点。
14.如权利要求10至13中任意一项所述的一种人脸位置跟踪装置，其特征在于，所述预选区域计算模块还包括：
第二预选模块，用于在所述第一预选区域周围的第二步长范围内查找与所述人脸区域相似度最高的第二预选区域，所述第二步长的取值小于所述第一步长；
相应的，所述跟踪结果选取模块基于所述第一预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果，包括：所述跟踪结果选取模块基于所述第二预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。
15.如权利要求9所述的一种人脸位置跟踪装置，其特征在于，所述跟踪结果选取模块包括：
检测计算模块，用于检测所述下一帧图片的人脸区域；还用于在检测出所述下一帧图片的人脸区域时计算所述下一帧人脸区域与所述第一预选区域的重合系数；
选取模块，用于在所述检测计算模块满足未检测到所述下一帧图片的人脸区域、所述检测计算模块计算得到的重合系数为0、所述检测计算模块计算得到的重合系数小于预定阀值中的至少一项时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；还用于在所述检测计算模块计算得到的重合系数大于或等于预定阀值时，以检测模块检测出的所述下一帧图片的人脸区域作为所述下一帧图片的人脸位置跟踪结果。
16.如权利要求9所述的一种人脸位置跟踪装置，其特征在于，所述述检测模块检测帧图片的人脸区域包括：
在检测出当前帧图片中至少存在两组人脸时，选取所述当前帧中图片面积最大的人脸对应的区域作为所述当前帧图片的人脸区域。
17.一种人脸位置跟踪的电子设备，其特征在于，所述电子设备被设置成，包括：
信息获取单元，用于获取待处理的帧图片；
处理单元，用于检测所述帧图片的人脸区域；还用于根据检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域，并在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；还用于基于所述第一预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果；
显示单元，用于显示所述处理单元得到的人脸位置跟踪结果。
CN201510772348.7A 2015-11-12 2015-11-12 一种人脸位置跟踪方法、装置和电子设备 Active CN106709932B (zh)

Priority Applications (14)

Application Number Priority Date Filing Date Title
CN201510772348.7A CN106709932B (zh) 2015-11-12 2015-11-12 一种人脸位置跟踪方法、装置和电子设备
SG11201803990YA SG11201803990YA (en) 2015-11-12 2016-11-04 Face location tracking method, apparatus, and electronic device
AU2016352215A AU2016352215B2 (en) 2015-11-12 2016-11-04 Method and device for tracking location of human face, and electronic equipment
PCT/CN2016/104491 WO2017080399A1 (zh) 2015-11-12 2016-11-04 一种人脸位置跟踪方法、装置和电子设备
KR1020187016518A KR102150776B1 (ko) 2015-11-12 2016-11-04 얼굴 위치 추적 방법, 장치 및 전자 디바이스
SG10202001825PA SG10202001825PA (en) 2015-11-12 2016-11-04 Face location tracking method, apparatus, and electronic device
JP2018524732A JP6873126B2 (ja) 2015-11-12 2016-11-04 顔位置追跡方法、装置及び電子デバイス
MYPI2018000714A MY196931A (en) 2015-11-12 2016-11-04 Face location tracking method, apparatus, and electronic device
EP16863576.1A EP3376469A4 (en) 2015-11-12 2016-11-04 Method and device for tracking location of human face, and electronic equipment
US15/977,576 US10410046B2 (en) 2015-11-12 2018-05-11 Face location tracking method, apparatus, and electronic device
PH12018501017A PH12018501017A1 (en) 2015-11-12 2018-05-15 Method, apparatus, and electronic device for face tracking
US16/561,918 US10713472B2 (en) 2015-11-12 2019-09-05 Face location tracking method, apparatus, and electronic device
US16/925,072 US11003893B2 (en) 2015-11-12 2020-07-09 Face location tracking method, apparatus, and electronic device
US17/316,487 US11423695B2 (en) 2015-11-12 2021-05-10 Face location tracking method, apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510772348.7A CN106709932B (zh) 2015-11-12 2015-11-12 一种人脸位置跟踪方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN106709932A true CN106709932A (zh) 2017-05-24
CN106709932B CN106709932B (zh) 2020-12-04

Family

ID=58694441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510772348.7A Active CN106709932B (zh) 2015-11-12 2015-11-12 一种人脸位置跟踪方法、装置和电子设备

Country Status (10)

Country Link
US (4) US10410046B2 (zh)
EP (1) EP3376469A4 (zh)
JP (1) JP6873126B2 (zh)
KR (1) KR102150776B1 (zh)
CN (1) CN106709932B (zh)
AU (1) AU2016352215B2 (zh)
MY (1) MY196931A (zh)
PH (1) PH12018501017A1 (zh)
SG (2) SG10202001825PA (zh)
WO (1) WO2017080399A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622252A (zh) * 2017-09-29 2018-01-23 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN107944381A (zh) * 2017-11-20 2018-04-20 深圳云天励飞技术有限公司 人脸跟踪方法、装置、终端及存储介质
CN108109107A (zh) * 2017-12-18 2018-06-01 北京奇虎科技有限公司 视频数据处理方法及装置、计算设备
CN108256479A (zh) * 2018-01-17 2018-07-06 百度在线网络技术（北京）有限公司 人脸跟踪方法和装置
CN108776822A (zh) * 2018-06-22 2018-11-09 腾讯科技（深圳）有限公司 目标区域检测方法、装置、终端及存储介质
CN109064489A (zh) * 2018-07-17 2018-12-21 北京新唐思创教育科技有限公司 用于人脸追踪的方法、装置、设备和介质
CN109508575A (zh) * 2017-09-14 2019-03-22 深圳超多维科技有限公司 人脸跟踪方法及装置、电子设备和计算机可读存储介质
CN109993081A (zh) * 2019-03-20 2019-07-09 浙江农林大学暨阳学院 一种基于道路视频及车牌检测的车流量统计方法
CN110580444A (zh) * 2019-06-28 2019-12-17 广东奥园奥买家电子商务有限公司 一种人体检测方法及装置
CN110866428A (zh) * 2018-08-28 2020-03-06 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN110909579A (zh) * 2018-09-18 2020-03-24 杭州海康威视数字技术股份有限公司 一种视频图像处理方法、装置、电子设备及存储介质
CN111127508A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种基于视频的目标跟踪方法及装置
CN111444875A (zh) * 2020-04-07 2020-07-24 珠海格力电器股份有限公司 一种人脸跟踪方法、装置、设备和计算机可读存储介质
CN111722772A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 内容显示方法、装置及计算设备
CN112417963A (zh) * 2020-10-20 2021-02-26 上海卫莎网络科技有限公司 一种优化视频目标检测、识别或分割的精度和效率的方法
CN114220163A (zh) * 2021-11-18 2022-03-22 北京百度网讯科技有限公司 人体姿态估计方法、装置、电子设备及存储介质
WO2023088074A1 (zh) * 2021-11-18 2023-05-25 北京眼神智能科技有限公司 人脸跟踪方法、装置、存储介质及设备

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709932B (zh) 2015-11-12 2020-12-04 创新先进技术有限公司 一种人脸位置跟踪方法、装置和电子设备
CA3056026A1 (en) * 2016-03-22 2017-09-28 Communities Uncomplicated Inc. A method and system for tracking objects
CN106778585B (zh) * 2016-12-08 2019-04-16 腾讯科技（上海）有限公司 一种人脸关键点跟踪方法和装置
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
CN108334811B (zh) * 2017-12-26 2021-06-04 大唐软件技术股份有限公司 一种人脸图像处理方法及装置
WO2019170024A1 (zh) * 2018-03-06 2019-09-12 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、存储介质
CN108460787B (zh) 2018-03-06 2020-11-27 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
US10171738B1 (en) * 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
CN110970057B (zh) * 2018-09-29 2022-10-28 华为技术有限公司 一种声音处理方法、装置与设备
CN109241345B (zh) * 2018-10-10 2022-10-14 百度在线网络技术（北京）有限公司 基于人脸识别的视频定位方法和装置
KR102177453B1 (ko) * 2018-10-16 2020-11-11 서울시립대학교 산학협력단 얼굴 인식 방법 및 얼굴 인식 장치
CN109461169A (zh) * 2018-10-22 2019-03-12 同济大学 一种用于人脸追踪和人体定位的系统及方法
KR102144101B1 (ko) * 2019-02-15 2020-08-12 주식회사 비플러스랩 안면 인식 방법 및 이를 적용한 출입문 안면 인식 시스템
TWI719409B (zh) * 2019-02-23 2021-02-21 和碩聯合科技股份有限公司 追蹤系統及其方法
JP7129652B2 (ja) * 2019-07-22 2022-09-02 パナソニックＩｐマネジメント株式会社 歩行機能評価装置、歩行機能評価システム、歩行機能評価方法、プログラム、及び、認知機能評価装置
SG10201913029SA (en) * 2019-12-23 2021-04-29 Sensetime Int Pte Ltd Target tracking method and apparatus, electronic device, and storage medium
CN111429338B (zh) * 2020-03-18 2023-08-01 百度在线网络技术（北京）有限公司 用于处理视频的方法、装置、设备和计算机可读存储介质
CN111565300B (zh) * 2020-05-22 2020-12-22 深圳市百川安防科技有限公司 基于对象的视频文件处理方法、设备及系统
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040228505A1 (en) * 2003-04-14 2004-11-18 Fuji Photo Film Co., Ltd. Image characteristic portion extraction method, computer readable medium, and data collection and processing device
CN101527838A (zh) * 2008-03-04 2009-09-09 华为技术有限公司 对视频对象的反馈式对象检测与跟踪的方法和系统
CN102054159A (zh) * 2009-10-28 2011-05-11 腾讯科技（深圳）有限公司 一种人脸跟踪的方法和装置
CN102306290A (zh) * 2011-10-14 2012-01-04 刘伟华 一种基于视频的人脸跟踪识别技术
US20130236068A1 (en) * 2012-03-12 2013-09-12 Kave Eshghi Calculating facial image similarity
US20140286527A1 (en) * 2013-03-20 2014-09-25 Qualcomm Incorporated Systems and methods for accelerated face detection
US20140328514A1 (en) * 2011-09-01 2014-11-06 Renesas Electronics Corporation Object tracking device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204036A1 (en) * 2005-03-09 2006-09-14 Dean Huang Method for intelligent video processing
EP1909229B1 (en) * 2006-10-03 2014-02-19 Nikon Corporation Tracking device and image-capturing apparatus
JP4987513B2 (ja) * 2007-03-07 2012-07-25 綜合警備保障株式会社 追跡装置、追跡方法、及び追跡プログラム
JP4882956B2 (ja) * 2007-10-22 2012-02-22 ソニー株式会社 画像処理装置および画像処理方法
CN101231703A (zh) * 2008-02-28 2008-07-30 上海交通大学 基于相关向量机和提升学习的多人脸跟踪方法
US8131068B2 (en) * 2008-06-06 2012-03-06 Nikon Corporation Image matching device and camera
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
KR20100057362A (ko) * 2008-11-21 2010-05-31 삼성전자주식회사 영상의 유사도 판단 방법, 상기 방법을 기록한 기록 매체 및 상기 방법을 실행하는 장치
JP5127686B2 (ja) * 2008-12-11 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法、ならびに、撮像装置
JP5272789B2 (ja) * 2009-02-19 2013-08-28 株式会社ニコン 撮像装置
JP5355446B2 (ja) * 2010-02-19 2013-11-27 株式会社東芝 移動物体追跡システムおよび移動物体追跡方法
JP5955057B2 (ja) * 2012-03-30 2016-07-20 セコム株式会社 顔画像認証装置
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别系统及其方法
CN103279751A (zh) * 2013-06-19 2013-09-04 电子科技大学 一种基于精确定位虹膜的眼动跟踪方法
JP6117089B2 (ja) * 2013-12-12 2017-04-19 セコム株式会社 人物検出装置
CN104318211A (zh) * 2014-10-17 2015-01-28 中国传媒大学 一种抗遮挡人脸跟踪方法
CN104794439A (zh) * 2015-04-10 2015-07-22 上海交通大学 基于多相机的准正面人脸图像实时优选方法及系统
CN106709932B (zh) 2015-11-12 2020-12-04 创新先进技术有限公司 一种人脸位置跟踪方法、装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040228505A1 (en) * 2003-04-14 2004-11-18 Fuji Photo Film Co., Ltd. Image characteristic portion extraction method, computer readable medium, and data collection and processing device
CN101527838A (zh) * 2008-03-04 2009-09-09 华为技术有限公司 对视频对象的反馈式对象检测与跟踪的方法和系统
CN102054159A (zh) * 2009-10-28 2011-05-11 腾讯科技（深圳）有限公司 一种人脸跟踪的方法和装置
US20140328514A1 (en) * 2011-09-01 2014-11-06 Renesas Electronics Corporation Object tracking device
CN102306290A (zh) * 2011-10-14 2012-01-04 刘伟华 一种基于视频的人脸跟踪识别技术
US20130236068A1 (en) * 2012-03-12 2013-09-12 Kave Eshghi Calculating facial image similarity
US20140286527A1 (en) * 2013-03-20 2014-09-25 Qualcomm Incorporated Systems and methods for accelerated face detection

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. A. MOHAMMED等: "Efficient Face Tracking and Detection in Video: Based on Template Matching", 《PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING，COMPUTER VISION，AND PATTERN RECOGNITION (IPCV)》 *
PAUL VIOLA: "Robust Real-Time Face Detection", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
张有为 等著: "《人机自然交互》", 30 September 2004, 北京：国防工业出版社 *
樊慧慧 等: "一种复杂环境下的动态多人脸自动检测与实时跟踪方法", 《计算机应用研究》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508575A (zh) * 2017-09-14 2019-03-22 深圳超多维科技有限公司 人脸跟踪方法及装置、电子设备和计算机可读存储介质
CN107622252A (zh) * 2017-09-29 2018-01-23 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN107944381B (zh) * 2017-11-20 2020-06-16 深圳云天励飞技术有限公司 人脸跟踪方法、装置、终端及存储介质
CN107944381A (zh) * 2017-11-20 2018-04-20 深圳云天励飞技术有限公司 人脸跟踪方法、装置、终端及存储介质
CN108109107B (zh) * 2017-12-18 2021-08-20 北京奇虎科技有限公司 视频数据处理方法及装置、计算设备
CN108109107A (zh) * 2017-12-18 2018-06-01 北京奇虎科技有限公司 视频数据处理方法及装置、计算设备
CN108256479A (zh) * 2018-01-17 2018-07-06 百度在线网络技术（北京）有限公司 人脸跟踪方法和装置
CN108776822A (zh) * 2018-06-22 2018-11-09 腾讯科技（深圳）有限公司 目标区域检测方法、装置、终端及存储介质
CN109064489A (zh) * 2018-07-17 2018-12-21 北京新唐思创教育科技有限公司 用于人脸追踪的方法、装置、设备和介质
CN110866428A (zh) * 2018-08-28 2020-03-06 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN110866428B (zh) * 2018-08-28 2023-12-15 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN110909579A (zh) * 2018-09-18 2020-03-24 杭州海康威视数字技术股份有限公司 一种视频图像处理方法、装置、电子设备及存储介质
CN111127508A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种基于视频的目标跟踪方法及装置
CN111127508B (zh) * 2018-10-31 2023-05-02 杭州海康威视数字技术股份有限公司 一种基于视频的目标跟踪方法及装置
CN109993081A (zh) * 2019-03-20 2019-07-09 浙江农林大学暨阳学院 一种基于道路视频及车牌检测的车流量统计方法
CN111722772A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 内容显示方法、装置及计算设备
CN110580444A (zh) * 2019-06-28 2019-12-17 广东奥园奥买家电子商务有限公司 一种人体检测方法及装置
CN110580444B (zh) * 2019-06-28 2023-09-08 时进制(上海)技术有限公司 一种人体检测方法及装置
CN111444875B (zh) * 2020-04-07 2024-05-03 珠海格力电器股份有限公司 一种人脸跟踪方法、装置、设备和计算机可读存储介质
CN111444875A (zh) * 2020-04-07 2020-07-24 珠海格力电器股份有限公司 一种人脸跟踪方法、装置、设备和计算机可读存储介质
CN112417963A (zh) * 2020-10-20 2021-02-26 上海卫莎网络科技有限公司 一种优化视频目标检测、识别或分割的精度和效率的方法
CN114220163A (zh) * 2021-11-18 2022-03-22 北京百度网讯科技有限公司 人体姿态估计方法、装置、电子设备及存储介质
CN114220163B (zh) * 2021-11-18 2023-01-06 北京百度网讯科技有限公司 人体姿态估计方法、装置、电子设备及存储介质
WO2023088074A1 (zh) * 2021-11-18 2023-05-25 北京眼神智能科技有限公司 人脸跟踪方法、装置、存储介质及设备

Also Published As

Publication number Publication date
KR20180084085A (ko) 2018-07-24
MY196931A (en) 2023-05-11
US20210264133A1 (en) 2021-08-26
US20200342211A1 (en) 2020-10-29
SG10202001825PA (en) 2020-04-29
EP3376469A1 (en) 2018-09-19
AU2016352215B2 (en) 2020-10-01
PH12018501017A1 (en) 2018-11-05
US11003893B2 (en) 2021-05-11
JP2018533805A (ja) 2018-11-15
US10410046B2 (en) 2019-09-10
SG11201803990YA (en) 2018-06-28
US20180260614A1 (en) 2018-09-13
EP3376469A4 (en) 2018-11-21
JP6873126B2 (ja) 2021-05-19
KR102150776B1 (ko) 2020-09-02
WO2017080399A1 (zh) 2017-05-18
US11423695B2 (en) 2022-08-23
US10713472B2 (en) 2020-07-14
CN106709932B (zh) 2020-12-04
AU2016352215A1 (en) 2018-06-21
US20190392199A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
CN106709932A (zh) 一种人脸位置跟踪方法、装置和电子设备
US20220417590A1 (en) Electronic device, contents searching system and searching method thereof
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
CN108460362B (zh) 一种检测人体部位的系统及方法
CN103345644B (zh) 在线训练的目标检测方法及装置
US20170053156A1 (en) Human face recognition method, apparatus and terminal
CN110458895A (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN107408303A (zh) 用于对象跟踪的系统和方法
CN110264493A (zh) 一种针对运动状态下的多目标对象追踪方法和装置
EP2966591B1 (en) Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information
CN109711241B (zh) 物体检测方法、装置与电子设备
CN110136144B (zh) 一种图像分割方法、装置及终端设备
CN104281839A (zh) 一种人体姿势识别方法和装置
CN102084397A (zh) 图像处理设备、方法和程序
CN104700405B (zh) 一种前景检测方法和系统
CN112308797B (zh) 角点检测方法、装置、电子设备及可读存储介质
Le Meur et al. A spatio-temporal model of the selective human visual attention
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
JP2007052609A (ja) 手領域検出装置及び手領域検出方法、並びにプログラム
CN110276321A (zh) 一种遥感视频目标跟踪方法及系统
AU2021204581A1 (en) Methods, apparatuses, devices and storage media for predicting correlation between objects involved in image
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN115439927A (zh) 基于机器人的步态监测方法、装置、设备及存储介质
Yang et al. The system of detecting safety helmets based on YOLOv5
Chen et al. Head-shoulder detection using joint HOG features for people counting and video surveillance in library

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1237515

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: Greater Cayman, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant