CN106599836B - 多人脸跟踪方法及跟踪系统 - Google Patents
多人脸跟踪方法及跟踪系统 Download PDFInfo
- Publication number
- CN106599836B CN106599836B CN201611145627.1A CN201611145627A CN106599836B CN 106599836 B CN106599836 B CN 106599836B CN 201611145627 A CN201611145627 A CN 201611145627A CN 106599836 B CN106599836 B CN 106599836B
- Authority
- CN
- China
- Prior art keywords
- face
- tracking
- face tracking
- model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims 2
- 230000021615 conjugation Effects 0.000 claims 1
- 230000007774 longterm Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多人脸跟踪方法及跟踪系统，本发明方法包括：根据初始帧图像建立多个人脸跟踪模型，多个人脸跟踪模型与多个人脸目标一一对应；采用单人脸跟踪算法分别对多个人脸目标进行跟踪；跟踪过程中对多个人脸跟踪模型进行更新；采用更新后的多个人脸跟踪模型及单人脸跟踪算法进行多个人脸目标的连续跟踪。通过对每个人脸目标建立对应的人脸跟踪模型以及定期的人脸跟踪模型更新实现了长期的多人脸跟踪，并且通过人脸跟踪模型的更新，提高了多人脸跟踪的准确性及跟踪响应速度，适用于安防监控领域多人脸的长时间跟踪，具有广泛的推广应用价值。
Description
技术领域
本发明涉及人脸检测技术领域，特别地，涉及一种多人脸跟踪方法及跟踪系统。
背景技术
随着社会的不断发展，安全问题成为了大家关注的重心。而在涉及到公共安全领域的安防问题中，监控视频的多人脸跟踪(Multiple Faces Tracking)技术的重要性日益凸显。
多人脸跟踪需要对于每次检测到的多个人脸在后续的每帧中更新人脸的位置。由于多数场景下监控摄像头所拍摄视频画面较为复杂，存在复杂的背景干扰以及前景其余行人车辆的遮挡。另外就行人而言，人脸的姿态以及角度也会存在很大的变化，所以多人脸跟踪算法的鲁棒性至关重要。
目前的目标跟踪问题可以分为单目标跟踪与多目标跟踪，而对于单目标跟踪算法的研究尤为热烈。在单目标跟踪中，由于相关滤波方法具有较快的跟踪速度，所以受到关注较多。在2012年，
F.Henriques等人提出了CSK(Circulant Structure Kernal，循环结构的核)算法，该方法通过引入具有循环结构的核，减少了跟踪算法的计算复杂度，很大程度加快了目标跟踪速度。之后2014年Martin Danelljan等人提出利用CN(Color Names，多颜色特征)作为原始特征进行跟踪，将算法中的单通道原始特征推广到了多通道原始特征，在CSK跟踪算法的基础上添加了彩色信息。利用CSK中同样的跟踪模型结构，将原算法中单通道的灰度值作为原始特征的方法拓展到利用一个10维颜色通道加1维灰度值通道的11维原始特征。该方法跟踪效果相比CSK有所提升。2015年，
F.Henriques等人提出了KCF(Kernelized Correlation Filter，核的相关滤波方法)，利用HOG(Histograms ofOrientation Gradient，梯度方向直方图)作为原始特征，提高了跟踪算法的准确性。Martin Danelljan等人也提出了SRDCF(Spatially Regularized DiscriminativeCorrelation Filter，空间正规化分辨性相关滤波)方法来解决多尺度问题。
现有技术中，对于多目标跟踪算法的研究主要集中在粒子滤波上，该方法通过对于粒子集的重新分配，利用粒子集的密集度来表示目标在该处出现的概率，从而实现目标跟踪。且上述CSK、CN和KCF单目标跟踪算法虽然跟踪速度快，跟踪准确度较高，但均为单目标跟踪方法，并且仅适用于短期目标的跟踪。这些算法只在视频初始帧做目标模板的更新，对于后期视频中出现的新目标无法生成模型。并且当存在较大噪声导致目标跟丢时无法进行跟踪结果的矫正，且只能处理尺度不变物体的跟踪。SRDCF虽然解决了尺度变化目标的跟踪问题，但跟踪速度较慢，无法完成实时的跟踪任务。粒子滤波方法虽然可以完成多目标跟踪，但该方法跟踪结果的准确性较差，对于人脸这种小目标的跟踪无法给出准确的目标边框。
发明内容
本发明提供了一种多人脸跟踪方法及跟踪系统，以解决现有的多人脸跟踪存在准确性较差、跟踪响应速度较慢，且无法实现长时间有效跟踪的技术问题。
本发明采用的技术方案如下：
根据本发明的一个方面，提供一种多人脸跟踪方法，用于对视频数据中的多帧连续图像进行多人脸跟踪监测，本发明方法包括：
根据初始帧图像建立多个人脸跟踪模型，多个人脸跟踪模型与多个人脸目标一一对应；
采用单人脸跟踪算法分别对多个人脸目标进行跟踪；
跟踪过程中对多个人脸跟踪模型进行更新；
采用更新后的多个人脸跟踪模型及单人脸跟踪算法进行多个人脸目标的连续跟踪。
进一步地，跟踪过程中对多个人脸跟踪模型进行更新的更新策略包括：对人脸跟踪模型进行校正、添加新出现人脸目标的人脸跟踪模型及删除无效人脸目标对应的人脸跟踪模型。
进一步地，对人脸跟踪模型进行校正包括：
计算跟踪结果与定期检测得到的人脸目标位置的重叠区域比例，判断重叠区域比例是否大于等于第一阈值，若是则无需对人脸跟踪模型进行更新；
若否，判断重叠区域比例是否大于等于第二阈值，若比较结果为是，则采用最新的人脸目标位置对人脸跟踪模型进行训练生成校正后的人脸跟踪模型，其中，第一阈值大于第二阈值。
进一步地，添加新出现人脸目标的人脸跟踪模型包括：
在重叠区域比例小于第二阈值的条件下，新增该最新的人脸目标对应的人脸跟踪模型。
进一步地，删除无效人脸目标对应的人脸跟踪模型包括：
计算跟踪结果的可信度，对可信度未达标的人脸目标对应的人脸跟踪模型做删除处理；和/或
限制跟踪的人脸目标的数量，通过跟踪结果的可信度得分排序，删除多余设定数量的且排序靠后的人脸目标对应的人脸跟踪模型。
进一步地，采用单人脸跟踪算法进行跟踪时，对图像对应的梯度方向直方图特征、局部二值模式特征以及多颜色特征进行融合，以增强对人脸的刻画能力。
根据本发明的另一方面，还提供一种多人脸跟踪系统，用于对视频数据中的多帧连续图像进行多人脸跟踪监测，本发明系统包括：
人脸跟踪模型建立单元，用于根据初始帧图像建立多个人脸跟踪模型，多个人脸跟踪模型与多个人脸目标一一对应；
人脸跟踪模型更新单元，用于在跟踪过程中对多个人脸跟踪模型进行更新；
多人脸跟踪单元，用于采用单人脸跟踪算法分别对多个人脸跟踪目标进行跟踪。
进一步地，人脸跟踪模型更新单元包括：
人脸跟踪模型校正模块，用于对人脸跟踪模型进行校正；
人脸跟踪模型添加模块，用于添加新出现人脸目标的人脸跟踪模型；
人脸跟踪模型删除模块，用于删除无效人脸目标对应的人脸跟踪模型。
进一步地，人脸跟踪模型校正模块包括：
第一比较子模块，用于计算跟踪结果与定期检测得到的人脸目标位置的重叠区域比例，判断重叠区域比例是否大于等于第一阈值，若是则无需对人脸跟踪模型进行更新；
第二比较子模块，用于重叠区域比例小于第一阈值时判断重叠区域比例是否大于等于第二阈值，若是，则采用最新的人脸目标位置对人脸跟踪模型进行训练生成校正后的人脸跟踪模型，其中，第一阈值大于第二阈值；
人脸跟踪模型添加模块用于在重叠区域比例小于第二阈值的条件下，新增该最新的人脸目标对应的人脸跟踪模型。
进一步地，人脸跟踪模型删除模块包括：
第一处理子模块，用于计算跟踪结果的可信度，对可信度未达标的人脸目标对应的人脸跟踪模型做删除处理；和/或
第二处理子模块，用于限制跟踪的人脸目标的数量，通过跟踪结果的可信度得分排序，删除多余设定数量的且排序靠后的人脸目标对应的人脸跟踪模型。
本发明具有以下有益效果：
本发明多人脸跟踪方法及系统，通过对每个人脸目标建立对应的人脸跟踪模型以及定期的人脸跟踪模型更新实现了长期的多人脸跟踪，并且通过人脸跟踪模型的更新，提高了多人脸跟踪的准确性及跟踪响应速度，适用于安防监控领域多人脸的长时间跟踪，具有广泛的推广应用价值。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例多人脸跟踪方法的流程示意图；
图2a是本发明优选实施例一中上一帧图像多人脸跟踪的跟踪结果示意图；
图2b是本发明优选实施例一中下一帧图像多人脸跟踪的跟踪结果示意图；
图3a是本发明优选实施例二中上一帧图像多人脸跟踪的跟踪结果示意图；
图3b是本发明优选实施例二中下一帧图像多人脸跟踪的跟踪结果示意图；
图4是本发明优选实施例多人脸跟踪系统的原理方框示意图；
图5是本发明优选实施例中人脸跟踪模型更新单元的原理方框示意图；
图6是本发明优选实施例中人脸跟踪模型校正模块的原理方框示意图；
图7是本发明优选实施例中人脸跟踪模型删除模块的原理方框示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明的优选实施例提供了一种多人脸跟踪方法，用于对视频数据中的多帧连续图像进行多人脸跟踪监测，参照图1，本实施例方法包括：
步骤S100，根据初始帧图像建立多个人脸跟踪模型，多个人脸跟踪模型与多个人脸目标一一对应；本实施例为每个人脸目标建立对应的人脸跟踪模型，从而为多人脸目标跟踪建立模板基础；
步骤S200，采用单人脸跟踪算法分别对多个人脸目标进行跟踪；
本实施例中，采用基于循环结构的相关滤波方法来进行人脸跟踪，其是一种高效的目标跟踪方法，其将复杂的矩阵逆运算和大规模矩阵乘积运算变为了小规模矩阵的频域点乘运算，大幅降低了计算复杂度。本实施例每个单人脸的跟踪任务均采用该模型完成，从而减少了跟踪算法的计算复杂度，很大程度加快了目标跟踪速度。
步骤S300，跟踪过程中对多个人脸跟踪模型进行更新；
本实施例中，定期进行人脸检测，以进行人脸跟踪模型的更新。每次完成人脸目标检测后将检测到的人脸目标与跟踪结果得到的人脸目标进行比较，根据检测结果与跟踪结果内人脸位置重合区域所占比例的大小，判断对模型进行校正还是作为新目标添加入模型中。利用跟踪结果的得分及SVM(Support Vector Machine，支撑向量机)分类来确定该目标跟踪是否有效，无效目标将被删除。为实现人脸目标的多尺度跟踪，对每次跟踪结果的得分进行判断，对于不满足阈值条件的目标进行其他尺度的跟踪。这样既满足了多尺度跟踪要求，又能尽量降低多尺度带来的时间损耗。
步骤S400，采用更新后的多个人脸跟踪模型及单人脸跟踪算法进行多个人脸目标的连续跟踪。
本实施例多人脸跟踪方法及系统，通过对每个人脸目标建立对应的人脸跟踪模型以及定期的人脸跟踪模型更新实现了长期的多人脸跟踪，并且通过人脸跟踪模型的更新，提高了多人脸跟踪的准确性及跟踪响应速度，适用于安防监控领域多人脸的长时间跟踪，具有广泛的推广应用价值。
本实施例中，根据跟踪结果对多个人脸跟踪模型进行更新的更新策略包括：对人脸跟踪模型进行校正、添加新出现人脸目标的人脸跟踪模型及删除无效人脸目标对应的人脸跟踪模型。
优选地，对人脸跟踪模型进行校正包括：
计算跟踪结果与定期检测得到的人脸目标位置的重叠区域比例，判断重叠区域比例是否大于等于第一阈值，若是则无需对人脸跟踪模型进行更新；
若否，判断重叠区域比例是否大于等于第二阈值，若比较结果为是，则采用最新的人脸目标位置对人脸跟踪模型进行训练生成校正后的人脸跟踪模型，其中，第一阈值大于第二阈值。
优选地，添加新出现人脸目标的人脸跟踪模型包括：
在重叠区域比例小于第二阈值的条件下，新增该最新的人脸目标对应的人脸跟踪模型。
优选地，删除无效人脸目标对应的人脸跟踪模型包括：
计算跟踪结果的可信度，对可信度未达标的人脸目标对应的人脸跟踪模型做删除处理；和/或
限制跟踪的人脸目标的数量，通过跟踪结果的可信度得分排序，删除多余设定数量的且排序靠后的人脸目标对应的人脸跟踪模型。
本实施例中，单人脸跟踪是指对人脸子图像进行建模，在后续视频序列中估计人脸位置的方法。该过程可以通过优化以下代价函数进行实现：
公式(1)中，x为输入特征，i为训练图像标号，取值范围为1到m；λ为正则化系数，L()为损失函数，通过将输入向量与先验概率y计算损失函数的优化得到系数矩阵w。又知系数矩阵
其中，
为映射函数，可由输入特征线性表示，所以以上问题变为计算α。
又因为当K为循环矩阵时，(K+λI)-1亦为循环矩阵，其中，I为单位阵，此时y与左侧三维循环矩阵的乘积变为两矩阵的相关运算，可用频域的点乘再做逆变换得到，最终得到右式。这样在训练阶段，通过计算核矩阵K可以得到模板α，其中kxx为特征x与其自身计算得高斯核矩阵，y为先验概率矩阵，用高斯矩阵表示，F与F-1分别表示傅里叶变换和傅里叶逆变换，F*表示取傅里叶变换后得到的矩阵的共轭。
跟踪时，跟踪输出结果
其中，κ(xi,x′)为核运算，利用与训练时相似的方法可得，
y′＝F-1(F(kxx′)·F(α)) (3)
y′为得到的响应矩阵，其中kxx′为模板中特征x与该帧特征x′所得核矩阵，α为模型中得到矩阵。核矩阵如下式所示，为高斯核形式，kxx′表示特征x与x′计算多的高斯核。
公式(4)中，σ为高斯函数标准差，c对应特征维度。
本实施例人脸跟踪算法流程如下所示：
表1人脸跟踪算法流程
由于多目标跟踪算法的准确度以及跟踪结果与实际人脸框的吻合度较差，而单目标跟踪方法只适用于短期的视频单目标跟踪，本实施例利用单目标跟踪方法实现了长期的多人脸跟踪策略。在跟踪过程中通过对每一个检测到的人脸进行建模，实现多个人脸的跟踪；并通过合理的模型删除策略去除跟踪失效的人脸；通过定期的人脸检测实现人脸模型的校正与新出现人脸的模型建立；利用合理的多尺度搜索方法，在保证搜索速度的前提下实现尺度变化人脸目标的跟踪。
本实施例中，人脸跟踪模型更新的策略如下：
在进行长期的多人脸目标跟踪时，提出通过定期的人脸检测来更新现有的人脸模型，人脸检测方法采用通用的人脸检测方法即可，在此不做赘述。对于现有跟踪到的模型中人脸位置{face1,face2…faceN}，在进行人脸检测时，得到新的人脸位置{addface1,addface2…addfaceN}，将每一个新出现的人脸位置addfacej与原有跟踪到的人脸位置facei进行比较，计算他们的重叠区域比例
其中分子为模型中人脸框与新检测到人脸框重叠区域面积，分母为新检测到人脸框面积。由于新检测到人脸位置可信度更高，所以用其作为比较。
将ξ的取值与两个门限ηh和ηl(0<ηl<ηh<1)比较，存在三种结果：
(1)ξ≥ηh，此时新检测到人脸框与模板中人脸框重合较多，可认为跟踪结果准确，则无需利用新检测结果训练模板；
(2)ηl≤ξ<ηh，此时检测到人脸框与模板中人脸框重合较少，认为两个人脸框对应同一人脸，则删除facei对应人脸，利用addfacej位置训练人脸模型并更新；
(3)0≤ξ<ηl，此时检测到人脸框与模板中人脸框几乎没有重合，认为两个人脸框对应不同人脸，则对facei对应模型不做修改，利用addfacej位置进行训练并添加入模型中。
利用以上策略可完成人脸模型的校正与新出现人脸的建模。
本实施例中，无效跟踪人脸的删除策略如下：
由于跟踪场景的不同，跟踪任务难易也有所差别。在监控等复杂领域的多人脸跟踪中，人脸位置很可能因为遮挡以及角度变化而发生跟踪的偏差或丢失，所以需要对于跟踪失效人脸进行删除。
由公式(3)可知，每一次跟踪检测之后可得到一个分数图y′，该分数图中每一点对应搜索子图像中目标出现在该点的得分，得分越高表示目标出现在这里的概率越大。当物体发生严重角度变化或遮挡时，得分会降低。根据这一特性，对每次跟踪到目标位置z处对应得分y′z大小进行判断，可粗略得到该目标跟踪结果的可信度。将y′z与门限ηsh比较，
(1)y′z≥ηsh：若y′z≥ηsh则保留跟踪结果，继续下一人脸跟踪结果判断。
(2)y′z<ηsh：由于视频中人脸发生距离变化时，脸的大小也会发生变化，所以y′z<ηsh可能为尺度变化造成，需要进行多尺度跟踪对上述不满足条件结果再次搜索。
这时在缩放1.1倍和1.1-1倍的两个其他尺度的图像上提取原始特征x′，并按公式(4)、(3)进行人脸的重新跟踪。之后将1.1倍、1倍和1.1-1倍三个尺度上的跟踪得分y′z进行比较，取得分最大的尺度作为当前目标尺度。
因为多尺度人脸的跟踪会成倍的增加跟踪算法耗时，该方法对于跟踪较好的结果不做多尺度处理，对于不好的结果在不同尺度上搜索。既满足了多尺度跟踪要求，又能尽量降低多尺度带来的时间损耗。
若此时得到y′z仍然小于门限ηsh，则可能是因为跟踪出错造成。但由于单独用门限来限制跟踪结果准确度可能缺乏通用性，对于不同场景，利用统一门限进行限制较为困难。本实施例采用对于人脸进行二分类的SVM分类器辅助进行判断。即对于ηsl≤y′z<ηsh(ηsl<ηsh)情况，要通过SVM分类器进行分类。
人脸二分类的SVM分类器通过适量正负样本图像训练得到，利用线性SVM分类器实现是人脸或不是人脸的判断。训练所用正样本为人脸子图像及同时包含人脸和少量背景的子图像，提高分类器对于跟踪结果稍有偏差人脸子图像的容错能力，负样本则为不含人脸或含有少量人脸的背景图像。
(3)若y′z<ηsl则认为跟踪结果肯定出错，直接删除目标。
另外对于跟踪到人脸框处于图像边缘的，认为该人即将走出视频范围，可直接删除。
优选地，由于本实施例多人脸跟踪方法中跟踪人脸模板个数多少会影响跟踪速度，对于可信度不高的人脸跟踪结果也可进行删除。在一帧图像跟踪结束后，对所有目标的跟踪结果得分y′z进行排序，当需要跟踪人脸个数过多时，保留前N个跟踪模板，将之后的模板删除。这样可避免需要跟踪人脸个数过多造成的时间浪费，将主要精力放在那些可信度高的目标上。
优选地，采用单人脸跟踪算法进行跟踪时，对图像对应的梯度方向直方图特征、局部二值模式特征以及多颜色特征进行融合，以增强对人脸的刻画能力。
通过实验发现跟踪问题中目标提取的原始特征能力的强弱很大程度的影响了跟踪算法的准确性，所以提取分辨能力更强的原始特征对于提高跟踪结果的准确性很重要。HOG是一种局部特征，通过计算局部梯度的直方图分布刻画局部目标的表象和形状。LBP特征对于纹理信息有很强的表达能力，而CN则是图像的色彩信息。本实施例通过对图像对应的梯度方向直方图特征、局部二值模式特征以及多颜色特征进行融合，以增强对人脸的刻画能力。
本实施例中，HOG特征通过对图像提取梯度信息，并对梯度信息进行直方图统计，通过提取局部区域梯度的直方图统计信息能够表现图像的局部形状。而人脸的局部形状具有鲜明特点，可以将其与其他物体进行区分。并且五官的相对位置固定，HOG特征能够充分利用这种脸部结构。在HOG特征提取时，选取4*4大小像素点形成细胞，2*2的细胞构成一个块，将梯度信息在6个方向上做直方图统计，最终得到2*2*6＝24维的不重叠HOG特征。
本实施例中，LBP是一种局部纹理特征，在人脸识别中应用较为广泛，具有旋转不变性。它通过中心像素点与周围8点的大小比较得到8个0-1编码，它的十进制数形式即为该点特征。这里在与HOG特征中块对应的8*8区域内对LBP特征进行12个字典原子的K均值聚类。利用LBP特征的局部统计特征刻画纹理信息。
本实施例中，CN是一种强有力的颜色特征，它将3通道的彩色信息拓展成10通道的颜色信息并加上灰度信息，得到11维的颜色特征。同样在HOG特征中块对应的8*8区域内进行颜色特征的均值池化，得到局部颜色信息。
这三种特征中，HOG特征和LBP特征利用了局部统计信息而CN特征提取了局部颜色信息，这些特征间能够相互互补，从形状、纹理和颜色三个层次刻画人脸。最后得到的原始特征为24+12+11＝47维。
本实施例多人脸跟踪方法，在保证多人脸跟踪速度的前提下提高跟踪结果的准确性。由于目前的跟踪算法多为单目标短期的跟踪，并且不含有自检功能，这对于长期的监控视频中多人脸跟踪是不利的。本实施例通过对于不同个体的分别建模以及定期的人脸模型更新实现了长期的多人脸跟踪。并通过梯度特征、纹理特征以及颜色特征的融合，极大程度提高跟踪结果准确性。对于每个目标利用相关滤波方法进行跟踪并限制最大跟踪个数，实现跟踪算法的实时性。图2a及图2b示出了在一实施例中，两组相邻视频帧中人脸跟踪结果示意图；图3a及图3b示出了在另一实施例中，两组相邻视频帧中人脸跟踪结果示意图。
根据本发明的另一方面，还提供一种多人脸跟踪系统，用于对视频数据中的多帧连续图像进行多人脸跟踪监测，与上述方法实施例对应，参照图4，本实施例系统包括：
人脸跟踪模型建立单元100，用于根据初始帧图像建立多个人脸跟踪模型，多个人脸跟踪模型与多个人脸目标一一对应；
人脸跟踪模型更新单元200，用于在跟踪过程中对多个人脸跟踪模型进行更新；
多人脸跟踪单元300，用于采用单人脸跟踪算法分别对多个人脸跟踪目标进行跟踪。
优选地，参照图5，本实施例人脸跟踪模型更新单元200包括：
人脸跟踪模型校正模块201，用于对人脸跟踪模型进行校正；
人脸跟踪模型添加模块202，用于添加新出现人脸目标的人脸跟踪模型；
人脸跟踪模型删除模块203，用于删除无效人脸目标对应的人脸跟踪模型。
参照图6，本实施例人脸跟踪模型校正模块202包括：
第一比较子模块2021，用于计算跟踪结果与定期检测得到的人脸目标位置的的重叠区域比例，判断重叠区域比例是否大于等于第一阈值，若是则无需对人脸跟踪模型进行更新；
第二比较子模块2022，用于重叠区域比例小于第一阈值时判断重叠区域比例是否大于等于第二阈值，若是，则采用最新的人脸目标位置对人脸跟踪模型进行训练生成校正后的人脸跟踪模型，其中，第一阈值大于第二阈值；
本实施例人脸跟踪模型添加模块用于在重叠区域比例小于第二阈值的条件下，新增该最新的人脸目标对应的人脸跟踪模型。
上述各模块的具体实现过程，参照上述方法实施例中人脸跟踪模型更新策略部分，在此不再赘述。
优选地，参照图7，本实施例人脸跟踪模型删除模块203包括：
第一处理子模块2031，用于计算跟踪结果的可信度，对可信度未达标的人脸目标对应的人脸跟踪模型做删除处理；和/或
第二处理子模块2032，用于限制跟踪的人脸目标的数量，通过跟踪结果的可信度得分排序，删除多余设定数量的且排序靠后的人脸目标对应的人脸跟踪模型。
本实施例第一处理子模块2031、第二处理子模块2032的具体实现过程，请参见方法实施例中无效跟踪人脸的删除策略部分。
从以上的描述可以得知，本实施例具有以下有益效果：
1)、通过提取不同层次的原始特征，提高对于人脸的表达能力，使得跟踪结果更为准确；
2)、设计了合理的多人脸跟踪策略，能够对跟踪结果进行校正，及时添加新出现人脸，删除可信度低的人脸，适合长时间目标跟踪；
3)、算法中每个目标跟踪使用了基于循环矩阵的相关滤波方法，并通过添加检测及跟踪结果筛选，跟踪人脸个数限制，选择性多尺度搜索，尽可能降低了跟踪耗时，跟踪速度快。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个或者多个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)，磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种多人脸跟踪方法，用于对视频数据中的多帧连续图像进行多人脸跟踪监测，其特征在于，包括：
根据初始帧图像建立多个人脸跟踪模型，所述多个人脸跟踪模型与多个人脸目标一一对应；
采用单人脸跟踪算法分别对多个人脸目标进行跟踪；
跟踪过程中对所述多个人脸跟踪模型进行更新；
采用更新后的多个人脸跟踪模型及所述单人脸跟踪算法进行多个人脸目标的连续跟踪；
所述单人脸跟踪算法包括以下步骤：
利用检测结果对人脸跟踪模型初始化，利用公式
和
计算核矩阵kxx和α及人脸特征x；
For t＝1,…,N，读取下一帧视频，在上一帧位置处提原始特征z，利用公式
y′＝F-1(F(kxx′)·F(α))计算模板里特征与当前位置特征的核矩阵kxx′和响应矩阵y′，在y′中找到最大值点及其相对中心点的位移t，该位移t即为人脸运动距离向量；
在新人脸位置处提取人脸特征x及矩阵α，并与模板中x与α加权融合，更新模板；
其中，I为单位阵，λ为正则化系数，K为核矩阵，kxx为特征x与其自身计算得高斯核矩阵，y为先验概率矩阵，用高斯矩阵表示，F与F-1分别表示傅里叶变换和傅里叶逆变换，F*表示取傅里叶变换后得到的矩阵的共轭，σ为高斯函数标准差，c对应特征维度；
跟踪过程中对所述多个人脸跟踪模型进行更新的更新策略包括：对人脸跟踪模型进行校正、添加新出现人脸目标的人脸跟踪模型及删除无效人脸目标对应的人脸跟踪模型；
所述删除无效人脸目标对应的人脸跟踪模型包括：
计算跟踪结果的可信度，对可信度未达标的人脸目标对应的人脸跟踪模型做删除处理；
无效跟踪人脸模型的删除策略为：
对每次跟踪到目标位置z处对应得分y′z大小进行判断，其中，y′z通过公式y′＝F-1(F(kxx′)·F(α))计算得到，将y′z与门限ηsh、ηsl比较，ηsl＜ηsh，
(1)y′z≥ηsh：若y′z≥ηsh则保留跟踪结果，继续下一人脸跟踪结果判断；
(2)y′z＜ηsh，在缩放1.1倍和1.1-1倍的两个其他尺度的图像上提取原始特征x′，并按公式y′＝F-1(F(kxx′)·F(α))、
进行人脸的重新跟踪，将1.1倍、1倍和1.1-1倍三个尺度上的跟踪得分y′z进行比较，取得分最大的尺度作为当前目标尺度，并对不满足条件的结果再次搜索后进行判断；
(3)若y′z＜ηsl则认为跟踪结果肯定出错，直接删除目标。
2.根据权利要求1所述的多人脸跟踪方法，其特征在于，
所述对人脸跟踪模型进行校正包括：
计算跟踪结果与定期检测得到的人脸目标位置的重叠区域比例，判断所述重叠区域比例是否大于等于第一阈值，若是则无需对所述人脸跟踪模型进行更新；
若否，判断所述重叠区域比例是否大于等于第二阈值，若比较结果为是，则采用最新的人脸目标位置对人脸跟踪模型进行训练生成校正后的人脸跟踪模型，其中，所述第一阈值大于所述第二阈值。
3.根据权利要求2所述的多人脸跟踪方法，其特征在于，
所述添加新出现人脸目标的人脸跟踪模型包括：
在所述重叠区域比例小于所述第二阈值的条件下，新增该最新的人脸目标对应的人脸跟踪模型。
4.根据权利要求3所述的多人脸跟踪方法，其特征在于，
所述删除无效人脸目标对应的人脸跟踪模型还包括：
限制跟踪的人脸目标的数量，通过跟踪结果的可信度得分排序，删除多余设定数量的且排序靠后的人脸目标对应的人脸跟踪模型。
5.根据权利要求1所述的多人脸跟踪方法，其特征在于，
采用单人脸跟踪算法进行跟踪时，对图像对应的梯度方向直方图特征、局部二值模式特征以及多颜色特征进行融合，以增强对人脸的刻画能力。
6.一种多人脸跟踪系统，采用如权利要求1～5任一项所述的多人脸跟踪方法，用于对视频数据中的多帧连续图像进行多人脸跟踪监测，其特征在于，包括：
人脸跟踪模型建立单元，用于根据初始帧图像建立多个人脸跟踪模型，所述多个人脸跟踪模型与多个人脸目标一一对应；
人脸跟踪模型更新单元，用于在跟踪过程中对所述多个人脸跟踪模型进行更新；
多人脸跟踪单元，用于采用单人脸跟踪算法分别对多个人脸跟踪目标进行跟踪；
所述人脸跟踪模型更新单元包括：
人脸跟踪模型校正模块，用于对人脸跟踪模型进行校正；
人脸跟踪模型添加模块，用于添加新出现人脸目标的人脸跟踪模型；
人脸跟踪模型删除模块，用于删除无效人脸目标对应的人脸跟踪模型；
所述人脸跟踪模型删除模块包括：
第一处理子模块，用于计算跟踪结果的可信度，对可信度未达标的人脸目标对应的人脸跟踪模型做删除处理；
无效跟踪人脸模型的删除策略为：
对每次跟踪到目标位置z处对应得分y′z大小进行判断，其中，y′z通过公式y′＝F-1(F(kxx′)·F(α))计算得到，将y′z与门限ηsh、ηsl比较，ηsl＜ηsh，
(1)y′z≥ηsh：若y′z≥ηsh则保留跟踪结果，继续下一人脸跟踪结果判断；
(2)y′z＜ηsh，在缩放1.1倍和1.1-1倍的两个其他尺度的图像上提取原始特征x′，并按公式y′＝F-1(F(kxx′)·F(α))、
进行人脸的重新跟踪，将1.1倍、1倍和1.1-1倍三个尺度上的跟踪得分y′z进行比较，取得分最大的尺度作为当前目标尺度，并对不满足条件的结果再次搜索后进行判断；
(3)若y′z＜ηsl则认为跟踪结果肯定出错，直接删除目标。
7.根据权利要求6所述的多人脸跟踪系统，其特征在于，
所述人脸跟踪模型校正模块包括：
第一比较子模块，用于计算跟踪结果与定期检测得到的人脸目标位置的重叠区域比例，判断所述重叠区域比例是否大于等于第一阈值，若是则无需对所述人脸跟踪模型进行更新；
第二比较子模块，用于所述重叠区域比例小于所述第一阈值时判断所述重叠区域比例是否大于等于第二阈值，若是，则采用最新的人脸目标位置对人脸跟踪模型进行训练生成校正后的人脸跟踪模型，其中，所述第一阈值大于所述第二阈值；
所述人脸跟踪模型添加模块用于在所述重叠区域比例小于所述第二阈值的条件下，新增该最新的人脸目标对应的人脸跟踪模型。
8.根据权利要求7所述的多人脸跟踪系统，其特征在于，
所述人脸跟踪模型删除模块还包括：
第二处理子模块，用于限制跟踪的人脸目标的数量，通过跟踪结果的可信度得分排序，删除多余设定数量的且排序靠后的人脸目标对应的人脸跟踪模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611145627.1A CN106599836B (zh) | 2016-12-13 | 2016-12-13 | 多人脸跟踪方法及跟踪系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611145627.1A CN106599836B (zh) | 2016-12-13 | 2016-12-13 | 多人脸跟踪方法及跟踪系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106599836A CN106599836A (zh) | 2017-04-26 |
| CN106599836B true CN106599836B (zh) | 2020-04-21 |
Family
ID=58802087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611145627.1A Active CN106599836B (zh) | 2016-12-13 | 2016-12-13 | 多人脸跟踪方法及跟踪系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106599836B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784663B (zh) * | 2017-11-14 | 2020-10-20 | 哈尔滨工业大学深圳研究生院 | 基于深度信息的相关滤波跟踪方法及装置 |
| CN107895192B (zh) * | 2017-12-06 | 2021-10-08 | 广州方硅信息技术有限公司 | 深度卷积网络压缩方法、存储介质和终端 |
| CN108460786A (zh) * | 2018-01-30 | 2018-08-28 | 中国航天电子技术研究院 | 一种无人机侦察目标的高速跟踪方法 |
| CN108629299B (zh) * | 2018-04-24 | 2021-11-16 | 武汉幻视智能科技有限公司 | 一种结合人脸匹配的长时间多目标跟踪方法及系统 |
| CN108734107B (zh) * | 2018-04-24 | 2021-11-05 | 武汉幻视智能科技有限公司 | 一种基于人脸的多目标跟踪方法及系统 |
| CN110417565B (zh) * | 2018-04-27 | 2021-01-29 | 华为技术有限公司 | 一种模型更新方法、装置及系统 |
| CN108985204A (zh) * | 2018-07-04 | 2018-12-11 | 北京师范大学珠海分校 | 行人检测跟踪方法及装置 |
| CN109063593A (zh) * | 2018-07-13 | 2018-12-21 | 北京智芯原动科技有限公司 | 一种人脸跟踪方法及装置 |
| CN109145758A (zh) * | 2018-07-25 | 2019-01-04 | 武汉恩智电子科技有限公司 | 一种基于视频监控的人脸的识别算法 |
| CN109145771B (zh) * | 2018-08-01 | 2020-11-20 | 武汉普利商用机器有限公司 | 一种人脸抓拍方法及装置 |
| CN109558815A (zh) * | 2018-11-16 | 2019-04-02 | 恒安嘉新（北京）科技股份公司 | 一种实时多人脸的检测及跟踪方法 |
| CN109376698B (zh) * | 2018-11-29 | 2022-02-01 | 北京市商汤科技开发有限公司 | 人脸建模方法和装置、电子设备、存储介质、产品 |
| CN109978910A (zh) * | 2019-02-21 | 2019-07-05 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于dsp的目标跟踪系统及其方法 |
| CN111612813A (zh) * | 2019-02-26 | 2020-09-01 | 北京海益同展信息科技有限公司 | 人脸追踪方法与装置 |
| CN109978779A (zh) * | 2019-03-12 | 2019-07-05 | 东南大学 | 一种基于核化相关滤波方法的多目标跟踪装置 |
| CN112347817B (zh) * | 2019-08-08 | 2022-05-17 | 魔门塔(苏州)科技有限公司 | 一种视频目标检测与跟踪方法及装置 |
| CN110929682A (zh) * | 2019-12-09 | 2020-03-27 | 南京理工大学 | 基于树莓派的生命体征监测系统 |
| CN110909717A (zh) * | 2019-12-09 | 2020-03-24 | 南京理工大学 | 运动目标生命体征检测方法 |
| CN112651996B (zh) * | 2020-12-22 | 2024-06-14 | 南京市城市与交通规划设计研究院股份有限公司 | 目标检测跟踪方法、装置、电子设备和存储介质 |
| CN113223057A (zh) * | 2021-06-04 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 一种人脸跟踪方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100390811C (zh) * | 2005-11-03 | 2008-05-28 | 中国科学院自动化研究所 | 实时的从视频中跟踪多个人脸的方法 |
| CN102496009B (zh) * | 2011-12-09 | 2013-09-18 | 北京汉邦高科数字技术股份有限公司 | 智能银行视频监控中的多人脸跟踪方法 |
| CN102750527B (zh) * | 2012-06-26 | 2015-08-19 | 浙江捷尚视觉科技股份有限公司 | 一种银行场景中长期稳定的人脸检测与跟踪方法及装置 |
| CN104834916A (zh) * | 2015-05-14 | 2015-08-12 | 上海太阳能科技有限公司 | 一种多人脸检测跟踪方法 |
-
2016
- 2016-12-13 CN CN201611145627.1A patent/CN106599836B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106599836A (zh) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106599836B (zh) | 多人脸跟踪方法及跟踪系统 | |
| Kamal et al. | Automatic traffic sign detection and recognition using SegU-Net and a modified Tversky loss function with L1-constraint | |
| Abbas et al. | A comprehensive review of recent advances on deep vision systems | |
| CN112069896B (zh) | 一种基于孪生网络融合多模板特征的视频目标跟踪方法 | |
| Yuan et al. | Anomaly detection in traffic scenes via spatial-aware motion reconstruction | |
| Li et al. | Adaptive deep convolutional neural networks for scene-specific object detection | |
| CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| Zhang et al. | Image object detection and semantic segmentation based on convolutional neural network | |
| CN111126197B (zh) | 基于深度学习的视频处理方法及装置 | |
| CN110222572A (zh) | 跟踪方法、装置、电子设备及存储介质 | |
| Savian et al. | Optical flow estimation with deep learning, a survey on recent advances | |
| KR20200023221A (ko) | 딥러닝 기반의 실시간 대상 추적 방법 및 시스템 | |
| Zhan et al. | Salient superpixel visual tracking with graph model and iterative segmentation | |
| Li et al. | Real-time tracking algorithm for aerial vehicles using improved convolutional neural network and transfer learning | |
| Wang et al. | Semantic annotation for complex video street views based on 2D–3D multi-feature fusion and aggregated boosting decision forests | |
| Song et al. | Prior depth-based multi-view stereo network for online 3D model reconstruction | |
| Liao et al. | Multi-scale saliency features fusion model for person re-identification | |
| Cho et al. | Modified perceptual cycle generative adversarial network-based image enhancement for improving accuracy of low light image segmentation | |
| Guo et al. | UDTIRI: An online open-source intelligent road inspection benchmark suite | |
| Cai et al. | Vehicle detection based on visual saliency and deep sparse convolution hierarchical model | |
| Li et al. | A new algorithm of vehicle license plate location based on convolutional neural network | |
| Chen et al. | Road object detection using a disparity-based fusion model | |
| Dalara et al. | Entity Recognition in Indian Sculpture using CLAHE and machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100097 Beijing Haidian District Kunming Hunan Road 51 C block two floor 207. Applicant after: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. Address before: 100193 4, 403, block A, 14 building, 10 East North Road, Haidian District, Beijing. Applicant before: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 410205 14 Changsha Zhongdian Software Park Phase I, 39 Jianshan Road, Changsha High-tech Development Zone, Yuelu District, Changsha City, Hunan Province Applicant after: Wisdom Eye Technology Co.,Ltd. Address before: 100097 2nd Floor 207, Block C, 51 Hunan Road, Kunming, Haidian District, Beijing Applicant before: BEIJING ATHENA EYES SCIENCE & TECHNOLOGY CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Multiple face tracking method and tracking system Effective date of registration: 20221205 Granted publication date: 20200421 Pledgee: Agricultural Bank of China Limited Hunan Xiangjiang New Area Branch Pledgor: Wisdom Eye Technology Co.,Ltd. Registration number: Y2022430000107 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231220 Granted publication date: 20200421 Pledgee: Agricultural Bank of China Limited Hunan Xiangjiang New Area Branch Pledgor: Wisdom Eye Technology Co.,Ltd. Registration number: Y2022430000107 |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Address before: 410205 building 14, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, Changsha high tech Development Zone, Yuelu District, Changsha City, Hunan Province Patentee before: Wisdom Eye Technology Co.,Ltd. |