CN107492116A - 一种基于多外观模型进行人脸跟踪的方法 - Google Patents
一种基于多外观模型进行人脸跟踪的方法 Download PDFInfo
- Publication number
- CN107492116A CN107492116A CN201710780218.7A CN201710780218A CN107492116A CN 107492116 A CN107492116 A CN 107492116A CN 201710780218 A CN201710780218 A CN 201710780218A CN 107492116 A CN107492116 A CN 107492116A
- Authority
- CN
- China
- Prior art keywords
- face
- mrow
- msub
- tracking
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于多外观模型进行人脸跟踪的方法，其主要内容包括：脸部跟踪器启动、跟踪检测、构建多外观模型、外观相似度评分计算、基于加权分数级融合的人脸定位，其过程为，在不同的跟踪场景中采用多种外观模型进行匹配，使用长期更新脸部外观特征的关系图进行学习，通过结构相同的子图像，进行脸部定位。提出了一个使用多种外观模型进行面部追踪的面部追踪器，其中人脸检测器帮助面部追踪器在短期外观变化和重新初始化过程中进行脸部定位，选择具有最高融合分数的脸部位置作为候选者，得到最终的跟踪输出，有效解决了跟踪过程中的障碍遮挡，尺度变化等问题，为工程领域的新设计，以及监控领域的创新解决方案做了进一步贡献。
Description
技术领域
本发明涉及人脸跟踪领域，尤其涉及了一种基于多外观模型进行人脸跟踪的方法。
背景技术
人脸跟踪检测技术是计算机视觉和模式识别领域中的研究热点之一。人脸跟踪是视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程，它是进行动态人脸信息处理的第一个环节，其涉及到模式识别、图像处理、计算机视觉、生理学、心理学及形态学等诸多学科，并与基于其它生物特征的身份鉴别方法以及计算机人机感知交互的研究领域密切相关。在视频会议、可视电话、视频监控、智能建筑等方面都有着重要的应用。作为自动人脸识别、视频会议、基于内容的压缩与检索等领域中的一项关键技术，人脸跟踪具有广泛的应用前景和实际意义。例如在海关、机场、银行、电视电话会议等场合，都需要对特定人脸目标进行跟踪，在诸如公共安全、智能门禁等领域具有应用价值。另外在人机交互领域，可以让机器人更好的追踪目标，实现高质量的交互应用。
由于人脸本身属于复杂多变的非刚体模式，在运动过程中，其大小，形状都会发生变化，并且现存的方法无法完全解决运动模糊，快速运动，障碍遮挡，背景杂波和尺度变化等许多跟踪问题，因此实现实时而可靠的人脸跟踪方法具有一定挑战。
本发明提出了一种基于多外观模型进行人脸跟踪的方法，利用多种外观模型进行脸部跟踪。在不同的跟踪场景中采用多种外观模型进行匹配，有效地进行跟踪，使用长期更新脸部外观特征的关系图进行学习，通过结构相同的子图像，进行脸部定位。提出了使用多种外观模型及其长期和短期外观存储器进行面部追踪的面部追踪器，其中人脸检测器帮助面部追踪器在短期外观变化和重新初始化过程中进行脸部定位，选择具有最高融合分数的脸部位置作为候选者，得到最终的跟踪输出，有效解决了跟踪过程中的障碍遮挡，尺度变化等问题，为工程领域的新设计，以及监控领域的创新解决方案做了进一步贡献。
发明内容
针对人脸跟踪，本发明提出了一个使用多种外观模型及其长期和短期外观存储器进行面部追踪的面部追踪器，选择具有最高融合分数的脸部位置作为候选者，得到最终的跟踪输出，为工程领域的新设计，以及监控领域的创新解决方案做了进一步贡献。
为解决上述问题，本发明提供一种基于多外观模型进行人脸跟踪的方法，其主要内容包括：
(一)脸部跟踪器启动；
(二)跟踪检测；
(三)构建多外观模型；
(四)外观相似度评分计算；
(五)基于加权分数级融合的人脸定位。
其中，所述的脸部跟踪器启动，采用以下两种方式启动脸部跟踪器：(1)使用包含标定的真实脸部包围盒(2)使用由面部检测器提供的包围盒，包围盒也称为信息区域，面部跟踪器输出每帧的脸部位置，并用包围盒表示，跟踪器在视频序列的一系列连续帧上输出信息区域时，它会寻找多个关键点展示出目标人脸，由于跟踪器在连续帧之间的时空关系上定位人脸，故其可以保持目标面部的身份，相反，面部检测器在整个图像中搜索面部，没有任何时空信息，因此不能保持面部的身份，在L2范数子空间中用关系图来表示人脸跟踪，关系图描述了初始化期间跟踪特征与包围盒中心的关系。
进一步地，所述的跟踪检测，在跟踪初始化过程中着重关注外观特征，并在整个脸部跟踪过程中继续进行初始化，使用各项同性的外观特征来整合鲁棒性，从图像中删除权重低的特征，并且在模型更新期间添加新的功能，遵循使用各向同性以建立起新加特征的权重，提出一种跟踪检测方法，采用面部检测器和面部跟踪器，面部检测器有助于处理脸部的尺度和纵横比变化，在外观严重变化期间重新初始化跟踪器，由于单独使用单个或多个基于外观且带有面部检测器的跟踪器无法有效地解决脸部跟踪问题，因此在多个外观模型的帮助下，使用多外观模型的脸部外观匹配在脸部局部区域产生面部候选，为了获得最终的跟踪输出，制定用于选择最佳面部候选者的加权得分级融合标准。
其中，所述的外观模型，图形关系模型(GRM)通过添加和删除关系图中的连接来逐步学习关系图，各向同性颜色模型(ICM)和二进制描述符模型(BDM)有助于在诸如照明变化，平面内旋转，平面外旋转等外观变化中找到目标面，ICM描述整体脸部外观，而BDM有助于检测像素级别内发生的内在时空变化，它们都是当前目标面部外观的短期记忆，并且根据遮挡检测策略被部分或完全更新，通过这种用于跟踪的外观模型方案，目标面的时间信息被累积，跟踪器对目标表面进行外观匹配，得到合适的外观记忆。
进一步地，所述的构建多外观模型，使用图形关系模型(GRM)，各向同性颜色模型(ICM)，二进制描述符模型(BDM)来表征包含在初始化边界框中的目标面部，GRM从两个角度来描绘面部，首先，通过检测和描述属于脸部的关键点描述符为脸部相关特征编码，其次通过使用相关信息在检测到的关键点与初始化包围盒的中心之间形成关系，以此来表示L2范数子空间中的关键点，通过使用以上相关信息GRM的可见部分可以输出目标面部中心，由于部分闭塞和变形是鲁棒的，为了增强鲁棒性，在模型初始化期间，更接近中心的关键点，被赋予更高的权重，相关权重由等式(1)给出：
GRM中关键点的关系信息表示为{FDL,D,w}，其中FDL表示具有图形中心特征点的L2子空间，D是关键点描述符，w是特征权重，ICM使用颜色直方图对整体外观进行编码，BDM对包含在初始化边界框中的像素时空邻域中局部信息进行编码。
其中，所述的GRM模型，通过检测和描述关键点处理每个新的帧，通过匹配关键点描述符，在当前帧找到使GRM相似性最大化的子图S，将GRM表示为G，为了找到面部中心，使用L2子空间的表示FDL及其权重w，以此匹配关键点来获得中心，因此，两个图之间的最大相似度可以表示为：
sim(G,S)＝D(G)ΠmD(S) (2)
其中，Πm是表示关键点匹配的双映射，D(G)和D(S)分别是G和S的特征描述符，在当前帧t处，匹配关键点描述符D的总数为N，通过FDL获得面部中心，并且匹配关键点，k在S中，由S匹配面部中心的关键点使用等式(3)来表示：
是的近似内核响应，两个内核函数用于生成响应：高斯核φ1，指数核φ2，以及由等式(4)表示：
其中，w是G上的一个关键点的匹配特征权重，是帧t-1上的人脸定位，总数为N的内核响应被重叠，通过分析核心响应图中的峰值获得面部中心位置，并由等式(5)给出：
将获得的峰值响应转换回到图像坐标系中以获得面部中心位置，表示在帧t处通过GRM模型获得的面部中心目标最优解，在分析内核映射时，因为内核映射中各个响应的重叠率不同，响应是各向异性的，从回归角度看，这种映射有利于GRM的面部定位，在内核响应生成期间，φ1以等式(3)给出的面部中心位置为中心，使得其获得最高值，当使用由等式(3)匹配特征给出的面部中心更接近峰值时，φ2最高，这有助于在生成内核响应的GRM中获得短期匹配特征，通过中心输出的特征响应，增加内核响应图中的影响，减少的错误预测。
进一步地，所述的外观相似度评分计算，GRM获得的面部定位输出定义为在其周围产生面部候选，以提高定位精度，面部检测器输出一个边界框用于t帧的面部检测，来自检测器包围盒的结果被认为是面部候选者，对于所有的面部候选，首先计算ICM和BDM模型，并且匹配相似性，使用标准的L2范数比较ICM模型，为色彩分数，使用汉明距离比较BDM模型，为二进制描述符得分，用GRM匹配关键点，计算位于面部候选框内的关键点得分特征被标准化并转换到[0，1]的范围内，对于所有相似度得分和结合fc，采用加权分数级融合策略获得最佳人脸框。
进一步地，所述的基于加权分数级融合的人脸定位，提出一种融合所有相似度得分与两个连续帧方差的权重相结合的策略，使得最大方差的相似性得分最大，利用来自每个组件的贡献来获得最大相似性，，i为跟踪目标，质量最好的面部候选者的相似度得分通过以下等式最大化为：
其中p,q,r表示根据它们的方差排名分配到的相似性分数权重，若 则p与相乘，q与相乘，r与相乘，排名有助于确定面部候选者中的主要相似度得分，融合有助于通过最大化所有相似性得分选择最佳面部候选者。
其中，所述的跟踪控制，在整个跟踪持续时间内对所有关键点特征ki执行长期更新，在t帧处GRM模型收集所有关键点特征，使用公式(7)适应其权重来执行长期更新：
其中，τ是学习率，θ(l)的值随着关键点预测更接近而增加，由等式(8)表示为：
θ(l)＝max(1-|η·l),0.0； (8)其中l是使用相关信息进行特征关键点匹配给出的中心位置之间的L2范数距离，通过分析内核映射响应获得的中心，通过分析匹配关键点给出的中心响应来进行跟踪控制，避免潜在的跟踪失败问题，对于给定帧t，如果匹配的关键点在t-1帧处输出一个远离中心的中心，减少了则其对未来帧的内核响应映射的影响，由下式表示：
通过上式，避免潜在的跟踪漂移故障，从而使所提出的方法具有稳定性和对人脸外观变化的鲁棒性。
其中，所述的更新，当图中的相似度不能在帧中建立时，通过分别更新ICM和BDM模型来执行短期更新，在这种情况下，ICM和BDM模型有助于定位人脸目标，当面部输出模板的ICM和BDM相似度匹配分数分别高于α和β时，新功能被添加到GRM中，权重低于γ的特征从GRM中去除，通过这种控制和更新，不同的外观模型在不同的跟踪场景下相互补充，进行更好的跟踪。
附图说明
图1是本发明一种基于多外观模型进行人脸跟踪的方法的系统流程图。
图2是本发明一种基于多外观模型进行人脸跟踪的方法的关系图。
图3是本发明一种基于多外观模型进行人脸跟踪的方法的更新策略图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于多外观模型进行人脸跟踪的方法的系统流程图。主要包括脸部跟踪器启动、跟踪检测、构建多外观模型、外观相似度评分计算、基于加权分数级融合的人脸定位。
图2是本发明一种基于多外观模型进行人脸跟踪的方法的关系图。其中，所述的脸部跟踪器启动，采用以下两种方式启动脸部跟踪器：(1)使用包含标定的真实脸部包围盒(2)使用由面部检测器提供的包围盒，包围盒也称为信息区域，面部跟踪器输出每帧的脸部位置，并用包围盒表示，跟踪器在视频序列的一系列连续帧上输出信息区域时，它会寻找多个关键点展示出目标人脸，由于跟踪器在连续帧之间的时空关系上定位人脸，故其可以保持目标面部的身份，相反，面部检测器在整个图像中搜索面部，没有任何时空信息，因此不能保持面部的身份，在L2范数子空间中用关系图来表示人脸跟踪，关系图描述了初始化期间跟踪特征与包围盒中心的关系。
进一步地，所述的跟踪检测，在跟踪初始化过程中着重关注外观特征，并在整个脸部跟踪过程中继续进行初始化，使用各项同性的外观特征来整合鲁棒性，从图像中删除权重低的特征，并且在模型更新期间添加新的功能，遵循使用各向同性以建立起新加特征的权重，提出一种跟踪检测方法，采用面部检测器和面部跟踪器，面部检测器有助于处理脸部的尺度和纵横比变化，在外观严重变化期间重新初始化跟踪器，由于单独使用单个或多个基于外观且带有面部检测器的跟踪器无法有效地解决脸部跟踪问题，因此在多个外观模型的帮助下，使用多外观模型的脸部外观匹配在脸部局部区域产生面部候选，为了获得最终的跟踪输出，制定用于选择最佳面部候选者的加权得分级融合标准。
其中，所述的外观模型，图形关系模型(GRM)通过添加和删除关系图中的连接来逐步学习关系图，各向同性颜色模型(ICM)和二进制描述符模型(BDM)有助于在诸如照明变化，平面内旋转，平面外旋转等外观变化中找到目标面，ICM描述整体脸部外观，而BDM有助于检测像素级别内发生的内在时空变化，它们都是当前目标面部外观的短期记忆，并且根据遮挡检测策略被部分或完全更新，通过这种用于跟踪的外观模型方案，目标面的时间信息被累积，跟踪器对目标表面进行外观匹配，得到合适的外观记忆。
进一步地，所述的构建多外观模型，使用图形关系模型(GRM)，各向同性颜色模型(ICM)，二进制描述符模型(BDM)来表征包含在初始化边界框中的目标面部，GRM从两个角度来描绘面部，首先，通过检测和描述属于脸部的关键点描述符为脸部相关特征编码，其次通过使用相关信息在检测到的关键点与初始化包围盒的中心之间形成关系，以此来表示L2范数子空间中的关键点，通过使用以上相关信息GRM的可见部分可以输出目标面部中心，由于部分闭塞和变形是鲁棒的，为了增强鲁棒性，在模型初始化期间，更接近中心的关键点，被赋予更高的权重，相关权重由等式(1)给出：
GRM中关键点的关系信息表示为{FDL,D,w}，其中FDL表示具有图形中心特征点的L2子空间，D是关键点描述符，w是特征权重，ICM使用颜色直方图对整体外观进行编码，BDM对包含在初始化边界框中的像素时空邻域中局部信息进行编码。
其中，所述的GRM模型，通过检测和描述关键点处理每个新的帧，通过匹配关键点描述符，在当前帧找到使GRM相似性最大化的子图S，将GRM表示为G，为了找到面部中心，使用L2子空间的表示FDL及其权重w，以此匹配关键点来获得中心，因此，两个图之间的最大相似度可以表示为：
sim(G,S)＝D(G)ΠmD(S) (2)
其中，Πm是表示关键点匹配的双映射，D(G)和D(S)分别是G和S的特征描述符，匹配关键点描述符D的总数为N，通过FDL获得面部中心，并且匹配关键点，k在S中，由S匹配面部中心的关键点使用等式(3)来表示：
是的近似内核响应，两个内核函数用于生成响应：高斯核φ1，指数核φ2，以及由等式(4)表示：
其中，w是G上的一个关键点的匹配特征权重，是帧t-1上的人脸定位，总数为N的内核响应被重叠，通过分析核心响应图中的峰值获得面部中心位置，并由等式(5)给出：
将获得的峰值响应转换回到图像坐标系中以获得面部中心位置，表示在帧t处通过GRM模型获得的面部中心目标最优解，在分析内核映射时，因为内核映射中各个响应的重叠率不同，响应是各向异性的，从回归角度看，这种映射有利于GRM的面部定位，在内核响应生成期间，φ1以等式3给出的面部中心位置为中心，使得其获得最高值，当使用由等式3匹配特征给出的面部中心更接近峰值时，φ2最高，这有助于在生成内核响应的GRM中获得短期匹配特征，通过中心输出的特征响应，增加内核响应图中的影响，减少的错误预测。
进一步地，所述的外观相似度评分计算，GRM获得的面部定位输出定义为在其周围产生面部候选，以提高定位精度，面部检测器输出一个边界框用于t帧的面部检测，来自检测器包围盒的结果被认为是面部候选者，对于所有的面部候选，首先计算ICM和BDM模型，并且匹配相似性，使用标准的L2范数比较ICM模型，为色彩分数，使用汉明距离比较BDM模型，为二进制描述符得分，用GRM匹配关键点，计算位于面部候选框内的关键点得分特征被标准化并转换到[0，1]的范围内，对于所有相似度得分和结合fc，采用加权分数级融合策略获得最佳人脸框。
进一步地，所述的基于加权分数级融合的人脸定位，提出一种融合所有相似度得分与两个连续帧方差的权重相结合的策略，使得最大方差的相似性得分最大，利用来自每个组件的贡献来获得最大相似性，i为跟踪目标，质量最好的面部候选者的相似度得分通过以下等式最大化为：
其中p,q,r表示根据它们的方差排名分配到的相似性分数权重，若 则p与相乘，q与相乘，r与相乘，排名有助于确定面部候选者中的主要相似度得分，融合有助于通过最大化所有相似性得分选择最佳面部候选者。
图3是本发明一种基于多外观模型进行人脸跟踪的方法的更新策略图。其中，所述的跟踪控制，在整个跟踪持续时间内对所有关键点特征ki执行长期更新，在t帧处GRM模型收集所有关键点特征，使用公式7适应其权重来执行长期更新：
其中，τ是学习率，θ(l)的值随着关键点预测更接近而增加：
θ(l)＝max(1-|η·l),0.0； (8)
其中l是使用相关信息进行特征关键点匹配给出的中心位置之间的L2范数距离，通过分析内核映射响应获得的中心，通过分析匹配关键点给出的中心响应来进行跟踪控制，避免潜在的跟踪失败问题，对于给定帧t，如果匹配的关键点在t-1帧处输出一个远离中心的中心，减少了则其对未来帧的内核响应映射的影响：
通过上式，避免潜在的跟踪漂移故障，从而使所提出的方法具有稳定性和对人脸外观变化的鲁棒性。
其中，所述的更新，当图中的相似度不能在帧中建立时，通过分别更新ICM和BDM模型来执行短期更新，在这种情况下，ICM和BDM模型有助于定位人脸目标，当面部输出模板的ICM和BDM相似度匹配分数分别高于α和β时，新功能被添加到GRM中，权重低于γ的特征从GRM中去除，通过这种控制和更新，不同的外观模型在不同的跟踪场景下相互补充，进行更好的跟踪。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于多外观模型进行人脸跟踪的方法，其特征在于，主要包括脸部跟踪器启动(一)，跟踪检测(二)；构建多外观模型(三)；外观相似度评分计算(四)；基于加权分数级融合的人脸定位(五)。
2.基于权利要求书1所述的脸部跟踪器启动(一)，其特征在于，采用以下两种方式启动脸部跟踪器：(1)使用包含标定真实脸部的包围盒(2)使用由面部检测器提供的包围盒，包围盒也称为信息区域，面部跟踪器输出每帧的脸部位置，并用包围盒表示，跟踪器在视频序列的一系列连续帧上输出信息区域时，它会寻找多个关键点展示出目标人脸，由于跟踪器在连续帧之间的时空关系上定位人脸，故其可以保持目标面部的身份，相反，面部检测器在整个图像中搜索面部，没有任何时空信息，因此不能保持面部的身份，在L2范数子空间中用关系图来表示人脸跟踪，关系图描述了初始化期间跟踪特征与包围盒中心的关系。
3.基于权利要求书1所述的跟踪检测(二)，其特征在于，在跟踪初始化过程中着重关注外观特征，并在整个脸部跟踪过程中继续进行初始化，使用各项同性的外观特征来整合鲁棒性，从图像中删除权重低的特征，并且在模型更新期间添加新的功能，遵循使用各向同性以建立起新加特征的权重，提出一种跟踪检测方法，采用面部检测器和面部跟踪器，面部检测器有助于处理脸部的尺度和纵横比变化，在外观严重变化期间重新初始化跟踪器，由于单独使用单个或多个基于外观且带有面部检测器的跟踪器无法有效地解决脸部跟踪问题，因此在多个外观模型的帮助下，使用多外观模型的脸部外观匹配在脸部局部区域产生面部候选，为了获得最终的跟踪输出，制定用于选择最佳面部候选者的加权得分级融合标准。
4.基于权利要求书3所述的多外观模型，其特征在于，图形关系模型(GRM)通过添加和删除关系图中的连接来逐步学习关系图，各向同性颜色模型(ICM)和二进制描述符模型(BDM)有助于在诸如照明变化，平面内旋转，平面外旋转等外观变化中找到目标面，ICM描述整体脸部外观，而BDM有助于检测像素级别内发生的内在时空变化，它们都是当前目标面部外观的短期记忆，并且根据遮挡检测策略被部分或完全更新，通过这种用于跟踪的外观模型方案，目标面的时间信息被累积，跟踪器对目标表面进行外观匹配，得到合适的外观记忆。
5.基于权利要求书1所述的构建多外观模型(三)，其特征在于，使用图形关系模型(GRM)，各向同性颜色模型(ICM)，二进制描述符模型(BDM)来表征包含在初始化边界框中的目标面部，GRM从两个角度来描绘面部，首先，通过检测和描述属于脸部的关键点描述符为脸部相关特征编码，其次通过使用相关信息在检测到的关键点与初始化包围盒的中心之间形成关系，以此来表示L2范数子空间中的关键点，通过使用以上相关信息GRM的可见部分可以输出目标面部中心，由于部分闭塞和变形是鲁棒的，为了增强鲁棒性，在模型初始化期间，更接近中心的关键点，被赋予更高的权重，相关权重由等式(1)给出：
<mrow>
<msub>
<mi>w</mi>
<msub>
<mi>k</mi>
<mi>i</mi>
</msub>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mrow>
<mo>|</mo>
<mrow>
<mi>&eta;</mi>
<mo>&CenterDot;</mo>
<mi>F</mi>
<mi>D</mi>
<mi>L</mi>
</mrow>
<mo>|</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mn>0.5</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
GRM中关键点的关系信息表示为{FDL,D,w}，其中FDL表示具有图形中心特征点的L2子空间，D是关键点描述符，w是特征权重，ICM使用颜色直方图对整体外观进行编码，BDM对包含在初始化边界框中的像素时空邻域中局部信息进行编码。
6.基于权利要求书4所述的GRM模型，其特征在于，通过检测和描述关键点处理每个新的帧，通过匹配关键点描述符，在当前帧找到使GRM相似性最大化的子图S，将GRM表示为G，为了找到面部中心，使用L2子空间的表示FDL及其权重w，以此匹配关键点来获得中心，因此，两个图之间的最大相似度可以表示为：
sim(G,S)＝D(G)ΠmD(S) (2)
其中，Πm是表示关键点匹配的双映射，D(G)和D(S)分别是G和S的特征描述符，在当前帧t处，匹配关键点描述符D的总数为N，通过FDL获得面部中心，并且匹配关键点，k在S中，由S匹配面部中心的关键点使用等式(3)来表示：
<mrow>
<msubsup>
<mi>x</mi>
<mrow>
<msup>
<mi>Center</mi>
<mi>k</mi>
</msup>
</mrow>
<mi>t</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>k</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>F</mi>
<mi>D</mi>
<mi>L</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
是的近似内核响应，两个内核函数用于生成响应：高斯核φ1以及指数核φ2，由等式(4)表示：
其中，w是G上的一个关键点的匹配特征权重，是帧t-1上的人脸定位，总数为N的内核响应被重叠，通过分析核心响应图中的峰值获得面部中心位置，并由等式(5)给出：
将获得的峰值响应转换回到图像坐标系中以获得面部中心位置，表示在帧t处通过GRM模型获得的面部中心目标最优解，在分析内核映射时，因为内核映射中各个响应的重叠率不同，响应是各向异性的，从回归角度看，这种映射有利于GRM的面部定位，在内核响应生成期间，φ1以等式(3)给出的面部中心位置为中心，使得其获得最高值，当使用由等式(3)匹配特征给出的面部中心更接近峰值时，φ2最高，这有助于在生成内核响应的GRM中获得短期匹配特征，通过中心输出的特征响应，增加内核响应图中的影响，减少的错误预测。
7.基于权利要求书1所述的外观相似度评分计算(四)，其特征在于，GRM获得的面部定位输出定义为在其周围产生面部候选，以提高定位精度，面部检测器输出一个边界框用于t帧的面部检测，来自检测器包围盒的结果被认为是面部候选者，对于所有的面部候选，首先计算ICM和BDM模型，并且匹配相似性，使用标准的L2范数比较ICM模型，为色彩分数，使用汉明距离比较BDM模型，为二进制描述符得分，用GRM匹配关键点，计算位于面部候选框内的关键点得分特征被标准化并转换到[0，1]的范围内，对于所有相似度得分和结合fc，采用加权分数级融合策略获得最佳人脸框。
8.基于权利要求书1所述的基于加权分数级融合的人脸定位(五)，其特征在于，为了选择面部跟踪框架输出的面部候选者，提出一种融合所有相似度得分与两个连续帧方差的权重相结合的策略，使得最大方差的相似性得分最大，利用来自每个组件的贡献来获得最大相似性，i为跟踪目标，质量最好的面部候选者的相似度得分通过以下等式最大化为：
<mrow>
<msub>
<mi>FS</mi>
<mrow>
<msub>
<mi>fc</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
<mo>=</mo>
<mi>p</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>K</mi>
<mrow>
<msub>
<mi>fc</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
<mo>+</mo>
<mi>q</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>C</mi>
<mrow>
<msub>
<mi>fc</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
<mo>+</mo>
<mi>r</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>B</mi>
<mrow>
<msub>
<mi>fc</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中p,q,r表示根据它们的方差排名分配到的相似性分数权重，若 则p与相乘，q与相乘，r与相乘，排名有助于确定面部候选者中的主要相似度得分，融合有助于通过最大化所有相似性得分选择最佳面部候选者。
9.基于权利要求书8所述的面部跟踪，其特征在于，在整个跟踪持续时间内对所有关键点特征ki执行长期更新，在t帧处GRM模型收集所有关键点特征，使用公式(7)适应其权重来执行长期更新：
<mrow>
<msubsup>
<mi>w</mi>
<msub>
<mi>k</mi>
<mi>i</mi>
</msub>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&tau;</mi>
<mo>)</mo>
<msubsup>
<mi>w</mi>
<msub>
<mi>k</mi>
<mi>i</mi>
</msub>
<mi>t</mi>
</msubsup>
<mo>+</mo>
<mi>&tau;</mi>
<mo>&CenterDot;</mo>
<mi>&theta;</mi>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<msub>
<mi>k</mi>
<mi>i</mi>
</msub>
<mo>&Element;</mo>
<mi>N</mi>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&tau;</mi>
<mo>)</mo>
<msubsup>
<mi>w</mi>
<msub>
<mi>k</mi>
<mi>i</mi>
</msub>
<mi>t</mi>
</msubsup>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，τ是学习率，θ(l)的值随着关键点预测更接近而增加，由等式(8)表示为：
θ(l)＝max((1-|η·l),0.0)； (8)
其中l是使用相关信息进行特征关键点匹配给出的中心位置之间的L2范数距离，通过分析内核映射响应获得的中心，通过分析匹配关键点给出的中心响应来进行跟踪控制，避免潜在的跟踪失败问题，对于给定帧t，如果匹配的关键点在t-1帧处输出一个远离中心的中心，则减少了其对未来帧的内核响应映射的影响，由下式表示：
通过上式，避免潜在的跟踪漂移故障，从而使所提出的方法具有稳定性和对人脸外观变化的鲁棒性。
10.基于权利要求书9所述的更新，其特征在于，当图中的相似度不能在帧中建立时，通过分别更新ICM和BDM模型来执行短期更新，在这种情况下，ICM和BDM模型有助于定位人脸目标，当面部输出模板的ICM和BDM相似度匹配分数分别高于α和β时，新功能被添加到GRM中，权重低于γ的特征从GRM中去除，通过这种控制和更新，不同的外观模型在不同的跟踪场景下相互补充，进行更好的跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710780218.7A CN107492116A (zh) | 2017-09-01 | 2017-09-01 | 一种基于多外观模型进行人脸跟踪的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710780218.7A CN107492116A (zh) | 2017-09-01 | 2017-09-01 | 一种基于多外观模型进行人脸跟踪的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107492116A true CN107492116A (zh) | 2017-12-19 |
Family
ID=60651214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710780218.7A Withdrawn CN107492116A (zh) | 2017-09-01 | 2017-09-01 | 一种基于多外观模型进行人脸跟踪的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107492116A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090916A (zh) * | 2017-12-21 | 2018-05-29 | 百度在线网络技术（北京）有限公司 | 用于跟踪视频中的目标图形的方法和装置 |
| CN108399375A (zh) * | 2018-02-07 | 2018-08-14 | 厦门瑞为信息技术有限公司 | 一种基于联想记忆的身份识别方法 |
| CN108629299A (zh) * | 2018-04-24 | 2018-10-09 | 武汉幻视智能科技有限公司 | 一种结合人脸匹配的长时间多目标跟踪方法及系统 |
| CN108764338A (zh) * | 2018-05-28 | 2018-11-06 | 上海应用技术大学 | 一种应用于视频分析的行人跟踪算法 |
| CN109829436A (zh) * | 2019-02-02 | 2019-05-31 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN109902641A (zh) * | 2019-03-06 | 2019-06-18 | 中国科学院自动化研究所 | 基于语义对齐的人脸关键点检测方法、系统、装置 |
| CN110059548A (zh) * | 2019-03-08 | 2019-07-26 | 北京旷视科技有限公司 | 目标检测方法及装置 |
| CN110084258A (zh) * | 2018-02-12 | 2019-08-02 | 成都视观天下科技有限公司 | 基于视频人脸识别的人脸优选方法、设备及存储介质 |
| CN112232311A (zh) * | 2019-12-24 | 2021-01-15 | 杭州宇泛智能科技有限公司 | 人脸跟踪方法、装置及电子设备 |
| CN112734797A (zh) * | 2019-10-29 | 2021-04-30 | 浙江商汤科技开发有限公司 | 图像特征跟踪方法、装置及电子设备 |
| US20210183194A1 (en) * | 2019-12-12 | 2021-06-17 | Hyundai Motor Company | Face Recognition Unlocking Device and Operation Method Thereof |
| CN115223220A (zh) * | 2022-06-23 | 2022-10-21 | 北京邮电大学 | 一种基于关键点回归的人脸检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778708A (zh) * | 2017-02-14 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种基于张量的主动外观模型的表情变化识别方法 |
| CN106803255A (zh) * | 2017-02-24 | 2017-06-06 | 深圳市唯特视科技有限公司 | 一种基于多锚点跟踪的目标检测和定位的方法 |
-
2017
- 2017-09-01 CN CN201710780218.7A patent/CN107492116A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778708A (zh) * | 2017-02-14 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种基于张量的主动外观模型的表情变化识别方法 |
| CN106803255A (zh) * | 2017-02-24 | 2017-06-06 | 深圳市唯特视科技有限公司 | 一种基于多锚点跟踪的目标检测和定位的方法 |
Non-Patent Citations (1)
| Title |
|---|
| TANUSHRI CHAKRAVORTY: "Robust Face Tracking using Multiple Appearance Models and Graph Relational Learning", 《TANUSHRI CHAKRAVORTY》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090916B (zh) * | 2017-12-21 | 2019-05-07 | 百度在线网络技术（北京）有限公司 | 用于跟踪视频中的目标图形的方法和装置 |
| CN108090916A (zh) * | 2017-12-21 | 2018-05-29 | 百度在线网络技术（北京）有限公司 | 用于跟踪视频中的目标图形的方法和装置 |
| CN108399375A (zh) * | 2018-02-07 | 2018-08-14 | 厦门瑞为信息技术有限公司 | 一种基于联想记忆的身份识别方法 |
| CN108399375B (zh) * | 2018-02-07 | 2020-10-13 | 厦门瑞为信息技术有限公司 | 一种基于联想记忆的身份识别方法 |
| CN110084258A (zh) * | 2018-02-12 | 2019-08-02 | 成都视观天下科技有限公司 | 基于视频人脸识别的人脸优选方法、设备及存储介质 |
| CN108629299B (zh) * | 2018-04-24 | 2021-11-16 | 武汉幻视智能科技有限公司 | 一种结合人脸匹配的长时间多目标跟踪方法及系统 |
| CN108629299A (zh) * | 2018-04-24 | 2018-10-09 | 武汉幻视智能科技有限公司 | 一种结合人脸匹配的长时间多目标跟踪方法及系统 |
| CN108764338B (zh) * | 2018-05-28 | 2021-05-04 | 上海应用技术大学 | 一种应用于视频分析的行人跟踪方法 |
| CN108764338A (zh) * | 2018-05-28 | 2018-11-06 | 上海应用技术大学 | 一种应用于视频分析的行人跟踪算法 |
| CN109829436A (zh) * | 2019-02-02 | 2019-05-31 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN109902641B (zh) * | 2019-03-06 | 2021-03-02 | 中国科学院自动化研究所 | 基于语义对齐的人脸关键点检测方法、系统、装置 |
| CN109902641A (zh) * | 2019-03-06 | 2019-06-18 | 中国科学院自动化研究所 | 基于语义对齐的人脸关键点检测方法、系统、装置 |
| CN110059548A (zh) * | 2019-03-08 | 2019-07-26 | 北京旷视科技有限公司 | 目标检测方法及装置 |
| CN112734797A (zh) * | 2019-10-29 | 2021-04-30 | 浙江商汤科技开发有限公司 | 图像特征跟踪方法、装置及电子设备 |
| US20210183194A1 (en) * | 2019-12-12 | 2021-06-17 | Hyundai Motor Company | Face Recognition Unlocking Device and Operation Method Thereof |
| US11495074B2 (en) * | 2019-12-12 | 2022-11-08 | Hyundai Motor Company | Face recognition unlocking device and operation method thereof |
| CN112232311A (zh) * | 2019-12-24 | 2021-01-15 | 杭州宇泛智能科技有限公司 | 人脸跟踪方法、装置及电子设备 |
| CN115223220A (zh) * | 2022-06-23 | 2022-10-21 | 北京邮电大学 | 一种基于关键点回归的人脸检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107492116A (zh) | 一种基于多外观模型进行人脸跟踪的方法 | |
| Chen et al. | Survey of pedestrian action recognition techniques for autonomous driving | |
| CN106897670B (zh) | 一种基于计算机视觉的快递暴力分拣识别方法 | |
| CN111339990B (zh) | 一种基于人脸特征动态更新的人脸识别系统和方法 | |
| Lian et al. | Locating and counting heads in crowds with a depth prior | |
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| CN112200106A (zh) | 跨相机行人重识别与跟踪方法 | |
| CN114187665B (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
| CN106355604A (zh) | 图像目标跟踪方法与系统 | |
| Wang et al. | A comprehensive overview of person re-identification approaches | |
| CN113378641B (zh) | 基于深度神经网络和注意力机制的手势识别方法 | |
| Chen et al. | Human motion target posture detection algorithm using semi-supervised learning in internet of things | |
| CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
| Shi et al. | An underground abnormal behavior recognition method based on an optimized alphapose-st-gcn | |
| CN117541994A (zh) | 一种密集多人场景下的异常行为检测模型及检测方法 | |
| Yan et al. | Human-object interaction recognition using multitask neural network | |
| CN116612542A (zh) | 基于多模态生物特征一致性的音视频人物识别方法及系统 | |
| Ni et al. | Integrating multi-stage depth-induced contextual information for human action recognition and localization | |
| Zhao et al. | Review of human gesture recognition based on computer vision technology | |
| CN114676756A (zh) | 图像识别方法、装置及计算机存储介质 | |
| CN105956604A (zh) | 一种基于两层时空邻域特征的动作识别方法 | |
| Tian et al. | Supervised abnormal event detection based on ChatGPT attention mechanism | |
| Yang | Research on basketball sports neural network model based on nonlinear classification | |
| Jiang et al. | A dynamic gesture recognition method based on computer vision | |
| Li et al. | Combining shape and appearance for automatic pedestrian segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171219 |