CN110349177A - 一种连续帧视频流的人脸关键点跟踪方法和系统 - Google Patents

一种连续帧视频流的人脸关键点跟踪方法和系统 Download PDF

Info

Publication number
CN110349177A
CN110349177A CN201910596185.XA CN201910596185A CN110349177A CN 110349177 A CN110349177 A CN 110349177A CN 201910596185 A CN201910596185 A CN 201910596185A CN 110349177 A CN110349177 A CN 110349177A
Authority
CN
China
Prior art keywords
key point
face key
face
point
video flowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910596185.XA
Other languages
English (en)
Other versions
CN110349177B (zh
Inventor
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Multi Benefit Network Co Ltd
Guangzhou Duoyi Network Co Ltd
Original Assignee
GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Multi Benefit Network Co Ltd
Guangzhou Duoyi Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD, Multi Benefit Network Co Ltd, Guangzhou Duoyi Network Co Ltd filed Critical GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Priority to CN201910596185.XA priority Critical patent/CN110349177B/zh
Publication of CN110349177A publication Critical patent/CN110349177A/zh
Application granted granted Critical
Publication of CN110349177B publication Critical patent/CN110349177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种连续帧视频流的人脸关键点跟踪方法和系统，将人脸图片送入参数模型，获取原始人脸关键点；对原始人脸关键点进行平滑处理并替换原有坐标点，得到初步稳定人脸关键点；对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。本发明实现简单，适用性广，能够有效确保人脸关键点在连续的视频流上稳定的、实时的展示出来，提升人机交互体验。

Description

一种连续帧视频流的人脸关键点跟踪方法和系统
技术领域
本发明涉及图像处理领域，特别是指一种连续帧视频流的人脸关键点跟踪方法和系统。
背景技术
人脸关键点包括眼睛、眉毛、鼻子、嘴巴和脸部轮廓等关键部位在人脸图片上的坐标表示。人脸关键点跟踪技术应用于人机交互下的各种表情传递场景，对研究数字图像和人机交互领域具有重大的意义，比如虚拟表情录制、实时虚拟人物互动都依赖人脸关键点跟踪技术。
人脸关键点由参数模型对人脸图像进行分析、计算后得到的一个坐标点集，而在流式视频帧中获取的一系列人脸关键点，很容易受参数模型、人脸运动、人脸所在环境的影响，导致把人脸关键点直接套用在虚拟表情时会表现出抖动的视觉效果，严重影响人机交互的体验。
发明内容
本发明提出一种连续帧视频流的人脸关键点跟踪方法和系统，解决了现有技术中参数模型计算分析出来的人脸关键点会存在不确定的偏差，把直接得到的人脸关键点驱动虚拟表情时，虚拟表情在视觉上会表现出抖动的效果，导致人机交互体验很差的问题。
本发明的技术方案是这样实现的：
一种连续帧视频流的人脸关键点跟踪方法，包括以下步骤：
S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；
S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；
S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。
作为本发明的优选实施例，所述参数模型为函数集合对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。
作为本发明的优选实施例，所述步骤S2具体包括以下步骤：
S21，直接输出第一帧人脸图片的人脸关键点P1，获取视频流第t帧人脸图片的人脸关键点Pt，前、后帧人脸图片的人脸关键点Pt-1、Pt+1；t为大于1的整数；
S22，分别以Pt-1、Pt、Pt+1各个应对的关键点坐标为顶点构建一个空间三角形，并计算出此三角形的重心坐标，得到对应的人脸关键点重心点Qt，使用Qt以替换的方式更新Pt并输出；
S23，重复步骤S22，直至视频流结束。
作为本发明的优选实施例，所述步骤S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正，具体指的是
提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。
作为本发明的优选实施例，所述步骤S3具体包括以下步骤：
S31，基于Lukas-Kanade跟踪算法，对Pt-1在视频流上的帧Mt-1到Mt的方向上进行跟踪预测，得到人脸关键点Pa和每个跟踪点的状态信息Sa；
S32，将人脸关键点细分为各个独立的部位，根据跟踪状态信息Sa确定跟踪的有效人脸关键点，计算每个部位从Pt-1到Pa上的每个有效人脸关键点在x方向距离和sx、在y方向距离和sy，得到每个部位的平均距离差C；
S33，对上述的每个独立部位的关键点坐标进行精细的调整，即当前坐标点是上述的有效关键点，则使用Pa上应对的点来替换更新；如果不是有效关键点，则寻找在空间上相邻有效关键点的在x和y方向上的平均变化距离来更新当前点；若都相邻的点也没有有效关键点，则使用上述的C来更新当前点；得到精细调整后的人脸关键点Ht；
S34，对比上述的Pt和Ht的每个坐标点的差值，若存在一半的点在x方向和y方向的距离差都大于指定值，则再进行一次线性均值计算来更新Pt。
一种连续帧视频流的人脸关键点跟踪系统，包括
参数模型单元，用于从视频流每帧人脸图片获取人脸关键点；
线性稳定单元，用于将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；
跟踪稳定单元，用于对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。
作为本发明的优选实施例，所述参数模型单元，包含函数集合对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。
作为本发明的优选实施例，所述线性稳定单元，通过对连续三个帧的关键点坐标构成的三角形，计算出这三角形的重心坐标并替换中间帧的关键点坐标，得到的初步稳定关键点。
作为本发明的优选实施例，所述跟踪稳定单元，提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。
本发明的有益效果在于：通过参数模型计算得到的视频流每帧人脸关键点，利用相邻前后帧的关键点对当前帧的关键点做平滑、跟踪、修正，得到连续、稳定的人脸关键点，解决实时人机交互时虚拟表情出现抖动的问题，大大的提升了人机交互的体验效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种连续帧视频流的人脸关键点跟踪方法的流程图；
图2为将连续的原始关键点做线性平滑后的效果对比图；
图3为图1中步骤S3的流程图；
图4为检测和修正的跳动关键点示意图；
图5为本发明一种连续帧视频流的人脸关键点跟踪系统的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提出了一种连续帧视频流的人脸关键点跟踪方法，包括以下步骤：
S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；参数模型为函数集合对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。
S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；
步骤S2具体包括以下步骤：
S21，直接输出第一帧人脸图片的人脸关键点P1，获取视频流第t帧人脸图片的人脸关键点Pt，前、后帧人脸图片的人脸关键点Pt-1、Pt+1；t为大于1的整数。
S22，分别以Pt-1、Pt、Pt+1各个应对的关键点坐标为顶点构建一个空间三角形，并计算出此三角形的重心坐标，得到对应的人脸关键点重心点Qt，使用Qt以替换的方式更新Pt并输出给下一模块。
S23，重复步骤S22，直至视频流结束。
在处理上述的Pt时，需要获取前后帧的关键点来更新Pt，因为Pt+1是下一帧的，所以传递给下一模块的Pt会存在一点延时；但普通视频的帧率在25～30fps，即相邻两帧的时间间隔是30～40ms，人脸上的每个部位的一个完整运动周期的时间都在100ms以上，如闭合眼睛、闭合嘴巴、左右上下头部运动等；因此这点延迟对整体的人机交互的影响是可以忽略的。
上述线性平滑的稳定装置不仅具有实现简单、运行速度极快，而且对单点的运动轨迹来看，平滑的效果显著。如图2所示，波动较大的虚线是随机生成的关键点按坐标升序排列连接后的结果，波动较小的虚线是使用上述线性平滑算法后的结果，对比之下可以明显看到对产生的突兀抖动进行拟合，调节为平滑的线性轨迹。
但由于人脸每个部位的关键点都是以一个关联的整体呈现的，而且参数模型的检测结果具有一定的不确定性，要想得到完美的效果，对参数模型输出的人脸关键点要求太高了。因此需要以人脸部位关键点为单位，跟踪每个人脸部位的运动变化，并通过跟踪信息检测出异常的点，并做相应的修处理。
S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。
所述步骤S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正，具体指的是提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。
本发明提供了一种适用于连续帧视频流人脸关键点跟踪、发现存在异常关键点的修正方法，具体请参阅图3，为本发明跟踪修正异常关键点的步骤流程图，包括以下步骤：
S31，基于Lukas-Kanade跟踪算法，对Pt-1在视频流上的帧Mt-1到Mt的方向上进行跟踪预测，得到人脸关键点Pa和每个跟踪点的状态信息Sa；
S32，将人脸关键点细分为各个独立的部位，根据跟踪状态信息Sa确定跟踪的有效人脸关键点，计算每个部位从Pt-1到Pa上的每个有效人脸关键点在x方向距离和sx、在y方向距离和sy，得到每个部位的平均距离差C；
S33，对上述的每个独立部位的关键点坐标进行精细的调整，即当前坐标点是上述的有效关键点，则使用Pa上应对的点来替换更新；如果不是有效关键点，则寻找在空间上相邻有效关键点的在x和y方向上的平均变化距离来更新当前点；若都相邻的点也没有有效关键点，则使用上述的C来更新当前点；得到精细调整后的人脸关键点Ht；
S34，对比上述的Pt和Ht的每个坐标点的差值，若存在一半的点在x方向和y方向的距离差都大于指定值，则再进行一次线性均值计算来更新Pt，使得更新后的Pt具有原来回归性，不会与参数模型的输出结果相差太远。
可以看出，上述跟踪稳定算法对关键点的调整既有对每一个关键点的异常检测、修正逻辑，又有整体部位关键点联动的分析与回归。如图4所示，右眼的两个点都存在微小跳动的情况下，使用上述的跟踪稳定算法是很容易定位出异常的关键点，并进行修正的。
如图5所示，本发明还提出了一种连续帧视频流的人脸关键点跟踪系统，包括
参数模型单元，用于从视频流每帧人脸图片获取人脸关键点；
线性稳定单元，用于将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；
跟踪稳定单元，用于对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。
参数模型单元输出人脸关键点至线性稳定单元，线性稳定单元输出初步稳定的人脸关键点至跟踪稳定单元进行跟踪，异常点检测和修正。
所述参数模型单元，包含函数集合对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。
所述线性稳定单元，对连续的三个点坐标p1，p2，p3构成的三角形，计算出这三角形的重心坐标p，并使用p来替换p2而得到的初步稳定关键点。
所述跟踪稳定单元，提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。
本发明中人脸关键点包括眼睛、眉毛、嘴巴、脸部轮廓在相对检测图片的坐标。本发明提出的连续人脸关键点由初步稳定到精细稳定的跟踪算法，通过观察大量的连续人脸视频流在参数模型上产生的人脸关键点的特点，进行算法的分析、改进、总结，极大地提高了算法的运行速度和鲁棒性，对人脸处于遮挡变化、光线持续变化、不同脸部姿态变等化各种环境下的视频流进行虚拟表情人机交互都取得了非常稳定的效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种连续帧视频流的人脸关键点跟踪方法，其特征在于，包括以下步骤：
S1，通过参数模型从视频流每帧人脸图片获取人脸关键点；
S2，基于线性稳定算法将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；
S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。
2.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述参数模型为函数对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。
3.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S2具体包括以下步骤：
S21，直接输出第一帧人脸图片的人脸关键点P1，获取视频流第t帧人脸图片的人脸关键点Pt，前、后帧人脸图片的人脸关键点Pt-1、Pt+1；t为大于1的整数；
S22，分别以Pt-1、Pt、Pt+1各个应对的关键点坐标为顶点构建一个空间三角形，并计算出此三角形的重心坐标，得到对应的人脸关键点重心点Qt，使用Qt以替换的方式更新Pt并输出；
S23，重复步骤S22，直至视频流结束。
4.根据权利要求1所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S3，基于跟踪稳定算法对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正，具体指的是
提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。
5.根据权利要求3所述的连续帧视频流的人脸关键点跟踪方法，其特征在于，所述步骤S3具体包括以下步骤：
S31，基于Lukas-Kanade跟踪算法，对Pt-1在视频流上的帧Mt-1到Mt的方向上进行跟踪预测，得到人脸关键点Pa和每个跟踪点的状态信息Sa；
S32，将人脸关键点细分为各个独立的部位，根据跟踪状态信息Sa确定跟踪的有效人脸关键点，计算每个部位从Pt-1到Pa上的每个有效人脸关键点在x方向距离和sx、在y方向距离和sy，得到每个部位的平均距离差C；
S33，对上述的每个独立部位的关键点坐标进行精细的调整，即当前坐标点是上述的有效关键点，则使用Pa上应对的点来替换更新；如果不是有效关键点，则寻找在空间上相邻有效关键点的在x和y方向上的平均变化距离来更新当前点；若都相邻的点也没有有效关键点，则使用上述的C来更新当前点；得到精细调整后的人脸关键点Ht；
S34，对比上述的Pt和Ht的每个坐标点的差值，若存在一半的点在x方向和y方向的距离差都大于指定值，则再进行一次线性均值计算来更新Pt。
6.一种连续帧视频流的人脸关键点跟踪系统，其特征在于，包括
参数模型单元，用于从视频流每帧人脸图片获取人脸关键点；
线性稳定单元，用于将每个人脸关键点的坐标点进行平滑处理，得到平滑后的坐标点替换原有坐标点，得到初步稳定的人脸关键点；
跟踪稳定单元，用于对前后帧人脸图片中的人脸关键点的运动方向和运行距离进行跟踪，对初步稳定的人脸关键点进行异常点检测和修正。
7.根据权利要求6所述的连续帧视频流的人脸关键点跟踪系统，其特征在于，所述参数模型单元，包含函数集合对大量的人脸图片和精确的人脸关键点进行拟合得到的参数集合。
8.根据权利要求6所述的连续帧视频流的人脸关键点跟踪系统，其特征在于，所述线性稳定单元，通过对连续三个帧的关键点坐标构成的三角形，计算出这三角形的重心坐标并替换中间帧的关键点坐标，得到的初步稳定关键点。
9.根据权利要求6所述的连续帧视频流的人脸关键点跟踪系统，其特征在于，所述跟踪稳定单元，提取人脸关键点的Lukas-Kanade跟踪信息，得到整体关键点的运动方向，检测出所述初步稳定关键点中存在明显跳动的异常点，并进行修正处理，得到稳定的人脸关键点。
CN201910596185.XA 2019-07-03 2019-07-03 一种连续帧视频流的人脸关键点跟踪方法和系统 Active CN110349177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910596185.XA CN110349177B (zh) 2019-07-03 2019-07-03 一种连续帧视频流的人脸关键点跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910596185.XA CN110349177B (zh) 2019-07-03 2019-07-03 一种连续帧视频流的人脸关键点跟踪方法和系统

Publications (2)

Publication Number Publication Date
CN110349177A true CN110349177A (zh) 2019-10-18
CN110349177B CN110349177B (zh) 2021-08-03

Family

ID=68177819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910596185.XA Active CN110349177B (zh) 2019-07-03 2019-07-03 一种连续帧视频流的人脸关键点跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN110349177B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523408A (zh) * 2020-04-09 2020-08-11 北京百度网讯科技有限公司 动作捕捉方法和装置
CN112597973A (zh) * 2021-01-29 2021-04-02 秒影工场(北京)科技有限公司 一种基于卷积神经网络的高清视频人脸对齐的方法
CN112668465A (zh) * 2020-12-25 2021-04-16 秒影工场(北京)科技有限公司 一种基于多级cnn的影片人脸提取的方法
CN113723375A (zh) * 2021-11-02 2021-11-30 杭州魔点科技有限公司 一种基于特征抽取的双帧人脸跟踪方法和系统
CN114821717A (zh) * 2022-04-20 2022-07-29 北京百度网讯科技有限公司 目标对象融合方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN106204484A (zh) * 2016-07-11 2016-12-07 徐州工程学院 一种基于光流和局部不变特征的交通目标跟踪方法
CN107194947A (zh) * 2017-05-18 2017-09-22 贵州宇鹏科技有限责任公司 一种自适应自纠正的目标跟踪方法
CN107704829A (zh) * 2017-10-09 2018-02-16 武汉斗鱼网络科技有限公司 一种人脸关键点追踪方法及应用和装置
CN107832741A (zh) * 2017-11-28 2018-03-23 北京小米移动软件有限公司 人脸特征点定位的方法、装置及计算机可读存储介质
CN108010059A (zh) * 2017-12-05 2018-05-08 北京小米移动软件有限公司 电子防抖算法的性能分析方法及装置
GB201812266D0 (en) * 2017-08-03 2018-09-12 Takeuchi Kenji Image pick-up apparatus and control method
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN108830900A (zh) * 2018-06-15 2018-11-16 北京字节跳动网络技术有限公司 关键点的抖动处理方法和装置
CN109285122A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种进行图像处理的方法和设备
CN109684920A (zh) * 2018-11-19 2019-04-26 腾讯科技（深圳）有限公司 物体关键点的定位方法、图像处理方法、装置及存储介质
CN109785363A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第五十二研究所 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN109788190A (zh) * 2018-12-10 2019-05-21 北京奇艺世纪科技有限公司 一种图像处理方法、装置、移动终端及存储介质
CN109905590A (zh) * 2017-12-08 2019-06-18 腾讯科技（深圳）有限公司 一种视频图像处理方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法
CN106204484A (zh) * 2016-07-11 2016-12-07 徐州工程学院 一种基于光流和局部不变特征的交通目标跟踪方法
CN107194947A (zh) * 2017-05-18 2017-09-22 贵州宇鹏科技有限责任公司 一种自适应自纠正的目标跟踪方法
CN109285122A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种进行图像处理的方法和设备
GB201812266D0 (en) * 2017-08-03 2018-09-12 Takeuchi Kenji Image pick-up apparatus and control method
CN107704829A (zh) * 2017-10-09 2018-02-16 武汉斗鱼网络科技有限公司 一种人脸关键点追踪方法及应用和装置
CN107832741A (zh) * 2017-11-28 2018-03-23 北京小米移动软件有限公司 人脸特征点定位的方法、装置及计算机可读存储介质
CN108010059A (zh) * 2017-12-05 2018-05-08 北京小米移动软件有限公司 电子防抖算法的性能分析方法及装置
CN109905590A (zh) * 2017-12-08 2019-06-18 腾讯科技（深圳）有限公司 一种视频图像处理方法及装置
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN108830900A (zh) * 2018-06-15 2018-11-16 北京字节跳动网络技术有限公司 关键点的抖动处理方法和装置
CN109684920A (zh) * 2018-11-19 2019-04-26 腾讯科技（深圳）有限公司 物体关键点的定位方法、图像处理方法、装置及存储介质
CN109788190A (zh) * 2018-12-10 2019-05-21 北京奇艺世纪科技有限公司 一种图像处理方法、装置、移动终端及存储介质
CN109785363A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第五十二研究所 一种无人机航拍视频运动小目标实时检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐威威等: ""一种鲁棒的人脸关键点实时跟踪方法"", 《计算机工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523408A (zh) * 2020-04-09 2020-08-11 北京百度网讯科技有限公司 动作捕捉方法和装置
CN111523408B (zh) * 2020-04-09 2023-09-15 北京百度网讯科技有限公司 动作捕捉方法和装置
CN112668465A (zh) * 2020-12-25 2021-04-16 秒影工场(北京)科技有限公司 一种基于多级cnn的影片人脸提取的方法
CN112597973A (zh) * 2021-01-29 2021-04-02 秒影工场(北京)科技有限公司 一种基于卷积神经网络的高清视频人脸对齐的方法
CN113723375A (zh) * 2021-11-02 2021-11-30 杭州魔点科技有限公司 一种基于特征抽取的双帧人脸跟踪方法和系统
CN114821717A (zh) * 2022-04-20 2022-07-29 北京百度网讯科技有限公司 目标对象融合方法、装置、电子设备及存储介质
CN114821717B (zh) * 2022-04-20 2024-03-12 北京百度网讯科技有限公司 目标对象融合方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110349177B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN110349177A (zh) 一种连续帧视频流的人脸关键点跟踪方法和系统
US11030790B2 (en) Apparatus and method for performing motion capture using a random pattern on capture surfaces
US20180225517A1 (en) Skeleton detection and tracking via client-server communication
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
CN106846376B (zh) 一种三维自动相机轨迹的平滑处理方法
US20190141358A1 (en) Client-server communication for live filtering in a camera view
CN104040593B (zh) 用于3d模型变形的方法和装置
Liu et al. Human action recognition using a distributed rgb-depth camera network
CN110287894A (zh) 一种针对超广角视频的手势识别方法及系统
CN105279767B (zh) 火车到站状态的识别方法
Ladwig et al. Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence
CN115914660A (zh) 一种元宇宙和直播中数字人的动作和面部表情的控制方法
Casao et al. A framework for fast prototyping of photo-realistic environments with multiple pedestrians
Tang et al. Mpeg4 performance-driven avatar via robust facial motion tracking
Xing et al. Markerless motion capture of human body using PSO with single depth camera
Will et al. An Optimized Marker Layout for 3D Facial Motion Capture.
CN117557593A (zh) 一种基于视频分析的人员轨迹追踪方法及系统
Zhu Application of Motion Capture Technology in 3D Animation Creation
Kasat et al. Real time face morphing
Mainkar et al. Morphing by Triangulation Method
Yin et al. WHAC: World-grounded Humans and Cameras
Kopp et al. Tracking system with pose-invariant face analysis for human-robot interaction
CN114333052A (zh) 一种基于深感流媒体的人体动作捕捉方法
Chaudhuri et al. Camera-based gaze control for virtual characters
Kim et al. Articulated body motion tracking using illumination invariant optical flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant