CN109598223A - 基于视频获取目标人物的方法和装置 - Google Patents

基于视频获取目标人物的方法和装置 Download PDF

Info

Publication number
CN109598223A
CN109598223A CN201811420690.0A CN201811420690A CN109598223A CN 109598223 A CN109598223 A CN 109598223A CN 201811420690 A CN201811420690 A CN 201811420690A CN 109598223 A CN109598223 A CN 109598223A
Authority
CN
China
Prior art keywords
target person
picture
video
face
face datection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811420690.0A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Luo Da Da Technology Co Ltd
Original Assignee
Beijing Luo Da Da Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Luo Da Da Technology Co Ltd filed Critical Beijing Luo Da Da Technology Co Ltd
Priority to CN201811420690.0A priority Critical patent/CN109598223A/zh
Publication of CN109598223A publication Critical patent/CN109598223A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于视频获取目标人物的方法,对获取的包含目标人物的图片进行人脸检测操作;对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;对匹配成功的目标人物的图片进行展示。该方法涉及一种半自动的基于机器学习在视频中准备训练数据的方式,帮助数据人员为人脸识别模型准备训练数据时,数据准备不齐全,种类单一,清洗难度大的问题,实现对视频中目标人物的实时比对性,且具有易用性与适用性。本公开还提供了一种基于视频获取目标人物的装置。

Description

基于视频获取目标人物的方法和装置
技术领域
本公开涉及视频图像处理技术领域,具体而言,涉及一种基于视频获取目标人物的方法和装置。
背景技术
现有技术中,为了基于连续的视频,训练目标人物的识别操作,需要准备大量的训练数据。一般的,每个目标人物训练所需的图片在500~1000张左右,才能达到较好的准确度。加之,根据工作场景需要,目标人物的权重需要会有变动,需要不断扩充或者更新已有的目标人物的识别模型。这对数据准备工作是一个严重的挑战。
需要说明的是,不论是在网络图库中采集目标人物的图片,还是在特定场景中截图,无论哪一种方式,都需要人工去参与,都存在各自的缺陷:在网络图库中获取的目标人物的图片的质量参差不齐,很多照片不符合模型训练的需求。其次,截图纯依赖人工,效率低下,能够保证目标人物照片的质量但是产出量不足。人脸识别模型中用作训练的最终数据是人脸,清洗后的图片是单人还好,如果是多人会对训练的模型有影响。
发明内容
为了解决现有技术中由于不论是在网络图库中采集目标人物的图片,还是在特定场景中截图,都需要人工去参与,且抓取的目标人物的图片的质量参差不齐的问题,本公开实施例提供了一种基于视频获取目标人物的方法和装置,具体涉及一种半自动的基于机器学习在视频中准备训练数据的方式,帮助数据人员为人脸识别模型准备训练数据时,数据准备不齐全,种类单一,清洗难度大的问题。数据人员提供包含预训练目标人物的网络照片以及标准照;对目标人物的标准照进行人脸检测、关键点提取、局部特征描述子生成后,把目标人物的局部特征描述子保存起来。再次,对视频中每隔预设时间抽一帧,将帧中的人脸抠出来,保存为图片,最终,对人脸图片进行关键点提取,局部特征描述子生成,和目标人物的标准照的局部特征描述子逐一对比,计算其欧式距离,距离最小的判定为同一人,并将详细信息保存在数据库中。实现对视频中目标人物的实时比对性,且具有易用性与适用性。
第一方面,本公开实施例提供了一种基于视频获取目标人物的方法,包括以下步骤:对获取的包含目标人物的图片进行人脸检测操作;对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;对匹配成功的所述目标人物的图片进行展示。
在其中一个实施例中,还包括:预先获取包含目标人物的图片,其中,针对每个所述目标人物获取面部正面图片、面部左侧图片以及面部右侧图片三张图片。
在其中一个实施例中,所述对获取的包含目标人物的图片进行人脸检测操作包括:针对所述目标人物的人脸上的关键点进行提取,并对提取到的关键点完成特征标记;通过预先设置的关键点的权重计算与预设算法完成人脸检测操作;其中,所述预设算法为基于对称差分法与混合高斯模型的背景差分法融合的算法,假设采用三个连续帧取代两帧,视频序列连续三帧源图像为I(X,t-1),I(X,t)以及I(X,t+1),计算相邻两帧源图像的绝对差灰度图像D(t-1,t)(x,y)和D(t,t+1)(x,y),公式:D(t-1,t)(x,y)=|W@I(X,t)-W@I(X,t-1)|;D(t,t+1)(x,y)=|W@I(X,t+1)-W@I(X,t)|;其中,W是一个抑制噪声的窗口函数;对D(t-1,t)(x,y)和D(t,t+1)(x,y)分别取阈值T1进行二值化,获取两个二值化图像B(t-1,t)(x,y)和B(t,t+1)(x,y);将B(t-1,t)(x,y)和B(t,t+1)(x,y)在每个像素位置进行逻辑与操作,获取对称差分结果二值图像,公式为:D(s,t)(x,y)=1(ifB(t-1,t)(x,t)(x,y)H B(t,t+1)(x,y));D(s,t)(x,y)=0(else)。
在其中一个实施例中,还包括:通过针对人脸检测中的预设局部特征描述子对已完成特征标记的关键点进行描述,生成局部特征描述子集合。
在其中一个实施例中,所述将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配包括:将通过针对人脸检测中的预设局部特征描述子对已完成特征标记的关键点进行描述,生成的局部特征描述子集合定义为第一集合;获取基于所述视频帧中选取的所述人脸图像的局部特征描述子集合,并定义为第二集合。
在其中一个实施例中,还包括:将所述第一集合与多个所述第二集合进行逐一比对与计算;取所述第一集合与所述第二集合的计算结果的最小值进行存储。
在其中一个实施例中,所述将所述第一集合与多个所述第二集合进行逐一比对与计算包括:通过欧式距离算法对所述第一集合与多个所述第二集合进行逐一比对与计算。
第二方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的方法的步骤。
第三方面,本公开实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的方法的步骤。
第四方面,本公开实施例提供了一种基于视频获取目标人物的装置,所述装置包括:检测模块,用于对获取的包含目标人物的图片进行人脸检测操作;选取与保存模块,用于对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;匹配模块,用于将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;展示模块,用于对匹配成功的所述目标人物的图片进行展示。
本发明提供的一种基于视频获取目标人物的方法和装置,对获取的包含目标人物的图片进行人脸检测操作;对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;对匹配成功的所述目标人物的图片进行展示。该方涉及一种半自动的基于机器学习在视频中准备训练数据的方式,帮助数据人员为人脸识别模型准备训练数据时,数据准备不齐全,种类单一,清洗难度大的问题。具体的,数据人员提供包含预训练目标人物的网络照片以及标准照;对目标人物的标准照进行人脸检测、关键点提取、局部特征描述子生成后,把目标人物的局部特征描述子保存起来。再次,对视频中每隔预设时间抽一帧,将帧中的人脸抠出来,保存为图片,最终,对人脸图片进行关键点提取,局部特征描述子生成,和目标人物的标准照的局部特征描述子逐一对比,计算其欧式距离,距离最小的判定为同一人,并将详细信息保存在数据库中,实现对视频中目标人物的实时比对性,且具有易用性与适用性。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面对实施例描述中所需要使用的附图作简单地介绍:
图1为本发明一个实施例中的一种基于视频获取目标人物的方法的步骤流程示意图;
图2为本发明另一实施例中的一种基于视频获取目标人物的方法的步骤流程示意图;以及
图3为本发明一个实施例中的一种基于视频获取目标人物的装置的结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中,术语“第一”、“第二”仅为用于描述的目的,而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例,不同实施例之间可以替换或者合并组合,因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而,如果一个实施例包含特征A、B、C,另一个实施例包含特征B、D,那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例,尽管该实施例可能并未在以下内容中有明确的文字记载。
为了使本发明的目的、技术方案及优点更加清楚明白,以下通过实施例,并结合附图,对本发明基于视频获取目标人物的方法和装置的具体实施方式进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
鉴于现有技术的问题,本公开提出一种在视频中寻找训练数据的方法和系统,来提高训练数据的质量,缓解数据清洗人员的压力。这就使得高效、精准、快捷地针对视频中获取目标人物的方法成为一项既有学术价值又有现实意义的工作。
如图1所示,为一个实施例中的一种基于视频获取目标人物的方法的流程示意图,具体包括以下步骤:
步骤102,对获取的包含目标人物的图片进行人脸检测操作。
具体的,对获取的包含目标人物的图片进行人脸检测操作包括:针对目标人物的人脸上的关键点进行提取;对提取到的关键点完成特征标记,并通过预先设置的关键点权重计算与预设算法完成人脸检测操作。此外,本公开的一种基于视频获取目标人物的方法还包括:通过针对人脸检测中的预设局部特征描述子对已完成特征标记的关键点进行描述,生成局部特征描述子集合。
进一步地,在一个实施例中,本公开的一种基于视频获取目标人物的方法还包括:预先获取包含目标人物的图片,其中,针对每个所述目标人物获取面部正面图片、面部左侧图片以及面部右侧图片三张图片。由此,为后续的人脸检测提供足够多且精准的数据,更具有易用性。
步骤104,对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存。
步骤106,将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配。
具体的,将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配包括:将通过针对人脸检测中的预设局部特征描述子对已完成特征标记的关键点进行描述,生成的局部特征描述子集合定义为第一集合;获取基于视频帧中选取的人脸图像的局部特征描述子集合,并定义为第二集合。进一步地,本公开涉及的一种基于视频获取目标人物的方法还包括:将第一集合与多个第二集合进行逐一比对与计算;取第一集合与第二集合的计算结果的最小值进行存储。更进一步地,需要说明的是,将第一集合与多个第二集合进行逐一比对与计算包括:通过欧式距离算法对第一集合与多个第二集合进行逐一比对与计算。
更进一步地,需要说明的是,在视频中选取的人脸图像的监控过程中,为了实现对视频中人脸目标的精确检测,以满足其后续的匹配数据需要,本公开具体采用了帧间差分法与基于混合高斯模型的背景差分法相融合的算法,且结合本技术领域人员可理解的阴影检测、连通组件分析和形态学滤波方法,能够精准地划分出人脸的边界。其中,帧间差分是将当前帧与前一帧图像的像素亮度或者梯度值相减,从而获取视频中人脸的位置与形状等多种信息。一个改进的方法是对称差分法,即上述所提及的预设算法为基于对称差分法与混合高斯模型的背景差分法融合的算法。具体的,假设采用三个连续帧取代两帧,能够很好地提取出中间帧的人脸轮廓。具体的,视频序列连续三帧源图像为I(X,t-1),I(X,t)以及I(X,t+1),分别计算相邻两帧源图像的绝对差灰度图像D(t-1,t)(x,y)和D(t,t+1)(x,y)。即公式如下:
D(t-1,t)(x,y)=|W@I(X,t)-W@I(X,t-1)|;
D(t,t+1)(x,y)=|W@I(X,t+1)-W@I(X,t)|;
其中,W是一个抑制噪声的窗口函数。由于均值滤波会使图像模糊化,从而失去边缘信息,因此本公开中选用高斯滤波函数进行噪声的抑制操作。对D(t-1,t)(x,y)和D(t,t+1)(x,y)分别取阈值T1,以进行二值化,得到两个二值化图像B(t-1,t)(x,y)和B(t,t+1)(x,y),且将B(t-1,t)(x,y)和B(t,t+1)(x,y)在每个像素位置进行逻辑与操作,获取对称差分结果二值图像,计算公式为:
D(s,t)(x,y)=1(ifB(t-1,t)(x,t)(x,y)H B(t,t+1)(x,y));
D(s,t)(x,y)=0(else)
更进一步地,混合高斯模型的背景差分法为采用混合高斯分布来描述视频中的背景模型,即通过获取背景样本不断进行训练,通过新的高斯分布代替优先级最低的高斯分布,从而获取混合高斯模型的背景模型。
步骤108,对匹配成功的目标人物的图片进行展示。
本发明提供的一种基于视频获取目标人物的方法,对获取的包含目标人物的图片进行人脸检测操作;对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;对匹配成功的目标人物的图片进行展示。该方法涉及一种半自动的基于机器学习在视频中准备训练数据的方式,帮助数据人员为人脸识别模型准备训练数据时,数据准备不齐全,种类单一,清洗难度大的问题。具体的,数据人员提供包含预训练目标人物的网络照片以及标准照;对目标人物的标准照进行人脸检测、关键点提取、局部特征描述子生成后,把目标人物的局部特征描述子保存起来。再次,对视频中每隔预设时间抽一帧,将帧中的人脸抠出来,保存为图片,最终,对人脸图片进行关键点提取,局部特征描述子生成,和目标人物的标准照的局部特征描述子逐一对比,计算其欧式距离,距离最小的判定为同一人,并将详细信息保存在数据库中,实现对视频中目标人物的实时比对性,且具有易用性与适用性。
为了更好地理解与应用本公开涉及的一种基于视频获取目标人物的方法,进行以下示例,需要说明的是,本公开所保护的范围不限于以下示例。
具体的,数据人员提供预训练明星的标准照和视频。其中,训练明星的标准照的要求:一张照片中必须只有预训练明星一人,如果是多人以后和影视剧检测出的人脸做对比时会因为额外的人脸对对比结果造成误差,而且最好包括正脸,360度的所有脸部图像,以及带有不同表情的照片,照片数在10-100张之内;影视剧的要求:包括古装,现代,综艺,本着多剧集、多类型的原则。此外,一个明星可以出现在多个视频,一个视频里面可以有多个明星。
进一步地,利用Dlib机器学习开源库中已存在人脸关键点检测器模型shape_predictor_68_face_landmarks.dat,以及与人脸识别模型dlib_face_recognition_resnet_model_v1.dat对明星的标准照进行人脸检测、关键点提取、局部特征描述子生成后,把候选人局部特征描述子保存起来。需要说明的是,给定两张图片,每张图片里面有一个人脸。分别从这两张图片中检测出人脸,并在定位出人脸关键点。人脸一共有68个关键点。人脸检测和关键点定位可以使用Dlib机器学习开源库来完成。其中,Dlib是一个开源的使用现代C++技术编写的跨平台的通用库。包含至少一个算法模块、线性代数模块,贝叶斯网络模块,机器学习模块,图像处理模块。其中,图像处理模块就有人脸检测和关键点定位函数。
更进一步地,对视频每隔2毫秒抽一帧,并且利用人脸检测器,即定义一个Dilb中frontal_face_detector类的对象将帧中的人脸保存。需要说明的是,由于一张图片中可能有多个人脸,所以本公开涉及的人脸检测器的结果是保存在一个vector容器里面的。其中,vector里面的对象类型是rectangle,这个数据类型描述了人脸在图片中的位置。具体来说,这一步人脸检测的结果只是一个人脸边界框,即face bounding box,人脸在被包含在方框中,而rectangle里面保存了这个方框的左上和右下点的坐标。此外,还需要说明的是,视频每一毫秒中帧的图片大多是连续的,如果每帧都保存,切出的人脸数据在很大程度上是一致的,如果图片是多人,切出的人脸数据,也会随着帧数的增加而增加,不仅在和标准照做对比时对机器造成不必要的开销,也会对数据人员标注时造成不必要的困扰,每隔2毫秒抽一帧,可以缓解重复人脸的问题。
更进一步地,对保存的人脸数据进行关键点提取,局部特征描述子生成,和演员表中的明星标准照的描述子逐一对比,求测试人脸图片描述子和标准照人脸描述子之间的欧氏距离,将视频绑定的每一个明星一组标准照中一个最小的欧式距离保存,并且将明星之间的欧式距离作比较,距离最小的判定为更像谁,并将详细信息保存到数据库中。最终,将对比之后的人脸数据展示出来,供数据人员进行进一步的筛选。其中,欧式距离算法的核心为设图像矩阵有n个元素,即n个像素点,用n个元素值(x1,x2,...,xn)组成该图像的特征组,即像素点矩阵中所有的像素点,特征组形成了n维空间,即欧式距离就是针对多维空间的,特征组中的特征码,即每一个像素点构成了每一维的数值,就是x1,即第一个像素点对应一维,x2,即第二个像素点对应二维,...,xn,即第n个像素点对应n维。在n维空间下,两个图像矩阵各形成了一个点,然后利用数学上的欧式距离公式计算这两个点之间的距离,距离最小者就是最匹配的图像。欧式距离公式如下:
点A=(x1,x2,...,xn)
点B=(y1,y2,...,yn)
AB^2=(x1-y1)^2+(x2-y2)^2+...+(xn-yn)^2
AB就是所求的A,B两个多维空间中的点之间的距离。
此外,还需要说明的是,把候选人局部特征描述子保存起来相当于对明星建立标注库。具体的,对视频每隔2毫秒抽一视频帧进行人脸检测,达到目标人物跟踪的目的,此时,将人脸检测的图像与预先存储在人脸图片库中的图片进行比对,与此同时,引入序列筛选器根据主演进行筛选,结合预先从云端存储器获取的最新的明星图片库进行人工海选,最终将确定的候选人,即目标人物存储至数据库中,并进行达标标记操作,以方便后续的匹配与查找。
基于同一发明构思,还提供了一种基于视频获取目标人物的装置。由于此装置解决问题的原理与前述一种基于视频获取目标人物的方法相似,因此,该装置的实施可以按照前述方法的具体步骤实现,重复之处不再赘述。
如图3所示,为一个实施例中的一种基于视频获取目标人物的装置的结构示意图。该基于视频获取目标人物的装置10包括:检测模块200、选取与保存模块400、匹配模块600和展示模块800。
其中,检测模块200用于对获取的包含目标人物的图片进行人脸检测操作;选取与保存模块400用于对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;匹配模块600用于将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;展示模块800用于对匹配成功的目标人物的图片进行展示。
本发明提供的一种基于视频获取目标人物的装置,首先通过检测模块对获取的包含目标人物的图片进行人脸检测操作;再通过选取与保存模块对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;再通过匹配模块将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;最终通过展示模块对匹配成功的目标人物的图片进行展示。该装置涉及一种半自动的基于机器学习在视频中准备训练数据的方式,帮助数据人员为人脸识别模型准备训练数据时,数据准备不齐全,种类单一,清洗难度大的问题。具体的,数据人员提供包含预训练目标人物的网络照片以及标准照;对目标人物的标准照进行人脸检测、关键点提取、局部特征描述子生成后,把目标人物的局部特征描述子保存起来。再次,对视频中每隔预设时间抽一帧,将帧中的人脸抠出来,保存为图片,最终,对人脸图片进行关键点提取,局部特征描述子生成,和目标人物的标准照的局部特征描述子逐一对比,计算其欧式距离,距离最小的判定为同一人,并将详细信息保存在数据库中,实现对视频中目标人物的实时比对性,且具有易用性与适用性。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被图1中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时,使得计算机执行上述图1的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
为了示例和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于视频获取目标人物的方法,其特征在于,包括以下步骤:
对获取的包含目标人物的图片进行人脸检测操作;
对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;
将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;
对匹配成功的所述目标人物的图片进行展示。
2.根据权利要求1所述的基于视频获取目标人物的方法,其特征在于,还包括:预先获取包含目标人物的图片,其中,针对每个所述目标人物获取面部正面图片、面部左侧图片以及面部右侧图片三张图片。
3.根据权利要求1所述的基于视频获取目标人物的方法,其特征在于,所述对获取的包含目标人物的图片进行人脸检测操作包括:
针对所述目标人物的人脸上的关键点进行提取,并对提取到的关键点完成特征标记;
通过预先设置的关键点的权重计算与预设算法完成人脸检测操作;
其中,所述预设算法为基于对称差分法与混合高斯模型的背景差分法融合的算法,假设采用三个连续帧取代两帧,视频序列连续三帧源图像为I(X,t-1),I(X,t)以及I(X,t+1),计算相邻两帧源图像的绝对差灰度图像D(t-1,t)(x,y)和D(t,t+1)(x,y),公式:
D(t-1,t)(x,y)=|W@I(X,t)-W@I(X,t-1)|;
D(t,t+1)(x,y)=|W@I(X,t+1)-W@I(X,t)|;
其中,W是一个抑制噪声的窗口函数;
对D(t-1,t)(x,y)和D(t,t+1)(x,y)分别取阈值T1进行二值化,获取两个二值化图像B(t-1,t)(x,y)和B(t,t+1)(x,y);
将B(t-1,t)(x,y)和B(t,t+1)(x,y)在每个像素位置进行逻辑与操作,获取对称差分结果二值图像,公式为:
D(s,t)(x,y)=1(ifB(t-1,t)(x,t)(x,y)HB(t,t+1)(x,y));
D(s,t)(x,y)=0(else)。
4.根据权利要求3所述的基于视频获取目标人物的方法,其特征在于,还包括:通过针对人脸检测中的预设局部特征描述子对已完成特征标记的关键点进行描述,生成局部特征描述子集合。
5.根据权利要求1所述的基于视频获取目标人物的方法,其特征在于,所述将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配包括:将通过针对人脸检测中的预设局部特征描述子对已完成特征标记的关键点进行描述,生成的局部特征描述子集合定义为第一集合;
获取基于所述视频帧中选取的所述人脸图像的局部特征描述子集合,并定义为第二集合。
6.根据权利要求5所述的基于视频获取目标人物的方法,其特征在于,还包括:将所述第一集合与多个所述第二集合进行逐一比对与计算;
取所述第一集合与所述第二集合的计算结果的最小值进行存储。
7.根据权利要求6所述的基于视频获取目标人物的方法,其特征在于,所述将所述第一集合与多个所述第二集合进行逐一比对与计算包括:通过欧式距离算法对所述第一集合与多个所述第二集合进行逐一比对与计算。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种基于视频获取目标人物的装置,其特征在于,所述装置包括:
检测模块,用于对获取的包含目标人物的图片进行人脸检测操作;
选取与保存模块,用于对视频中每隔预设时间抽出的帧的人脸图像全部进行选取,并进行保存;
匹配模块,用于将经过人脸检测操作的图片与视频帧中选取的人脸图像进行匹配;
展示模块,用于对匹配成功的所述目标人物的图片进行展示。
CN201811420690.0A 2018-11-26 2018-11-26 基于视频获取目标人物的方法和装置 Pending CN109598223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811420690.0A CN109598223A (zh) 2018-11-26 2018-11-26 基于视频获取目标人物的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811420690.0A CN109598223A (zh) 2018-11-26 2018-11-26 基于视频获取目标人物的方法和装置

Publications (1)

Publication Number Publication Date
CN109598223A true CN109598223A (zh) 2019-04-09

Family

ID=65960371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811420690.0A Pending CN109598223A (zh) 2018-11-26 2018-11-26 基于视频获取目标人物的方法和装置

Country Status (1)

Country Link
CN (1) CN109598223A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188602A (zh) * 2019-04-17 2019-08-30 深圳壹账通智能科技有限公司 视频中的人脸识别方法及装置
CN110414322A (zh) * 2019-06-14 2019-11-05 平安科技(深圳)有限公司 提取图片的方法、装置、设备及存储介质
CN111031398A (zh) * 2019-12-10 2020-04-17 维沃移动通信有限公司 一种视频控制方法及电子设备
CN111160068A (zh) * 2018-11-07 2020-05-15 杭州海康威视数字技术股份有限公司 目标图片生成方法、装置及电子设备
CN111464862A (zh) * 2020-04-24 2020-07-28 张咏 一种基于语音识别和图像处理的视频截图方法
CN111641813A (zh) * 2020-05-29 2020-09-08 睿住科技有限公司 访客引导方法、楼宇可视对讲系统及存储介质
CN111696029A (zh) * 2020-05-22 2020-09-22 平安普惠企业管理有限公司 虚拟形象视频生成方法、装置、计算机设备及存储介质
CN112101216A (zh) * 2020-09-15 2020-12-18 百度在线网络技术(北京)有限公司 人脸识别方法、装置、设备及存储介质
CN112132030A (zh) * 2020-09-23 2020-12-25 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置、存储介质及电子设备
CN112258280A (zh) * 2020-10-22 2021-01-22 恒信东方文化股份有限公司 一种提取多角度头像生成展示视频的方法及系统
CN112528072A (zh) * 2020-12-02 2021-03-19 泰州市朗嘉馨网络科技有限公司 应用大数据存储的对象类型分析平台及方法
CN113805993A (zh) * 2021-09-03 2021-12-17 四川新网银行股份有限公司 一种快速连续截图的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063568A1 (en) * 2003-09-24 2005-03-24 Shih-Ching Sun Robust face detection algorithm for real-time video sequence
CN103136751A (zh) * 2013-02-05 2013-06-05 电子科技大学 一种改进型sift图像特征匹配算法
CN106339428A (zh) * 2016-08-16 2017-01-18 东方网力科技股份有限公司 基于视频大数据的嫌疑人身份识别方法和装置
CN106503687A (zh) * 2016-11-09 2017-03-15 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法
CN106980809A (zh) * 2016-01-19 2017-07-25 深圳市朗驰欣创科技股份有限公司 一种基于asm的人脸特征点检测方法
CN107016690A (zh) * 2017-03-06 2017-08-04 浙江大学 基于视觉的无人机入侵检测与识别系统及方法
CN107067416A (zh) * 2017-05-11 2017-08-18 南宁市正祥科技有限公司 一种运动目标的检测方法
CN107292240A (zh) * 2017-05-24 2017-10-24 深圳市深网视界科技有限公司 一种基于人脸与人体识别的找人方法及系统
CN107507223A (zh) * 2017-07-28 2017-12-22 武汉工程大学 动态环境下基于多特征聚类匹配的目标跟踪方法
CN108416336A (zh) * 2018-04-18 2018-08-17 特斯联(北京)科技有限公司 一种智慧社区人脸识别的方法和系统
CN108776795A (zh) * 2018-06-20 2018-11-09 邯郸学院 用户身份识别方法、装置及终端设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063568A1 (en) * 2003-09-24 2005-03-24 Shih-Ching Sun Robust face detection algorithm for real-time video sequence
CN103136751A (zh) * 2013-02-05 2013-06-05 电子科技大学 一种改进型sift图像特征匹配算法
CN106980809A (zh) * 2016-01-19 2017-07-25 深圳市朗驰欣创科技股份有限公司 一种基于asm的人脸特征点检测方法
CN106339428A (zh) * 2016-08-16 2017-01-18 东方网力科技股份有限公司 基于视频大数据的嫌疑人身份识别方法和装置
CN106503687A (zh) * 2016-11-09 2017-03-15 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法
CN107016690A (zh) * 2017-03-06 2017-08-04 浙江大学 基于视觉的无人机入侵检测与识别系统及方法
CN107067416A (zh) * 2017-05-11 2017-08-18 南宁市正祥科技有限公司 一种运动目标的检测方法
CN107292240A (zh) * 2017-05-24 2017-10-24 深圳市深网视界科技有限公司 一种基于人脸与人体识别的找人方法及系统
CN107507223A (zh) * 2017-07-28 2017-12-22 武汉工程大学 动态环境下基于多特征聚类匹配的目标跟踪方法
CN108416336A (zh) * 2018-04-18 2018-08-17 特斯联(北京)科技有限公司 一种智慧社区人脸识别的方法和系统
CN108776795A (zh) * 2018-06-20 2018-11-09 邯郸学院 用户身份识别方法、装置及终端设备

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160068A (zh) * 2018-11-07 2020-05-15 杭州海康威视数字技术股份有限公司 目标图片生成方法、装置及电子设备
CN110188602A (zh) * 2019-04-17 2019-08-30 深圳壹账通智能科技有限公司 视频中的人脸识别方法及装置
CN110414322A (zh) * 2019-06-14 2019-11-05 平安科技(深圳)有限公司 提取图片的方法、装置、设备及存储介质
CN110414322B (zh) * 2019-06-14 2024-05-28 平安科技(深圳)有限公司 提取图片的方法、装置、设备及存储介质
CN111031398A (zh) * 2019-12-10 2020-04-17 维沃移动通信有限公司 一种视频控制方法及电子设备
CN111464862A (zh) * 2020-04-24 2020-07-28 张咏 一种基于语音识别和图像处理的视频截图方法
CN111696029B (zh) * 2020-05-22 2023-08-01 北京治冶文化科技有限公司 虚拟形象视频生成方法、装置、计算机设备及存储介质
CN111696029A (zh) * 2020-05-22 2020-09-22 平安普惠企业管理有限公司 虚拟形象视频生成方法、装置、计算机设备及存储介质
CN111641813A (zh) * 2020-05-29 2020-09-08 睿住科技有限公司 访客引导方法、楼宇可视对讲系统及存储介质
CN112101216A (zh) * 2020-09-15 2020-12-18 百度在线网络技术(北京)有限公司 人脸识别方法、装置、设备及存储介质
CN112132030A (zh) * 2020-09-23 2020-12-25 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置、存储介质及电子设备
CN112132030B (zh) * 2020-09-23 2024-05-28 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置、存储介质及电子设备
CN112258280A (zh) * 2020-10-22 2021-01-22 恒信东方文化股份有限公司 一种提取多角度头像生成展示视频的方法及系统
CN112258280B (zh) * 2020-10-22 2024-05-28 恒信东方文化股份有限公司 一种提取多角度头像生成展示视频的方法及系统
CN112528072B (zh) * 2020-12-02 2021-06-22 深圳市三希软件科技有限公司 应用大数据存储的对象类型分析平台及方法
CN112528072A (zh) * 2020-12-02 2021-03-19 泰州市朗嘉馨网络科技有限公司 应用大数据存储的对象类型分析平台及方法
CN113805993A (zh) * 2021-09-03 2021-12-17 四川新网银行股份有限公司 一种快速连续截图的方法
CN113805993B (zh) * 2021-09-03 2023-06-06 四川新网银行股份有限公司 一种快速连续截图的方法

Similar Documents

Publication Publication Date Title
CN109598223A (zh) 基于视频获取目标人物的方法和装置
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
Sabir et al. Recurrent convolutional strategies for face manipulation detection in videos
Montserrat et al. Deepfakes detection with automatic face weighting
JP4898800B2 (ja) イメージセグメンテーション
CN108573222B (zh) 基于循环对抗生成网络的行人图像遮挡检测方法
US11704888B2 (en) Product onboarding machine
Vosters et al. Background subtraction under sudden illumination changes
US20090324079A1 (en) Methods and Systems for Region-Based Up-Scaling
CN109308711A (zh) 目标检测方法、装置及图像处理设备
CN110730381A (zh) 基于视频模板合成视频的方法、装置、终端及存储介质
US20210056292A1 (en) Image location identification
CN109829925B (zh) 一种在抠图任务中提取干净前景的方法及模型训练方法
CN111784624A (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
WO2023241298A1 (zh) 一种视频生成方法、装置、存储介质及电子设备
Kopácsi et al. A self-supervised method for body part segmentation and keypoint detection of rat images
CN116468980A (zh) 深度融合边缘细节与深层特征的红外小目标检测方法及装置
CN110490170A (zh) 一种人脸候选框提取方法
CN107122714B (zh) 一种基于边缘约束的实时行人检测方法
CN105184245B (zh) 一种多特征融合的人群密度估计方法
CN115239551A (zh) 视频增强方法和装置
Xiong et al. Dual diversified dynamical Gaussian process latent variable model for video repairing
Zhang et al. CAD Technology Under the Background of Internet of Things and Its Application in Video Automatic Processing
Gordan et al. Pseudoautomatic lip contour detection based on edge direction patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190409