CN109215058A - 一种用于图像识别人脸跟踪的标注方法 - Google Patents

一种用于图像识别人脸跟踪的标注方法 Download PDF

Info

Publication number
CN109215058A
CN109215058A CN201811084475.8A CN201811084475A CN109215058A CN 109215058 A CN109215058 A CN 109215058A CN 201811084475 A CN201811084475 A CN 201811084475A CN 109215058 A CN109215058 A CN 109215058A
Authority
CN
China
Prior art keywords
frame
face
personage
label
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811084475.8A
Other languages
English (en)
Inventor
蒋晓海
王仲元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Testin Information Technology Co Ltd
Original Assignee
Beijing Testin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Testin Information Technology Co Ltd filed Critical Beijing Testin Information Technology Co Ltd
Priority to CN201811084475.8A priority Critical patent/CN109215058A/zh
Publication of CN109215058A publication Critical patent/CN109215058A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种用于图像识别人脸跟踪的标注方法，在开始标记人物时，用标记选框标记出人脸，如果标记的人物是第一次出现在场景时，标记选框为初始帧，表示这个人物在这一帧上开始出现；切换到下一帧时，下一帧自动继承上一帧的所有标记，此时人工依据要求和场景中人物的改变，来修改标记人物的位置，此为操作的标记选框记为普通帧；依次操作标记视频每一帧，直到人物出现在视频中的最后一帧，此时要将这一帧的标记选框为结束帧，结束帧不会被下一帧的画面继承。本发明方法可以实现方便快捷对视频中的人脸进行标注，且准确性高，可用于人脸跟踪的机器学习。

Description

一种用于图像识别人脸跟踪的标注方法
技术领域
本申请涉及人脸识别机器学习领域，尤其涉及一种用于图像识别人脸跟踪的标注方法。
背景技术
机器学习的主要目的是为了让机器从用户和输入数据等处获得知识，从而让机器自动地去判断和输出相应的结果。机器学习通常使用监督学习方法，事先给定机器一些训练样本并且告诉样本的类别，然后根据这些样本的类别进行训练，提取出这些样本的共同属性或者训练一个分类器，等新来一个样本，则通过训练得到的共同属性或者分类器进行判断该样本的类别，以人脸跟踪为例，采集训练样本后，人工对样本中的人脸进行跟踪标记。
传统的人脸追踪识别做法是将样本视频剪辑成多张图片，人工去一张张地识别图片里的人物脸部。这样操作会有几个缺点：首先图片是从视频中剪切出来的，视频有播放的顺序，图片应当也要遵循视频中的顺序，人工操作图片时候会有频繁的切换，存在顺序上出现问题的风险；其次当有已有的人物离开场景时，按照训练规则，需要在这个人物存在的最后一张图片上的标记做特殊说明，人工处理会容易遗漏这步操作，造成数据错误；最后在视频中的同一个人物在不同的图片中应当使用同一个选框标记，需要依赖人工记忆多张图片同一个人物的位置，增加了人为失误的可能性。
发明内容
针对现有技术的不足，本发明旨在提供一种用于图像识别人脸跟踪的标注方法，可以实现方便快捷对视频中的人脸进行标注，且准确性高，可用于人脸跟踪的机器学习。
为了实现上述目的，本发明采用如下技术方案：
一种用于图像识别人脸跟踪的标注方法，包括如下步骤：
S1、将视频分解成长度相等的帧；
S2、从视频的第一帧开始，标记帧内的所有可识别人脸，并将每张人脸被第一次标记的选框标记为该张人脸对应的开始帧；每帧标记完成后移动到下一帧，上一帧所有的标记会被继承到本帧，本帧里的人物会和上一帧会发生变化；
对于上一帧的人物在本帧中发生位置变化的情况，修改与该人物的人脸对应的选框，使其重新贴合该人物的人脸；
对于上一帧人物在本帧中离场的情况，则需要切换到上一帧，将与该人物对应的人脸的选框标记为结束帧，标记为结束帧的选框不会被下一帧继承；
对于新的人物在本帧中进场的情况，用选框标记新进场的人物的人脸，并将该选框标记为开始帧；
直至视频的每一帧都全部完成标记；
S3、重新播放视频，保证视频中的所有人物的人脸全部标记在选框内，每个选框内都有人脸，从而达到追踪人脸效果。
进一步地，步骤S2中，标记时，标记选框的区域以十字参考线的中心点为起点，按住鼠标左键拉选到终点处，调整选框的位置，使得选框的边缘和人脸的边缘贴合。
进一步地，步骤S2中，标记为开始帧的选框的边缘为白色，标记为结束帧的选框的边缘为绿色，否则选框的边缘为红色。
本发明的有益效果在于：
在本发明方法中，保留了视频原本的结构，并引入帧的概念，每一帧相当于传统标识系统中的图片，由于视频本就是以帧组成的，所以分解对视频不会产生影响。本发明方法取消了图片切换的操作，也就免去了顺序上出现错误的风险。
本发明方法引入开始帧和结束帧的概念，人物第一次出现时标记其人脸的选框标记为开始帧，在切换到下一帧时，下一帧会自动继承上一帧的所有标记选框，上一帧所有的标记选框会在这一帧显示出来，人工依据要求和场景中人物的改变，来修改标记人物的位置，直到人物出现在视频中的最后一帧，此时要将这一帧标记选框为结束帧，结束帧不会被下一帧的画面继承。由于帧有继承的特点，选框在帧切换后人物在场景中发生变化时能够明显发现，便于及时修改标记选框，规避了因为人工发生错误的风险。
本发明方法可以实现方便快捷对视频中的人脸进行标注，且准确性高，可用于人脸跟踪的机器学习。
附图说明
图1为本发明实施例中的方法流程示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1所示，一种用于图像识别人脸跟踪的标注方法，包括如下步骤：
S1、将视频分解成长度相等的帧；
S2、从视频的第一帧开始，标记帧内的所有可识别人脸，并将每张人脸被第一次标记的选框标记为该张人脸对应的开始帧；标记完本帧后移动到下一帧，上一帧所有的标记会被继承到本帧，本帧里的人物会和上一帧会发生变化，出现的情况有三种：新的人物进场、上一帧的人物离场、上一帧的人物发生位置变化；
对于上一帧的人物发生位置变化的情况，修改与该人物的人脸对应的选框，使其重新贴合该人物的人脸；
对于上一帧人物离场的情况，则需要切换到上一帧，将与该人物对应的人脸的选框标记为结束帧，标记为结束帧的选框不会被下一帧继承；
对于新的人物进场的情况，用选框标记新进场的人物的人脸，并将该选框标记为开始帧；
直至视频的每一帧都全部完成标记；
S3、重新播放视频，保证视频中的所有人物的人脸全部标记在选框内，每个选框内都有人脸，从而达到追踪人脸效果。
进一步地，步骤S2中，标记时，标记选框的区域以十字参考线的中心点为起点，按住鼠标左键拉选到终点处，调整选框的位置，使得选框的边缘和人脸的边缘贴合。
进一步地，步骤S2中，标记为开始帧的选框的边缘为白色，标记为结束帧的选框的边缘为绿色，否则选框(即普通帧)的边缘为红色。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (3)

1.一种用于图像识别人脸跟踪的标注方法，其特征在于，包括如下步骤：
S1、将视频分解成长度相等的帧；
S2、从视频的第一帧开始，标记帧内的所有可识别人脸，并将每张人脸被第一次标记的选框标记为该张人脸对应的开始帧；每帧标记完成后移动到下一帧，上一帧所有的标记会被继承到本帧，本帧里的人物会和上一帧会发生变化；
对于上一帧的人物在本帧中发生位置变化的情况，修改与该人物的人脸对应的选框，使其重新贴合该人物的人脸；
对于上一帧人物在本帧中离场的情况，则需要切换到上一帧，将与该人物对应的人脸的选框标记为结束帧，标记为结束帧的选框不会被下一帧继承；
对于新的人物在本帧中进场的情况，用选框标记新进场的人物的人脸，并将该选框标记为开始帧；
直至视频的每一帧都全部完成标记；
S3、重新播放视频，保证视频中的所有人物的人脸全部标记在选框内，每个选框内都有人脸，从而达到追踪人脸效果。
2.根据权利要求1所述的用于图像识别人脸跟踪的标注方法，其特征在于，步骤S2中，标记时，标记选框的区域以十字参考线的中心点为起点，按住鼠标左键拉选到终点处，调整选框的位置，使得选框的边缘和人脸的边缘贴合。
3.根据权利要求1所述的用于图像识别人脸跟踪的标注方法，其特征在于，步骤S2中，标记为开始帧的选框的边缘为白色，标记为结束帧的选框的边缘为绿色，否则选框的边缘为红色。
CN201811084475.8A 2018-09-17 2018-09-17 一种用于图像识别人脸跟踪的标注方法 Pending CN109215058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811084475.8A CN109215058A (zh) 2018-09-17 2018-09-17 一种用于图像识别人脸跟踪的标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811084475.8A CN109215058A (zh) 2018-09-17 2018-09-17 一种用于图像识别人脸跟踪的标注方法

Publications (1)

Publication Number Publication Date
CN109215058A true CN109215058A (zh) 2019-01-15

Family

ID=64984443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811084475.8A Pending CN109215058A (zh) 2018-09-17 2018-09-17 一种用于图像识别人脸跟踪的标注方法

Country Status (1)

Country Link
CN (1) CN109215058A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446063A (zh) * 2019-07-26 2019-11-12 腾讯科技（深圳）有限公司 视频封面的生成方法、装置及电子设备
CN111027376A (zh) * 2019-10-28 2020-04-17 中国科学院上海微系统与信息技术研究所 一种确定事件图谱的方法、装置、电子设备及存储介质
CN111563912A (zh) * 2019-02-14 2020-08-21 初速度（苏州）科技有限公司 一种行人追踪系统和方法
CN112533060A (zh) * 2020-11-24 2021-03-19 浙江大华技术股份有限公司 一种视频处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN102609686A (zh) * 2012-01-19 2012-07-25 宁波大学 一种行人检测方法
CN104091348A (zh) * 2014-05-19 2014-10-08 南京工程学院 融合显著特征和分块模板的多目标跟踪方法
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪系统及实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN102609686A (zh) * 2012-01-19 2012-07-25 宁波大学 一种行人检测方法
CN104091348A (zh) * 2014-05-19 2014-10-08 南京工程学院 融合显著特征和分块模板的多目标跟踪方法
CN106875425A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种基于深度学习的多目标追踪系统及实现方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563912A (zh) * 2019-02-14 2020-08-21 初速度（苏州）科技有限公司 一种行人追踪系统和方法
CN111563912B (zh) * 2019-02-14 2022-06-24 魔门塔(苏州)科技有限公司 一种行人追踪系统和方法
CN110446063A (zh) * 2019-07-26 2019-11-12 腾讯科技（深圳）有限公司 视频封面的生成方法、装置及电子设备
CN111027376A (zh) * 2019-10-28 2020-04-17 中国科学院上海微系统与信息技术研究所 一种确定事件图谱的方法、装置、电子设备及存储介质
CN112533060A (zh) * 2020-11-24 2021-03-19 浙江大华技术股份有限公司 一种视频处理方法及装置

Similar Documents

Publication Publication Date Title
CN109215058A (zh) 一种用于图像识别人脸跟踪的标注方法
CN107343223B (zh) 视频片段的识别方法和装置
CN109002857A (zh) 一种基于深度学习的视频风格变换与自动生成方法及系统
Deora et al. Indian sign language recognition
CN110427859A (zh) 一种人脸检测方法、装置、电子设备及存储介质
CN110381369A (zh) 推荐信息植入位置的确定方法、装置、设备及存储介质
CN105404846A (zh) 一种图像处理方法及装置
CN110163810A (zh) 一种图像处理方法、装置以及终端
CN109756751A (zh) 多媒体数据处理方法及装置、电子设备、存储介质
CN108280426B (zh) 基于迁移学习的暗光源表情识别方法及装置
CN108337471B (zh) 视频画面的处理方法及装置
CN112489129B (zh) 位姿识别模型训练方法、装置、位姿识别方法和终端设备
CN103218603A (zh) 一种人脸自动标注方法及系统
CN109240786A (zh) 一种主题更换方法及电子设备
CN108460399A (zh) 一种儿童积木搭建辅助方法及系统
WO2019011342A1 (zh) 布料识别的方法、设备、电子设备及储存介质
CN109474785A (zh) 电子装置和电子装置的焦点追踪拍照方法
JP2022509637A (ja) スカベンジャーハント促進
CN110534131A (zh) 一种音频播放方法及系统
CN207718803U (zh) 多信源语音区分识别系统
CN103984927B (zh) 一种信息处理方法及电子设备
CN105812668A (zh) 图像的处理方法、处理装置及拍照设备
CN110619315B (zh) 人脸识别模型的训练方法、装置及电子设备
CN112788254A (zh) 摄像头抠像方法、装置、设备及存储介质
CN106778622A (zh) 识别颜色的方法、装置和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190115

RJ01 Rejection of invention patent application after publication