CN104133875A - 一种基于人脸的视频标注方法和视频检索方法 - Google Patents

一种基于人脸的视频标注方法和视频检索方法 Download PDF

Info

Publication number
CN104133875A
CN104133875A CN201410356120.5A CN201410356120A CN104133875A CN 104133875 A CN104133875 A CN 104133875A CN 201410356120 A CN201410356120 A CN 201410356120A CN 104133875 A CN104133875 A CN 104133875A
Authority
CN
China
Prior art keywords
face
feature
face characteristic
classification
feature classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410356120.5A
Other languages
English (en)
Other versions
CN104133875B (zh
Inventor
段胜业
唐小军
孙剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Television Information Technology (beijing) Co Ltd
Original Assignee
China Television Information Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Television Information Technology (beijing) Co Ltd filed Critical China Television Information Technology (beijing) Co Ltd
Priority to CN201410356120.5A priority Critical patent/CN104133875B/zh
Publication of CN104133875A publication Critical patent/CN104133875A/zh
Application granted granted Critical
Publication of CN104133875B publication Critical patent/CN104133875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于人脸的视频标注方法和视频检索方法，标注方法包括：提取待标注视频中的人脸画面及对应的人脸特征，将人脸特征及其属性信息合并后得到人脸元数据；对待标注视频文件中获得的所有人脸特征进行自动特征聚类，然后对特征类别进行特征筛选和特征召回，得到特征类别集合P2和未分类特征集合Q2；对于P2中的各个元素，进行所属特征类别推荐并人工确认，对于Q2中的各个元素，进行未分类人脸特征推荐并人工确认，对特征类别和未分类特征进行姓名标注，利用标注后的特征类别与未分类人脸特征信息组成该视频文件的视频标注文件。在视频标注过程中，将程序自动推荐与人工确认结合起来，既保证了结果的准确性，又提高了效率。

Description

一种基于人脸的视频标注方法和视频检索方法
技术领域
本发明属于视频编目技术领域，具体涉及一种基于人脸的视频标注方法和视频检索方法。
背景技术
基于人脸的视频标注是指对视频中包含的人脸进行提取并标注，将视频中所有人脸标注完成并整理成标注文件，便于检索和再利用。
现有的涉及基于人脸的视频标注方法的专利主要有基于人脸识别或人脸聚类的视频编目方法，例如，申请号为201110453762.3的专利申请公开了一种基于人脸识别技术的自动编目方法，具体包括：接收人脸素材库；接收多媒体文件；根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；根据所述关键帧数据画面获取关键帧人脸画面；根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息，获取匹配人脸素材文本信息；根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。该专利解决了无法通过视频文件自动生成基于人脸的编目文件的问题，提高了基于人脸的视频编目的自动化程度，节省了人力成本。
但是，在实现本发明的过程中，发明人发现，上述专利申请至少具有以下不足：
(1)需要提前建立人脸样本库：该方法需要提前建立并维护一个关键人物样本库，在人物样本库中预制感兴趣人物的人脸样本，借助该人脸样本库对视频进行人脸标注；(2)仅支持对关键人物进行标注：该方法只能识别样本库中的关键人物，导致其他大部分人物信息丢失。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于人脸的视频标注方法和视频检索方法，用以解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于人脸的视频标注方法，包括以下步骤：
S1，当需要对某一视频文件进行视频标注时，导入待标注视频文件；
S2，对所述待标注视频文件进行镜头切分，得到视频镜头序列；
S3，对所述视频镜头序列中的每个视频镜头提取若干个关键帧，然后对所述关键帧进行人脸检测，获得每个镜头中出现的各个人物的人脸图片；其中，所述关键帧指视频序列中具有代表性的视频帧；
S4，对所述人脸图片进行预处理；
S5，对预处理后的人脸图片进行人脸特征提取，得到与每张人脸图片唯一对应的人脸特征；
S6，获得每一个人脸特征的属性信息，将人脸特征及其属性信息合并后即得到原始的人脸元数据；其中，所述人脸特征的属性信息包括：该人脸特征所属的视频文件的视频ID、该人脸特征在所述视频文件中所属镜头的镜头序号、该人脸特征在所属镜头中的视频帧序号、该人脸特征在所属视频文件中出现时间、该人脸特征对应的人脸图片的保存路径、该人脸特征为未分类状态、该人脸特征所属的特征类别ID为0；其中，该人脸特征所属的特征类别ID指：该人脸特征所属的特征类别在特征类别库中的标识，初始态时，该人脸特征所属的特征类别ID为0；该人脸特征是否已分类具体包括两种状态：人脸特征已分类状态和人脸特征未分类状态，初始态时，每一个人脸特征均为未分类状态；
S7，将所述待标注视频文件中获得的所有原始的人脸元数据存入预建立的人脸特征库；
S8，将所述待标注视频文件中获得的所有人脸特征进行自动特征聚类，设共有N个人脸特征，将相似度超过第一阈值的若干个人脸特征聚为一个特征类别，由此得到由多个特征类别组成的特征类别集合P0；将与其他任何一个人脸特征之间的相似度均低于第一阈值的人脸特征聚合在一起，形成未分类特征集合Q0；
S9，对S8形成的特征类别集合P0中的每一个特征类别进行特征筛选，判断每一个特征类别中是否存在分类错误的人脸特征，若存在，则将该分类错误的人脸特征从其所在的特征类别删除，并将该分类错误的人脸特征添加到未分类特征集合Q0，由此得到筛选后的特征类别集合P1和未分类特征集合Q1；同时，在人脸特征库中更新特征类别集合P1中所有人脸特征的属性信息，将人脸特征从未分类状态更新为已分类状态；
S10，在得到特征类别集合P1后，对于特征类别集合P1中的每一个特征类别P1-i，进行特征类别召回操作，召回漏掉的人脸特征，即：判断人脸特征库中是否存在与特征类别P1-i相似度超过第二阈值的至少一个未分类的人脸特征i，如果有，则将得到的各个人脸特征i添加到推荐特征集合FeatureSet中；然后，人工判断推荐特征集合FeatureSet中是否存在与特征类别P1-i属于同一个人的人脸特征，如果有，则将该人脸特征i添加到特征类别P1-i中，同时将人脸特征库中该人脸特征i的属性由未分类状态修改为已分类状态，由此得到召回后的特征类别集合P2和未分类特征集合Q2；
S11，预建立有特征类别库，该特征类别库存储其他多个视频标注得到的特征类别集合P3，
对于本次导入视频形成的特征类别集合P2，每当特征类别集合P2中的一个特征类别按S12中的方法进行标注后，即将标注后的特征类别移入特征类别集合P4；初始时，特征类别集合P4为空；
对于特征类别集合P2，执行S12；对于未分类特征集合Q2，执行S13；
S12，对于特征类别集合P2中的任何一个元素，记为特征类别j，均执行以下步骤：
S12.1，判断特征类别集合P3和P4中是否存在与特征类别j相似度超过第三阈值的特征类别，如果存在，则执行S12.2；如果不存在，则执行S12.4；
S12.2，将与特征类别j相似度超过第三阈值的特征类别称为推荐特征类别；然后将特征类别集合P3和P4中的所有推荐特征类别组成一个推荐类别集合S；然后执行S12.3；
S12.3，人工判断推荐类别集合S中是否存在与特征类别j属于同一个人的推荐特征类别；
如果存在，则人工选择某个相应的推荐特征类别C0，若C0属于P4，则将特征类别j并入C0；若C0属于P3，则向特征类别j中增加以下标记信息：与推荐特征类别C0属于同一个人；如果C0对应的姓名为“陌生人”，则执行S12.4；
如果不存在，则不向特征类别j中增加标记信息，然后执行S12.4；
S12.4，对特征类别j进行姓名标注，若知道特征类别j对应的人物姓名，则将特征类别j对应的人物姓名标注到特征类别j上，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；
若不知道特征类别j对应的人物姓名，则将特征类别j的人物姓名标注为“陌生人”，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；
S13，对于未分类特征集合Q2中的任何一个元素，记为未分类人脸特征k，均执行以下步骤：
S13.1，判断人脸特征库中是否存在与未分类人脸特征k相似度超过第四阈值的未分类人脸特征，如果有，则将与未分类人脸特征k相似度超过第四阈值的未分类人脸特征称为推荐未分类人脸特征；然后，将人脸特征库中的所有推荐未分类人脸特征组成一个推荐未分类人脸特征集合f；
S13.2，人工判断推荐未分类人脸特征集合f中是否存在与未分类人脸特征k属于同一个人的推荐未分类人脸特征，如果存在，将该推荐未分类人脸特征与未分类人脸特征k组成一个新特征类别，将该新特征类别加入到S8获得的特征类别集合P0中，转到S8重新执行S8-S12；同时，将该推荐未分类人脸特征在人脸数据库中的状态更新为已分类状态，将该未分类人脸特征k在人脸数据库中的状态更新为已分类状态；
如果不存在，则判断特征类别集合P3和P4中是否存在与未分类人脸特征k相似度超过第五阈值的特征类别，如果存在，则执行S13.3；如果不存在，则执行S13.4；
S13.3，将特征类别集合P3或P4中与未分类人脸特征k相似度超过第五阈值的特征类别组成一个推荐类别集合T；然后人工判断推荐类别集合T中是否存在与未分类人脸特征k属于同一个人的推荐特征类别，如果不存在，则执行S13.4；如果存在，则人工从推荐类别集合T中选择某个相应的特征类别C1，若C1属于P4，则将未分类人脸特征k加入到C1，并将未分类人脸特征k标记为已分类；若C1属于P3，则向未分类人脸特征k中增加以下标记信息：与特征类别C1属于同一个人，并将未分类人脸特征k标记为已分类；如果C1对应的姓名为“陌生人”，则执行S135；
S13.4，对未分类人脸特征k进行姓名标注，若知道人脸特征k对应的人物姓名，则对应的人物姓名标注到未分类人脸特征k上；若不知道人脸特征k对应的人物姓名，则将未分类人脸特征k的人物姓名标注为“陌生人”；
S13.5，对特征类别C1进行姓名标注，若知道特征类别C1对应的人物姓名，则将特征类别C1对应的人物姓名标注到特征类别C1上，若不知道特征类别C1对应的人物姓名，则将特征类别C1的人物姓名标注为“陌生人”；
S14，对于增加有标记信息的特征类别或人脸特征，依标记信息中记载的内容，将相应的特征类别或人脸特征合并到特征类别库中对应的特征类别中，并更新人脸特征库中的人脸特征属性，包括人物姓名、是否已分类、所属类别ID；
对于未增加有标记信息的特征类别，直接将其存储到特征类别库中，并更新人脸特征库中相应的人脸特征属性，包括人物姓名、是否已分类、所属类别ID；
由此形成新的特征类别库；
另外，利用S12得到的多个已标注姓名的特征类别与S13得到的多个已标注姓名的未分类人脸特征信息组成该视频文件的视频标注文件。
优选的，S2中，所述镜头切分包括针对镜头突变的镜头切分和针对镜头渐变的镜头切分。
优选的，S4中，对所述人脸图片进行预处理，具体指：
对所述人脸图片进行去重，所述去重指去除同一个镜头中同一个人重复的人脸图片，并通过姿态判别技术判断同一个人各张人脸图片的姿态，保留最接近正脸的人脸图片，并将该人脸图片存入人脸图片库；其中，所述正脸指人脸正面面对镜头；
然后，对去重后的人脸图片进行特征点定位、相似变换、光照处理和姿态矫正操作。
优选的，S5中，所述人脸特征提取具体为：从预处理后的人脸图片查找到最具有鉴别性的描述信息并将其转化为一个向量，该向量即为提取到的人脸特征。
优选的，S8具体为：
S8.1，建立特征类别集合，初始化特征类别数Nclass为0，特征类别集合为空；
S8.2，读取一个未分类的人脸特征T(n)，如果特征类别数Nclass大于0，设特征类别数Nclass值为b，则b个特征类别记为Class(k)，k∈{1,2,…,b}；分别计算T(n)与每一个特征类别Class(k)之间的相似度S(n,k)，由此得到b个相似度S(n,k)；选择与T(n)相似度最大的特征类别Class(k0)，对应的相似度记为S(n,k0)；
S8.3，如果S(n,k0)大于或等于阈值Th，则认为人脸特征T(n)属于特征类别Class(k0)，将T(n)添加到Class(k0)中，并将T(n)标记为已分类，转到S8.6；
反之，如果S(n,k0)小于阈值Th，则认为人脸特征T(n)不属于已有的特征类别，转到S8.4；
S8.4，遍历其他未分类的人脸特征T(m)，计算T(n)与T(m)之间的相似度S(n,m)；选择与T(n)相似度最大的特征T(m0)，对应的相似度记为S(n,m0)；
S8.5，如果S(n,m0)大于或等于阈值Th1，则认为人脸特征T(n)与T(m0)属于同一个人，创建一个新的特征类别Class(Nclass+1)，将T(n)与T(m0)添加到Class(Nclass+1)中，并将Nclass增加1；并将T(n)与T(m0)标记为已分类；
反之，如果S(n,k0)小于阈值Th，转到S8.6；
S8.6，判断是否还有未处理的人脸特征，如果有，则转到S8.2，否则结束操作步骤；由此形成的多个特征类别即组成特征类别集合P0；由此形成的多个未分类特征即组成未分类特征集合Q0。
优选的，S8.2中，
所述计算T(n)与每一个特征类别Class(k)之间的相似度S(n,k)具体包括以下步骤：
遍历Class(k)中的N(k)个人脸特征TC(k,m)，m∈{1,2,…,N(k)}，分别计算人脸特征T(n)与人脸特征TC(k,m)之间的相似度ST(k,m)，由此得到N(k)个相似度ST(k,m)；
计算N(k)个相似度ST(k,m)的平均值MT(k)，将平均值即为T(n)与Class(k)之间的相似度。
优选的，S9中，通过人工检查方式对每一个特征类别进行特征筛选。
优选的，S10中，推荐特征集合FeatureSet通过以下方法获得：
S10.1，新建推荐特征集合FeatureSet，初始化特征数NFeature为0，特征集合为空；将特征类别P1-i记为特征类别Class(k)；
S10.2，读取一个人脸特征库中未分类的人脸特征T(n)，计算T(n)与特征类别Class(k)的相似度S(n,k)；
S10.3，若S(n,k)大于或等于阈值Th2，则认为人脸特征T(n)与与特征类别P1-i相似，将T(n)添加到FeatureSet中，并将NFeature加一；
S10.4，判断是否还有未分类人脸特征，如果有，则转到S10.2，否则转到S10.5；
S10.5，对FeatureSet中的特征按相似度由大到小进行排序，则得到最终的推荐特征集合FeatureSet。
本发明还提供一种视频检索方法，包括以下步骤：
S15，在通过权利要求1中的视频标注方法得到特征类别库之后，当接收到检索某一人物姓名的检索请求后，遍历所述特征类别库，通过匹配人物姓名，得到已标注有该人物姓名的特定特征类别；设所述特定特征类别由w个人脸特征组成；
S16，分别以w个人脸特征作为检索关键词，查询人脸特征库，得到与每个人脸特征对应的人脸元数据；由此得到w个人脸元数据；
S17，分别分析w个人脸元数据，得到与被检索的人物姓名相匹配的至少一个视频ID以及在该视频ID对应的视频文件中出现被检索人物的时间。
优选的，在S16之前，还包括：
在通过权利要求1中的视频标注方法得到特征类别库之后，当接收到检索某一人脸图片的检索请求后，对输入的人脸图片进行人脸检测以及人脸规范化处理，得到规范化后的人脸图片；
从规范化后的人脸图片中提取人脸特征F；
遍历人脸特征库，分别计算人脸特征F与人脸特征库中代表特征RF(k)的相似度ST(k)，选择ST(k)的最大值ST(k0)对应的人脸特征；若ST(k0)大于Th3，则获取其所属特征类别ID，否则认为没有检索到对应的视频；
基于获取到的特征类别ID查找特征类别库，查找到特定特征类别；设所述特定特征类别由w个人脸特征组成；然后执行S16。
本发明的有益效果如下：
本发明提供的一种基于人脸的视频标注方法和视频检索方法，具有以下优点：
(1)不需要预制人脸样本库，可以对视频中出现的各种人物进行视频标注，扩大的视频标注的范围；
(2)在视频标注过程中，将程序自动推荐与人工确认结合起来，既保证了结果准确性，又提高了效率；
(3)可高效的实现将不同视频文件中的同一个人物的人脸特征聚为一个类别的效果，易于进行基于人物姓名或人物图片等的视频检索。
附图说明
图1为本发明提供的基于人脸的视频标注方法的流程示意图。
具体实施方式
以下结合附图对本发明进行详细说明：
如图1所示，本发明提供一种基于人脸的视频标注方法，包括以下步骤：
S1，当需要对某一视频文件进行视频标注时，导入待标注视频文件；
具体的，可获取待标注视频文件的存储路径和文件名，并将以上信息存入视频信息库，通过查找视频信息库，导入待标注视频文件。其中，视频信息库指存储各种不同视频文件的数据库。
S2，对所述待标注视频文件进行镜头切分，得到视频镜头序列；
具体的，镜头切分包括针对镜头突变的镜头切分和针对镜头渐变的镜头切分。
S3，对所述视频镜头序列中的每个视频镜头提取若干个关键帧，然后对所述关键帧进行人脸检测，获得每个镜头中出现的各个人物的人脸图片；其中，所述关键帧指视频序列中具有代表性的视频帧；例如，如果一个镜头中出现3个不同的人物，则需要获得每个人物在该镜头中的人脸图片，并且，所获得的每张人脸图片只包含唯一的一个人物图像。
本步骤中，人脸检测采用人脸特征训练Adaboost分类器的方法，其中人脸特征可以采用Haar特征、LBP特征或HOG特征等其他人脸特征。
S4，对所述人脸图片进行预处理；
本步骤中，人脸图片预处理方法根据实际需要灵活设定，包括但不限于以下方法：
对所述人脸图片进行去重，所述去重指去除同一个镜头中同一个人重复的人脸图片，并通过姿态判别技术判断同一个人各张人脸图片的姿态，保留最接近正脸的人脸图片，并将该人脸图片存入人脸图片库；其中，所述正脸指人脸正面面对镜头；
然后，对去重后的人脸图片进行特征点定位、相似变换、光照处理和姿态矫正等等操作。
S5，对预处理后的人脸图片进行人脸特征提取，得到与每张人脸图片唯一对应的人脸特征；
对人脸特征提取是指：从预处理后的人脸图片查找到最具有鉴别性的描述信息并将其转化为一个向量，该向量即为提取到的人脸特征。
所提取的人脸特征可以采用PCA+LDA特征、LBP特征、Gabor特征、LGBP特征、HSLGBP特征、LBP变种特征、Gabor变种特征或多特征结合；
S6，获得每一个人脸特征的属性信息，将人脸特征及其属性信息合并后即得到原始的人脸元数据；其中，所述人脸特征的属性信息包括：该人脸特征所属的视频文件的视频ID、该人脸特征在所述视频文件中所属镜头的镜头序号、该人脸特征在所属镜头中的视频帧序号、该人脸特征在所属视频文件中出现时间、该人脸特征对应的人脸图片的保存路径、该人脸特征为未分类状态、该人脸特征所属的特征类别ID为0；其中，该人脸特征所属的特征类别ID指：该人脸特征所属的特征类别在特征类别库中的标识，初始态时，该人脸特征所属的特征类别ID为0；该人脸特征是否已分类具体包括两种状态：人脸特征已分类状态和人脸特征未分类状态，初始态时，每一个人脸特征均为未分类状态；
S7，将所述待标注视频文件中获得的所有原始的人脸元数据存入预建立的人脸特征库；
需要说明的是，本步骤中，当将本次需要标注的视频文件所对应的人脸元数据存入人脸特征库中后，人脸特征库中既存储有本次视频文件所对应的人脸元数据；同时，人脸特征库中还存储有多个其他视频文件所对应的人脸元数据，其他视频文件所对应的人脸元数据为历史数据。
S8，将所述待标注视频文件中获得的所有人脸特征进行自动特征聚类，设共有N个人脸特征，将相似度超过第一阈值的若干个人脸特征聚为一个特征类别，由此得到由多个特征类别组成的特征类别集合P0；将与其他任何一个人脸特征之间的相似度均低于第一阈值的人脸特征聚合在一起，形成未分类特征集合Q0；
本步骤具体实现上，包括以下步骤：
S8.1，建立特征类别集合，初始化特征类别数Nclass为0，特征类别集合为空；
S8.2，读取一个未分类的人脸特征T(n)，如果特征类别数Nclass大于0，设特征类别数Nclass值为b，则b个特征类别记为Class(k)，k∈{1,2,…,b}；分别计算T(n)与每一个特征类别Class(k)之间的相似度S(n,k)，由此得到b个相似度S(n,k)；选择与T(n)相似度最大的特征类别Class(k0)，对应的相似度记为S(n,k0)；
本步骤中，采用以下方法计算T(n)与每一个特征类别Class(k)之间的相似度S(n,k)：
遍历Class(k)中的N(k)个人脸特征TC(k,m)，m∈{1,2,…,N(k)}，分别计算人脸特征T(n)与人脸特征TC(k,m)之间的相似度ST(k,m)，由此得到N(k)个相似度ST(k,m)；
计算N(k)个相似度ST(k,m)的平均值MT(k)，将平均值即为T(n)与Class(k)之间的相似度。
S8.3，如果S(n,k0)大于或等于阈值Th，则认为人脸特征T(n)属于特征类别Class(k0)，将T(n)添加到Class(k0)中，并将T(n)标记为已分类，转到S8.6；
反之，如果S(n,k0)小于阈值Th，则认为人脸特征T(n)不属于已有的特征类别，转到S8.4；
S8.4，遍历其他未分类的人脸特征T(m)，计算T(n)与T(m)之间的相似度S(n,m)；选择与T(n)相似度最大的特征T(m0)，对应的相似度记为S(n,m0)；
S8.5，如果S(n,m0)大于或等于阈值Th1，则认为人脸特征T(n)与T(m0)属于同一个人，创建一个新的特征类别Class(Nclass+1)，将T(n)与T(m0)添加到Class(Nclass+1)中，并将Nclass增加1；并将T(n)与T(m0)标记为已分类；
反之，如果S(n,k0)小于阈值Th，转到S8.6；
S8.6，判断是否还有未处理的人脸特征，如果有，则转到S8.2，否则结束操作步骤；由此形成的多个特征类别即组成特征类别集合P0；由此形成的多个未分类特征即组成未分类特征集合Q0。
通过本步骤的自动特征聚类，以待标注视频文件中所有人脸特征作为聚类对象，可初步将待标注视频文件中属于同一个人的人脸特征聚到一个相同的特征类别中；不属于同一个人的人脸特征聚到不相同的特征类别中；如果存在某一个人脸特征与其他所有人脸特征均不近似，则该人脸特征即为未分类特征。
但是，现有技术中，自动特征聚类技术并不成熟，聚类结果可能存在误差，为保证标注的正确性，需要进行后续步骤的特征筛选和特征类别召回等操作。
S9，对S8形成的特征类别集合P0中的每一个特征类别进行特征筛选，判断每一个特征类别中是否存在分类错误的人脸特征，若存在，则将该分类错误的人脸特征从其所在的特征类别删除，并将该分类错误的人脸特征添加到未分类特征集合Q0，由此得到筛选后的特征类别集合P1和未分类特征集合Q1；同时，在人脸特征库中更新特征类别集合P1中所有人脸特征的属性信息，将人脸特征从未分类状态更新为已分类状态；
本步骤中，特征筛选可通过人工检查方式进行。例如，假设通过S8自动聚类后，将同一视频文件A中的10张不同角度或表情的张三人脸特征以及1张李四人脸特征聚为一个特征类别u，则通过特征筛选，即将特征类别u中的李四人脸特征剔除。通过特征筛选，进一步提高了同一特征类别中只包含属于同一人物的人脸特征的机率。
S10，在得到特征类别集合P1后，对于特征类别集合P1中的每一个特征类别P1-i，进行特征类别召回操作，召回漏掉的人脸特征，即：判断人脸特征库中是否存在与特征类别P1-i相似度超过第二阈值的至少一个未分类的人脸特征i，如果有，则将得到的各个人脸特征i添加到推荐特征集合FeatureSet中；然后，人工判断推荐特征集合FeatureSet中是否存在与特征类别P1-i属于同一个人的人脸特征，如果有，则将该人脸特征i添加到特征类别P1-i中，同时将人脸特征库中该人脸特征i的属性由未分类状态修改为已分类状态，由此得到召回后的特征类别集合P2和未分类特征集合Q2；
本步骤中，推荐特征集合FeatureSet通过以下方法获得：
S10.1，新建推荐特征集合FeatureSet，初始化特征数NFeature为0，特征集合为空；将特征类别P1-i记为特征类别Class(k)；
S10.2，读取一个人脸特征库中未分类的人脸特征T(n)，计算T(n)与特征类别Class(k)的相似度S(n,k)；
S10.3，若S(n,k)大于或等于阈值Th2，则认为人脸特征T(n)与与特征类别P1-i相似，将T(n)添加到FeatureSet中，并将NFeature加一；
S10.4，判断是否还有未分类人脸特征，如果有，则转到S10.2，否则转到S10.5；
S10.5，对FeatureSet中的特征按相似度由大到小进行排序，则得到最终的推荐特征集合FeatureSet。
步骤S7中已介绍，人脸特征库中即存储有本次视频文件所对应的人脸元数据；同时，人脸特征库中还存储有多个其他视频文件所对应的人脸元数据。
由于人脸特征库中存储数量巨大的人脸特征，因此，首先通过程序自动进行未分类的人脸特征推荐，对于本视频中特征类别集合P1中的每一个特征类别，均进行下述未分类的人脸特征推荐过程，即：对于特征类别集合P1中的特征类别P1-i，从人脸特征库中本次视频文件以及其他视频文件所涉及到的所有未分类的人脸特征中，推荐若干个与特征类别P1-i非常相似的未分类的人脸特征，得到将所有未分类的人脸特征组成推荐特征集合；然后，再人工判断推荐特征集合中是否存在与特征类别P1-i属于同一个人物的人脸特征，如果有，则将该人脸特征加入到特征类别P1-i。将程序自动推荐与人工判断结合起来，既保证了结果准确性，又提高了效率。
另外，本步骤中，以人脸特征库中所有未分类人脸特征作为被推荐范围，如果各种不同视频文件中的未分类人脸特征中存在与本次视频中的某一特征类别属于同一人物的情况，则将该未分类人脸特征聚到该特征类别，扩大了特征类别涉及到的人脸特征范围，更方便进行后续的视频标注或视频检索。
S11，预建立有特征类别库，该特征类别库存储其他多个视频标注得到的特征类别集合P3，也就是说，特征类别集合P3中只存储特征类别，不存储未分类人脸特征；并且，特征类别集合P3中所存储的特征类别为历史数据，针对各种不同的视频文件。
对于本次导入视频形成的特征类别集合P2，每当特征类别集合P2中的一个特征类别按S12中的方法进行标注后，即将标注后的特征类别移入特征类别集合P4；初始时，特征类别集合P4为空；
对于特征类别集合P2，执行S12；对于未分类特征集合Q2，执行S13；
S12，对于特征类别集合P2中的任何一个元素，记为特征类别j，均执行以下步骤：
S12.1，判断特征类别集合P3和P4中是否存在与特征类别j相似度超过第三阈值的特征类别，如果存在，则执行S12.2；如果不存在，则执行S12.4；
将特征类别集合P3和P4统称为已标注过的特征类别MClass(m)，将特征类别j记为特征类别Class(k)，可采用以下方法计算特征类别Class(k)与标注过的特征类别MClass(m)之间的相似度：
遍历MClass(m)中的MN(m)个人脸特征TC(m,u)，u∈{1,2,…,MN(m)}，遍历Class(k)中的N(k)个人脸特征TC(k,v)，v∈{1,2,…,N(k)}，分别计算人脸特征TC(m,u)和人脸特征TC(k,v)之间的相似度ST(m,k)；
计算所有相似度ST(m,k)的平均值MT(k)，将相似度MT(k)作为MClass(m)与Class(k)之间的相似度。
S12.2，将与特征类别j相似度超过第三阈值的特征类别称为推荐特征类别；然后将特征类别集合P3和P4中的所有推荐特征类别组成一个推荐类别集合S；然后执行S12.3；
S12.3，人工判断推荐类别集合S中是否存在与特征类别j属于同一个人的推荐特征类别；
如果存在，则人工选择某个相应的推荐特征类别C0，若C0属于P4，则将特征类别j并入C0；若C0属于P3，则向特征类别j中增加以下标记信息：与推荐特征类别C0属于同一个人；如果C0对应的姓名为“陌生人”，则执行S12.4；
如果不存在，则不向特征类别j中增加标记信息，然后执行S12.4；
S12.4，对特征类别j进行姓名标注，若知道特征类别j对应的人物姓名，则将特征类别j对应的人物姓名标注到特征类别j上，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；
若不知道特征类别j对应的人物姓名，则将特征类别j的人物姓名标注为“陌生人”，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；
本步骤中，仍然将程序自动推荐与人工确认结合起来，既保证了结果准确性，又提高了效率。
另外，本步骤中，以特征类别库中所有特征类别以及本次视频中已标注特征类别为被推荐范围，如果各种不同视频文件中存在与本次视频中的某一特征类别j属于同一人物的情况，将各种不同视频文件中与特征类别j属于同一人物的特征类别记为C0，则对特征类别j进行一定的标记，后续入库过程时，可依据标记，方便的将特征类别j并入特征类别C0，从而实现将不同视频文件中属于同一人物的特征类别合并到一起的目的，方便后续视频检索。
S13，对于未分类特征集合Q2中的任何一个元素，记为未分类人脸特征k，均执行以下步骤：
S13.1，判断人脸特征库中是否存在与未分类人脸特征k相似度超过第四阈值的未分类人脸特征，如果有，则将与未分类人脸特征k相似度超过第四阈值的未分类人脸特征称为推荐未分类人脸特征；然后，将人脸特征库中的所有推荐未分类人脸特征组成一个推荐未分类人脸特征集合f；
S13.2，人工判断推荐未分类人脸特征集合f中是否存在与未分类人脸特征k属于同一个人的推荐未分类人脸特征，如果存在，将该推荐未分类人脸特征与未分类人脸特征k组成一个新特征类别，将该新特征类别加入到S8获得的特征类别集合P0中，转到S8重新执行S8-S12；同时，将该推荐未分类人脸特征在人脸数据库中的状态更新为已分类状态，将该未分类人脸特征k在人脸数据库中的状态更新为已分类状态；
如果不存在，则判断特征类别集合P3和P4中是否存在与未分类人脸特征k相似度超过第五阈值的特征类别，如果存在，则执行S13.3；如果不存在，则执行S13.4；
S13.3，将特征类别集合P3或P4中与未分类人脸特征k相似度超过第五阈值的特征类别组成一个推荐类别集合T；然后人工判断推荐类别集合T中是否存在与未分类人脸特征k属于同一个人的推荐特征类别，如果不存在，则执行S13.4；如果存在，则人工从推荐类别集合T中选择某个相应的特征类别C1，若C1属于P4，则将未分类人脸特征k加入到C1，并将未分类人脸特征k标记为已分类；若C1属于P3，则向未分类人脸特征k中增加以下标记信息：与特征类别C1属于同一个人，并将未分类人脸特征k标记为已分类；如果C1对应的姓名为“陌生人”，则执行S13.5；
S13.4，对未分类人脸特征k进行姓名标注，若知道人脸特征k对应的人物姓名，则对应的人物姓名标注到未分类人脸特征k上；若不知道人脸特征k对应的人物姓名，则将未分类人脸特征k的人物姓名标注为“陌生人”；
S13.5，对特征类别C1进行姓名标注，若知道特征类别C1对应的人物姓名，则将特征类别C1对应的人物姓名标注到特征类别C1上，若不知道特征类别C1对应的人物姓名，则将特征类别C1的人物姓名标注为“陌生人”；
本步骤中，仍然将程序自动推荐与人工确认结合起来，既保证了结果准确性，又提高了效率。
S14，对于增加有标记信息的特征类别或人脸特征，依标记信息中记载的内容，将相应的特征类别或人脸特征合并到特征类别库中对应的特征类别中，并更新人脸特征库中的人脸特征属性，包括人物姓名、是否已分类、所属类别ID；
对于未增加有标记信息的特征类别，直接将其存储到特征类别库中，并更新人脸特征库中相应的人脸特征属性，包括人物姓名、是否已分类、所属类别ID；
由此形成新的特征类别库；
另外，利用S12得到的多个已标注姓名的特征类别与S13得到的多个已标注姓名的未分类人脸特征信息组成该视频文件的视频标注文件。
本发明还提供一种视频检索方法，包括以下步骤：
S15，在通过上述视频标注方法得到特征类别库之后，当接收到检索某一人物姓名的检索请求后，遍历所述特征类别库，通过匹配人物姓名，得到已标注有该人物姓名的特定特征类别；设所述特定特征类别由w个人脸特征组成；
S16，分别以w个人脸特征作为检索关键词，查询人脸特征库，得到与每个人脸特征对应的人脸元数据；由此得到w个人脸元数据；
S17，分别分析w个人脸元数据，得到与被检索的人物姓名相匹配的至少一个视频ID以及在该视频ID对应的视频文件中出现被检索人物的时间。
另外，在S16之前，还包括：
在通过视频标注方法得到特征类别库之后，当接收到检索某一人脸图片的检索请求后，对输入的人脸图片进行人脸检测以及人脸规范化处理，得到规范化后的人脸图片；
从规范化后的人脸图片中提取人脸特征F；
遍历人脸特征库，分别计算人脸特征F与人脸特征库中代表特征RF(k)的相似度ST(k)，选择ST(k)的最大值ST(k0)对应的人脸特征；若ST(k0)大于Th3，则获取其所属特征类别ID，否则认为没有检索到对应的视频；
基于获取到的特征类别ID查找特征类别库，查找到特定特征类别；设所述特定特征类别由w个人脸特征组成；然后执行S16。
综上所述，本发明提供的基于人脸的视频标注方法和视频检索方法，可以用于对视频进行人脸标注并在大量视频中检索感兴趣的视频片断，具有以下优点：
(1)不需要预制人脸样本库，可以对视频中出现的各种人物进行视频标注，扩大的视频标注的范围；
(2)在视频标注过程中，将程序自动推荐与人工确认结合起来，既保证了结果准确性，又提高了效率；
(3)可高效的实现将不同视频文件中的同一个人物的人脸特征聚为一个类别的效果，易于进行基于人物姓名或人物图片等的视频检索。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种基于人脸的视频标注方法，其特征在于，包括以下步骤：
S1，当需要对某一视频文件进行视频标注时，导入待标注视频文件；
S2，对所述待标注视频文件进行镜头切分，得到视频镜头序列；
S3，对所述视频镜头序列中的每个视频镜头提取若干个关键帧，然后对所述关键帧进行人脸检测，获得每个镜头中出现的各个人物的人脸图片；其中，所述关键帧指视频序列中具有代表性的视频帧；
S4，对所述人脸图片进行预处理；
S5，对预处理后的人脸图片进行人脸特征提取，得到与每张人脸图片唯一对应的人脸特征；
S6，获得每一个人脸特征的属性信息，将人脸特征及其属性信息合并后即得到原始的人脸元数据；其中，所述人脸特征的属性信息包括：该人脸特征所属的视频文件的视频ID、该人脸特征在所述视频文件中所属镜头的镜头序号、该人脸特征在所属镜头中的视频帧序号、该人脸特征在所属视频文件中出现时间、该人脸特征对应的人脸图片的保存路径、该人脸特征为未分类状态、该人脸特征所属的特征类别ID为0；其中，该人脸特征所属的特征类别ID指：该人脸特征所属的特征类别在特征类别库中的标识，初始态时，该人脸特征所属的特征类别ID为0；该人脸特征是否已分类具体包括两种状态：人脸特征已分类状态和人脸特征未分类状态，初始态时，每一个人脸特征均为未分类状态；
S7，将所述待标注视频文件中获得的所有原始的人脸元数据存入预建立的人脸特征库；
S8，将所述待标注视频文件中获得的所有人脸特征进行自动特征聚类，设共有N个人脸特征，将相似度超过第一阈值的若干个人脸特征聚为一个特征类别，由此得到由多个特征类别组成的特征类别集合P0；将与其他任何一个人脸特征之间的相似度均低于第一阈值的人脸特征聚合在一起，形成未分类特征集合Q0；
S9，对S8形成的特征类别集合P0中的每一个特征类别进行特征筛选，判断每一个特征类别中是否存在分类错误的人脸特征，若存在，则将该分类错误的人脸特征从其所在的特征类别删除，并将该分类错误的人脸特征添加到未分类特征集合Q0，由此得到筛选后的特征类别集合P1和未分类特征集合Q1；同时，在人脸特征库中更新特征类别集合P1中所有人脸特征的属性信息，将人脸特征从未分类状态更新为已分类状态；
S10，在得到特征类别集合P1后，对于特征类别集合P1中的每一个特征类别P1-i，进行特征类别召回操作，召回漏掉的人脸特征，即：判断人脸特征库中是否存在与特征类别P1-i相似度超过第二阈值的至少一个未分类的人脸特征i，如果有，则将得到的各个人脸特征i添加到推荐特征集合FeatureSet中；然后，人工判断推荐特征集合FeatureSet中是否存在与特征类别P1-i属于同一个人的人脸特征，如果有，则将该人脸特征i添加到特征类别P1-i中，同时将人脸特征库中该人脸特征i的属性由未分类状态修改为已分类状态，由此得到召回后的特征类别集合P2和未分类特征集合Q2；
S11，预建立有特征类别库，该特征类别库存储其他多个视频标注得到的特征类别集合P3，
对于本次导入视频形成的特征类别集合P2，每当特征类别集合P2中的一个特征类别按S12中的方法进行标注后，即将标注后的特征类别移入特征类别集合P4；初始时，特征类别集合P4为空；
对于特征类别集合P2，执行S12；对于未分类特征集合Q2，执行S13；
S12，对于特征类别集合P2中的任何一个元素，记为特征类别j，均执行以下步骤：
S12.1，判断特征类别集合P3和P4中是否存在与特征类别j相似度超过第三阈值的特征类别，如果存在，则执行S12.2；如果不存在，则执行S12.4；
S12.2，将与特征类别j相似度超过第三阈值的特征类别称为推荐特征类别；然后将特征类别集合P3和P4中的所有推荐特征类别组成一个推荐类别集合S；然后执行S12.3；
S12.3，人工判断推荐类别集合S中是否存在与特征类别j属于同一个人的推荐特征类别；
如果存在，则人工选择某个相应的推荐特征类别C0，若C0属于P4，则将特征类别j并入C0；若C0属于P3，则向特征类别j中增加以下标记信息：与推荐特征类别C0属于同一个人；如果C0对应的姓名为“陌生人”，则执行S12.4；
如果不存在，则不向特征类别j中增加标记信息，然后执行S12.4；
S12.4，对特征类别j进行姓名标注，若知道特征类别j对应的人物姓名，则将特征类别j对应的人物姓名标注到特征类别j上，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；
若不知道特征类别j对应的人物姓名，则将特征类别j的人物姓名标注为“陌生人”，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；
S13，对于未分类特征集合Q2中的任何一个元素，记为未分类人脸特征k，均执行以下步骤：
S13.1，判断人脸特征库中是否存在与未分类人脸特征k相似度超过第四阈值的未分类人脸特征，如果有，则将与未分类人脸特征k相似度超过第四阈值的未分类人脸特征称为推荐未分类人脸特征；然后，将人脸特征库中的所有推荐未分类人脸特征组成一个推荐未分类人脸特征集合f；
S13.2，人工判断推荐未分类人脸特征集合f中是否存在与未分类人脸特征k属于同一个人的推荐未分类人脸特征，如果存在，将该推荐未分类人脸特征与未分类人脸特征k组成一个新特征类别，将该新特征类别加入到S8获得的特征类别集合P0中，转到S8重新执行S8-S12；同时，将该推荐未分类人脸特征在人脸数据库中的状态更新为已分类状态，将该未分类人脸特征k在人脸数据库中的状态更新为已分类状态；
如果不存在，则判断特征类别集合P3和P4中是否存在与未分类人脸特征k相似度超过第五阈值的特征类别，如果存在，则执行S13.3；如果不存在，则执行S13.4；
S13.3，将特征类别集合P3或P4中与未分类人脸特征k相似度超过第五阈值的特征类别组成一个推荐类别集合T；然后人工判断推荐类别集合T中是否存在与未分类人脸特征k属于同一个人的推荐特征类别，如果不存在，则执行S13.4；如果存在，则人工从推荐类别集合T中选择某个相应的特征类别C1，若C1属于P4，则将未分类人脸特征k加入到C1，并将未分类人脸特征k标记为已分类；若C1属于P3，则向未分类人脸特征k中增加以下标记信息：与特征类别C1属于同一个人，并将未分类人脸特征k标记为已分类；如果C1对应的姓名为“陌生人”，则执行S13.5；
S13.4，对未分类人脸特征k进行姓名标注，若知道人脸特征k对应的人物姓名，则对应的人物姓名标注到未分类人脸特征k上；若不知道人脸特征k对应的人物姓名，则将未分类人脸特征k的人物姓名标注为“陌生人”；
S13.5，对特征类别C1进行姓名标注，若知道特征类别C1对应的人物姓名，则将特征类别C1对应的人物姓名标注到特征类别C1上，若不知道特征类别C1对应的人物姓名，则将特征类别C1的人物姓名标注为“陌生人”；
S14，对于增加有标记信息的特征类别或人脸特征，依标记信息中记载的内容，将相应的特征类别或人脸特征合并到特征类别库中对应的特征类别中，并更新人脸特征库中的人脸特征属性，包括人物姓名、是否已分类、所属类别ID；
对于未增加有标记信息的特征类别，直接将其存储到特征类别库中，并更新人脸特征库中相应的人脸特征属性，包括人物姓名、是否已分类、所属类别ID；
由此形成新的特征类别库；
另外，利用S12得到的多个已标注姓名的特征类别与S13得到的多个已标注姓名的未分类人脸特征信息组成该视频文件的视频标注文件。
2.根据权利要求1所述的基于人脸的视频标注方法，其特征在于，S2中，所述镜头切分包括针对镜头突变的镜头切分和针对镜头渐变的镜头切分。
3.根据权利要求1所述的基于人脸的视频标注方法，其特征在于，S4中，对所述人脸图片进行预处理，具体指：
对所述人脸图片进行去重，所述去重指去除同一个镜头中同一个人重复的人脸图片，并通过姿态判别技术判断同一个人各张人脸图片的姿态，保留最接近正脸的人脸图片，并将该人脸图片存入人脸图片库；其中，所述正脸指人脸正面面对镜头；
然后，对去重后的人脸图片进行特征点定位、相似变换、光照处理和姿态矫正操作。
4.根据权利要求1所述的基于人脸的视频标注方法，其特征在于，S5中，所述人脸特征提取具体为：从预处理后的人脸图片查找到最具有鉴别性的描述信息并将其转化为一个向量，该向量即为提取到的人脸特征。
5.根据权利要求1所述的基于人脸的视频标注方法，其特征在于，S8具体为：
S8.1，建立特征类别集合，初始化特征类别数Nclass为0，特征类别集合为空；
S8.2，读取一个未分类的人脸特征T(n)，如果特征类别数Nclass大于0，设特征类别数Nclass值为b，则b个特征类别记为Class(k)，k∈{1,2,…,b}；分别计算T(n)与每一个特征类别Class(k)之间的相似度S(n,k)，由此得到b个相似度S(n,k)；选择与T(n)相似度最大的特征类别Class(k0)，对应的相似度记为S(n,k0)；
S8.3，如果S(n,k0)大于或等于阈值Th，则认为人脸特征T(n)属于特征类别Class(k0)，将T(n)添加到Class(k0)中，并将T(n)标记为已分类，转到S8.6；
反之，如果S(n,k0)小于阈值Th，则认为人脸特征T(n)不属于已有的特征类别，转到S8.4；
S8.4，遍历其他未分类的人脸特征T(m)，计算T(n)与T(m)之间的相似度S(n,m)；选择与T(n)相似度最大的特征T(m0)，对应的相似度记为S(n,m0)；
S8.5，如果S(n,m0)大于或等于阈值Th1，则认为人脸特征T(n)与T(m0)属于同一个人，创建一个新的特征类别Class(Nclass+1)，将T(n)与T(m0)添加到Class(Nclass+1)中，并将Nclass增加1；并将T(n)与T(m0)标记为已分类；
反之，如果S(n,k0)小于阈值Th，转到S8.6；
S8.6，判断是否还有未处理的人脸特征，如果有，则转到S8.2，否则结束操作步骤；由此形成的多个特征类别即组成特征类别集合P0；由此形成的多个未分类特征即组成未分类特征集合Q0。
6.根据权利要求5所述的基于人脸的视频标注方法，其特征在于，S8.2中，
所述计算T(n)与每一个特征类别Class(k)之间的相似度S(n,k)具体包括以下步骤：
遍历Class(k)中的N(k)个人脸特征TC(k,m)，m∈{1,2,…,N(k)}，分别计算人脸特征T(n)与人脸特征TC(k,m)之间的相似度ST(k,m)，由此得到N(k)个相似度ST(k,m)；
计算N(k)个相似度ST(k,m)的平均值MT(k)，将平均值即为T(n)与Class(k)之间的相似度。
7.根据权利要求1所述的基于人脸的视频标注方法，其特征在于，S9中，通过人工检查方式对每一个特征类别进行特征筛选。
8.根据权利要求1所述的基于人脸的视频标注方法，其特征在于，S10中，推荐特征集合FeatureSet通过以下方法获得：
S10.1，新建推荐特征集合FeatureSet，初始化特征数NFeature为0，特征集合为空；将特征类别P1-i记为特征类别Class(k)；
S10.2，读取一个人脸特征库中未分类的人脸特征T(n)，计算T(n)与特征类别Class(k)的相似度S(n,k)；
S10.3，若S(n,k)大于或等于阈值Th2，则认为人脸特征T(n)与与特征类别P1-i相似，将T(n)添加到FeatureSet中，并将NFeature加一；
S10.4，判断是否还有未分类人脸特征，如果有，则转到S10.2，否则转到S10.5；
S10.5，对FeatureSet中的特征按相似度由大到小进行排序，则得到最终的推荐特征集合FeatureSet。
9.一种视频检索方法，其特征在于，包括以下步骤：
S15，在通过权利要求1中的视频标注方法得到特征类别库之后，当接收到检索某一人物姓名的检索请求后，遍历所述特征类别库，通过匹配人物姓名，得到已标注有该人物姓名的特定特征类别；设所述特定特征类别由w个人脸特征组成；
S16，分别以w个人脸特征作为检索关键词，查询人脸特征库，得到与每个人脸特征对应的人脸元数据；由此得到w个人脸元数据；
S17，分别分析w个人脸元数据，得到与被检索的人物姓名相匹配的至少一个视频ID以及在该视频ID对应的视频文件中出现被检索人物的时间。
10.根据权利要求9所述的视频检索方法，其特征在于，在S16之前，还包括：
在通过权利要求1中的视频标注方法得到特征类别库之后，当接收到检索某一人脸图片的检索请求后，对输入的人脸图片进行人脸检测以及人脸规范化处理，得到规范化后的人脸图片；
从规范化后的人脸图片中提取人脸特征F；
遍历人脸特征库，分别计算人脸特征F与人脸特征库中代表特征RF(k)的相似度ST(k)，选择ST(k)的最大值ST(k0)对应的人脸特征；若ST(k0)大于Th3，则获取其所属特征类别ID，否则认为没有检索到对应的视频；
基于获取到的特征类别ID查找特征类别库，查找到特定特征类别；设所述特定特征类别由w个人脸特征组成；然后执行S16。
CN201410356120.5A 2014-07-24 2014-07-24 一种基于人脸的视频标注方法和视频检索方法 Active CN104133875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410356120.5A CN104133875B (zh) 2014-07-24 2014-07-24 一种基于人脸的视频标注方法和视频检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410356120.5A CN104133875B (zh) 2014-07-24 2014-07-24 一种基于人脸的视频标注方法和视频检索方法

Publications (2)

Publication Number Publication Date
CN104133875A true CN104133875A (zh) 2014-11-05
CN104133875B CN104133875B (zh) 2017-03-22

Family

ID=51806553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410356120.5A Active CN104133875B (zh) 2014-07-24 2014-07-24 一种基于人脸的视频标注方法和视频检索方法

Country Status (1)

Country Link
CN (1) CN104133875B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680188A (zh) * 2015-03-24 2015-06-03 重庆大学 一种人体姿态基准图像库的构建方法
CN105426515A (zh) * 2015-12-01 2016-03-23 小米科技有限责任公司 视频归类方法及装置
CN105631408A (zh) * 2015-12-21 2016-06-01 小米科技有限责任公司 基于视频的面孔相册处理方法和装置
CN105677735A (zh) * 2015-12-30 2016-06-15 腾讯科技（深圳）有限公司 一种视频搜索方法及装置
WO2016106966A1 (zh) * 2014-12-31 2016-07-07 中兴通讯股份有限公司 人物标注方法和终端、存储介质
CN106980844A (zh) * 2017-04-06 2017-07-25 武汉神目信息技术有限公司 一种基于人脸识别系统的人物关系挖掘系统及方法
CN107368770A (zh) * 2016-05-12 2017-11-21 深圳市维杰乐思科技有限公司 一种回头客自动识别方法及系统
CN107992900A (zh) * 2017-12-18 2018-05-04 深圳市盛波光电科技有限公司 缺陷检测的样本获取方法、训练方法、装置、介质和设备
CN108921204A (zh) * 2018-06-14 2018-11-30 平安科技（深圳）有限公司 电子装置、图片样本集生成方法和计算机可读存储介质
CN109299275A (zh) * 2018-11-09 2019-02-01 长春理工大学 一种基于并行化噪音消除的文本分类方法
CN109492616A (zh) * 2018-11-29 2019-03-19 成都睿码科技有限责任公司 一种基于自主学习的广告屏用人脸识别方法
CN109547845A (zh) * 2018-12-24 2019-03-29 武汉烽火众智智慧之星科技有限公司 一种视频标记方法及装置
CN109684913A (zh) * 2018-11-09 2019-04-26 长沙小钴科技有限公司 一种基于社区发现聚类的视频人脸标注方法和系统
TWI671685B (zh) * 2018-09-19 2019-09-11 和碩聯合科技股份有限公司 臉部識別方法與使用此方法的電子裝置
CN110543584A (zh) * 2018-05-29 2019-12-06 腾讯科技（深圳）有限公司 一种建立人脸索引的方法、装置、处理服务器及存储介质
CN110837580A (zh) * 2019-10-30 2020-02-25 平安科技（深圳）有限公司 一种行人图片标注方法、装置、存储介质和智能设备
CN112256938A (zh) * 2020-12-23 2021-01-22 畅捷通信息技术股份有限公司 一种消息元数据的处理方法、装置、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
CN102165464A (zh) * 2008-07-14 2011-08-24 谷歌公司 用于对视频内容中的人进行自动注释的方法和系统
CN103530652A (zh) * 2013-10-23 2014-01-22 北京中视广信科技有限公司 一种基于人脸聚类的视频编目方法、检索方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
CN102165464A (zh) * 2008-07-14 2011-08-24 谷歌公司 用于对视频内容中的人进行自动注释的方法和系统
CN103530652A (zh) * 2013-10-23 2014-01-22 北京中视广信科技有限公司 一种基于人脸聚类的视频编目方法、检索方法及其系统

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016106966A1 (zh) * 2014-12-31 2016-07-07 中兴通讯股份有限公司 人物标注方法和终端、存储介质
CN105809096A (zh) * 2014-12-31 2016-07-27 中兴通讯股份有限公司 人物标注方法和终端
CN104680188A (zh) * 2015-03-24 2015-06-03 重庆大学 一种人体姿态基准图像库的构建方法
CN104680188B (zh) * 2015-03-24 2018-04-27 重庆大学 一种人体姿态基准图像库的构建方法
CN105426515B (zh) * 2015-12-01 2018-12-18 小米科技有限责任公司 视频归类方法及装置
CN105426515A (zh) * 2015-12-01 2016-03-23 小米科技有限责任公司 视频归类方法及装置
US10115019B2 (en) 2015-12-01 2018-10-30 Xiaomi Inc. Video categorization method and apparatus, and storage medium
CN105631408A (zh) * 2015-12-21 2016-06-01 小米科技有限责任公司 基于视频的面孔相册处理方法和装置
CN105677735A (zh) * 2015-12-30 2016-06-15 腾讯科技（深圳）有限公司 一种视频搜索方法及装置
WO2017114388A1 (zh) * 2015-12-30 2017-07-06 腾讯科技（深圳）有限公司 一种视频搜索方法及装置
US10642892B2 (en) 2015-12-30 2020-05-05 Tencent Technology (Shenzhen) Company Limited Video search method and apparatus
CN107368770A (zh) * 2016-05-12 2017-11-21 深圳市维杰乐思科技有限公司 一种回头客自动识别方法及系统
CN106980844A (zh) * 2017-04-06 2017-07-25 武汉神目信息技术有限公司 一种基于人脸识别系统的人物关系挖掘系统及方法
CN107992900A (zh) * 2017-12-18 2018-05-04 深圳市盛波光电科技有限公司 缺陷检测的样本获取方法、训练方法、装置、介质和设备
CN107992900B (zh) * 2017-12-18 2020-09-11 深圳市盛波光电科技有限公司 缺陷检测的样本获取方法、训练方法、装置、介质和设备
CN110543584A (zh) * 2018-05-29 2019-12-06 腾讯科技（深圳）有限公司 一种建立人脸索引的方法、装置、处理服务器及存储介质
CN108921204A (zh) * 2018-06-14 2018-11-30 平安科技（深圳）有限公司 电子装置、图片样本集生成方法和计算机可读存储介质
CN108921204B (zh) * 2018-06-14 2023-12-26 平安科技（深圳）有限公司 电子装置、图片样本集生成方法和计算机可读存储介质
TWI671685B (zh) * 2018-09-19 2019-09-11 和碩聯合科技股份有限公司 臉部識別方法與使用此方法的電子裝置
CN109684913A (zh) * 2018-11-09 2019-04-26 长沙小钴科技有限公司 一种基于社区发现聚类的视频人脸标注方法和系统
CN109299275A (zh) * 2018-11-09 2019-02-01 长春理工大学 一种基于并行化噪音消除的文本分类方法
CN109492616A (zh) * 2018-11-29 2019-03-19 成都睿码科技有限责任公司 一种基于自主学习的广告屏用人脸识别方法
CN109492616B (zh) * 2018-11-29 2022-03-29 成都睿码科技有限责任公司 一种基于自主学习的广告屏用人脸识别方法
CN109547845A (zh) * 2018-12-24 2019-03-29 武汉烽火众智智慧之星科技有限公司 一种视频标记方法及装置
CN109547845B (zh) * 2018-12-24 2021-10-01 武汉烽火众智智慧之星科技有限公司 一种视频标记方法及装置
CN110837580A (zh) * 2019-10-30 2020-02-25 平安科技（深圳）有限公司 一种行人图片标注方法、装置、存储介质和智能设备
WO2021082692A1 (zh) * 2019-10-30 2021-05-06 平安科技（深圳）有限公司 一种行人图片标注方法、装置、存储介质和智能设备
CN112256938A (zh) * 2020-12-23 2021-01-22 畅捷通信息技术股份有限公司 一种消息元数据的处理方法、装置、介质

Also Published As

Publication number Publication date
CN104133875B (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN104133875A (zh) 一种基于人脸的视频标注方法和视频检索方法
CN103530652B (zh) 一种基于人脸聚类的视频编目方法、检索方法及其系统
CN112818906B (zh) 一种基于多模态信息融合理解的全媒体新闻智能编目方法
CN109189901B (zh) 一种智能客服系统中自动发现新分类以及对应语料的方法
CN102663015B (zh) 基于特征袋模型和监督学习的视频语义标注方法
CN102165464A (zh) 用于对视频内容中的人进行自动注释的方法和系统
MX2014012866A (es) Metodo para la clasificacion binaria de una imagen de consulta.
CN105095475B (zh) 基于两级融合的不完整属性标记行人重识别方法与系统
CN109145180B (zh) 一种基于增量聚类的企业热点事件挖掘方法
CN102542061A (zh) 一种产品的智能分类方法
CN104462550B (zh) 基于相似性和不相似性融合排序优化的行人重识别方法
Asha et al. Content based video retrieval using SURF descriptor
Gerónimo et al. Unsupervised surveillance video retrieval based on human action and appearance
CN111353055B (zh) 基于智能标签扩展元数据的编目方法及系统
CN113254634A (zh) 一种基于相空间的档案分类方法及系统
Aslam et al. Image classification based on mid-level feature fusion
WO2007058483A1 (en) Method, medium, and system with category-based photo clustering using photographic region templates
CN102402508A (zh) 一种近似图像检索装置及检索方法
CN113377929B (zh) 专用术语无监督聚类方法、装置和系统
CN113992944A (zh) 视频编目方法、装置、设备、系统及介质
KR102258419B1 (ko) 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템
CN112422898A (zh) 一种引入深层次行为理解的视频浓缩方法
CN112200212A (zh) 一种基于人工智能的企业物资分类目录构建方法
Guo et al. Event recognition in personal photo collections using hierarchical model and multiple features
CN110020078B (zh) 一种生成相关性映射字典及其验证相关性的方法和相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant