CN111625687B - 一种在媒资视频库中通过人脸快速搜索人物的方法及系统 - Google Patents

一种在媒资视频库中通过人脸快速搜索人物的方法及系统 Download PDF

Info

Publication number
CN111625687B
CN111625687B CN202010747308.8A CN202010747308A CN111625687B CN 111625687 B CN111625687 B CN 111625687B CN 202010747308 A CN202010747308 A CN 202010747308A CN 111625687 B CN111625687 B CN 111625687B
Authority
CN
China
Prior art keywords
face
video
character
library
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010747308.8A
Other languages
English (en)
Other versions
CN111625687A (zh
Inventor
吴馨
田海
石晓涛
王哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xunsiya Information Technology Co ltd
Original Assignee
Nanjing Xunsiya Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xunsiya Information Technology Co ltd filed Critical Nanjing Xunsiya Information Technology Co ltd
Priority to CN202010747308.8A priority Critical patent/CN111625687B/zh
Publication of CN111625687A publication Critical patent/CN111625687A/zh
Application granted granted Critical
Publication of CN111625687B publication Critical patent/CN111625687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Abstract

本发明公开了一种在媒资视频库中通过人脸快速搜索人物的方法及系统,其通过建立人物信息库和视频人物结构化结果信息库,在人物信息库创建人物头像提交后,触发在媒资视频库中快速搜索人物的流程,或者在接收新视频时,由视频触发在媒资视频库中快速搜索人物的流程,并将搜索流程的返回内容登记到视频人物结构化结果信息库。本发明记录已知人物在媒资库中具体视频中的具体位置,提出一种支持基于一次性聚合、循环使用的人脸特征检索方法,该方法能有效降低视频频繁解码开销、非人脸画面的特征比对开销和已知人物再次人脸特征比对的开销,并大幅提高因像素、侧方位等人脸特征比对准确率。

Description

一种在媒资视频库中通过人脸快速搜索人物的方法及系统
技术领域
本发明涉及技术领域,具体涉及一种在媒资视频库中通过人脸快速搜索人物的方法及系统。
背景技术
在过去几年里,人脸识别技术取得了较快发展,出现了大量的人脸识别算法和产品,人脸识别技术的准确性已经取得了极大的提高。
在媒资人物检索应用中,人脸识别技术可以通过建设人脸库,对每帧画面出现的人物进行逐个比对,从而完成指定人物的搜索。其实施过程涉及的难点有:其一是单个视频存在多个人物,进行对多个人物从媒资视频库调取具体视频及其确定出现时间和出现画面是一个漫长的核实过程,需要有配套视频标记功能登记每个人物的位置信息以及查看与输出标记结果功能;其二是一张人脸画像从数百万小时媒资视频库逐个视频解码做人脸特征比对,是一个长达一个月以上的漫长过程,难以满足业务需要,因此需要提供从数百万小时视频库进行分钟级检索人脸方法。
发明内容
技术目的:针对现有技术中的不足,本发明公开了一种在媒资视频库中通过人脸快速搜索人物的方法及系统,记录已知人物在媒资库中具体视频的具体位置,提出一种支持基于一次性聚合、循环使用的人脸特征检索方法,该方法能有效降低视频频繁解码开销、非人脸画面的特征比对开销和已知人物再次人脸特征比对的开销,并大幅提高因像素、侧方位等人脸特征比对准确率。
技术方案:为实现上述技术目的,本发明采用了如下技术方案:
一种在媒资视频库中通过人脸快速搜索人物的方法,其特征在于,包括步骤:
S1、建立人物信息库:人物信息库中包括人物姓名、性别、履历和人物头像文件,每条人物姓名对应一个以上的人物头像文件,人物头像文件中包括人物头像文件md5值;
S2、建立已知人物的人脸特征库:已知人物的人脸特征库包含人物信息库中的所有人物头像文件中的人脸特征,人脸特征存于以人物头像文件md5值命名的人脸特征文件中;
S3、建立视频人物结构化结果信息库:视频人物结构化结果信息库中包括对应每条人物姓名的视频md5加时间戳信息、画面截图访问位置信息、人物在画面中的位置信息和人物头像文件md5值;
S4、建立未知人物的人脸特征库:在视频人物结构化结果信息库建立过程中,对出现的人物头像与已知人物的人脸特征库匹配,对未匹配到的人物头像提取人脸特征,存于以人物头像文件md5值命名的人脸特征文件中;
S5、在媒资视频库中搜索人物:根据人物姓名搜索人物信息库中的人物头像文件md5值,或者根据上传头像匹配已知人物的人脸特征库与未知人物的人脸特征库,获取到相似人物头像文件md5值,根据人物头像文件md5值搜索视频人物结构化结果信息库,获取视频人物结构化结果信息库中对应人物的所有信息。
优选地,步骤S3中,建立视频人物结构化结果信息库的步骤,具体包括:
S3.1、将人脸特征值比对阈值加载到内存中,并建立与人脸特征对应的索引;
S3.2、输入视频,包括新进视频或历史视频,对视频每秒抽帧,将待检测图片放入待识别队列,利用已有人脸模型进行人脸检测、人脸特征抽取,得到人脸图像;
用图片质量检测方法过滤不合格图片和质量较低图片,保存视频中出现的经过滤后的所有人脸特征图像及视频属性,视频属性包括视频时间点和人脸框;
根据提取的视频中所有人脸特征进行人物聚类,聚合视频人脸特征,使用人脸聚合算法和人脸特征值比对阈值将视频结构化为多个人物组;
S3.3、解析结构化信息,对视频每组人物选取表征图片,执行步骤S5,在媒资视频库中搜索人物,并得到返回结果;
不合格的人脸图片包括存在像素浮动和旋转浮动的图片、头部俯仰图片、模糊人脸、侧脸或较小人脸图像,所述较小人脸图像为像素小于或等于64*64的图片;质量较低图片包括模糊图片和小图片,所述小图片为像素小于或等于64*64的图片;
判断人脸侧脸的yaw roll pitch度数,去除上下左右偏转超过30度的人脸图片;
去除模糊的人脸图片,使用Sobel或Laplacian算子处理后得到人脸图片像素值分布情况, 并计算图片平均值和标准方差,根据计算后的标准方差和图片模糊度阈值对比的结果判断图片是否模糊;
S3.4、将步骤S3.3得到的返回结果与人脸特征值比对阈值相比对,读取人脸特征值比对阈值,解析人物头像图片或人脸特征图像、比较相似度是否满足人脸特征值比对阈值要求并返回本次比对结果;若结果小于人脸特征值比对阈值,结束流程;
若结果大于人脸特征值比对阈值,更新人物信息库和视频人物结构化结果信息库,将视频md5加时间戳信息、画面截图访问位置信息、人物在画面中的位置信息和人物头像的md5值更新到视频人物结构化结果信息库中,将人物姓名、性别、履历和人物头像文件更新到人物信息库中。
优选地,步骤S3.3中在媒资视频库中搜索人物,包括:
在已知人物的人脸特征库中进行人脸识别,对人脸识别后的匹配人物,保存识别人物与视频的对应关系,并持久化存入视频人物结构化结果信息库;
对人脸识别后的未匹配人物,即未识别人物组经过过滤规则后选取表征图片做为待识别图片;过滤规则为,每组人物数小于设定的人物数量阈值不处理,每组人物的人脸框小于设定的人脸框大小阈值不处理,质量较低图片不处理,将未识别人物组更新到未知人物的人脸特征库,保存视频与人物对应关系。
优选地,在已知人物的人脸特征库中进行人脸识别的步骤包括:
1)、输入人物特征集,包括一个以上的人物特征;
2)、从人物特征集中选取一个未处理的特征,根据人脸特征值比对阈值在已知人物的人脸特征库中进行搜索是否存有同类型的表征特征;
3)、若已存在表征特征,则将该特征与表征特征进行比对,该特征与表征特征的相似度小于相似度阈值时将此特征选为新的表征特征,进入步骤4);否则,返回步骤2);
4)、更新表征特征集,返回步骤2),完成所有待识别特征的处理,并更新表征特征集。
优选地,步骤S3.2中,对输入视频每秒抽帧,使用dlib、openface或自训练模型检测图片中人脸位置形成人脸图片,通过dlib 、Openface、Face_recognition或Insightface提取人脸特征,以多进程异步方式进行;
不合格的人脸图片包括存在像素和旋转浮动的图片、头部俯仰图片、模糊人脸、侧脸或较小人脸图像;质量较低图片包括模糊图片和小图片;
判断人脸侧脸的yaw roll pitch度数,去除上下左右偏转超过30度的人脸图片;
去除模糊的人脸图片,使用Sobel或Laplacian算子处理后得到人脸图片像素值分布情况, 并计算图片平均值和标准方差,根据计算后的标准方差和阈值对比的结构判断图片是否模糊。
优选地,步骤S3.2中,对视频中所有人脸特征使用chinese-whisper算法进行无监督分类人物聚类。
一种用于实施所述方法的在媒资视频库中通过人脸快速搜索人物的系统,其特征在于:包括人物信息管理模块、视频文件接收模块、新视频处理模块、历史视频处理模块、人脸图像获取模块、特征提取模块、媒资视频库、识别与处理模块、显示模块和阈值配置模块,所述媒资视频库包括人物信息库、已知人物的人脸特征库、未知人物的人脸特征库和视频人物结构化结果信息库;
所述人物信息管理模块用于登记人物信息,视频文件接收模块用于接收视频文件并转发给新视频处理模块和历史视频处理模块;新视频处理模块和历史视频处理模块用于对视频进行处理;
所述人脸图像获取模块和特征提取模块分别用于获取人脸图像和提取人脸特征,识别与处理模块用于将人脸图像或人脸特征与数据库中的表征特征相比对、得到搜索结果并更新数据库,显示模块用于显示搜索结果。
有益效果:由于采用了上述技术方案,本发明具有如下技术效果:
(1)、检索的速度与媒资视频库的大小弱关联,随媒资视频库大型扩容影响较小;
(2)、检索的准确率方便实时调整,能够适应不同场景,如对于原则性不能漏判场景,调低阈值;对于发现存在问题但是需减少审核量场景,调高阈值;
(3)、所提出的搜索人物方法不仅适用于人脸识别技术,同样适用于语音识别技术、OCR识别技术,以及适应媒资结构化数据,具备一定的通用性。
附图说明
图1为本发明中的表征人脸特征选择方法的流程图;
图2为本发明中的在媒资视频库中通过人脸快速搜索人物的方法的实现流程图;
图3为图2中处理结果步骤的详细处理流程图;
图4为本发明中方法实现的流程一的示意图;
图5为本发明中方法实现的流程二、三和四的示意图。
具体实施方式
本发明提出一种在媒资视频库中通过人脸快速搜索人物的方法及系统,通过建立人物信息库,在人物信息库创建人物头像提交后,或者在接收新视频时,由人物头像或视频触发一种在媒资视频库中通过人脸快速搜索人物的方法进行处理,对其返回内容登记到视频人物结构化结果信息库。其中,人物信息库用于登记人物的基本信息,其以数据库形式存放包含但不限于姓名、性别、履历和多个头像文件存储路径以及其文件md5值。MD5即Message-Digest Algorithm 5(信息-摘要算法5),用于确保信息传输完整一致,是计算机安全领域广泛使用的一种散列函数。
本发明的在媒资视频库中快速搜索人物的系统提供页面查询,通过输入人名,显示视频人物结构化结果信息库中已登记内容;或者通过导入人脸图像,循环与人物信息库中头像进行人脸特征值比对,比对到的结果再与视频人物结构化结果信息库中已登记内容匹配,显示视频人物结构化结果信息库中已登记内容。
本发明的在媒资视频库中快速搜索人物的方法,具体实现过程如下:
1、系统页面配置人脸特征值比对阈值登记到数据库,并加载到内存中;
2、通过页面添加人物姓名等信息,同时导入1张以上人物头像,登记姓名、多张头像md5值到数据库中,记为人物信息库,对头像文件提取人脸特征形成已知人物的人脸特征库。每张头像分别通过接口形式调用一种在媒资视频库中快速搜索人物的方法,系统接收返回结果,同时读取内存中的阈值,解析并比较返回中相似度是否满足阈值要求,针对符合要求的登记视频md5加时间戳、画面截图访问位置信息、人物在画面中的位置信息和具体头像的md5值到视频人物结构化结果信息库;
3、媒资库新进视频时,系统提供接收接口,并对新视频送入到一种在媒资视频库中快速搜索人物的方法中,提供异步接收接口获取其处理结果,处理结果与阈值配置数据库比对,相似度大于指定阈值时,登记文件名、文件存放位置、人物在画面中的位置信息到视频人物结构化结果信息库;删除接收后的视频文件;
4、提供页面查询,录入人名时通过人物信息库查询到头像md5值,再通过头像md5值搜索视频人物结构化结果信息库,获取视频md5加帧号、画面截图访问位置信息、人物在画面中的位置信息;
5、提供页面查询,导入人脸图像,提取人脸特征后分别与已知人物的人脸特征库和未知人物的人脸特征库比对,当比对相似度大于指定阈值时取出匹配到的头像md5值,再通过头像md5值搜索视频人物结构化结果信息库,获取视频md5加帧号、画面截图访问位置信息、人物在画面中的位置信息。
其中对新进视频的处理包括:对视频每秒抽帧,启动人脸检测服务去除无人脸图片,以及去除像素和旋转浮动、头部俯仰等不符合阈值范围内的图片,再通过人脸聚类形成人物组,每组人物选取表征人脸特征与待搜索人脸特征进行比对。具体实现过程如下:
1)、首先从配置文件获取人脸特征库及其对应特征文件路径,加载人脸库特征;将人脸库特征加载到内存,并建立对应索引,加快人脸特征检索速度。
2)、对输入视频每秒抽帧,使用dlib、openface或自训练模型检测图片中人脸位置形成人脸图片,通过dlib 、Openface、Face_recognition或Insightface提取人脸特征,以多进程异步方式进行;
3)、去除像素较小的人脸图片:对于上述人脸图像文件判定像素大小,删除64*64及其以下像素图片;
4)、去除模糊的人脸图片,使用Sobel或Laplacian算子处理后得到人脸图片像素值分布情况, 并计算图片平均值和标准方差,清楚的图的像素值标准方差较大而模糊图的像素值因为分部比较散相对来说标准方差较小。通过判断计算后的标准方差小于一定阈值认为图片比较模糊,目前采取阈值为10;
5)、去除侧脸质量不高的人脸图片,通用的人脸识别算法可判断人脸的yaw rollpitch度数,去除上下左右偏转超过30度的人脸图片;
6)、保存视频中剩余的所有人脸特征及其属性(视频时间点、人脸框等);
7)、对视频中剩余的所有人脸特征使用chinese-whisper算法对视频中的所有人脸特征进行无监督分类人物聚类,至此将视频中所有人脸特征划分为多个人物组,保存人脸分类标签和人脸特征对应关系;
8)、对每组人物选取表征特征,在已知的人脸库中进行识别,识别出的人物保存其对应关系:
当人脸库规模比较大时,每组人物在库中进行识别会特别耗时,本发明采用两种方式进行提速:
A.每组人物选取表征特征,减少待比对人脸特征;
B.特征比对相对人脸检测特征提取的速度较慢,使用ZMQ或kafka消息队列将特征比对抽离为单独的特征比对服务,可将特征比对服务多机部署,提高特征比对速度。
9)、未识别出的人物进行一定规则过滤后,选取表征人脸在视频聚类人脸库中识别,不存在人物到视频聚类人脸库中;未识别出的人物设定未知人物编号并放入视频聚类人脸库中。人物库分为已审核的基础人脸库和未审核的视频人物聚类库。
10)、保存人物、视频人脸对应关系并持久化存储为人物视频库。
本发明中的人物信息库中的头像文件md5值,与视频人物结构化结果信息库中的匹配结果头像文件md5值相对应,人物信息库是业务维护人物信息使用,实际存储方式是关系型数据库,mysql、Oracle、DB2均可。其次视频人物结构化结果信息库的建立过程中,按业务需要的维度进行信息筛选和保存。实际存储方式是通过非关系型数据库存储信息,如HBase、Redis、MongoDB均可。本发明中阈值匹配时,实际是一个具体可变值,存入数据库中,并加载到内存,在阈值匹配时进行调用。
如图1所示,对人脸特征集选表征人脸特征的方法进行详细说明:
步骤1:组人物特征集输入;
步骤2:从特征集中选取一个未处理的特征;
步骤3:若已存在表征特征,则将该特征与表征特征进行两两比对,特征比对方法包括但不限于欧氏距离和余弦距离,分数大于阈值时认为相差较大则选为新的表征特征;分数小于阈值时两特征相似度较大,不需要再进行识别,通过此方法可避免组人物所有特征在大规模人脸特征库中进行检索,提高识别速度、降低结果聚合复杂度;
步骤4:更新表征特征集,记录所有待识别表征特征。
下面结合附图2对在媒资视频库中快速搜索人物的方法实现详细说明:
步骤1:视频输入;
步骤2:视频每秒抽帧,将待检测图片放入待识别队列,利用已有人脸模型进行人脸检测、人脸特征抽取;
步骤3:聚合视频人脸特征,用图片质量检测方法过滤模糊图片、小图片等质量较低图片,使用人脸聚合算法和配置阈值将视频结构化为多个人物组;
步骤4:对视频每组人物选取表征图片,在基础人脸库中进行人脸识别。选取表征图片的详细流程如图1;
步骤5:保存识别人物与视频对应关系;
步骤6:未识别人物组经过过滤规则后选取表征图片做为待识别图片。过滤规则:每组人物数小于一定阈值则不处理;每组人物人脸框小于一定阈值不处理;侧脸等质量低图片不处理;
步骤7:视频聚类库人脸库已加载入系统,并建立对应特征索引,待识别人物组图片在视频聚类库人脸库进行识别,识别出人物组保存视频与人物对应关系,未识别人物组更新聚类人脸库后保存视频与人物对应关系。
结合图3至图5,对本发明方法的实现流程进行进一步说明。
流程1:人物信息库建设流程
步骤1:提供页面,维护人物姓名等信息,入人物库数据;
步骤2:导入人脸图像(1人多图像);
步骤3:人脸图像文件md5入人物库数据;人脸图像调取人脸算法提取人脸特征及其文件md5入人脸特征库。
流程2:新视频生成视频人物结构化结果信息库
步骤1:接口接收新视频;
步骤2:视频提交到“提交到一种在媒资视频库中快速搜索人物的方法”流程中;
步骤3:异步提供接收方法,接收步骤2的处理结果;
步骤4:获取步骤3的处理结果,与配置文件中设定的阈值比较;
步骤5:步骤4的结果大于阈值,信息分布送人脸特征库和视频人物结构化结果信息库,登记md5加帧号、画面截图访问位置信息、人物在画面中的位置信息;小于阈值结束流程。
流程3:历史视频生成视频人物结构化结果信息库
步骤1:通过系统内部循环调取媒资库中历史视频文件;
步骤2:重复流程2新视频生成视频人物结构化结果信息库的具体步骤。
流程4:查询人物
步骤1:提供页面,录入人名或人脸图像;
步骤2-1:按人名搜索人物信息库,获取到人物头像md5值;
步骤2-2:按人脸图像分布搜索已知人物的人脸特征库和未知人物的人脸特征库,获取到人物头像md5值;
步骤3:按头像md5值搜索视频结构化结果数据库,获取md5加帧号、画面截图访问位置信息、人物在画面中的位置信息。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种在媒资视频库中通过人脸快速搜索人物的方法,其特征在于,包括步骤:
S1、建立人物信息库:人物信息库中包括人物姓名、性别、履历和人物头像文件,每条人物姓名对应一个以上的人物头像文件,人物头像文件中包括人物头像文件md5值;
S2、建立已知人物的人脸特征库:已知人物的人脸特征库包含人物信息库中的所有人物头像文件中的人脸特征,人脸特征存于以人物头像文件md5值命名的人脸特征文件中;
S3、建立视频人物结构化结果信息库:视频人物结构化结果信息库中包括对应每条人物姓名的视频md5加时间戳信息、画面截图访问位置信息、人物在画面中的位置信息和人物头像文件md5值;
S4、建立未知人物的人脸特征库:在视频人物结构化结果信息库建立过程中,对出现的人物头像与已知人物的人脸特征库匹配,对未匹配到的人物头像提取人脸特征,存于以人物头像文件md5值命名的人脸特征文件中;
S5、在媒资视频库中搜索人物:根据人物姓名搜索人物信息库中的人物头像文件md5值,或者根据上传头像匹配已知人物的人脸特征库与未知人物的人脸特征库,获取到相似人物头像文件md5值,根据人物头像文件md5值搜索视频人物结构化结果信息库,获取视频人物结构化结果信息库中对应人物的所有信息。
2.根据权利要求1所述的一种在媒资视频库中通过人脸快速搜索人物的方法,其特征在于,步骤S3中,建立视频人物结构化结果信息库的步骤,具体包括:
S3.1、将人脸特征值比对阈值加载到内存中,并建立与人脸特征对应的索引;
S3.2、输入视频,包括新进视频或历史视频,对视频每秒抽帧,将待检测图片放入待识别队列,利用已有人脸模型进行人脸检测、人脸特征抽取,得到人脸图像;
用图片质量检测方法过滤不合格图片和质量较低图片,保存视频中出现的经过滤后的所有人脸特征图像及视频属性,视频属性包括视频时间点和人脸框;
根据提取的视频中所有人脸特征进行人物聚类,聚合视频人脸特征,使用人脸聚合算法和人脸特征值比对阈值将视频结构化为多个人物组;
不合格的人脸图片包括存在像素浮动和旋转浮动的图片、头部俯仰图片、模糊人脸、侧脸或较小人脸图像,所述较小人脸图像为像素小于或等于64*64的图片;质量较低图片包括模糊图片和小图片,所述小图片为像素小于或等于64*64的图片;
判断人脸侧脸的yaw roll pitch度数,去除上下左右偏转超过30度的人脸图片;
去除模糊的人脸图片,使用Sobel或Laplacian算子处理后得到人脸图片像素值分布情况, 并计算图片平均值和标准方差,根据计算后的标准方差和图片模糊度阈值对比的结果判断图片是否模糊;
S3.3、解析结构化信息,对视频每组人物选取表征图片,执行步骤S5,在媒资视频库中搜索人物,并得到返回结果;
S3.4、将步骤S3.3得到的返回结果与人脸特征值比对阈值相比对,读取人脸特征值比对阈值,解析人物头像图片或人脸特征图像、比较相似度是否满足人脸特征值比对阈值要求并返回本次比对结果;若结果小于人脸特征值比对阈值,结束流程;
若结果大于人脸特征值比对阈值,更新人物信息库和视频人物结构化结果信息库,将视频md5加时间戳信息、画面截图访问位置信息、人物在画面中的位置信息和人物头像的md5值更新到视频人物结构化结果信息库中,将人物姓名、性别、履历和人物头像文件更新到人物信息库中。
3.根据权利要求2所述的一种在媒资视频库中通过人脸快速搜索人物的方法,其特征在于,步骤S3.3中在媒资视频库中搜索人物,包括:
在已知人物的人脸特征库中进行人脸识别,对人脸识别后的匹配人物,保存识别人物与视频的对应关系,并持久化存入视频人物结构化结果信息库;
对人脸识别后的未匹配人物,即未识别人物组经过过滤规则后选取表征图片做为待识别图片;过滤规则为,每组人物数小于设定的人物数量阈值不处理,每组人物的人脸框小于设定的人脸框大小阈值不处理,质量较低图片不处理,将未识别人物组更新到未知人物的人脸特征库,保存视频与人物对应关系。
4.根据权利要求3所述的一种在媒资视频库中通过人脸快速搜索人物的方法,其特征在于,在已知人物的人脸特征库中进行人脸识别的步骤包括:
1)、输入人物特征集,包括一个以上的人物特征;
2)、从人物特征集中选取一个未处理的特征,根据人脸特征值比对阈值在已知人物的人脸特征库中进行搜索是否存有同类型的表征特征;
3)、若已存在表征特征,则将该特征与表征特征进行比对,该特征与表征特征的相似度小于相似度阈值时将此特征选为新的表征特征,进入步骤4);否则,返回步骤2);
4)、更新表征特征集,返回步骤2),完成所有待识别特征的处理,并更新表征特征集。
5.根据权利要求2所述的一种在媒资视频库中通过人脸快速搜索人物的方法,其特征在于:步骤S3.2中,对输入视频每秒抽帧,使用dlib、openface或自训练模型检测图片中人脸位置形成人脸图片,通过dlib 、Openface、Face_recognition或Insightface提取人脸特征,以多进程异步方式进行。
6.根据权利要求2所述的一种在媒资视频库中通过人脸快速搜索人物的方法,其特征在于:步骤S3.2中,对视频中所有人脸特征使用chinese-whisper算法进行无监督分类人物聚类。
7.根据权利要求2所述的一种在媒资视频库中通过人脸快速搜索人物的方法,其特征在于:在步骤S3中,对新进视频处理时,完成视频人物结构化结果信息库更新后,删除此视频文件。
8.一种用于实施权利要求1至7任一所述方法的在媒资视频库中通过人脸快速搜索人物的系统,其特征在于:包括人物信息管理模块、视频文件接收模块、新视频处理模块、历史视频处理模块、人脸图像获取模块、特征提取模块、媒资视频库、识别与处理模块、显示模块和阈值配置模块,所述媒资视频库包括人物信息库、已知人物的人脸特征库、未知人物的人脸特征库和视频人物结构化结果信息库;
所述人物信息管理模块用于登记人物信息,视频文件接收模块用于接收视频文件并转发给新视频处理模块和历史视频处理模块;新视频处理模块和历史视频处理模块用于对视频进行处理;
所述人脸图像获取模块和特征提取模块分别用于获取人脸图像和提取人脸特征,识别与处理模块用于将人脸图像或人脸特征与数据库中的表征特征相比对、得到搜索结果并更新数据库,显示模块用于显示搜索结果。
CN202010747308.8A 2020-07-30 2020-07-30 一种在媒资视频库中通过人脸快速搜索人物的方法及系统 Active CN111625687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010747308.8A CN111625687B (zh) 2020-07-30 2020-07-30 一种在媒资视频库中通过人脸快速搜索人物的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010747308.8A CN111625687B (zh) 2020-07-30 2020-07-30 一种在媒资视频库中通过人脸快速搜索人物的方法及系统

Publications (2)

Publication Number Publication Date
CN111625687A CN111625687A (zh) 2020-09-04
CN111625687B true CN111625687B (zh) 2020-12-08

Family

ID=72271515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010747308.8A Active CN111625687B (zh) 2020-07-30 2020-07-30 一种在媒资视频库中通过人脸快速搜索人物的方法及系统

Country Status (1)

Country Link
CN (1) CN111625687B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112040325B (zh) * 2020-11-02 2021-01-29 成都睿沿科技有限公司 一种视频播放方法、装置、电子设备及存储介质
CN112989091A (zh) * 2021-05-11 2021-06-18 南京甄视智能科技有限公司 人脸搜索方法、装置及边缘设备
CN113569676A (zh) * 2021-07-16 2021-10-29 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN113792168A (zh) * 2021-08-11 2021-12-14 同盾科技有限公司 人脸底库自维护的方法、系统、电子装置和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020030061A (ko) * 2002-03-27 2002-04-22 주식회사 푸른상호신용금고 화상대출신청기
CN103500230A (zh) * 2013-10-25 2014-01-08 苏州千视通信科技有限公司 基于样本图像的视频检索方法
KR20160040037A (ko) * 2014-10-02 2016-04-12 (주) 키움소프트 다중구조의 근거리 영상감지에 의한 객체 인증장치 및 방법
CN106127106A (zh) * 2016-06-13 2016-11-16 东软集团股份有限公司 视频中目标人物查找方法和装置
CN109582824A (zh) * 2018-12-29 2019-04-05 深圳英飞拓科技股份有限公司 一种基于视频结构化的区域安全管理系统及方法

Also Published As

Publication number Publication date
CN111625687A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111625687B (zh) 一种在媒资视频库中通过人脸快速搜索人物的方法及系统
US20200151210A1 (en) System, Apparatus, Method, Program And Recording Medium For Processing Image
CN107562742B (zh) 一种图像数据处理方法及装置
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
US20070216709A1 (en) Display control apparatus, display control method, computer program, and recording medium
US9665773B2 (en) Searching for events by attendants
CN111126122B (zh) 人脸识别算法评估方法及装置
CN108287833A (zh) 一种用于艺术品鉴定的以图搜图方法
CN113297420A (zh) 视频图像处理方法、装置、存储介质及电子设备
CN112084812B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111814576A (zh) 一种基于深度学习的购物小票图片识别方法
US11869127B2 (en) Image manipulation method and apparatus
CN112989098A (zh) 一种图像类侵权实体自动化检索方法、装置和电子设备
CN115983873B (zh) 一种基于大数据的用户数据分析管理系统及方法
CN112348026A (zh) 一种基于机器视觉的磁性硬盘序列码识别方法
US20220414393A1 (en) Methods and Systems for Generating Composite Image Descriptors
CN113536017A (zh) 一种图像检索方法和系统
CN112308162A (zh) 一种图像大数据相似度比对方法及系统
Rahman et al. Creation of video summary with the extracted salient frames using color moment, color histogram and speeded up robust features
Li et al. A retrieval system of vehicles based on recognition of license plates
Chaisorn et al. A hybrid approach for image/video content representation and identification
Fatima et al. Investigating and Auditing Through Facial Recognition Using LBPH Algorithm
CN117688206A (zh) 内容标签的确定方法、装置、设备、存储介质及程序产品
CN117033762A (zh) 一种视频镜头推荐方法
CN115050073A (zh) 视频人物搜索方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant