CN111046235B - 基于人脸识别的声像档案搜索方法、系统、设备及介质 - Google Patents

基于人脸识别的声像档案搜索方法、系统、设备及介质 Download PDF

Info

Publication number
CN111046235B
CN111046235B CN201911193171.XA CN201911193171A CN111046235B CN 111046235 B CN111046235 B CN 111046235B CN 201911193171 A CN201911193171 A CN 201911193171A CN 111046235 B CN111046235 B CN 111046235B
Authority
CN
China
Prior art keywords
information
target person
face
picture
face characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911193171.XA
Other languages
English (en)
Other versions
CN111046235A (zh
Inventor
庄莉
梁懿
林振天
张望华
黄敬林
蔡清远
张均成
袁宝峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Fujian Yirong Information Technology Co Ltd
Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
Fujian Yirong Information Technology Co Ltd
Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd, Fujian Yirong Information Technology Co Ltd, Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN201911193171.XA priority Critical patent/CN111046235B/zh
Publication of CN111046235A publication Critical patent/CN111046235A/zh
Application granted granted Critical
Publication of CN111046235B publication Critical patent/CN111046235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人脸识别的声像档案搜索方法、系统、设备及介质，方法包括：1、对一声像档案中的每一个视频数据进行切图处理，对每一张图片进行命名并存储至缓存目录中；2、读取每一张图片进行人脸识别检测，如果图片中存在人脸，则提取该图片中的条目信息；3、将所有声像档案的视频数据重复步骤1和步骤2，根据每一个条目信息建立人脸特征信息库；4、获取关键人物的基本信息及照片信息，建立关键人物信息库；5、选择检索方式并输入，找到目标人物并提取人脸特征信息，根据人脸特征信息在人脸特征库中进行比对，返回符合条件的条目信息；6、根据条目信息找到相匹配的视频文件并输出，再播放对应视频片段。本发明提高了档案检索效率。

Description

基于人脸识别的声像档案搜索方法、系统、设备及介质
技术领域
本发明涉及声像档案利用技术领域，尤其涉及一种基于人脸识别的声像档案搜索方法、系统、设备及介质。
背景技术
视频数据是声像档案中占比最多的数据，在视频数据中，找到与某人物相关的视频片段是声像档案利用的重要场景。现有的方式主要通过人工播放观看视频数据，在海量声像档案视频数据中查找符合条件的视频片段，效率低，人力成本高。
在2016年3月30日申请的申请号为201610189755.X的中国发明，公开了一种基于人脸识别的视频通信方法，其包括如下步骤：S1、预存渲染动态图像，将渲染动态图像划分为不同的应用场景；S2、通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，跳转到步骤S1；S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分离器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；S4、根据步骤S3种的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；跳转到步骤S2直至视频通信结束。
在2018年11月22日申请的申请号为201811400352.0的中国发明，提供了一种面向监控视频的人脸检测与搜索方法，首先训练人脸检测器；将输入待进行人脸识别与搜索的监控视频帧，利用人脸检测器对其进行检测，得到监控视频帧中的人脸区域，在人脸区域中进行五官定位，得到监控视频人脸五官定位结果；确定目标人脸图像，对目标人脸图像进行五官定位，得到目标人脸五官定位结果；然后前面步骤获得的监控视频人脸图像的五官定位结果和目标人脸图像的五官定位结果，计算两者全脸及局部五官相似度。最后计算监控视频人脸图像和目标人脸图像的概率融合相似度，得到搜索匹配结果。利用该发明使得搜索结果更为准确。
发明内容
本发明要解决的技术问题，在于提供一种基于人脸识别的声像档案搜索方法、系统、设备和介质，一方面提升档案工作者、档案利用者从海量的声像档案视频数据中检索与某一目标人物相关的视频数据的效率，另一方面也提升了声像档案本身的被利用的价值。
第一方面，本发明提供了一种基于人脸识别的声像档案搜索方法，包括如下步骤：
步骤1、对一声像档案中的每一个视频数据进行切图处理以切成一张一张图片，对每一张图片进行命名并依次存储至缓存目录中；
步骤2、读取所述缓存目录中的每一张图片，进行人脸识别检测，如果图片中存在人脸，则输出并记录该图片中的条目信息，所述条目信息包括人脸特征信息、人脸坐标信息及相关属性信息，所述相关属性信息包括该图片对应的视频文件名及该图片在视频文件中的播放时间点；如果图片中不存在人脸，则直接丢弃；
步骤3、将所有声像档案的视频数据重复步骤1和步骤2，根据每一个条目信息建立人脸特征信息库；
步骤4、获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库；
步骤5、选择检索方式并输入，找到目标人物，提取该目标人物的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，若匹配成功，则返回符合条件的条目信息；若匹配失败，则结束流程；
步骤6、根据返回的条目信息找到与该目标人物相匹配的视频文件并输出，再播放相匹配的视频文件中与该目标人物相匹配的视频片段。
进一步地，所述步骤1具体为：
对声像档案中的每一个视频数据进行切图处理，按用户自行设定的播放帧率切成一张一张图片，以视频文件名加上该图片在视频文件中的播放时间点的形式对每一张图片进行命名，并依次存储至缓存目录中。
进一步地，所述步骤4具体为：
通过人工收集、梳理和核实方式获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库。
进一步地，所述步骤5具体为：
当选择的检索方式是人名，则输入人名，检索服务根据该人名在关键人物信息库中查找符合条件的目标人物，找到该目标人物后提取该目标人物的照片信息中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程。
进一步地，所述步骤5具体为：
当选择的检索方式是目标人物的照片，则输入目标人物的照片，检索服务提取该照片中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程。
进一步地，所述步骤6具体为：
根据返回的条目信息中的该目标人物的所有视频文件名找到与该目标人物相匹配的视频文件，并对匹配的视频文件进行输出；再根据返回的条目信息中的该目标人物在对应视频文件中的播放时间点，提取每一个匹配的视频文件中与该目标人物相匹配的视频片段并播放。
第二方面，本发明提供了一种基于人脸识别的声像档案搜索系统，包括：
视频切图模块，用于对一声像档案中的每一个视频数据进行切图处理以切成一张一张图片，对每一张图片进行命名并依次存储至缓存目录中；
人脸检测模块，用于读取所述缓存目录中的每一张图片，进行人脸识别检测，如果图片中存在人脸，则输出并记录该图片中的条目信息，所述条目信息包括人脸特征信息、人脸坐标信息及相关属性信息，所述相关属性信息包括该图片对应的视频文件名及该图片在视频文件中的播放时间点；如果图片中不存在人脸，则直接丢弃；
人脸建库模块，用于将所有声像档案的视频数据重复视频切图模块和人脸检测模块，根据每一个条目信息建立人脸特征信息库；
人物建库模块，用于获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库；
检索比对模块，用于选择检索方式并输入，找到目标人物，提取该目标人物的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，若匹配成功，则返回符合条件的条目信息；若匹配失败，则结束流程；
视频播放模块，用于根据返回的条目信息找到与该目标人物相匹配的视频文件并输出，再播放相匹配的视频文件中与该目标人物相匹配的视频片段。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请实施例提供的一种基于人脸识别的声像档案搜索方法、系统、设备和介质，本发明是利用人脸识别技术，对声像档案中的视频数据进行加工处理，识别并提取视频数据中出现的人脸特征信息，建立人脸特征信息库，并基于该人脸特征信息库，构建检索服务，实现对人物相关视频片段的高效检索；一方面提升档案工作者、档案利用者从海量的声像档案视频数据中检索与某一特定人物相关的视频数据的效率，另一方面也提升了声像档案本身的被利用的价值。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明的总体框架图。
图2为本发明实施例一中方法中的流程图。
图3为本发明实施例二中系统的结构示意图。
图4为本发明实施例三中电子设备的结构示意图。
图5为本发明实施例四中介质的结构示意图。
具体实施方式
为使得本发明更明显易懂，现以一优选实施例，并配合附图作详细说明如下。
本申请实施例通过提供一种基于人脸识别的声像档案搜索方法、系统、设备和介质，一方面提升档案工作者、档案利用者从海量的声像档案视频数据中检索与某一目标人物相关的视频数据的效率，另一方面也提升了声像档案本身的被利用的价值。
本申请实施例中的技术方案，总体思路如下：
在介绍具体实施例之前，先介绍本申请实施例方法所对应的框架，如图1所示，大概分六个部分：视频切图服务、人脸检测服务、人脸特征信息库、关键人物信息库、检索服务和结果输出与展示，对海量的声像档案的视频数据进行切图处理形成多个图片，从图片中检测出人脸特征信息，建立人脸特征信息库，然后再创建关键人物信息库，输入检索条件进行检索服务，最后将检索结果输出并展示。
实施例一
本实施例提供一种基于人脸识别的声像档案搜索方法，如图2所示，包括如下步骤：
步骤1、对一声像档案中的每一个视频数据进行切图处理以切成一张一张图片，对每一张图片进行命名并依次存储至缓存目录中；该步骤具体为：
对声像档案中的每一个视频数据进行切图处理，按用户自行设定的播放帧率切成一张一张图片，以视频文件名加上该图片在视频文件中的播放时间点的形式对每一张图片进行命名，方便后期查找图片，并依次存储至缓存目录中；
步骤2、读取所述缓存目录中的每一张图片，进行人脸识别检测，如果图片中存在人脸，则输出并记录该图片中的条目信息，所述条目信息包括人脸特征信息、人脸坐标信息及相关属性信息，所述相关属性信息包括该图片对应的视频文件名及该图片在视频文件中的播放时间点；如果图片中不存在人脸，则直接丢弃；
步骤3、将所有声像档案的视频数据重复步骤1和步骤2，根据每一个条目信息建立人脸特征信息库；
步骤4、获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库；该步骤具体为：
通过人工收集、梳理和核实方式获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库；
步骤5、选择检索方式并输入，找到目标人物，提取该目标人物的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，若匹配成功，则返回符合条件的条目信息；若匹配失败，则结束流程；该步骤具体为：
当选择的检索方式是人名，则输入人名，检索服务根据该人名在关键人物信息库中查找符合条件的目标人物，找到该目标人物后提取该目标人物的照片信息中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程。
当选择的检索方式是目标人物的照片，则输入目标人物的照片，检索服务提取该照片中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程；
步骤6、根据返回的条目信息找到与该目标人物相匹配的视频文件并输出，再播放相匹配的视频文件中与该目标人物相匹配的视频片段；该步骤具体为：
根据返回的条目信息中的该目标人物的所有视频文件名找到与该目标人物相匹配的视频文件，并对匹配的视频文件进行输出；再根据返回的条目信息中的该目标人物在对应视频文件中的播放时间点，提取每一个匹配的视频文件中与该目标人物相匹配的视频片段并播放。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的系统，详见实施例二。
实施例二
在本实施例中提供了一种基于人脸识别的声像档案搜索系统，如图3所示，包括：
视频切图模块，用于对一声像档案中的每一个视频数据进行切图处理以切成一张一张图片，对每一张图片进行命名并依次存储至缓存目录中；该步骤具体为：
对声像档案中的每一个视频数据进行切图处理，按用户自行设定的播放帧率切成一张一张图片，以视频文件名加上该图片在视频文件中的播放时间点的形式对每一张图片进行命名，方便后期查找图片，并依次存储至缓存目录中；
人脸检测模块，用于读取所述缓存目录中的每一张图片，进行人脸识别检测，如果图片中存在人脸，则输出并记录该图片中的条目信息，所述条目信息包括人脸特征信息、人脸坐标信息及相关属性信息，所述相关属性信息包括该图片对应的视频文件名及该图片在视频文件中的播放时间点；如果图片中不存在人脸，则直接丢弃；
人脸建库模块，用于将所有声像档案的视频数据重复视频切图模块和人脸检测模块，根据每一个条目信息建立人脸特征信息库；
人物建库模块，用于获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库；该步骤具体为：
通过人工收集、梳理和核实方式获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库；
检索比对模块，用于选择检索方式并输入，找到目标人物，提取该目标人物的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，若匹配成功，则返回符合条件的条目信息；若匹配失败，则结束流程；该步骤具体为：
当选择的检索方式是人名，则输入人名，检索服务根据该人名在关键人物信息库中查找符合条件的目标人物，找到该目标人物后提取该目标人物的照片信息中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程。
当选择的检索方式是目标人物的照片，则输入目标人物的照片，检索服务提取该照片中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程；
视频播放模块，用于根据返回的条目信息找到与该目标人物相匹配的视频文件并输出，再播放相匹配的视频文件中与该目标人物相匹配的视频片段；该步骤具体为：
根据返回的条目信息中的该目标人物的所有视频文件名找到与该目标人物相匹配的视频文件，并对匹配的视频文件进行输出；再根据返回的条目信息中的该目标人物在对应视频文件中的播放时间点，提取每一个匹配的视频文件中与该目标人物相匹配的视频片段并播放。
由于本发明实施例二所介绍的系统，为实施本发明实施例一的方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。
实施例三
本实施例提供了一种电子设备，如图4所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。
实施例四
本实施例提供一种计算机可读存储介质，如图5所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (7)

1.一种基于人脸识别的声像档案搜索方法，其特征在于：包括如下步骤：
步骤1、对一声像档案中的每一个视频数据进行切图处理以切成一张一张图片，对每一张图片进行命名并依次存储至缓存目录中；
步骤2、读取所述缓存目录中的每一张图片，进行人脸识别检测，如果图片中存在人脸，则输出并记录该图片中的条目信息，所述条目信息包括人脸特征信息、人脸坐标信息及相关属性信息，所述相关属性信息包括该图片对应的视频文件名及该图片在视频文件中的播放时间点；如果图片中不存在人脸，则直接丢弃；
步骤3、将所有声像档案的视频数据重复步骤1和步骤2，根据每一个条目信息建立人脸特征库；
步骤4、获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库；
步骤5、选择检索方式并输入，找到目标人物，提取该目标人物的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，若匹配成功，则返回符合条件的条目信息；若匹配失败，则结束流程；
所述步骤5具体为：
当选择的检索方式是人名，则输入人名，检索服务根据该人名在关键人物信息库中查找符合条件的目标人物，找到该目标人物后提取该目标人物的照片信息中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程；
当选择的检索方式是目标人物的照片，则输入目标人物的照片，检索服务提取该照片中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程；
步骤6、根据返回的条目信息找到与该目标人物相匹配的视频文件并输出，再播放相匹配的视频文件中与该目标人物相匹配的视频片段。
2.如权利要求1所述的一种基于人脸识别的声像档案搜索方法，其特征在于：所述步骤1具体为：
对声像档案中的每一个视频数据进行切图处理，按用户自行设定的播放帧率切成一张一张图片，以视频文件名加上该图片在视频文件中的播放时间点的形式对每一张图片进行命名，并依次存储至缓存目录中。
3.如权利要求1所述的一种基于人脸识别的声像档案搜索方法，其特征在于：所述步骤4具体为：
通过人工收集、梳理和核实方式获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库。
4.如权利要求1所述的一种基于人脸识别的声像档案搜索方法，其特征在于：所述步骤6具体为：
根据返回的条目信息中的该目标人物的所有视频文件名找到与该目标人物相匹配的视频文件，并对匹配的视频文件进行输出；再根据返回的条目信息中的该目标人物在对应视频文件中的播放时间点，提取每一个匹配的视频文件中与该目标人物相匹配的视频片段并播放。
5.一种基于人脸识别的声像档案搜索系统，其特征在于：包括：
视频切图模块，用于对一声像档案中的每一个视频数据进行切图处理以切成一张一张图片，对每一张图片进行命名并依次存储至缓存目录中；
人脸检测模块，用于读取所述缓存目录中的每一张图片，进行人脸识别检测，如果图片中存在人脸，则输出并记录该图片中的条目信息，所述条目信息包括人脸特征信息、人脸坐标信息及相关属性信息，所述相关属性信息包括该图片对应的视频文件名及该图片在视频文件中的播放时间点；如果图片中不存在人脸，则直接丢弃；
人脸建库模块，用于将所有声像档案的视频数据重复执行视频切图模块和人脸检测模块，根据每一个条目信息建立人脸特征库；
人物建库模块，用于获取关键人物的基本信息及照片信息，根据关键人物的基本信息及照片信息建立关键人物信息库；
检索比对模块，用于选择检索方式并输入，找到目标人物，提取该目标人物的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，若匹配成功，则返回符合条件的条目信息；若匹配失败，则结束流程；该模块具体为：
当选择的检索方式是人名，则输入人名，检索服务根据该人名在关键人物信息库中查找符合条件的目标人物，找到该目标人物后提取该目标人物的照片信息中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程；
当选择的检索方式是目标人物的照片，则输入目标人物的照片，检索服务提取该照片中的人脸特征信息，根据该目标人物的人脸特征信息，在人脸特征库中进行比对，判断该目标人物的人脸特征信息与人脸特征库中的人脸特征信息是否匹配，若匹配，则说明人脸特征库中存在该目标人物对应的图片，返回符合条件的条目信息，返回的条目信息包括该目标人物的所有视频文件名、该目标人物在对应视频文件中的播放时间点、该目标人物的人脸坐标信息及该目标人物的人脸特征信息；若不匹配，则说明人脸特征库中不存在该目标人物对应的图片，结束流程；
视频播放模块，用于根据返回的条目信息找到与该目标人物相匹配的视频文件并输出，再播放相匹配的视频文件中与该目标人物相匹配的视频片段。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的方法。
CN201911193171.XA 2019-11-28 2019-11-28 基于人脸识别的声像档案搜索方法、系统、设备及介质 Active CN111046235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911193171.XA CN111046235B (zh) 2019-11-28 2019-11-28 基于人脸识别的声像档案搜索方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911193171.XA CN111046235B (zh) 2019-11-28 2019-11-28 基于人脸识别的声像档案搜索方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN111046235A CN111046235A (zh) 2020-04-21
CN111046235B true CN111046235B (zh) 2022-06-14

Family

ID=70234030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911193171.XA Active CN111046235B (zh) 2019-11-28 2019-11-28 基于人脸识别的声像档案搜索方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN111046235B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597385B (zh) * 2020-05-07 2024-03-29 涂晋熙 基于人像识别的视频档案处理方法及系统
CN111860523B (zh) * 2020-07-28 2024-04-30 上海兑观信息科技技术有限公司 一种声像档案的智能著录系统与方法
CN112069331A (zh) * 2020-08-31 2020-12-11 深圳市商汤科技有限公司 一种数据处理、检索方法、装置、设备及存储介质
CN112004128A (zh) * 2020-09-02 2020-11-27 中国银行股份有限公司 调取视频档案的方法、客户端及服务器
CN112291574B (zh) * 2020-09-17 2023-07-04 上海东方传媒技术有限公司 一种基于人工智能技术的大型体育赛事内容管理系统
CN112446362B (zh) * 2020-12-16 2022-07-22 上海芯翌智能科技有限公司 人脸图片档案处理方法及设备
CN112818310B (zh) * 2020-12-31 2023-09-08 重庆绿安信息科技有限公司 一种档案大数据管理系统
CN113792168A (zh) * 2021-08-11 2021-12-14 同盾科技有限公司 人脸底库自维护的方法、系统、电子装置和存储介质
CN114117095A (zh) * 2022-01-25 2022-03-01 广东图友软件科技有限公司 一种基于图像识别的声像档案著录方法及装置
CN114201658B (zh) * 2022-02-16 2022-04-26 广东图友软件科技有限公司 一种基于人脸识别的档案快速检索方法
CN114329132B (zh) * 2022-03-14 2022-05-17 南京云档信息科技有限公司 一种档案要素补充采集系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114567A (ja) * 1993-10-20 1995-05-02 Hitachi Ltd ビデオの検索方法および装置
CN103198110A (zh) * 2013-03-28 2013-07-10 广州中国科学院软件应用技术研究所 一种视频数据快速特征检索的方法及系统
CN103530652A (zh) * 2013-10-23 2014-01-22 北京中视广信科技有限公司 一种基于人脸聚类的视频编目方法、检索方法及其系统
CN104217008A (zh) * 2014-09-17 2014-12-17 中国科学院自动化研究所 互联网人物视频交互式标注方法及系统
CN107590150A (zh) * 2016-07-07 2018-01-16 北京新岸线网络技术有限公司 基于关键帧的视频分析实现方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810779B2 (en) * 2017-12-07 2020-10-20 Facebook, Inc. Methods and systems for identifying target images for a media effect

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114567A (ja) * 1993-10-20 1995-05-02 Hitachi Ltd ビデオの検索方法および装置
CN103198110A (zh) * 2013-03-28 2013-07-10 广州中国科学院软件应用技术研究所 一种视频数据快速特征检索的方法及系统
CN103530652A (zh) * 2013-10-23 2014-01-22 北京中视广信科技有限公司 一种基于人脸聚类的视频编目方法、检索方法及其系统
CN104217008A (zh) * 2014-09-17 2014-12-17 中国科学院自动化研究所 互联网人物视频交互式标注方法及系统
CN107590150A (zh) * 2016-07-07 2018-01-16 北京新岸线网络技术有限公司 基于关键帧的视频分析实现方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于内容的视频检索系统研究";郭成良;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20091015;全文 *
"基于最优搜索理论的视频信息检索技术研究";王坤;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20090415;全文 *

Also Published As

Publication number Publication date
CN111046235A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111046235B (zh) 基于人脸识别的声像档案搜索方法、系统、设备及介质
US10831814B2 (en) System and method for linking multimedia data elements to web pages
US10296534B2 (en) Storing and searching fingerprints derived from media content based on a classification of the media content
US8107689B2 (en) Apparatus, method and computer program for processing information
CN110889379B (zh) 表情包生成方法、装置及终端设备
CN111062871A (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
KR20070118635A (ko) 오디오 및/또는 비주얼 데이터의 서머라이제이션
CN108563651B (zh) 一种多视频的目标搜索方法、装置及设备
CN109408672B (zh) 一种文章生成方法、装置、服务器及存储介质
US20060036441A1 (en) Data-managing apparatus and method
CN104881451A (zh) 图片搜索方法及装置
US9665773B2 (en) Searching for events by attendants
EP2620882A2 (en) Multimedia data recording method and apparatus for automatically generating/updating metadata
CN103428537A (zh) 一种视频处理方法和装置
CN112052733A (zh) 数据库构建方法、人脸识别方法、装置及电子设备
JP2011244043A (ja) 映像記録再生装置
WO2020135756A1 (zh) 视频段的提取方法、装置、设备及计算机可读存储介质
CN113596601A (zh) 一种视频画面的定位方法、相关装置、设备及存储介质
CN110825893A (zh) 一种目标查找方法、装置、系统及存储介质
CN116958267B (zh) 位姿处理方法、装置、电子设备及存储介质
US9224069B2 (en) Program, method and apparatus for accumulating images that have associated text information
CN112069331A (zh) 一种数据处理、检索方法、装置、设备及存储介质
KR20220002626A (ko) 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기
JP4768358B2 (ja) 画像検索方法
CN111813987B (zh) 一种基于警务大数据的人像比对方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant