CN110990634A - 用于k12教育阶段基于人脸识别的视频中检索人员方法 - Google Patents
用于k12教育阶段基于人脸识别的视频中检索人员方法 Download PDFInfo
- Publication number
- CN110990634A CN110990634A CN201911379009.7A CN201911379009A CN110990634A CN 110990634 A CN110990634 A CN 110990634A CN 201911379009 A CN201911379009 A CN 201911379009A CN 110990634 A CN110990634 A CN 110990634A
- Authority
- CN
- China
- Prior art keywords
- video
- stream data
- video stream
- people
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000001815 facial effect Effects 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000013500 data storage Methods 0.000 claims abstract description 4
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于K12教育阶段基于人脸识别的视频中检索人员方法，通过视频拍摄设备，获取视频流数据，把视频数据传输到原始数据储存模块中，通过分布式文件系统对原始视频流数据进行切分，把切分处理后原始视频流数据储存到分布式数据库中,对每一片原始视频流数据的帧进行映射到MapReduce模型中，然后分别提取视频物体的脸部特征和动作特征，最终提取出视频中运动的物体；再通过深度学习方法，筛选出运动的物体为人员的视频,然后通过CNN卷积神经网络深度学习方法反复对比，提取人员的外貌特征；将识别到的体貌特征信息保存到云服务数据库中，由相似度高低排序，将要搜索的视频跟需要搜索的人员信息进行一一对应，最终从视频中识别检索到相应的人员。
Description
技术领域
本发明涉及人脸识别的视频检索技术领域，具体为一种用于K12教育阶段基于人脸识别的视频中检索人员方法。
背景技术
随着视频监控数据量的快速增长，以及摄像头高清化、超高清化的趋势的加强，监控视频在跟踪目标人员中发挥着越来越重要的作用。传统的人脸识别采用模板匹配的方式对采样视频进行分析和检索,其原理为通过预先采集固定的人像模板存储于服务器中，然后根据后续视频中采集到的人像视频与固定的人像模板进行对比分析，最终从视频中识别检索到相应的人员。
采用上述的方式进行目标人员的检索缺陷在于，由于采用的是全部录像视频与固定的人脸模板进行对比分析识别检索，视频数据量极其庞大，且人像特征可能存在变化，从而导致进行目标检索时识别准确率低，不适用于实时高效的在线检索，使工作人员在进行视频分析和检索时遇到了很大的挑战。
发明内容
本发明目的在于提供一种用于K12教育阶段基于人脸识别的视频中检索人员方法，大幅度提高监控视频的目标人员识别速率和准确率。
本发明所述一种用于K12教育阶段基于人脸识别的视频中检索人员方法，包括以下步骤：
通过视频拍摄设备，获取视频流数据，把视频数据传输到原始数据储存模块中；
调取储存模块中的原始视频流数据,通过分布式文件系统对原始视频流数据进行切分，把切分处理后原始视频流数据储存到分布式数据库中；
调取分布式数据库中的每一片原始视频流数据的帧，把每一片原始视频流数据的帧防射变换映射到MapReduce模型中;
从映射后的每一帧视频流数据中分别提取视频物体的脸部特征和动作特征，最终提取出视频中运动的物体；
提取出视频中运动的物体后，通过训练好的CNN卷积神经网络学习的识别算法，反复处理人的外貌特征，筛选出运动物体为人员的视频；
从筛选出运动物体为人员的视频中, 筛选出人员的视频采用多个卷积核描绘出一幅图像，通过卷积层的卷积核提取每针图片中人员面部的局部特征，并通过提取到的新人员面部特征进行记录和学习，然后经过池化层和全连接层对视频中的人像进行反复对比，提取人员的外貌特征；
将提取人员的外貌特征保存到云服务数据库中，按相似度高低排序，将所要搜索的视频跟需要检索的人员信息进行一一对应，最终从视频中识别检索到相应的人员。
本发明所述一种用于K12教育阶段基于人脸识别的视频中检索人员方法，利用深度学习方法和先验知识反复对比,对人员在视频中检索，通过对人员图像切片，按照人员的体貌特征进行全方位识别，按照MapReduce模型将人员检索移植到基于分布式文件系统的分布式集群中，提升检索的速度。同时利用深度学习方法显著的提高了对目标人员的特征提取的准确性。大幅度的提高视频中的人员目标识别速度以及正确率，同时也提高了视频数据的利用率。
附图说明
图1为本发明用于K12教育阶段基于人脸识别的视频中检索人员方法流程图。
具体实施方式
如图1所示，一种用于K12教育阶段基于人脸识别的视频中检索人员方法，包括以下步骤：
通过视频拍摄设备，获取视频流数据，把视频数据传输到原始数据储存模块中；
调取储存模块中的原始视频流数据,通过分布式文件系统对原始视频流数据进行切分，把切分处理后原始视频流数据储存到分布式数据库中；
调取分布式数据库中的每一片原始视频流数据的帧，把每一片原始视频流数据的帧防射变换映射到MapReduce模型中;
从映射后的每一帧视频流数据中分别提取视频物体的脸部特征和动作特征，最终提取出视频中运动的物体；
提取出视频中运动的物体后，通过训练好的CNN卷积神经网络学习的识别算法反复处理人的外貌特征，筛选出运动物体为人员的视频；
从筛选出运动的物体为人员的视频中, 筛选出人员的视频采用多个卷积核描绘出一幅图像，通过卷积层的卷积核提取每针图片中人员面部的局部特征，并通过提取到的新人员面部特征进行记录和学习，然后经过池化层和全连接层对视频中的人像进行反复对比，提取人员的外貌特征；
将提取人员的外貌特征保存到云服务数据库中，按相似度高低排序，将所要搜索的视频跟需要检索的人员信息进行一一对应，最终从视频中识别检索到相应的人员。
其中，从映射后的每一帧原始视频流数据中分别提取视频物体的脸部特征为通过深度神经网络从映射后的每一帧原始视频流数据提取人脸特征。
从映射后的每一帧原始视频流数据中分别提取视频物体的动作特征为利用物体点面检测方法从映射后的每一帧原始视频流数据提取动作特征。
提取出视频中运动的物体后，通过深度学习方法，筛选出运动物体为人员的视频是利用点面算法、Vibe、帧差法或光流法，检测出运动物体，最终筛选出运动物体为人员的视频。
利用深度学习方法和先验知识对人员在视频中检索，通过对人员图像切片，按照人员的体貌特征进行全方位识别，按照MapReduce模型将人员检索移植到基于分布式文件系统的分布式集群中，提升检索的速度；同时利用深度学习方法显著提高了对目标人员特征提取的准确性；并且大幅度提高视频中人员目标识别速度以及正确率，也提高了视频数据的利用率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (4)
1.用于K12教育阶段基于人脸识别的视频中检索人员方法，其特征在于,包括以下步骤：
通过视频拍摄设备，获取视频流数据，把视频数据传输到原始数据储存模块中；
调取储存模块中的原始视频流数据,通过分布式文件系统对原始视频流数据进行切分，把切分处理后原始视频流数据储存到分布式数据库中；
调取分布式数据库中的每一片原始视频流数据的帧，把每一片原始视频流数据的帧防射变换映射到MapReduce模型中；
从映射后的每一帧视频流数据中分别提取视频物体的脸部特征和动作特征，最终提取出视频中运动的物体；
提取出视频中运动的物体后，通过训练好的CNN卷积神经网络学习的识别算法反复处理人的外貌特征，筛选出运动物体为人员的视频；
从筛选出运动物体为人员的视频中, 筛选出的人员视频采用多个卷积核描绘出一幅图像，通过卷积层的卷积核提取每针图片中人员面部的局部特征，并通过提取到的新人员面部特征进行记录和学习，然后经过池化层和全连接层对视频中的人像进行反复对比，提取人员的外貌特征；
将提取人员的外貌特征保存到云服务数据库中，按相似度高低排序，将所要搜索的视频跟需要检索的人员信息进行一一对应，最终从视频中识别检索到相应的人员。
2.根据权利要求1所述用于K12教育阶段基于人脸识别的视频中检索人员方法，其特征在于, 从映射后的每一帧原始视频流数据中分别提取视频物体的脸部特征为通过深度神经网络从映射后的每一帧原始视频流数据提取人脸特征。
3.根据权利要求1-2任一项所述用于K12教育阶段基于人脸识别的视频中检索人员方法，其特征在于, 从映射后的每一帧原始视频流数据中分别提取视频物体的动作特征为利用物体点面检测方法从映射后的每一帧原始视频流数据提取动作特征。
4.根据权利要求1所述用于K12教育阶段基于人脸识别的视频中检索人员方法，其特征在于, 提取出视频中运动的物体后，通过深度学习方法，筛选出运动物体为人员的视频是利用点面算法、Vibe、帧差法或光流法，检测出运动物体，最终筛选出运动物体为人员的视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911379009.7A CN110990634A (zh) | 2019-12-27 | 2019-12-27 | 用于k12教育阶段基于人脸识别的视频中检索人员方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911379009.7A CN110990634A (zh) | 2019-12-27 | 2019-12-27 | 用于k12教育阶段基于人脸识别的视频中检索人员方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110990634A true CN110990634A (zh) | 2020-04-10 |
Family
ID=70077996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911379009.7A Pending CN110990634A (zh) | 2019-12-27 | 2019-12-27 | 用于k12教育阶段基于人脸识别的视频中检索人员方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110990634A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111565303A (zh) * | 2020-05-29 | 2020-08-21 | 深圳市易链信息技术有限公司 | 基于雾计算及深度学习的视频监控方法、系统和可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273435A (zh) * | 2017-05-23 | 2017-10-20 | 北京环境特性研究所 | 基于MapReduce的视频人员模糊检索并行化方法 |
| CN107291735A (zh) * | 2016-04-01 | 2017-10-24 | 江苏星蓝宇信息技术有限公司 | 一种基于人脸识别技术的高效人员检索系统 |
-
2019
- 2019-12-27 CN CN201911379009.7A patent/CN110990634A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107291735A (zh) * | 2016-04-01 | 2017-10-24 | 江苏星蓝宇信息技术有限公司 | 一种基于人脸识别技术的高效人员检索系统 |
| CN107273435A (zh) * | 2017-05-23 | 2017-10-20 | 北京环境特性研究所 | 基于MapReduce的视频人员模糊检索并行化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘云恒;刘耀宗;: "基于Hadoop的公安视频大数据的处理方法" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111565303A (zh) * | 2020-05-29 | 2020-08-21 | 深圳市易链信息技术有限公司 | 基于雾计算及深度学习的视频监控方法、系统和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107153817B (zh) | 行人重识别数据标注方法和装置 | |
| CN111783576B (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
| CN107977639B (zh) | 一种人脸清晰度判断方法 | |
| CN108564052A (zh) | 基于mtcnn的多摄像头动态人脸识别系统与方法 | |
| US10679067B2 (en) | Method for detecting violent incident in video based on hypergraph transition | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| CN110738127A (zh) | 基于无监督深度学习神经网络算法的安全帽识别方法 | |
| US10140508B2 (en) | Method and apparatus for annotating a video stream comprising a sequence of frames | |
| CN104731964A (zh) | 基于人脸识别的人脸摘要方法、视频摘要方法及其装置 | |
| CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| CN107368770B (zh) | 一种回头客自动识别方法及系统 | |
| CN111652035B (zh) | 一种基于ST-SSCA-Net的行人重识别方法及系统 | |
| CN110796074A (zh) | 一种基于时空数据融合的行人再识别方法 | |
| CN118196309B (zh) | 基于图像处理工控机的高清视觉检测识别系统 | |
| CN115578770A (zh) | 基于自监督的小样本面部表情识别方法及系统 | |
| CN111898418A (zh) | 一种基于t-tiny-yolo网络的人体异常行为检测方法 | |
| CN110765314A (zh) | 一种视频语义结构化提取与标注的方法 | |
| CN103914850B (zh) | 一种基于运动匹配的视频自动标注方法及自动标注系统 | |
| CN110990634A (zh) | 用于k12教育阶段基于人脸识别的视频中检索人员方法 | |
| Aziz et al. | Embedded system design for visual scene classification | |
| CN113407780B (zh) | 一种目标检索方法、装置及存储介质 | |
| CN114782860A (zh) | 一种监控视频中暴力行为检测系统及方法 | |
| CN110879970A (zh) | 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备 | |
| CN113283279B (zh) | 一种基于深度学习的视频中多目标跟踪方法及装置 | |
| CN110830734A (zh) | 一种突变和渐变镜头切换识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |
|
| RJ01 | Rejection of invention patent application after publication |