CN110990634A - 用于k12教育阶段基于人脸识别的视频中检索人员方法 - Google Patents

用于k12教育阶段基于人脸识别的视频中检索人员方法 Download PDF

Info

Publication number
CN110990634A
CN110990634A CN201911379009.7A CN201911379009A CN110990634A CN 110990634 A CN110990634 A CN 110990634A CN 201911379009 A CN201911379009 A CN 201911379009A CN 110990634 A CN110990634 A CN 110990634A
Authority
CN
China
Prior art keywords
video
stream data
video stream
people
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911379009.7A
Other languages
English (en)
Inventor
贾明绪
曾金云
喻建斌
谭臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Deronghui Technology Co ltd
Original Assignee
Guangdong Deronghui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Deronghui Technology Co ltd filed Critical Guangdong Deronghui Technology Co ltd
Priority to CN201911379009.7A priority Critical patent/CN110990634A/zh
Publication of CN110990634A publication Critical patent/CN110990634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于K12教育阶段基于人脸识别的视频中检索人员方法，通过视频拍摄设备，获取视频流数据，把视频数据传输到原始数据储存模块中，通过分布式文件系统对原始视频流数据进行切分，把切分处理后原始视频流数据储存到分布式数据库中,对每一片原始视频流数据的帧进行映射到MapReduce模型中，然后分别提取视频物体的脸部特征和动作特征，最终提取出视频中运动的物体；再通过深度学习方法，筛选出运动的物体为人员的视频,然后通过CNN卷积神经网络深度学习方法反复对比，提取人员的外貌特征；将识别到的体貌特征信息保存到云服务数据库中，由相似度高低排序，将要搜索的视频跟需要搜索的人员信息进行一一对应，最终从视频中识别检索到相应的人员。

Description

用于K12教育阶段基于人脸识别的视频中检索人员方法
技术领域
本发明涉及人脸识别的视频检索技术领域，具体为一种用于K12教育阶段基于人脸识别的视频中检索人员方法。
背景技术
随着视频监控数据量的快速增长，以及摄像头高清化、超高清化的趋势的加强，监控视频在跟踪目标人员中发挥着越来越重要的作用。传统的人脸识别采用模板匹配的方式对采样视频进行分析和检索,其原理为通过预先采集固定的人像模板存储于服务器中，然后根据后续视频中采集到的人像视频与固定的人像模板进行对比分析，最终从视频中识别检索到相应的人员。
采用上述的方式进行目标人员的检索缺陷在于，由于采用的是全部录像视频与固定的人脸模板进行对比分析识别检索，视频数据量极其庞大，且人像特征可能存在变化，从而导致进行目标检索时识别准确率低，不适用于实时高效的在线检索，使工作人员在进行视频分析和检索时遇到了很大的挑战。
发明内容
本发明目的在于提供一种用于K12教育阶段基于人脸识别的视频中检索人员方法，大幅度提高监控视频的目标人员识别速率和准确率。
本发明所述一种用于K12教育阶段基于人脸识别的视频中检索人员方法，包括以下步骤：
通过视频拍摄设备，获取视频流数据，把视频数据传输到原始数据储存模块中；
调取储存模块中的原始视频流数据,通过分布式文件系统对原始视频流数据进行切分，把切分处理后原始视频流数据储存到分布式数据库中；
调取分布式数据库中的每一片原始视频流数据的帧，把每一片原始视频流数据的帧防射变换映射到MapReduce模型中;
从映射后的每一帧视频流数据中分别提取视频物体的脸部特征和动作特征，最终提取出视频中运动的物体；
提取出视频中运动的物体后，通过训练好的CNN卷积神经网络学习的识别算法，反复处理人的外貌特征，筛选出运动物体为人员的视频；
从筛选出运动物体为人员的视频中, 筛选出人员的视频采用多个卷积核描绘出一幅图像，通过卷积层的卷积核提取每针图片中人员面部的局部特征，并通过提取到的新人员面部特征进行记录和学习，然后经过池化层和全连接层对视频中的人像进行反复对比，提取人员的外貌特征；
将提取人员的外貌特征保存到云服务数据库中，按相似度高低排序，将所要搜索的视频跟需要检索的人员信息进行一一对应，最终从视频中识别检索到相应的人员。
本发明所述一种用于K12教育阶段基于人脸识别的视频中检索人员方法，利用深度学习方法和先验知识反复对比,对人员在视频中检索，通过对人员图像切片，按照人员的体貌特征进行全方位识别，按照MapReduce模型将人员检索移植到基于分布式文件系统的分布式集群中，提升检索的速度。同时利用深度学习方法显著的提高了对目标人员的特征提取的准确性。大幅度的提高视频中的人员目标识别速度以及正确率，同时也提高了视频数据的利用率。
附图说明
图1为本发明用于K12教育阶段基于人脸识别的视频中检索人员方法流程图。
具体实施方式
如图1所示，一种用于K12教育阶段基于人脸识别的视频中检索人员方法，包括以下步骤：
通过视频拍摄设备，获取视频流数据，把视频数据传输到原始数据储存模块中；
调取储存模块中的原始视频流数据,通过分布式文件系统对原始视频流数据进行切分，把切分处理后原始视频流数据储存到分布式数据库中；
调取分布式数据库中的每一片原始视频流数据的帧，把每一片原始视频流数据的帧防射变换映射到MapReduce模型中;
从映射后的每一帧视频流数据中分别提取视频物体的脸部特征和动作特征，最终提取出视频中运动的物体；
提取出视频中运动的物体后，通过训练好的CNN卷积神经网络学习的识别算法反复处理人的外貌特征，筛选出运动物体为人员的视频；
从筛选出运动的物体为人员的视频中, 筛选出人员的视频采用多个卷积核描绘出一幅图像，通过卷积层的卷积核提取每针图片中人员面部的局部特征，并通过提取到的新人员面部特征进行记录和学习，然后经过池化层和全连接层对视频中的人像进行反复对比，提取人员的外貌特征；
将提取人员的外貌特征保存到云服务数据库中，按相似度高低排序，将所要搜索的视频跟需要检索的人员信息进行一一对应，最终从视频中识别检索到相应的人员。
其中，从映射后的每一帧原始视频流数据中分别提取视频物体的脸部特征为通过深度神经网络从映射后的每一帧原始视频流数据提取人脸特征。
从映射后的每一帧原始视频流数据中分别提取视频物体的动作特征为利用物体点面检测方法从映射后的每一帧原始视频流数据提取动作特征。
提取出视频中运动的物体后，通过深度学习方法，筛选出运动物体为人员的视频是利用点面算法、Vibe、帧差法或光流法，检测出运动物体，最终筛选出运动物体为人员的视频。
利用深度学习方法和先验知识对人员在视频中检索，通过对人员图像切片，按照人员的体貌特征进行全方位识别，按照MapReduce模型将人员检索移植到基于分布式文件系统的分布式集群中，提升检索的速度；同时利用深度学习方法显著提高了对目标人员特征提取的准确性；并且大幅度提高视频中人员目标识别速度以及正确率，也提高了视频数据的利用率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.用于K12教育阶段基于人脸识别的视频中检索人员方法，其特征在于,包括以下步骤：
通过视频拍摄设备，获取视频流数据，把视频数据传输到原始数据储存模块中；
调取储存模块中的原始视频流数据,通过分布式文件系统对原始视频流数据进行切分，把切分处理后原始视频流数据储存到分布式数据库中；
调取分布式数据库中的每一片原始视频流数据的帧，把每一片原始视频流数据的帧防射变换映射到MapReduce模型中；
从映射后的每一帧视频流数据中分别提取视频物体的脸部特征和动作特征，最终提取出视频中运动的物体；
提取出视频中运动的物体后，通过训练好的CNN卷积神经网络学习的识别算法反复处理人的外貌特征，筛选出运动物体为人员的视频；
从筛选出运动物体为人员的视频中, 筛选出的人员视频采用多个卷积核描绘出一幅图像，通过卷积层的卷积核提取每针图片中人员面部的局部特征，并通过提取到的新人员面部特征进行记录和学习，然后经过池化层和全连接层对视频中的人像进行反复对比，提取人员的外貌特征；
将提取人员的外貌特征保存到云服务数据库中，按相似度高低排序，将所要搜索的视频跟需要检索的人员信息进行一一对应，最终从视频中识别检索到相应的人员。
2.根据权利要求1所述用于K12教育阶段基于人脸识别的视频中检索人员方法，其特征在于, 从映射后的每一帧原始视频流数据中分别提取视频物体的脸部特征为通过深度神经网络从映射后的每一帧原始视频流数据提取人脸特征。
3.根据权利要求1-2任一项所述用于K12教育阶段基于人脸识别的视频中检索人员方法，其特征在于, 从映射后的每一帧原始视频流数据中分别提取视频物体的动作特征为利用物体点面检测方法从映射后的每一帧原始视频流数据提取动作特征。
4.根据权利要求1所述用于K12教育阶段基于人脸识别的视频中检索人员方法，其特征在于, 提取出视频中运动的物体后，通过深度学习方法，筛选出运动物体为人员的视频是利用点面算法、Vibe、帧差法或光流法，检测出运动物体，最终筛选出运动物体为人员的视频。
CN201911379009.7A 2019-12-27 2019-12-27 用于k12教育阶段基于人脸识别的视频中检索人员方法 Pending CN110990634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911379009.7A CN110990634A (zh) 2019-12-27 2019-12-27 用于k12教育阶段基于人脸识别的视频中检索人员方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911379009.7A CN110990634A (zh) 2019-12-27 2019-12-27 用于k12教育阶段基于人脸识别的视频中检索人员方法

Publications (1)

Publication Number Publication Date
CN110990634A true CN110990634A (zh) 2020-04-10

Family

ID=70077996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911379009.7A Pending CN110990634A (zh) 2019-12-27 2019-12-27 用于k12教育阶段基于人脸识别的视频中检索人员方法

Country Status (1)

Country Link
CN (1) CN110990634A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111565303A (zh) * 2020-05-29 2020-08-21 深圳市易链信息技术有限公司 基于雾计算及深度学习的视频监控方法、系统和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273435A (zh) * 2017-05-23 2017-10-20 北京环境特性研究所 基于MapReduce的视频人员模糊检索并行化方法
CN107291735A (zh) * 2016-04-01 2017-10-24 江苏星蓝宇信息技术有限公司 一种基于人脸识别技术的高效人员检索系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291735A (zh) * 2016-04-01 2017-10-24 江苏星蓝宇信息技术有限公司 一种基于人脸识别技术的高效人员检索系统
CN107273435A (zh) * 2017-05-23 2017-10-20 北京环境特性研究所 基于MapReduce的视频人员模糊检索并行化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘云恒;刘耀宗;: "基于Hadoop的公安视频大数据的处理方法" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111565303A (zh) * 2020-05-29 2020-08-21 深圳市易链信息技术有限公司 基于雾计算及深度学习的视频监控方法、系统和可读存储介质

Similar Documents

Publication Publication Date Title
CN107153817B (zh) 行人重识别数据标注方法和装置
CN109961051B (zh) 一种基于聚类和分块特征提取的行人重识别方法
CN107977639B (zh) 一种人脸清晰度判断方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
US10679067B2 (en) Method for detecting violent incident in video based on hypergraph transition
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
US10140508B2 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
CN112818931A (zh) 基于多粒度深度特征融合的多尺度行人重识别方法
US8855363B2 (en) Efficient method for tracking people
CN110796074B (zh) 一种基于时空数据融合的行人再识别方法
CN107368770B (zh) 一种回头客自动识别方法及系统
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
CN115578770A (zh) 基于自监督的小样本面部表情识别方法及系统
CN111898418A (zh) 一种基于t-tiny-yolo网络的人体异常行为检测方法
CN110765314A (zh) 一种视频语义结构化提取与标注的方法
CN110990634A (zh) 用于k12教育阶段基于人脸识别的视频中检索人员方法
Aziz et al. Embedded system design for visual scene classification
CN114782860A (zh) 一种监控视频中暴力行为检测系统及方法
CN114581769A (zh) 一种基于无监督聚类的在建房屋识别方法
CN110830734A (zh) 一种突变和渐变镜头切换识别方法
Abed et al. Face retrieval in videos using face quality assessment and convolution neural networks
CN111242978A (zh) 基于红外相机技术的生物行为轨迹分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410

RJ01 Rejection of invention patent application after publication