CN107273435A - 基于MapReduce的视频人员模糊检索并行化方法 - Google Patents

基于MapReduce的视频人员模糊检索并行化方法 Download PDF

Info

Publication number
CN107273435A
CN107273435A CN201710370307.4A CN201710370307A CN107273435A CN 107273435 A CN107273435 A CN 107273435A CN 201710370307 A CN201710370307 A CN 201710370307A CN 107273435 A CN107273435 A CN 107273435A
Authority
CN
China
Prior art keywords
personnel
video
mapreduce
profiling information
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710370307.4A
Other languages
English (en)
Inventor
翟佳
谢晓丹
贾雨生
王衍祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN201710370307.4A priority Critical patent/CN107273435A/zh
Publication of CN107273435A publication Critical patent/CN107273435A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明公开了基于MapReduce的视频人员模糊检索并行化方法，步骤有：(1)将视频数据传到HDFS模块中，并对视频进行切分后存储到HBASE数据库；(2)利用Hadoop的MapReduce模型，在映射前，计算输入分片，每个输入分片针对一个映射任务，在每个映射任务中，进行解码，并检测运动的物体；(3)检测运动的物体是否是人员；(4)提取人员的服饰特征；(5)对人员进行检索，识别人员外貌信息；(6)将外貌信息存到HBASE数据库中，按照相似度高低排序，将视频与外貌信息进行一一对应，在客户端发送请求时，将视频与外貌信息进行整合，反馈给客户端，实现识别结果的可视化。本发明大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率。

Description

基于MapReduce的视频人员模糊检索并行化方法
技术领域
本发明涉及航天领域，尤其涉及一种基于MapReduce的视频人员模糊检索并行化方法。
背景技术
随着视频监控数据量的快速增长，以及摄像头高清化、超高清化的趋势的加强，监控视频在违法人员的追捕中发挥着越来越重要的作用。但现有技术中利用模板匹配的方式进行目标检索，识别准确率低，不适用于实时高效的在线检索。
因此，现有技术中存在对一种能够大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率的检索方法的需要。
发明内容
针对上述现有技术的现状，本发明提供一种基于MapReduce的视频人员模糊检索并行化方法，大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率。
本发明提供的基于MapReduce的视频人员模糊检索并行化方法，其改进之处在于，所述方法包括如下步骤：
(1)将视频数据传到原始数据模块的HDFS模块中，所述HDFS模块对所述视频进行切分后存储到原始数据模块的HBASE数据库中；
(2)利用Hadoop的MapReduce模型，在映射前，根据所述视频文件计算输入分片，每个输入分片针对一个映射任务，在每一个映射任务中，利用训练好的深度神经网络和特定的方法进行解码，并利用运动物体检测方法，检测出所述视频中运动的物体；
(3)利用深度学习方法，检测所述运动的物体是否是人员，是则进行下一步，否则返回步骤(1)进行下个视频数据的传送；
(4)利用所述深度学习方法和传统方法结合的方式提取所述人员的服饰特征，包括，衣服种类，颜色信息等；
(5)利用所述深度学习方法和先验知识对所述人员进行检索，识别出所述人员外貌信息，包括高矮、胖瘦、男女等；
(6)将所述外貌信息保存到处理结果存储模块的HBASE数据库中，按照相似度高低排序，将所述视频与所述外貌信息进行一一对应，在客户端发送查看请求时，将所述视频与所述外貌信息进行整合，反馈给客户端，实现识别结果的可视化。
优选的，所述步骤(3)利用深度学习方法，检测所述运动的物体是否是人员的步骤包括：
a)对所述视频进行解码；
b)利用Vibe、帧差法或光流法，检测出视频中运动的物体；
c)利用训练好的CNN识别网络，判断出运动的物体是否是人员。
较优选的，所述传统方法包括中位切分法、八叉树方法、K-Means方法和色彩建模方法。
较优选的，所述特定的方法包括SSD方法和yolo方法。该两者都属于CNN识别网络的延伸，其中SSD方法的优势在于它结合了多模型，实现了对多尺度下目标的有效识别，提高了对多尺度目标的识别准确率。Yolo方法的优势在于识别目标的同时对目标进行定位，缩短了识别时间，提高了识别效率。
较优选的，步骤(5)利用所述深度学习方法和先验知识对所述人员进行检索，是指针对所述人员相对于整幅图像的占比以及目标自身的长宽比，当所述人员相对于整幅图像的占比高于阈值则认为该人员是高的，反之则认为该人员是矮的；当所述人员相对于整幅图像的占比高于阈值则认为该人员是胖的，反之则认为该人员是瘦的。
较优选的，利用MapReduce模型将人员检索移植到基于Hadoop的分布式集群中，提升检索的速度。
本发明的技术方案中，利用深度学习方法显著的提高了对目标人员的特征提取准确率；利用MapReduce大大的加快了视频处理的速度。大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率。
附图说明
图1为本发明实施例的基于MapReduce的视频人员模糊检索并行化方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
本实施例采用高性能计算机实现，其图像信号处理器采用英伟达GPU泰坦系列硬件平台，软件代码通用Java语言实现，在Eclipse平台下编译并运行。本实施例通过在GPU服务器集群上部署识别网络，运用MapReduce并行计算技术完成大批量离线数据的识别任务。MapReduce在历史的视频数据中检索目标人物，从之前保存到HDFS中的数据作为Hadoop的MapReduce的输入，在MapReduce中利用训练好的深度神经网络和特定的方法进行解码识别，利用多层筛选器对目标人员进行模糊检索。
图1示出了本发明实施例的基于MapReduce的视频人员模糊检索并行化方法的流程图。参见图1，基于MapReduce的视频人员模糊检索并行化方法包括如下步骤。
(1)将视频数据传到原始数据模块的HDFS模块中，视频在HDFS模块中按照sequence file的形式存储，在存入sequence file之前，需要将视频文件进行切分，按照方法复杂度，将每一段视频的处理时间控制在5分钟左右。
(2)利用Hadoop的MapReduce模型，在映射(Map)前，根据所述视频文件计算输入分片(input split)，每个输入分片针对一个映射任务，在每一个映射任务中，利用训练好的深度神经网络和特定的方法进行解码，并利用运动物体检测方法，检测出所述视频中运动的物体；
(3)利用深度学习方法，检测所述运动的物体是否是人员，是则进行下一步，否则返回步骤(1)进行下个视频数据的传送；其中，利用深度学习方法，检测所述运动的物体是否是人员的步骤包括：
a)对所述视频进行解码；
b)利用Vibe、帧差法或光流法，检测出视频中运动的物体；
c)利用训练好的CNN识别网络，判断出运动的物体是否是人员。
(4)利用所述深度学习方法和传统方法结合的方式提取所述人员的服饰特征，包括，衣服种类，颜色信息等；其中，传统方法包括中位切分法、八叉树方法、K-Means方法和色彩建模方法。
(5)利用所述深度学习方法和先验知识对所述人员进行检索，识别出所述人员外貌信息，包括高矮、胖瘦、男女等。具体的，指针对所述人员相对于整幅图像的占比以及目标自身的长宽比，当所述人员相对于整幅图像的占比高于阈值则认为该人员是高的，反之则认为该人员是矮的；当所述人员相对于整幅图像的占比高于阈值则认为该人员是胖的，反之则认为该人员是瘦的。
(6)将所述外貌信息保存到处理结果存储模块的HBASE数据库中，按照相似度高低排序，将所述视频与所述外貌信息进行一一对应，在客户端发送查看请求时，将所述视频与所述外貌信息进行整合，反馈给客户端，实现识别结果的可视化。
根据本发明的实施例，利用深度学习方法显著的提高了对目标人员的特征提取准确率；利用MapReduce大大的加快了视频处理的速度。大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.基于MapReduce的视频人员模糊检索并行化方法，其特征在于，所述方法包括如下步骤：
(1)将视频数据传到原始数据模块的HDFS模块中，所述HDFS模块对所述视频进行切分后存储到原始数据模块的HBASE数据库中；
(2)利用Hadoop的MapReduce模型，在映射前，根据所述视频文件计算输入分片，每个输入分片针对一个映射任务，在每一个映射任务中，利用训练好的深度神经网络和特定的方法进行解码，并利用运动物体检测方法，检测出所述视频中运动的物体；
(3)利用深度学习方法，检测所述运动的物体是否是人员，是则进行下一步，否则返回步骤(1)进行下个视频数据的传送；
(4)利用所述深度学习方法和传统方法结合的方式提取所述人员的服饰特征，包括，衣服种类和颜色信息；
(5)利用所述深度学习方法和先验知识对所述人员进行检索，识别出所述人员外貌信息；
(6)将所述外貌信息保存到处理结果存储模块的HBASE数据库中，按照相似度高低排序，将所述视频与所述外貌信息进行一一对应，在客户端发送查看请求时，将所述视频与所述外貌信息进行整合，反馈给客户端，实现识别结果的可视化。
2.如权利要求1所述的方法，其特征在于，所述步骤(3)利用深度学习方法，检测所述运动的物体是否是人员的步骤包括：
a)对所述视频进行解码；
b)利用Vibe、帧差法或光流法，检测出视频中运动的物体；
c)利用训练好的CNN识别网络，判断出运动的物体是否是人员。
3.如权利要求1所述的方法，其特征在于，所述传统方法包括中位切分法、八叉树方法、K-Means方法和色彩建模方法。
4.如权利要求1所述的方法，其特征在于，所述特定的方法包括SSD方法和yolo方法。
5.如权利要求1所述的方法，其特征在于，步骤(5)利用所述深度学习方法和先验知识对所述人员进行检索，是指针对所述人员相对于整幅图像的占比以及目标自身的长宽比，当所述人员相对于整幅图像的占比高于阈值则认为该人员是高的，反之则认为该人员是矮的；当所述人员相对于整幅图像的占比高于阈值则认为该人员是胖的，反之则认为该人员是瘦的。
6.如权利要求1所述的方法，其特征在于，利用MapReduce模型将人员检索移植到基于Hadoop的分布式集群中，提升检索的速度。
CN201710370307.4A 2017-05-23 2017-05-23 基于MapReduce的视频人员模糊检索并行化方法 Pending CN107273435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710370307.4A CN107273435A (zh) 2017-05-23 2017-05-23 基于MapReduce的视频人员模糊检索并行化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710370307.4A CN107273435A (zh) 2017-05-23 2017-05-23 基于MapReduce的视频人员模糊检索并行化方法

Publications (1)

Publication Number Publication Date
CN107273435A true CN107273435A (zh) 2017-10-20

Family

ID=60065636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710370307.4A Pending CN107273435A (zh) 2017-05-23 2017-05-23 基于MapReduce的视频人员模糊检索并行化方法

Country Status (1)

Country Link
CN (1) CN107273435A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063630A (zh) * 2018-07-27 2018-12-21 北京以萨技术股份有限公司 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法
CN109711385A (zh) * 2019-01-09 2019-05-03 宽凳（北京）科技有限公司 一种车道线识别方法、装置、设备和存储介质
CN109948574A (zh) * 2019-03-27 2019-06-28 新华三技术有限公司 视频检测方法及装置
CN110990634A (zh) * 2019-12-27 2020-04-10 广东德融汇科技有限公司 用于k12教育阶段基于人脸识别的视频中检索人员方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130013622A1 (en) * 2011-07-09 2013-01-10 Yahoo!, Inc. Media Recommendations for a Social-Software Website
CN103699656A (zh) * 2013-12-27 2014-04-02 同济大学 一种基于GPU的面向海量多媒体数据的MapReduce平台
CN104809114A (zh) * 2014-01-24 2015-07-29 北京仿真中心 一种面向视频大数据的并行数据挖掘方法
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN106407463A (zh) * 2016-10-11 2017-02-15 郑州云海信息技术有限公司 一种基于Hadoop的图像处理方法及系统
CN106599807A (zh) * 2016-12-01 2017-04-26 中科唯实科技（北京）有限公司 一种基于自编码的行人检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130013622A1 (en) * 2011-07-09 2013-01-10 Yahoo!, Inc. Media Recommendations for a Social-Software Website
CN103699656A (zh) * 2013-12-27 2014-04-02 同济大学 一种基于GPU的面向海量多媒体数据的MapReduce平台
CN104809114A (zh) * 2014-01-24 2015-07-29 北京仿真中心 一种面向视频大数据的并行数据挖掘方法
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN106407463A (zh) * 2016-10-11 2017-02-15 郑州云海信息技术有限公司 一种基于Hadoop的图像处理方法及系统
CN106599807A (zh) * 2016-12-01 2017-04-26 中科唯实科技（北京）有限公司 一种基于自编码的行人检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵彦: "视频人物的结构化表示与基于Hadoop检索技术的研究与实现", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063630A (zh) * 2018-07-27 2018-12-21 北京以萨技术股份有限公司 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法
CN109063630B (zh) * 2018-07-27 2022-04-26 以萨技术股份有限公司 一种基于可分离卷积技术和帧差补偿策略的快速车辆检测方法
CN109711385A (zh) * 2019-01-09 2019-05-03 宽凳（北京）科技有限公司 一种车道线识别方法、装置、设备和存储介质
CN109948574A (zh) * 2019-03-27 2019-06-28 新华三技术有限公司 视频检测方法及装置
CN110990634A (zh) * 2019-12-27 2020-04-10 广东德融汇科技有限公司 用于k12教育阶段基于人脸识别的视频中检索人员方法

Similar Documents

Publication Publication Date Title
AU2017372905B2 (en) System and method for appearance search
CN107273435A (zh) 基于MapReduce的视频人员模糊检索并行化方法
CN109583325B (zh) 人脸样本图片标注方法、装置、计算机设备及存储介质
CN106302522B (zh) 一种基于神经网络和大数据的网络安全态势分析方法和系统
CN104537336A (zh) 一种具备自学习功能的人脸识别方法和系统
Liu et al. The method of insulator recognition based on deep learning
CN103150375A (zh) 用于视频侦查的快速视频检索系统和方法
CN110309709A (zh) 人脸识别方法、装置及计算机可读存储介质
CN106845513A (zh) 基于条件随机森林的人手检测器及方法
CN107357815A (zh) 一种图片内容的识别方法及系统
CN102831396A (zh) 一种计算机人脸识别方法
CN104050460B (zh) 多特征融合的行人检测方法
KR20190098775A (ko) 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법
CN111428710A (zh) 一种文件分类协作机器人及基于其的图像文字识别方法
CN109711298A (zh) 基于faiss的高效人脸特征值检索的方法和系统
CN110765314A (zh) 一种视频语义结构化提取与标注的方法
US11755643B2 (en) Metadata generation for video indexing
US11783587B2 (en) Deep learning tattoo match system based
CN113095235B (zh) 一种基于弱监督判别机制的图像目标检测方法、系统及装置
CN111079757A (zh) 服饰属性识别方法、装置及电子设备
CN110990634A (zh) 用于k12教育阶段基于人脸识别的视频中检索人员方法
Sabharwal et al. A comparative analysis of various deep learning models for facial recognition
Agarwal et al. A Framework for Dress Code Monitoring System using Transfer Learning from Pre-Trained YOLOv4 Model
Wang et al. Facial expression recognition based on deep convolutional neural network
CN110163222A (zh) 一种图像识别的方法、模型训练的方法以及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020