CN107145546A - 基于深度学习的监控视频人员模糊检索方法 - Google Patents

基于深度学习的监控视频人员模糊检索方法 Download PDF

Info

Publication number
CN107145546A
CN107145546A CN201710282865.5A CN201710282865A CN107145546A CN 107145546 A CN107145546 A CN 107145546A CN 201710282865 A CN201710282865 A CN 201710282865A CN 107145546 A CN107145546 A CN 107145546A
Authority
CN
China
Prior art keywords
deep learning
training
retrieval method
monitor video
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710282865.5A
Other languages
English (en)
Inventor
翟佳
谢晓丹
贾雨生
王衍祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN201710282865.5A priority Critical patent/CN107145546A/zh
Publication of CN107145546A publication Critical patent/CN107145546A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于深度学习的监控视频人员模糊检索方法，涉及云计算领域，主要包括6个步骤，步骤(A)：采集视频数据并进行云存储；步骤(B)：构建训练数据库；步骤(C)：利用Hadoop的MapReduce并行化编程模型通过训练数据库所提供的数据进行深度学习训练；步骤(D)：通过训练后的卷积神经网络系统进行识别。本发明主要利用深度学习方法结合云计算，将摄像头采集的视频数据进行云存储和管理，利用Hadoop的MapReduce并行化编程模型结合深度学习对视频进行数据识别挖掘，实现对目标人员的模糊检索。

Description

基于深度学习的监控视频人员模糊检索方法
技术领域
本发明涉及卷积神经网络图像识别方法，尤其是一种通过云计算进行卷积神经网络图像识别方法。
背景技术
随着视频监控数据量的快速增长，以及摄像头高清化、超高清化的趋势的加强，监控视频在违法人员的追捕中发挥着越来越重要的作用。随着视频监控数据量的飞速增长，工作人员在用传统方式对视频进行分析和检索的时候遇到了很大的挑战。而大数据技术可以重构传统视频数据处理的架构，让公安系统可以更快速地分析监控视频。同时基于深度学习的CNN(卷积神经网络)已经在高级视觉领域取得了前所未有的成功，并广泛应用于图像分类、人脸识别、物体检测等领域中。
本发明主要利用深度学习方法结合云计算，将摄像头采集的视频数据进行云存储和管理，利用Hadoop的MapReduce并行化编程模型结合深度学习对视频进行数据识别挖掘，实现对目标人员的模糊检索。本发明旨在大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率。
发明内容
本发明针对现有技术中的不足，提供了基于深度学习的监控视频人员模糊检索方法，本发明提出了一种以深度学习为基础、以云计算为支撑的监控视频人员模糊检索方法。将摄像头采集的视频数据进行云存储和管理，利用Hadoop的MapReduce并行化编程模型结合深度学习对视频进行数据识别挖掘，实现对目标人员的快速准确的模糊检索。
为了解决上述技术问题，本发明通过下述技术方案得以解决：基于深度学习的监控视频人员模糊检索方法，应用在监控系统，所述的监控系统包括卷积神经网络系统和云平台系统，其特征为包括以下几个步骤：步骤(A)：通过云平台系统收集视频数据，并将视频数据进行云存储；步骤(B)：使用者建立训练条目数据库，每个训练条目由文字进行描述；步骤(C)：根据云存储内容以及训练条目数据库选取样本图片建立训练数据库；步骤(D)：卷积神经网络系统通过云平台系统的并行计算进行深度学习训练，以训练出用于识别的网络模型；步骤(E)：训练完成后卷积神经网络系统通过云平台系统的并行计算进行识别，识别时输入模糊描述后，卷积神经网络系统调取与模糊描述相关的若干个特征模型进行计算然后得到识别结果。
上述技术方案中，优选的，所述的卷积神经网络系统为Faster R-CNN网络结构。
上述技术方案中，优选的，所述的卷积神经网络系统为Fast R-CNN网络结构。
上述技术方案中，优选的，在步骤D和步骤E中的并行计算为利用Hadoop的MapReduce并行化编程模型的计算。
上述技术方案中，优选的，在步骤C中对每个样本图片进行标签，每个标签只标定唯一的特征信息，单个样本图片可具有多个标签。
上述技术方案中，优选的，在步骤D中，通过训练条目描述的内容，选取相应的至少一个标签，然后选取通标签下若干个样本图片进行训练，在训练前通过标签上的特征信息，对样本图片进行预处理，预处理包括消除噪声、校正失真、变换标准形式，预处理后使样本图片标签上所描述的特征信息更容易提取。
上述技术方案中，优选的，在步骤D中，每次训练后卷积神经网络系统都会建立相应的特征模型，如果训练结果为合格，则保留此特征模型，如果训练结果为不合格则对此特征模型进行自动修改，直至训练结果为合格，此特征模型才保持稳定。
上述技术方案中，优选的，在步骤D中，训练合格的标准由进行判断。
上述技术方案中，优选的，在步骤E中，对模糊描述进行分析，然后从模糊描述中提取至少一个特征信息，然后根据特征信息选取相对应的特征模型，最后根据若干个特征模型的组合进行识别。
本发明的主要步骤为通过卷积神经网络系统不断采集摄像头视频数据并将视频数据进行云存储。卷积神经网络系统的深度学习子系统从历史数据中选取样本图片构建训练数据库，结合对应的深度学习网络进行训练，不断优化识别模型。最后用户通过输入目标人员的描述时，卷积神经网络系统根据用户的模糊描述，在海量历史数据中检索具有该特征属性的人员。传统统计学习算法建立在特征提取的基础上，在进行算法训练之前，需要建立样本的特征空间。对于复杂的识别问题无法直接提取到反映分类目标的特征时，就需要可以自动学习特征空间和其对应分类器的算法。深度学习的本质是通过构建具有多个隐层的机器学习模型，建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，从海量的训练数据中学习更有用的特征，从而最终提升分类或预测的准确性。本发明将深度学习技术应用于目标检测识别领域，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，刻画出数据中更丰富的内在信息。深度学习采用了神经网络相似的分层结构，系统由卷积层、池化层、全连接层等多层网络组成，不同的网络层对应实现不同的功能。在目标检测识别领域中，深度学习技术在准确性、鲁棒性等方面具有优势，由R-CNN催生出适于不同需求的Fast R-CNN、Faster R-CNN等网络结构，网络的性能高，检测准确率和检测效率也有大幅提升。因此本发明通过实现主流深度学习网络结构，并调整优化各层结构，从而使得对监控视频中人物细节的检测准确率大幅提升。
与现有技术相比，本发明提出了一种以深度学习为基础、以云计算为支撑的监控视频人员模糊检索方法。将摄像头采集的视频数据进行云存储和管理，利用Hadoop的MapReduce并行化编程模型结合深度学习对视频进行数据识别挖掘，实现对目标人员的快速准确的模糊检索。
附图说明
图1为本发明实施例流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
本实施例提供了基于深度学习的监控视频人员模糊检索方法，其具体步骤为视频人员模糊监控系统利用opencv，流媒体服务器，webcamcapture等技术手段，不断采集摄像头的视频数据。将不同摄像头不同时间段的视频数据进行编码压缩，存储到HDFS中。利用HBASE存储视频的索引，首先建立元数据的配置信息，其中包含HBASE中存放数据的表信息、需要存入HDFS视频的存储位置、命名规则及文件数据字段的描述与配置信息、文件字段与表字段的关系等。将视频分段存储到sequence file的键值对中，并将视频索引数据用HBASE API以put方式存储。利用深度学习子系统，从海量的视频监控数据中筛选出海量的训练样本组成训练数据库，对相应的CNN神经网络进行训练，通过不断的采集数据，不断的修改网络模型，改善识别效果。以深度神经网络为核心的训练学习过程，该过程首先将收集整理的人物特征图像库以及监控实际图像作为原始数据，为训练原始图片添加相应标签，标注出图像中感兴趣的部分，然后对获取的图像进行适当的预处理，这是因为无论是图像数据库中的样本图像，还是实时采集的图像，其质量都会对识别的结果有很大影响。为了快速、稳定地进行特征抽取，就必须消除噪声，校正失真，把图像变换成标准形式，使图像能够很容易地抽取特征。设计Faster R-CNN网络结构，并且利用上述构建的数据集对网络进行训练，得到最优的网络模型。
训练完成后，开始识别操作，对用户输入的人员描述进行检索，具体步骤如下：a)
利用Faster R-CNN检测出视频帧中的人员；b)利用先验知识切分人员的裤子和上衣，利用快速主题色分析算法确定衣物的颜色；c)利用人脸识别算法辅助头发检测识别人员的性别，利用先验知识识别出高矮以及胖瘦。上述步骤严格按照顺序执行，在不满足前一个条件的情况下，不进行后续步骤，以加速算法执行速度。

Claims (9)

1.基于深度学习的监控视频人员模糊检索方法，应用在监控系统，所述的监控系统包括卷积神经网络系统和云平台系统，其特征为包括以下几个步骤：
步骤(A)：通过云平台系统收集视频数据，并将视频数据进行云存储；
步骤(B)：使用者建立训练条目数据库，每个训练条目由文字进行描述；
步骤(C)：根据云存储内容以及训练条目数据库选取样本图片建立训练数据库；
步骤(D)：卷积神经网络系统通过云平台系统的并行计算进行深度学习训练，以训练出用于识别的网络模型；
步骤(E)：训练完成后卷积神经网络系统通过云平台系统的并行计算进行识别，识别时输入模糊描述后，卷积神经网络系统调取与模糊描述相关的若干个特征模型进行计算然后得到识别结果。
2.根据权利要求1所述的基于深度学习的监控视频人员模糊检索方法，其特征为，所述的卷积神经网络系统为Faster R-CNN网络结构。
3.根据权利要求1所述的基于深度学习的监控视频人员模糊检索方法，其特征为，所述的卷积神经网络系统为Fast R-CNN网络结构。
4.根据权利要求1所述的基于深度学习的监控视频人员模糊检索方法，其特征为，在步骤D和步骤E中的并行计算为利用Hadoop的MapReduce并行化编程模型的计算。
5.根据权利要求1所述的基于深度学习的监控视频人员模糊检索方法，其特征为，在步骤C中对每个样本图片进行标签，每个标签只标定唯一的特征信息，单个样本图片可具有多个标签。
6.根据权利要求1所述的基于深度学习的监控视频人员模糊检索方法，其特征为，在步骤D中，通过训练条目描述的内容，选取相应的至少一个标签，然后选取通标签下若干个样本图片进行训练，在训练前通过标签上的特征信息，对样本图片进行预处理，预处理包括消除噪声、校正失真、变换标准形式，预处理后使样本图片标签上所描述的特征信息更容易提取。
7.根据权利要求1所述的基于深度学习的监控视频人员模糊检索方法，其特征为，在步骤D中，每次训练后卷积神经网络系统都会建立相应的特征模型，如果训练结果为合格，则保留此特征模型，如果训练结果为不合格则对此特征模型进行自动修改，直至训练结果为合格，此特征模型才保持稳定。
8.根据权利要求7所述的基于深度学习的监控视频人员模糊检索方法，其特征为，在步骤D中，训练合格的标准由进行判断。
9.根据权利要求1所述的基于深度学习的监控视频人员模糊检索方法，其特征为，在步骤E中，对模糊描述进行分析，然后从模糊描述中提取至少一个特征信息，然后根据特征信息选取相对应的特征模型，最后根据若干个特征模型的组合进行识别。
CN201710282865.5A 2017-04-26 2017-04-26 基于深度学习的监控视频人员模糊检索方法 Pending CN107145546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710282865.5A CN107145546A (zh) 2017-04-26 2017-04-26 基于深度学习的监控视频人员模糊检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710282865.5A CN107145546A (zh) 2017-04-26 2017-04-26 基于深度学习的监控视频人员模糊检索方法

Publications (1)

Publication Number Publication Date
CN107145546A true CN107145546A (zh) 2017-09-08

Family

ID=59773915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710282865.5A Pending CN107145546A (zh) 2017-04-26 2017-04-26 基于深度学习的监控视频人员模糊检索方法

Country Status (1)

Country Link
CN (1) CN107145546A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108494626A (zh) * 2018-03-23 2018-09-04 河海大学 物理安装不当的Profibus DP工业现场总线通信故障智能诊断方法
CN109635832A (zh) * 2018-10-30 2019-04-16 银河水滴科技（北京）有限公司 一种基于云平台的目标识别方法及系统
CN109905423A (zh) * 2017-12-08 2019-06-18 上海仪电（集团）有限公司中央研究院 一种智能管理系统
CN109948500A (zh) * 2019-03-13 2019-06-28 西安科技大学 一种用于煤矿的精确监测人员进出的方法
CN110458025A (zh) * 2019-07-11 2019-11-15 南京邮电大学 一种基于双目摄像头的人员识别与定位方法
CN110889367A (zh) * 2019-11-22 2020-03-17 贵州科学院(贵州省应用技术研究院) 一种基于深度学习的厨房工作人员穿着规范识别方法
CN113065666A (zh) * 2021-05-11 2021-07-02 海南善沙网络科技有限公司 一种神经网络机器学习模型训练用分布式计算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235825A (zh) * 2013-05-08 2013-08-07 重庆大学 一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法
CN104463241A (zh) * 2014-10-31 2015-03-25 北京理工大学 一种智能交通监控系统中的车辆类型识别方法
CN105654047A (zh) * 2015-12-21 2016-06-08 中国石油大学(华东) 云环境下基于深度学习的在线视频智能处理系统
CN105868269A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于区域卷积神经网络的精确图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235825A (zh) * 2013-05-08 2013-08-07 重庆大学 一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法
CN104463241A (zh) * 2014-10-31 2015-03-25 北京理工大学 一种智能交通监控系统中的车辆类型识别方法
CN105654047A (zh) * 2015-12-21 2016-06-08 中国石油大学(华东) 云环境下基于深度学习的在线视频智能处理系统
CN105868269A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于区域卷积神经网络的精确图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
海鑫科金: ""海鑫智圣：视频图像检索技术"", 《搜狐-科技-WWW.SOHU.COM/A/61697238_196473》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905423A (zh) * 2017-12-08 2019-06-18 上海仪电（集团）有限公司中央研究院 一种智能管理系统
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108494626A (zh) * 2018-03-23 2018-09-04 河海大学 物理安装不当的Profibus DP工业现场总线通信故障智能诊断方法
CN108494626B (zh) * 2018-03-23 2021-08-27 河海大学 物理安装不当的Profibus DP工业现场总线通信故障智能诊断方法
CN109635832A (zh) * 2018-10-30 2019-04-16 银河水滴科技（北京）有限公司 一种基于云平台的目标识别方法及系统
CN109948500A (zh) * 2019-03-13 2019-06-28 西安科技大学 一种用于煤矿的精确监测人员进出的方法
CN109948500B (zh) * 2019-03-13 2022-12-27 西安科技大学 一种用于煤矿的精确监测人员进出的方法
CN110458025A (zh) * 2019-07-11 2019-11-15 南京邮电大学 一种基于双目摄像头的人员识别与定位方法
CN110458025B (zh) * 2019-07-11 2022-10-14 南京邮电大学 一种基于双目摄像头的目标识别与定位方法
CN110889367A (zh) * 2019-11-22 2020-03-17 贵州科学院(贵州省应用技术研究院) 一种基于深度学习的厨房工作人员穿着规范识别方法
CN113065666A (zh) * 2021-05-11 2021-07-02 海南善沙网络科技有限公司 一种神经网络机器学习模型训练用分布式计算方法

Similar Documents

Publication Publication Date Title
CN107145546A (zh) 基于深度学习的监控视频人员模糊检索方法
Liu et al. Multi-feature based emotion recognition for video clips
Strezoski et al. Omniart: a large-scale artistic benchmark
WO2020168731A1 (zh) 一种基于生成对抗机制与注意力机制的标准人脸生成方法
CN110008842A (zh) 一种基于深度多损失融合模型的行人重识别方法
CN109597891A (zh) 基于双向长短时记忆神经网络的文本情感分析方法
CN111144448A (zh) 基于多尺度注意力卷积编码网络的视频弹幕情感分析方法
CN107844784A (zh) 人脸识别方法、装置、计算机设备和可读存储介质
CN108509880A (zh) 一种视频人物行为语义识别方法
CN111582397B (zh) 一种基于注意力机制的cnn-rnn图像情感分析方法
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN108427740B (zh) 一种基于深度度量学习的图像情感分类与检索算法
CN113709384A (zh) 基于深度学习的视频剪辑方法、相关设备及存储介质
CN109935294A (zh) 一种文本报告输出方法、装置、存储介质及终端
CN107562742A (zh) 一种图像数据处理方法及装置
Li et al. Learning to update for object tracking with recurrent meta-learner
CN114565826A (zh) 一种农业病虫害识别诊断方法、系统及装置
CN107169106A (zh) 视频检索方法、装置、存储介质及处理器
CN113177616B (zh) 图像分类方法、装置、设备及存储介质
CN107992937B (zh) 基于深度学习的非结构化数据判决方法和装置
CN108304364A (zh) 关键词提取方法和装置
CN111708904A (zh) 一种基于主题适应与原型编码的少样本视觉故事叙述方法
CN104820711A (zh) 复杂场景下对人形目标的视频检索方法
CN109614896A (zh) 一种基于递归卷积神经网络的视频内容语义理解的方法
CN113516164A (zh) 一种融合知识图谱与深度学习的果树病虫害诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170908

RJ01 Rejection of invention patent application after publication