CN105654047A - 云环境下基于深度学习的在线视频智能处理系统 - Google Patents

云环境下基于深度学习的在线视频智能处理系统 Download PDF

Info

Publication number
CN105654047A
CN105654047A CN201511009499.3A CN201511009499A CN105654047A CN 105654047 A CN105654047 A CN 105654047A CN 201511009499 A CN201511009499 A CN 201511009499A CN 105654047 A CN105654047 A CN 105654047A
Authority
CN
China
Prior art keywords
video
online
data
layer
service layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511009499.3A
Other languages
English (en)
Inventor
张卫山
徐亮
宫文娟
卢清华
李忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201511009499.3A priority Critical patent/CN105654047A/zh
Publication of CN105654047A publication Critical patent/CN105654047A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出了一种云环境下基于深度学习的在线视频智能处理系统，包括以下部分：视频数据采集层采集视频数据；视频处理层根据不同视频处理任务的性质对应离线处理和在线处理功能；数据服务层针对不同的领域应用，聚合离线处理结果和在线处理结果；领域服务层将结果可视化反馈给客户端。本发明的一种云环境下基于深度学习的在线视频智能处理系统，将视频处理、深度学习与云计算相结合，把视频处理利用云计算技术并行化，提高视频处理的速率；把深度学习应用到视频处理中，提高视频处理的准确率。

Description

云环境下基于深度学习的在线视频智能处理系统
技术领域
本发明涉及云计算领域，具体涉及到一种云环境下基于深度学习的在线视频智能处理系统。
背景技术
随着监控视频应用的日益普及，视频数据已经成为大数据的最大来源。由于视频数据的复杂性、速度要求以及不断地积累，在公共安全以及其他监控应用中需要高效、智能、实时的视频处理系统。
现存视频处理系统对视频数据的关联、事件的关联和趋势的预测等信息基本上没有涉及，很难对更高一个层次的基于视频数据的决策进行支持，同时也无法提供软硬件系统的动态伸缩性。
云计算是一种新的计算模式，其运用先进的存储架构和分布式计算为用户提供成本低廉、方便快速的体验。云计算技术的出现使得海量的视频数据处理、挖掘成为可能。
发明内容
为解决现有技术中的缺点和不足，本发明提出了一种云环境下基于深度学习的在线视频智能处理系统，根据目前云计算技术的不同处理技术的特点，将两类不同的云计算技术融合，为了深入挖掘视频中的深层知识，利用深度学习技术实现深层智能，帮助获取隐藏在视频数据中的知识；同时，结合不同的体系结构风格包括发布订阅，MapReduce，共享数据的实现框架，分层结构等对系统进行优化调整。
本发明的技术方案是这样实现的：
一种云环境下基于深度学习的在线视频智能处理系统，包括：视频数据采集层，视频处理层，数据服务层，领域服务层；
视频数据采集层采集视频数据；
视频处理层根据不同视频处理任务的性质进行离线处理和在线处理；
数据服务层针对不同的领域应用，聚合离线处理结果和在线处理结果；
领域服务层将结果可视化反馈给客户端。
可选地，所述视频数据采集层采集视频数据的步骤，包括：
视频数据采集层利用流媒体服务器、网络摄像机组件以及开源视频采集组件从不同的摄像头采集不同的视频数据，将视频流存储到存储系统中。
可选地，所述视频处理层根据不同视频处理任务的性质进行离线处理和在线处理的步骤，包括：
对于实时性要求不高的任务进行离线处理；对于要求实时的处理任务被分配到在线处理；
离线处理模块利用存储在存储系统中的历史数据构建训练数据集，利用MapReduce训练卷积神经网络，得到最优的卷积神经网络参数，并且利用MapReduce对历史数据进行分析，编解码操作；
在线处理模块采集来自流媒体服务器的实时视频流，将实时视频流解码为帧图像之后将其作为Storm的输入源，将每一帧图像传入Storm中进行处理，利用Storm的并行能力处理背景消除，事件检测，分类操作。
可选地，所述数据服务层针对不同的领域应用，聚合离线处理结果和在线处理结果的步骤，包括：
在数据服务层针对不同的领域应用创建面向问题的视图，数据服务层实现对视频处理层的离线处理模块和在线处理模块进行聚合。
可选地，所述领域服务层将结果可视化反馈给客户端，包括：
针对不同的业务需求与数据集，开发数据可视化组件，将数据服务层的数据反馈给客户端。
本发明的有益效果是：
(1)将深度学习与两类不同的云计算技术结合，形成以应用为导向的、具有一定通用性的视频大数据处理框架；
(2)通过并行化深度学习，减少训练时间，优化训练效果，有效地提高了训练效率；
(3)利用Hadoop快速批量的处理海量视频数据；
(4)利用Storm和深度学习实时处理，提高准确率和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明云环境下基于深度学习的在线视频智能处理系统的控制框图；
图2为本发明中视频处理层根据不同视频处理任务的性质进行离线处理和在线处理的框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明云环境下基于深度学习的在线视频智能处理系统，包括：视频数据采集层，视频处理层，数据服务层，领域服务层；其中，视频数据采集层采集视频数据；视频处理层根据不同视频处理任务的性质进行离线处理和在线处理；数据服务层针对不同的领域应用，聚合离线处理结果和在线处理结果；领域服务层将结果可视化反馈给客户端。
下面结合图1和图2，对本发明云环境下基于深度学习的在线视频智能处理系统进行详细说明。
所述视频数据采集层采集视频数据的步骤，包括：视频数据采集层利用流媒体服务器，WebCam(网络摄像机)组件以及其它开源视频采集组件从不同的摄像头采集不同的视频数据，将视频流存储到HDFS等存储系统中，然后交给视频处理层进行处理。
所述视频处理层根据不同视频处理任务的性质进行离线处理和在线处理的步骤，包括：考虑到不同的视频处理任务的性质，对于实时性要求不是很高的任务适合离线处理，比如：视频摘要、大量的视频数据的视频编码/解码等；对于一些简单的要求实时的处理任务被分配到在线处理。
如图2所示，离线处理模块主要应用Hadoop，利用存储在HDFS中的历史数据构建训练数据集，利用MapReduce训练卷积神经网络，得到最优的卷积神经网络参数，并且利用MapReduce对历史数据进行分析，编解码等操作。
在线处理模块主要利用Storm、利用Caffe等深度学习模型和Opencv等图像处理工具辅助视频处理，利用HBase进行海量数据的存储，采集来自流媒体服务器的实时视频流，将实时视频流解码为帧图像之后将其作为Storm的输入源，将每一帧图像传入Storm中进行处理，利用Storm的并行能力处理背景消除，事件检测，分类等操作。
所述数据服务层针对不同的领域应用，聚合离线处理结果和在线处理结果的步骤，包括：在数据服务层针对不同的领域应用(比如智能交通，智慧校园等领域)创建面向问题的视图，数据服务层实现对视频处理层的离线处理模块和在线处理模块进行聚合。
所述领域服务层将结果可视化反馈给客户端，包括：针对不同的业务需求与数据集，开发个性化的交互性强的数据可视化组件，将数据服务层的数据反馈给客户端。
本发明的云环境下基于深度学习的在线视频智能处理系统，根据目前云计算技术的不同处理技术的特点，将两类不同的云计算技术融合，利用深度学习技术实现深层智能，获取隐藏在视频数据中的知识；把深度学习训练和车牌识别利用云计算技术并行化，提高视频处理的速率和准确率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种云环境下基于深度学习的在线视频智能处理系统，其特征在于，包括：视频数据采集层，视频处理层，数据服务层，领域服务层；
视频数据采集层采集视频数据；
视频处理层根据不同视频处理任务的性质进行离线处理和在线处理；
数据服务层针对不同的领域应用，聚合离线处理结果和在线处理结果；
领域服务层将结果可视化反馈给客户端。
2.如权利要求1所述的一种云环境下基于深度学习的在线视频智能处理系统，其特征在于，所述视频数据采集层采集视频数据的步骤，包括：
视频数据采集层利用流媒体服务器、网络摄像机组件以及开源视频采集组件从不同的摄像头采集不同的视频数据，将视频流存储到存储系统中。
3.如权利要求1所述的一种云环境下基于深度学习的在线视频智能处理系统，其特征在于，所述视频处理层根据不同视频处理任务的性质进行离线处理和在线处理的步骤，包括：
对于实时性要求不高的任务进行离线处理；对于要求实时的处理任务被分配到在线处理；
离线处理模块利用存储在存储系统中的历史数据构建训练数据集，利用MapReduce训练卷积神经网络，得到最优的卷积神经网络参数，并且利用MapReduce对历史数据进行分析，编解码操作；
在线处理模块采集来自流媒体服务器的实时视频流，将实时视频流解码为帧图像之后将其作为Storm的输入源，将每一帧图像传入Storm中进行处理，利用Storm的并行能力处理背景消除，事件检测，分类操作。
4.如权利要求1所述的一种云环境下基于深度学习的在线视频智能处理系统，其特征在于，所述数据服务层针对不同的领域应用，聚合离线处理结果和在线处理结果的步骤，包括：
在数据服务层针对不同的领域应用创建面向问题的视图，数据服务层实现对视频处理层的离线处理模块和在线处理模块进行聚合。
5.如权利要求1所述的一种云环境下基于深度学习的在线视频智能处理系统，其特征在于，所述领域服务层将结果可视化反馈给客户端，包括：
针对不同的业务需求与数据集，开发数据可视化组件，将数据服务层的数据反馈给客户端。
CN201511009499.3A 2015-12-21 2015-12-21 云环境下基于深度学习的在线视频智能处理系统 Pending CN105654047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511009499.3A CN105654047A (zh) 2015-12-21 2015-12-21 云环境下基于深度学习的在线视频智能处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511009499.3A CN105654047A (zh) 2015-12-21 2015-12-21 云环境下基于深度学习的在线视频智能处理系统

Publications (1)

Publication Number Publication Date
CN105654047A true CN105654047A (zh) 2016-06-08

Family

ID=56477293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511009499.3A Pending CN105654047A (zh) 2015-12-21 2015-12-21 云环境下基于深度学习的在线视频智能处理系统

Country Status (1)

Country Link
CN (1) CN105654047A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145546A (zh) * 2017-04-26 2017-09-08 北京环境特性研究所 基于深度学习的监控视频人员模糊检索方法
CN108012121A (zh) * 2017-12-14 2018-05-08 安徽大学 一种边缘计算和云计算融合的实时视频监控方法及系统
CN109803067A (zh) * 2017-11-16 2019-05-24 富士通株式会社 视频浓缩方法、视频浓缩装置和电子设备
CN109905423A (zh) * 2017-12-08 2019-06-18 上海仪电（集团）有限公司中央研究院 一种智能管理系统
CN110708567A (zh) * 2019-04-15 2020-01-17 中国石油大学(华东) 一种基于主动学习的分布式自优化视频实时解析框架
CN110728202A (zh) * 2019-09-23 2020-01-24 国网宁夏电力有限公司电力科学研究院 一种输电导线异物检测方法、终端及系统
CN111726475A (zh) * 2020-06-28 2020-09-29 网易传媒科技（北京）有限公司 视频处理方法、系统、电子设备及存储介质
US10929993B2 (en) 2017-09-29 2021-02-23 L'oreal Automated imaging system for evaluating the curl of a keratinous substrate
CN112396016A (zh) * 2020-11-26 2021-02-23 武汉宏数信息技术有限责任公司 一种基于大数据技术的人脸识别系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992147A (zh) * 2015-06-09 2015-10-21 中国石油大学(华东) 一种基于快慢结合云计算环境的深度学习的车牌识别方法
CN105095468A (zh) * 2015-08-06 2015-11-25 重庆大学 一种新型的图像检索方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992147A (zh) * 2015-06-09 2015-10-21 中国石油大学(华东) 一种基于快慢结合云计算环境的深度学习的车牌识别方法
CN105095468A (zh) * 2015-08-06 2015-11-25 重庆大学 一种新型的图像检索方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴飞 等: "多媒体技术研究:2014——深度学习与媒体计算", 《中国图象图形学报》 *
聂淼: "面向流处理的广告检测系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145546A (zh) * 2017-04-26 2017-09-08 北京环境特性研究所 基于深度学习的监控视频人员模糊检索方法
US10929993B2 (en) 2017-09-29 2021-02-23 L'oreal Automated imaging system for evaluating the curl of a keratinous substrate
CN109803067A (zh) * 2017-11-16 2019-05-24 富士通株式会社 视频浓缩方法、视频浓缩装置和电子设备
CN109905423A (zh) * 2017-12-08 2019-06-18 上海仪电（集团）有限公司中央研究院 一种智能管理系统
CN108012121A (zh) * 2017-12-14 2018-05-08 安徽大学 一种边缘计算和云计算融合的实时视频监控方法及系统
CN110708567A (zh) * 2019-04-15 2020-01-17 中国石油大学(华东) 一种基于主动学习的分布式自优化视频实时解析框架
CN110728202A (zh) * 2019-09-23 2020-01-24 国网宁夏电力有限公司电力科学研究院 一种输电导线异物检测方法、终端及系统
CN111726475A (zh) * 2020-06-28 2020-09-29 网易传媒科技（北京）有限公司 视频处理方法、系统、电子设备及存储介质
CN112396016A (zh) * 2020-11-26 2021-02-23 武汉宏数信息技术有限责任公司 一种基于大数据技术的人脸识别系统
CN112396016B (zh) * 2020-11-26 2021-07-23 武汉宏数信息技术有限责任公司 一种基于大数据技术的人脸识别系统

Similar Documents

Publication Publication Date Title
CN105654047A (zh) 云环境下基于深度学习的在线视频智能处理系统
WO2018210796A8 (en) Action recognition in videos using 3d spatio-temporal convolutional neural networks
Pang et al. Hierarchical dynamic filtering network for RGB-D salient object detection
Wang et al. Generative neural networks for anomaly detection in crowded scenes
CN108229321B (zh) 人脸识别模型及其训练方法和装置、设备、程序和介质
CN104992147A (zh) 一种基于快慢结合云计算环境的深度学习的车牌识别方法
Ali et al. RES: Real-time video stream analytics using edge enhanced clouds
US20160035124A1 (en) Segmenting objects in multimedia data
Wang et al. Vabus: Edge-cloud real-time video analytics via background understanding and subtraction
CN102724385A (zh) 一种视频智能分析方法及装置
CN112580481B (zh) 基于边缘节点和云端协同视频处理方法、装置、服务器
Yang et al. Development of a fast transmission method for 3D point cloud
CN116760884B (zh) 一种海洋大数据云服务系统与应用方法
Xiong et al. Distortion map-guided feature rectification for efficient video semantic segmentation
Lin et al. An optimized video synopsis algorithm and its distributed processing model
Fu et al. Human action recognition: A survey
Jeong et al. Viewport prediction method of 360 vr video using sound localization information
Kulkarni et al. Video analytics for face detection and tracking
Wu et al. Ilcas: Imitation learning-based configuration-adaptive streaming for live video analytics with cross-camera collaboration
Wang et al. CoLive: Edge-Assisted Clustered Learning Framework for Viewport Prediction in 360$^\circ $ Live Streaming
Yu et al. An interactive network based on transformer for multimodal crowd counting
Gao et al. Quality-aware massive content delivery in digital twin-enabled edge networks
Sharma et al. Architectural framework for implementing visual surveillance as a service
US20230419082A1 (en) Improved Processing of Sequential Data via Machine Learning Models Featuring Temporal Residual Connections
Jyothi et al. Deep fake Video Detection Using Unsupervised Learning Models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160608