CN108449389A - 一种基于云计算的安防监控大数据处理方法及系统 - Google Patents

一种基于云计算的安防监控大数据处理方法及系统 Download PDF

Info

Publication number
CN108449389A
CN108449389A CN201810162379.4A CN201810162379A CN108449389A CN 108449389 A CN108449389 A CN 108449389A CN 201810162379 A CN201810162379 A CN 201810162379A CN 108449389 A CN108449389 A CN 108449389A
Authority
CN
China
Prior art keywords
data
storage
safety monitoring
cloud computing
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810162379.4A
Other languages
English (en)
Inventor
薛向红
舒振球
薛小锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Technology
Original Assignee
Jiangsu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Technology filed Critical Jiangsu University of Technology
Priority to CN201810162379.4A priority Critical patent/CN108449389A/zh
Publication of CN108449389A publication Critical patent/CN108449389A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了安防技术领域的一种基于云计算的安防监控大数据处理方法及系统，该方法的具体步骤如下：S1：采集物联网节点上的安防监控数据；S2：导入数据存储池中进行分布式存储；S3：利用客户端实现对存储池内的安防监控数据进行访问调度、内容分发、存储管理以及数据加密和备份的处理；S4：通过物联网终端设备中的公用应用接口访问登录云存储平台，借助API接口，构建应用存储系统，本发明能够对安防监控数据之间进行数据交互。参数同步以及任务分工进行融合，并采用分布式的存储系统，融合整个云平台中数据冗余备份以及容错处理，实现数据访问的负载均衡，介绍通信系统的投入，提高系统访问速度。

Description

一种基于云计算的安防监控大数据处理方法及系统
技术领域
本发明公开了一种基于云计算的安防监控大数据处理方法及系统，具体为安防技术领域。
背景技术
在安防领域，信息孤岛技术十分突出。在一座城市内，既有公安部门安装的摄像监控设备，也有各个单位安装的摄像监控设备，这些设备或系统所产生的监控数据难以实现互联互通，造成信息孤岛现象。近年来，以云计算和物联网为核心的智慧城市建设大安防概念，试图将这些信息孤岛现象消除，然而，安防监控数量巨大，造成通信宽带的巨大消耗。
在安防监控领域，随着全方位和多层次的监控时代到来，产生了越来越多的安防监控数据，是一种典型的大数据。如何以较小的通信代价实现安防大数据的互联互通，并具有较高的扩展弹性和易于实施的特点，是目前安防监控大数据要挑战的难点。为此，我们提出了一种基于云计算的安防监控大数据处理方法及系统投入使用，以解决上述问题。
发明内容
本发明的目的在于提供一种基于云计算的安防监控大数据处理方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于云计算的安防监控大数据处理方法，该方法的具体步骤如下：
S1：采集物联网节点上的安防监控数据，将安防监控数据进行预处理；
S2：对采集的安防监控数据进行数据编码，随后导入数据存储池中进行分布式存储；
S3：利用客户端实现对存储池内的安防监控数据进行访问调度、内容分发、存储管理以及数据加密和备份的处理；
S4：通过物联网终端设备中的公用应用接口访问登录云存储平台，借助API接口，构建应用存储系统。
优选的，所述步骤S1中，安防监控数据的预处理包括提取安防原始数据中有用的信息，并将其转换为十进制的格式；剔除安防监控原始数据中存在的异常坏点数据；去除线性趋势项；安防监控原始数据进行零均值化处理；对安防监控数据进行平滑或拟合。
优选的，所述步骤S1中，采集的安防监控数据包括视频监控数据、音频监控数据以及监控位置定位数据。
优选的，所述步骤S2中，数据编码包括数据循环冗余校验以及数据无损压缩，其中数据无损压缩利用数据的统计冗余进行，数据统计冗余度的限制为2:1到4:1。
优选的，所述步骤S4中，云计算平台的搭建主要体现在计算虚拟化和存储虚拟化两个方面，其中计算虚拟化包括服务器虚拟化和应用中间件的虚拟化，存储虚拟化包括存储硬件架构虚拟化和存储软件虚拟化，使得应用和数据实现最大程度的共享。
优选的，一种基于云计算的安防监控大数据处理系统，包括数据采集模块、数据预处理模块、分布式存储系统、管理调度层、应用接口层以及访问层；
所述数据采集模块用于采集物联网节点上的安防监控数据；
所述数据预处理模块用于对采集的安防监控数据进行格式转换、剔除坏点、去除线性趋势项、零均值化处理以及数据平滑或拟合；
所述分布式存储系统将各种不同的设备虚拟为存储池，提高存储空间的利用率，并同时提供存储扩展、存储管理、存储维护以及存储升级空间；
所述管理调度层包括访问调度、内容分发、存储管理、数据加密以及备份，所述访问调度用于当用户发出存储服务请求时截获这个存储服务请求，然后根据存储请求的特点将存储请求分发到所述分布式存储系统中的具体存储位置并持久化存储；所述内容分发将安防监控的内容发送到最近用户的网络边缘，使用户能以最快的速度，从最接近用户的地方获取所需信息；所述存储管理具体负责存储行为的实施，所述访问调度首先将请求分发到所述云存储系统中的正确节点上，所述存储管理按照删除的数据指令要求对已经得到持久化存储的数据实施删除并回收删除所空出的存储空间；所述数据加密以及备份提供系统数据的加密以及备份，提高存储数据的安全性；
所述应用接口层根据用户的需求，利用不同的应用接口提供相应的服务，包括数据存储服务、空间租赁服务、公共资源服务、多用户数据共享服务以及数据备份服务；
所述访问层用于用户通过物联网终端设备登录云存储平台，并下发用户服务指令。
与现有技术相比，本发明的有益效果是：本发明能够对安防监控数据之间进行数据交互。参数同步以及任务分工进行融合，并采用分布式的存储系统，融合整个云平台中数据冗余备份以及容错处理，实现数据访问的负载均衡，介绍通信系统的投入，提高系统访问速度。
附图说明
图1为本发明工作流程图；
图2为本发明系统模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和2，本发明提供一种技术方案：一种基于云计算的安防监控大数据处理方法，该方法的具体步骤如下：S1：采集物联网节点上的安防监控数据，将安防监控数据进行预处理，安防监控数据的预处理包括提取安防原始数据中有用的信息，并将其转换为十进制的格式；剔除安防监控原始数据中存在的异常坏点数据；去除线性趋势项；安防监控原始数据进行零均值化处理；对安防监控数据进行平滑或拟合，采集的安防监控数据包括视频监控数据、音频监控数据以及监控位置定位数据；S2：对采集的安防监控数据进行数据编码，随后导入数据存储池中进行分布式存储，数据编码包括数据循环冗余校验以及数据无损压缩，其中数据无损压缩利用数据的统计冗余进行，数据统计冗余度的限制为2:1到4:1；S3：利用客户端实现对存储池内的安防监控数据进行访问调度、内容分发、存储管理以及数据加密和备份的处理；S4：通过物联网终端设备中的公用应用接口访问登录云存储平台，借助API接口，构建应用存储系统，云计算平台的搭建主要体现在计算虚拟化和存储虚拟化两个方面，其中计算虚拟化包括服务器虚拟化和应用中间件的虚拟化，存储虚拟化包括存储硬件架构虚拟化和存储软件虚拟化，使得应用和数据实现最大程度的共享。
本发明还提供了一种基于云计算的安防监控大数据处理系统，包括数据采集模块、数据预处理模块、分布式存储系统、管理调度层、应用接口层以及访问层；所述数据采集模块用于采集物联网节点上的安防监控数据；所述数据预处理模块用于对采集的安防监控数据进行格式转换、剔除坏点、去除线性趋势项、零均值化处理以及数据平滑或拟合；所述分布式存储系统将各种不同的设备虚拟为存储池，提高存储空间的利用率，并同时提供存储扩展、存储管理、存储维护以及存储升级空间；所述管理调度层包括访问调度、内容分发、存储管理、数据加密以及备份，所述访问调度用于当用户发出存储服务请求时截获这个存储服务请求，然后根据存储请求的特点将存储请求分发到所述分布式存储系统中的具体存储位置并持久化存储；所述内容分发将安防监控的内容发送到最近用户的网络边缘，使用户能以最快的速度，从最接近用户的地方获取所需信息；所述存储管理具体负责存储行为的实施，所述访问调度首先将请求分发到所述云存储系统中的正确节点上，所述存储管理按照删除的数据指令要求对已经得到持久化存储的数据实施删除并回收删除所空出的存储空间；所述数据加密以及备份提供系统数据的加密以及备份，提高存储数据的安全性；所述应用接口层根据用户的需求，利用不同的应用接口提供相应的服务，包括数据存储服务、空间租赁服务、公共资源服务、多用户数据共享服务以及数据备份服务；所述访问层用于用户通过物联网终端设备登录云存储平台，并下发用户服务指令。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于云计算的安防监控大数据处理方法，其特征在于：该方法的具体步骤如下：
S1：采集物联网节点上的安防监控数据，将安防监控数据进行预处理；
S2：对采集的安防监控数据进行数据编码，随后导入数据存储池中进行分布式存储；
S3：利用客户端实现对存储池内的安防监控数据进行访问调度、内容分发、存储管理以及数据加密和备份的处理；
S4：通过物联网终端设备中的公用应用接口访问登录云存储平台，借助API接口，构建应用存储系统。
2.根据权利要求1所述的一种基于云计算的安防监控大数据处理方法，其特征在于：所述步骤S1中，安防监控数据的预处理包括提取安防原始数据中有用的信息，并将其转换为十进制的格式；剔除安防监控原始数据中存在的异常坏点数据；去除线性趋势项；安防监控原始数据进行零均值化处理；对安防监控数据进行平滑或拟合。
3.根据权利要求1所述的一种基于云计算的安防监控大数据处理方法，其特征在于：所述步骤S1中，采集的安防监控数据包括视频监控数据、音频监控数据以及监控位置定位数据。
4.根据权利要求1所述的一种基于云计算的安防监控大数据处理方法，其特征在于：所述步骤S2中，数据编码包括数据循环冗余校验以及数据无损压缩，其中数据无损压缩利用数据的统计冗余进行，数据统计冗余度的限制为2:1到4:1。
5.根据权利要求1所述的一种基于云计算的安防监控大数据处理方法，其特征在于：所述步骤S4中，云计算平台的搭建主要体现在计算虚拟化和存储虚拟化两个方面，其中计算虚拟化包括服务器虚拟化和应用中间件的虚拟化，存储虚拟化包括存储硬件架构虚拟化和存储软件虚拟化，使得应用和数据实现最大程度的共享。
6.一种基于云计算的安防监控大数据处理系统，其特征在于：包括数据采集模块、数据预处理模块、分布式存储系统、管理调度层、应用接口层以及访问层；
所述数据采集模块用于采集物联网节点上的安防监控数据；
所述数据预处理模块用于对采集的安防监控数据进行格式转换、剔除坏点、去除线性趋势项、零均值化处理以及数据平滑或拟合；
所述分布式存储系统将各种不同的设备虚拟为存储池，提高存储空间的利用率，并同时提供存储扩展、存储管理、存储维护以及存储升级空间；
所述管理调度层包括访问调度、内容分发、存储管理、数据加密以及备份，所述访问调度用于当用户发出存储服务请求时截获这个存储服务请求，然后根据存储请求的特点将存储请求分发到所述分布式存储系统中的具体存储位置并持久化存储；所述内容分发将安防监控的内容发送到最近用户的网络边缘，使用户能以最快的速度，从最接近用户的地方获取所需信息；所述存储管理具体负责存储行为的实施，所述访问调度首先将请求分发到所述云存储系统中的正确节点上，所述存储管理按照删除的数据指令要求对已经得到持久化存储的数据实施删除并回收删除所空出的存储空间；所述数据加密以及备份提供系统数据的加密以及备份，提高存储数据的安全性；
所述应用接口层根据用户的需求，利用不同的应用接口提供相应的服务，包括数据存储服务、空间租赁服务、公共资源服务、多用户数据共享服务以及数据备份服务；
所述访问层用于用户通过物联网终端设备登录云存储平台，并下发用户服务指令。
CN201810162379.4A 2018-02-27 2018-02-27 一种基于云计算的安防监控大数据处理方法及系统 Pending CN108449389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810162379.4A CN108449389A (zh) 2018-02-27 2018-02-27 一种基于云计算的安防监控大数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810162379.4A CN108449389A (zh) 2018-02-27 2018-02-27 一种基于云计算的安防监控大数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN108449389A true CN108449389A (zh) 2018-08-24

Family

ID=63192577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810162379.4A Pending CN108449389A (zh) 2018-02-27 2018-02-27 一种基于云计算的安防监控大数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN108449389A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109347932A (zh) * 2018-09-29 2019-02-15 中国煤炭地质总局勘查研究总院 一种基于云平台的远程监控系统
CN109819019A (zh) * 2018-12-29 2019-05-28 中国科学院计算技术研究所 用于大规模网络数据采集的监控与统计分析方法和系统
CN110389725A (zh) * 2019-07-26 2019-10-29 成都信息工程大学 一种物联网终端数据高效存储系统
CN111858763A (zh) * 2020-07-22 2020-10-30 陈永欢 一种大数据安防监控系统
CN112333212A (zh) * 2021-01-06 2021-02-05 广州技象科技有限公司 电力物联网业务数据的加密管理方法及装置
CN112487373A (zh) * 2020-11-23 2021-03-12 成都尽知致远科技有限公司 智能安防大数据视频监控系统
CN113761237A (zh) * 2021-09-11 2021-12-07 黄冈师范学院 一种用于云计算系统的数据处理方法
CN116192383A (zh) * 2023-02-22 2023-05-30 深圳市怡丰云智科技股份有限公司 基于erp加密的物联网监控方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079760A (zh) * 2007-07-27 2007-11-28 华为技术有限公司 实现网络监控的方法、系统及内容分发网络
CN101577817A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 分布式视频监控系统及其保持数据一致性的方法
US20130198783A1 (en) * 2012-02-01 2013-08-01 Futurewei Technologies, Inc. System and Method for Organizing Multimedia Content
US20160380975A1 (en) * 2015-06-24 2016-12-29 Cisco Technology, Inc. Domain Name Service Redirection for a Content Delivery Network with Security as a Service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079760A (zh) * 2007-07-27 2007-11-28 华为技术有限公司 实现网络监控的方法、系统及内容分发网络
CN101577817A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 分布式视频监控系统及其保持数据一致性的方法
US20130198783A1 (en) * 2012-02-01 2013-08-01 Futurewei Technologies, Inc. System and Method for Organizing Multimedia Content
US20160380975A1 (en) * 2015-06-24 2016-12-29 Cisco Technology, Inc. Domain Name Service Redirection for a Content Delivery Network with Security as a Service

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵纪伟: "基于云平台的视频监控和存储系统研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109347932A (zh) * 2018-09-29 2019-02-15 中国煤炭地质总局勘查研究总院 一种基于云平台的远程监控系统
CN109819019A (zh) * 2018-12-29 2019-05-28 中国科学院计算技术研究所 用于大规模网络数据采集的监控与统计分析方法和系统
CN109819019B (zh) * 2018-12-29 2021-04-27 中国科学院计算技术研究所 用于大规模网络数据采集的监控与统计分析方法和系统
CN110389725A (zh) * 2019-07-26 2019-10-29 成都信息工程大学 一种物联网终端数据高效存储系统
CN110389725B (zh) * 2019-07-26 2022-11-01 成都信息工程大学 一种物联网终端数据高效存储系统
CN111858763A (zh) * 2020-07-22 2020-10-30 陈永欢 一种大数据安防监控系统
CN112487373A (zh) * 2020-11-23 2021-03-12 成都尽知致远科技有限公司 智能安防大数据视频监控系统
CN112333212A (zh) * 2021-01-06 2021-02-05 广州技象科技有限公司 电力物联网业务数据的加密管理方法及装置
CN113761237A (zh) * 2021-09-11 2021-12-07 黄冈师范学院 一种用于云计算系统的数据处理方法
CN116192383A (zh) * 2023-02-22 2023-05-30 深圳市怡丰云智科技股份有限公司 基于erp加密的物联网监控方法、装置、设备及存储介质
CN116192383B (zh) * 2023-02-22 2023-10-31 深圳市怡丰云智科技股份有限公司 基于erp加密的物联网监控方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108449389A (zh) 一种基于云计算的安防监控大数据处理方法及系统
CN104573611B (zh) 一种分布式人脸识别集群系统
CN104270417B (zh) 一种基于云计算的综合服务提供系统及方法
CN105912397A (zh) 一种资源管理方法和装置
CN110071965B (zh) 一种基于云平台的数据中心管理系统
CN106850832A (zh) 一种基于微服务架构的云管理系统
CN108196935B (zh) 一种面向云计算的虚拟机节能迁移方法
CN111580977A (zh) 一种资源调整方法及相关设备
CN106506620A (zh) 一种云桌面智能终端管理系统
CN102594861A (zh) 一种多服务器负载均衡的云存储系统
CN106027596A (zh) 一种任务分发方法和装置
US11977929B2 (en) Resource allocation method and apparatus based on edge computing
CN107249121A (zh) 一种基于云平台的视频监控系统
CN102833580A (zh) 基于infiniband的高清视频应用系统及方法
CN102811222A (zh) 一种基于云计算的身份识别安防方法
CN106993049A (zh) 一种基于云计算的通用航空企业运营综合管理系统
CN108520004A (zh) 基于方法参数切面多租户数据源切换系统
CN108259845A (zh) 一种基于云计算的安防监控大数据处理方法及系统
CN109062697A (zh) 一种提供空间分析服务的方法和装置
CN108924228B (zh) 基于边缘计算的工业互联网优化系统
CN111784282A (zh) 智慧场馆综合管理平台
CN110232136A (zh) 一种基于云计算的大数据处理系统
CN107135250A (zh) 一种面向云计算的负载均衡系统及机制
CN107301094A (zh) 面向大规模动态事务查询的动态自适应数据模型
CN109150593B (zh) 云数据系统中资源的管理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180824