CN113726749B - 基于大数据和智慧安防的数据管理系统 - Google Patents

基于大数据和智慧安防的数据管理系统 Download PDF

Info

Publication number
CN113726749B
CN113726749B CN202110928441.8A CN202110928441A CN113726749B CN 113726749 B CN113726749 B CN 113726749B CN 202110928441 A CN202110928441 A CN 202110928441A CN 113726749 B CN113726749 B CN 113726749B
Authority
CN
China
Prior art keywords
data
security
node
nodes
processing server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110928441.8A
Other languages
English (en)
Other versions
CN113726749A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Xinborui Technology Co ltd
Original Assignee
Shanxi Xinborui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Xinborui Technology Co ltd filed Critical Shanxi Xinborui Technology Co ltd
Priority to CN202110928441.8A priority Critical patent/CN113726749B/zh
Publication of CN113726749A publication Critical patent/CN113726749A/zh
Application granted granted Critical
Publication of CN113726749B publication Critical patent/CN113726749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/17—Interaction among intermediate nodes, e.g. hop by hop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于大数据和智慧安防的数据管理系统，其包括：安防节点、数据处理服务器和数据库，数据处理服务器分别与安防节点和数据库具有通信连接。第一安防节点发送数据访问请求到数据处理服务器。数据处理服务器基于访问权限配置和访问控制策略对数据访问请求进行验证，并在所述数据访问请求通过验证时对数据访问请求进行授权，然后基于数据访问请求生成目标安防数据的数据传输策略。数据处理服务器基于数据传输策略将目标安防数据从第二安防节点发送到第一安防节点。

Description

基于大数据和智慧安防的数据管理系统
技术领域
本发明涉及大数据和智慧安防领域，尤其涉及一种基于大数据和智慧安防的数据管理系统。
背景技术
物联网、互联网以及云计算等新兴技术的发展，标志着大数据时代的来临，其改变人们工作、生活以及思维模式。安防工作也要满足时代发展的趋势以及智慧城市建设的时代需求，充分使用大数据云计算手段，构建智慧安防，显著提升安全防控能力以及综合管控能力。
现有的安防系统之间独立运行，缺乏标准化的实时数据获取和远程控制的接口，信息化程度低，安防系统的联动和综合处理能力不强。此外，安防数据在传输过程中存在效率低和拥堵的情况。
综上所述，急需一种安全性高、可对安防数据进行实时性自动更新管理，并且数据传输过程更加高效的数据传输方案。
发明内容
有鉴于此，本发明提供了一种基于大数据和智慧安防的数据管理系统，其包括：安防节点、数据处理服务器和数据库，数据处理服务器分别与安防节点和数据库具有通信连接；
第一安防节点发送目标安防数据的数据访问请求到数据处理服务器；
数据处理服务器基于访问权限配置和访问控制策略对所述数据访问请求进行验证，并在所述数据访问请求通过验证时对数据访问请求进行授权；
数据处理服务器根据第一安防节点和第二安防节点的位置获取第一安防节点和第二安防节点的坐标点，并根据第一安防节点和第二安防节点的坐标点计算第二安防节点的坐标点与第一安防节点的坐标点的正切值以得到标准路径方向角，然后将第二安防节点的作为目标安防节点；
数据处理服务器将目标安防节点的通信范围中所有的安防节点作为候选安防节点，并获取所有候选安防节点的坐标点，然后基于每个候选安防节点的坐标点与第一安防节点的坐标点计算每个候选安防节点的坐标点与第一安防节点的坐标点的正切值以得到每个候选安防节点的参考路径方向角；
数据处理服务器计算每个参考路径方向角与标准路径方向角的偏差，并将偏差最小的参考路径方向角对应的候选安防节点作为途径节点，然后将途径节点作为目标安防节点；
在目标安防节点的通信范围中存在第一安防节点时，数据处理服务器将第二安防节点、所有的途径节点和第一安防节点依次连接以得到最短数据传输路径，并根据目标安防数据的数据量和最短数据传输路径将目标安防数据从第二安防节点发送到第一安防节点。
进一步地，所述第一安防节点为安防数据的数据请求方所在的安防节点；所述第二安防节点为安防数据的数据提供方所在的安防节点；所述安防节点为在安防网络中的网络节点；所述网络节点为具有独立地址和数据传输功能的设备，其包括个人计算机和服务器。
进一步地，数据处理服务器根据目标安防数据的数据量和最短数据传输路径将目标安防数据从第二安防节点发送到第一安防节点包括：
数据处理服务器将目标安防数据的数据量与数据量阈值进行比较，在目标安防数据的数据量小于数据量阈值时，根据将目标安防数据根据最短数据传输路径从第二安防节点传输到第一安防节点；
数据处理服务器在目标安防数据的数据量大于数据量阈值时，对目标安防数据进行数据分割以将目标安防数据分为若干个数据量各不相同的安防数据段，并将所有的安防数据段按照数据量从大到小进行排列，然后基于所述排列顺序设置每个安防数据段的顺序编号；
数据处理服务器基于最短数据传输路径获取从第二安防节点到第一安防节点的若干条候选数据传输路径，并将最短数据传输路径和候选数据传输路径按照数据传输路径的路径长度从小到大进行排列，然后基于所述排列顺序设置每条数据传输路径的顺序编号；
数据处理服务器根据数据传输路径的顺序编号和安防数据段的顺序编号为每个安防数据段选择相应的数据传输路径，并将每个安防数据段通过相应的数据传输路径从第二安防节点传输到第一安防节点。
进一步地，数据处理服务器对目标安防数据进行数据分割以得到若干个安防数据段包括：
数据处理服务器将目标安防数据作为第一安防数据，并提取第一安防数据的数据结构特征以得到第一安防数据的数据结构特征矩阵，然后基于所述第一安防数据的数据结构特征矩阵将第一安防数据划分为若干个第一安防子数据；
数据处理服务器将所有的第一安防子数据按照数据量进行从大到小排列以生成第一安防子数据序列，并从第一安防子数据序列中选择第一安防数据段，然后将第一安防数据中除了第一安防数据段以外所有的第一安防子数据进行数据整合以得到第二安防数据；
数据处理服务器将第二安防数据的数据量与数据量阈值进行比较，在第二安防数据的数据量大于数据量阈值时，根据第二安防数据的数据结构特征将第二安防数据划分为若干个第二安防子数据，并将所有的第二安防子数据按照数据量进行从大到小排列以生成第二安防子数据序列，然后从第二安防子数据序列中选择第二安防数据段；
数据处理服务器将第二安防数据中除了第二安防数据段以外的所有第二安防子数据进行数据整合以得到第三安防数据；
对以上步骤进行N次迭代，直到第N安防数据的数据量小于数据量阈值时停止对第N安防数据进行数据划分以将目标安防数据分割为若干个数据量各不相同的安防数据段；
数据处理服务器根据每个安防数据段的迭代顺序为每个安防数据段设置顺序编号；所述第一安防数据段的顺序编号为一，第二安防数据段的顺序编号为二，第N安防数据段的顺序编号为N。
进一步地，数据处理服务器从第一安防子数据序列中选择第一安防数据段包括：
数据处理服务器根据第一安防子数据序列中第一安防子数据的排列顺序遍历所有的第一安防子数据，并将正在遍历的第一安防子数据作为第一目标安防子数据，然后将第一目标安防子数据的数据量与数据量阈值进行比较；
在第一目标安防子数据的数据量小于或等于数据量阈值时，数据处理服务器停止遍历并将第一目标安防子数据作为第一安防数据段；
在第一目标安防子数据的数据量大于数据量阈值时，数据处理服务器将第一安防子数据序列中的下一个第一安防子数据作为第一目标安防子数据；
重复以上步骤直到第一目标安防子数据的数据量小于或等于数据量阈值。
进一步地，数据处理服务器提取第一安防数据的数据结构特征得到第一安防数据的数据结构特征矩阵包括：
数据处理服务器获取第一安防数据的所有数据结点，所述数据结点为数据存储单元；
数据处理服务器基于数据结点的分布情况将所有的数据结点进行连接生成第一安防数据的数据结构树，并将第一安防数据的数据结构树中具有子结点的数据结点作为特征数据结点以得到若干个特征数据结点；
数据处理服务器获取所有的特征数据结点，并获取特征数据结点与每个数据结点的欧式距离，然后将欧式距离小于预设距离阈值的数据结点作为特征数据结点的关联数据结点；
数据处理服务器统计每个特征数据结点的关联数据结点的数量，并将关联数据结点的数量大于或等于第一预设阈值的特征数据结点作为核心特征数据结点，然后将关联数据结点的数量小于第一预设阈值的特征数据结点作为边缘特征数据结点；
数据处理服务器基于核心特征数据结点和边缘特征数据结点获取第一安防数据的数据结构特征矩阵。
进一步地，数据处理服务器基于核心特征数据结点和边缘特征数据结点获取第一安防数据的数据结构特征矩阵包括：
数据处理服务器获取核心特征数据结点和边缘特征数据结点在数据结构树中的位置；
数据处理服务器将子结点的数量小于第二预设阈值的核心特征数据结点作为第一核心特征结点，并将子结点的数量大于或等于第二预设阈值的核心特征数据结点作为第二核心特征结点；
数据处理服务器将子结点的数量小于第二预设阈值的边缘特征数据结点作为第一边缘特征结点，并将子结点的数量大于或等于第二预设阈值的边缘特征数据结点作为第二边缘特征结点；
数据处理服务器将每个第一核心特征结点用单位向量进行初始化，并将所述单位向量映射到多维向量空间以得到每个第一边缘特征结点的特征向量；将每个第一边缘特征结点用零向量进行初始化，并将所述零向量映射到多维向量空间以得到每个第一边缘特征结点的特征向量；
数据处理服务器获取每个第二核心特征结点的子结点的特征向量，并将每个第二核心特征结点的所有子结点的特征向量进行累加以得到每个第二核心特征结点的特征向量；获取每个第二边缘特征结点的子结点的特征向量，并将每个第二边缘特征结点的所有子结点的特征向量进行累加以得到每个第二边缘特征结点的特征向量；
数据处理服务器根据所有第二核心特征结点的特征向量和所有第二边缘特征结点的特征向量进行矩阵扩展以生成第一安防数据的数据结构特征矩阵。
进一步地，数据处理服务器根据数据传输路径的顺序编号和安防数据段的顺序编号为每个安防数据段选择数据传输路径包括：
数据处理服务器获取每条数据传输路径和每个安防数据段的顺序编号，并将顺序编号相同的安防数据段和数据传输路径作为一个数据传输对以得到若干个数据传输对；所述数据传输路径包括最短数据传输路径和候选数据传输路径；
数据处理服务器遍历所有数据传输对，将正在遍历的数据传输对作为目标数据传输对，将目标数据传输对中的数据传输路径作为目标数据传输路径，将目标数据传输对中的安防数据段作为目标安防数据段；
数据处理服务器判断目标数据传输对是否存在数据缺失和节点缺失；所述数据缺失为相应的安防数据段出现损坏或丢失；所述节点缺失为相应的数据传输路径途径的节点出现崩溃或瘫痪；
在目标数据传输对不存在数据缺失或节点缺失时，数据处理服务器将目标安防数据段在目标数据传输路径的节点上进行排队，并将目标安防数据段通过目标数据传输路径从第二安防节点传输到第一安防节点；
在目标数据传输对存在数据缺失或节点缺失时，数据处理服务器将目标安防数据段在目标数据传输路径的节点上进行数据传输排队，并判断在预设时间阈值内目标数据传输对是否完成数据修复和节点修复；
在预设时间阈值内完成数据修复和节点修复时，数据处理服务器通过目标数据传输路径将目标安防数据段从第二安防节点传输到第一安防节点；在预设时间阈值内没有完成数据修复和节点修复时，数据处理服务器为目标安防数据段重新选择数据传输路径。
进一步地，数据处理服务器基于最短数据传输路径获取从第二安防节点到第一安防节点的若干条候选数据传输路径包括：
数据处理服务器将最短数据传输路径中除第一安防节点和第二安防节点外的其他节点作为途径节点；遍历所有的途径节点，并将正在遍历的途径节点作为目标途径节点；
数据处理服务器获取最短数据传输路径中第二安防节点到目标途径节点的数据传输路径，并将其作为第一候选子路径，然后根据目标坐标节点的坐标点和第一安防节点的坐标点生成第二候选子路径；
数据处理服务器将第一候选子路径和第二候选子路径通过目标途径节点连接以得到候选数据传输路径；
重复以上步骤直到遍历完所有的途径节点以得到若干条候选访问路径连接。
本发明具有以下有益效果：本申请通过目标安防数据的数据量将目标安防数据分为若干个安防数据段，并为每个安防数据段选择数据传输路径，然后通过每个安防数据段的数据传输路径将每个安防数据段从第二安防节点到传输到第一安防节点，避免了网络拥塞的情况，提高了数据传输效率。
附图说明
图1为一示例性实施例提供的基于大数据和智慧安防的数据管理系统的结构框图；
图2为本发明的数据处理服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参见图1，在一个实施例中，基于大数据和智慧安防的数据管理系统可以包括：安防节点、数据处理服务器和数据库，数据处理服务器分别与安防节点和数据库具有通信连接；
第一安防节点发送目标安防数据的数据访问请求到数据处理服务器；
数据处理服务器基于访问权限配置和访问控制策略对所述数据访问请求进行验证，并在所述数据访问请求通过验证时对数据访问请求进行授权；
数据处理服务器根据第一安防节点和第二安防节点的位置获取第一安防节点和第二安防节点的坐标点，并根据第一安防节点和第二安防节点的坐标点计算第二安防节点的坐标点与第一安防节点的坐标点的正切值以得到标准路径方向角，然后将第二安防节点的作为目标安防节点；
数据处理服务器将目标安防节点的通信范围中所有的安防节点作为候选安防节点，并获取所有候选安防节点的坐标点，然后基于每个候选安防节点的坐标点与第一安防节点的坐标点计算每个候选安防节点的坐标点与第一安防节点的坐标点的正切值以得到每个候选安防节点的参考路径方向角；
数据处理服务器计算每个参考路径方向角与标准路径方向角的偏差，并将偏差最小的参考路径方向角对应的候选安防节点作为途径节点，然后将途径节点作为目标安防节点；
在目标安防节点的通信范围中存在第一安防节点时，数据处理服务器将第二安防节点、所有的途径节点和第一安防节点依次连接以得到最短数据传输路径，并根据目标安防数据的数据量和最短数据传输路径将目标安防数据从第二安防节点发送到第一安防节点。
为了便于理解，下面对本发明的工作原理进行说明。在一个实施例中，基于大数据和智慧安防的数据管理系统执行的数据管理方法包括：
S1、第一安防节点发送目标安防数据的数据访问请求到数据处理服务器；数据处理服务器基于访问权限配置和访问控制策略对所述数据访问请求进行验证，并在所述数据访问请求通过验证时对数据访问请求进行授权。
安防数据为与安防相关的数据，访问权限配置为访问安防数据需要的权限，数据访问请求用于指示第一安防节点请求访问第二安防节点的目标安防数据，访问控制策略用于对数据请求方的访问权限配置进行验证。
第一安防节点为安防数据的数据请求方所在的安防节点；第二安防节点为安防数据的数据提供方所在的安防节点；安防节点为在安防网络中的网络节点。
S2、数据处理服务器根据第一安防节点和第二安防节点的位置获取第一安防节点和第二安防节点的坐标点，并根据第一安防节点和第二安防节点的坐标点计算第二安防节点的坐标点与第一安防节点的坐标点的正切值以得到标准路径方向角，然后将第二安防节点的作为目标安防节点。
数据处理服务器根据第二安防节点的坐标点与第一安防节点的坐标点的正切值计算第二安防节点的坐标点与第一安防节点的坐标点的正切角，并将第二安防节点的坐标点与第一安防节点的坐标点的正切角作为标准路径方向角。
S3、数据处理服务器将目标安防节点的通信范围中所有的安防节点作为候选安防节点，并获取所有候选安防节点的坐标点，然后基于每个候选安防节点的坐标点与第一安防节点的坐标点计算每个候选安防节点的坐标点与第一安防节点的坐标点的正切值以得到每个候选安防节点的参考路径方向角。
数据处理服务器根据候选安防节点的坐标点与第一安防节点的坐标点的正切值得到候选安防节点的坐标点与第一安防节点的坐标点的正切角，并将候选安防节点的坐标点与第一安防节点的坐标点的正切角作为参考路径方向角。
S4、数据处理服务器计算每个参考路径方向角与标准路径方向角的偏差，并将偏差最小的参考路径方向角对应的候选安防节点作为途径节点，然后将途径节点作为目标安防节点。
参考路径方向角与标准路径方向角的偏差为参考路径方向角与标准路径方向角的差值。
S5、在目标安防节点的通信范围中存在第一安防节点时，数据处理服务器将第二安防节点、所有的途径节点和第一安防节点依次连接以得到最短数据传输路径，并根据目标安防数据的数据量和最短数据传输路径将目标安防数据从第二安防节点发送到第一安防节点。
在一个实施例中，数据处理服务器根据目标安防数据的数据量和最短数据传输路径将目标安防数据从第二安防节点发送到第一安防节点包括：
数据处理服务器将目标安防数据的数据量与数据量阈值进行比较，在目标安防数据的数据量小于数据量阈值时，根据将目标安防数据根据最短数据传输路径从第二安防节点传输到第一安防节点；
数据处理服务器在目标安防数据的数据量大于数据量阈值时，对目标安防数据进行数据分割以将目标安防数据分为若干个数据量各不相同的安防数据段，并将所有的安防数据段按照数据量从大到小进行排列，然后基于所述排列顺序设置每个安防数据段的顺序编号；
数据处理服务器基于最短数据传输路径获取从第二安防节点到第一安防节点的若干条候选数据传输路径，并将最短数据传输路径和候选数据传输路径按照数据传输路径的路径长度从小到大进行排列，然后基于所述排列顺序设置每条数据传输路径的顺序编号；
数据处理服务器根据数据传输路径的顺序编号和安防数据段的顺序编号为每个安防数据段选择相应的数据传输路径，并将每个安防数据段通过相应的数据传输路径从第二安防节点传输到第一安防节点。
在一个实施例中，数据处理服务器对目标安防数据进行数据分割以得到若干个安防数据段包括：
数据处理服务器将目标安防数据作为第一安防数据，并提取第一安防数据的数据结构特征以得到第一安防数据的数据结构特征矩阵，然后基于所述第一安防数据的数据结构特征矩阵将第一安防数据划分为若干个第一安防子数据；
数据处理服务器将所有的第一安防子数据按照数据量进行从大到小排列以生成第一安防子数据序列，并从第一安防子数据序列中选择第一安防数据段，然后将第一安防数据中除了第一安防数据段以外所有的第一安防子数据进行数据整合以得到第二安防数据；
数据处理服务器将第二安防数据的数据量与数据量阈值进行比较，在第二安防数据的数据量大于数据量阈值时，根据第二安防数据的数据结构特征将第二安防数据划分为若干个第二安防子数据，并将所有的第二安防子数据按照数据量进行从大到小排列以生成第二安防子数据序列，然后从第二安防子数据序列中选择第二安防数据段；
数据处理服务器将第二安防数据中除了第二安防数据段以外的所有第二安防子数据进行数据整合以得到第三安防数据；
对以上步骤进行N次迭代，直到第N安防数据的数据量小于数据量阈值时停止对第N安防数据进行数据划分以将目标安防数据分割为若干个数据量各不相同的安防数据段；
数据处理服务器根据每个安防数据段的迭代顺序为每个安防数据段设置顺序编号；所述第一安防数据段的顺序编号为一，第二安防数据段的顺序编号为二，第N安防数据段的顺序编号为N。
N为在安防数据的数据量小于数据量阈值时的迭代次数。
在一个实施例中，数据处理服务器从第一安防子数据序列中选择第一安防数据段包括：
数据处理服务器根据第一安防子数据序列中第一安防子数据的排列顺序遍历所有的第一安防子数据，并将正在遍历的第一安防子数据作为第一目标安防子数据，然后将第一目标安防子数据的数据量与数据量阈值进行比较；
在第一目标安防子数据的数据量小于或等于数据量阈值时，数据处理服务器停止遍历并将第一目标安防子数据作为第一安防数据段；
在第一目标安防子数据的数据量大于数据量阈值时，数据处理服务器将第一安防子数据序列中的下一个第一安防子数据作为第一目标安防子数据；
重复以上步骤直到第一目标安防子数据的数据量小于或等于数据量阈值。
在一个实施例中，数据处理服务器提取第一安防数据的数据结构特征得到第一安防数据的数据结构特征矩阵包括：
数据处理服务器获取第一安防数据的所有数据结点，所述数据结点为数据存储单元；
数据处理服务器基于数据结点的分布情况将所有的数据结点进行连接生成第一安防数据的数据结构树，并将第一安防数据的数据结构树中具有子结点的数据结点作为特征数据结点以得到若干个特征数据结点；
数据处理服务器获取所有的特征数据结点，并获取特征数据结点与每个数据结点的欧式距离，然后将欧式距离小于预设距离阈值的数据结点作为特征数据结点的关联数据结点；
数据处理服务器统计每个特征数据结点的关联数据结点的数量，并将关联数据结点的数量大于或等于第一预设阈值的特征数据结点作为核心特征数据结点，然后将关联数据结点的数量小于第一预设阈值的特征数据结点作为边缘特征数据结点；
数据处理服务器基于核心特征数据结点和边缘特征数据结点获取第一安防数据的数据结构特征矩阵。
在一个实施例中，数据处理服务器基于核心特征数据结点和边缘特征数据结点获取第一安防数据的数据结构特征矩阵包括：
数据处理服务器获取核心特征数据结点和边缘特征数据结点在数据结构树中的位置；
数据处理服务器将子结点的数量小于第二预设阈值的核心特征数据结点作为第一核心特征结点，并将子结点的数量大于或等于第二预设阈值的核心特征数据结点作为第二核心特征结点；
数据处理服务器将子结点的数量小于第二预设阈值的边缘特征数据结点作为第一边缘特征结点，并将子结点的数量大于或等于第二预设阈值的边缘特征数据结点作为第二边缘特征结点；
数据处理服务器将每个第一核心特征结点用单位向量进行初始化，并将所述单位向量映射到多维向量空间以得到每个第一边缘特征结点的特征向量；将每个第一边缘特征结点用零向量进行初始化，并将所述零向量映射到多维向量空间以得到每个第一边缘特征结点的特征向量；
数据处理服务器获取每个第二核心特征结点的子结点的特征向量，并将每个第二核心特征结点的所有子结点的特征向量进行累加以得到每个第二核心特征结点的特征向量；获取每个第二边缘特征结点的子结点的特征向量，并将每个第二边缘特征结点的所有子结点的特征向量进行累加以得到每个第二边缘特征结点的特征向量；
数据处理服务器根据所有第二核心特征结点的特征向量和所有第二边缘特征结点的特征向量进行矩阵扩展以生成第一安防数据的数据结构特征矩阵。
第一预设阈值和第二预设阈值根据实际情况预先进行设置。
在一个实施例中，数据处理服务器根据数据传输路径的顺序编号和安防数据段的顺序编号为每个安防数据段选择数据传输路径包括：
数据处理服务器获取每条数据传输路径和每个安防数据段的顺序编号，并将顺序编号相同的安防数据段和数据传输路径作为一个数据传输对以得到若干个数据传输对；所述数据传输路径包括最短数据传输路径和候选数据传输路径；
数据处理服务器遍历所有数据传输对，将正在遍历的数据传输对作为目标数据传输对，将目标数据传输对中的数据传输路径作为目标数据传输路径，将目标数据传输对中的安防数据段作为目标安防数据段；
数据处理服务器判断目标数据传输对是否存在数据缺失和节点缺失；所述数据缺失为相应的安防数据段出现损坏或丢失；所述节点缺失为相应的数据传输路径途径的节点出现崩溃或瘫痪；
在目标数据传输对不存在数据缺失或节点缺失时，数据处理服务器将目标安防数据段在目标数据传输路径的节点上进行排队，并将目标安防数据段通过目标数据传输路径从第二安防节点传输到第一安防节点；
在目标数据传输对存在数据缺失或节点缺失时，数据处理服务器将目标安防数据段在目标数据传输路径的节点上进行数据传输排队，并判断在预设时间阈值内目标数据传输对是否完成数据修复和节点修复；
在预设时间阈值内完成数据修复和节点修复时，数据处理服务器通过目标数据传输路径将目标安防数据段从第二安防节点传输到第一安防节点；在预设时间阈值内没有完成数据修复和节点修复时，数据处理服务器为目标安防数据段重新选择数据传输路径。
在一个实施例中，数据处理服务器基于最短数据传输路径获取从第二安防节点到第一安防节点的若干条候选数据传输路径包括：
数据处理服务器将最短数据传输路径中除第一安防节点和第二安防节点外的其他节点作为途径节点；遍历所有的途径节点，并将正在遍历的途径节点作为目标途径节点；
数据处理服务器获取最短数据传输路径中第二安防节点到目标途径节点的数据传输路径，并将其作为第一候选子路径，然后根据目标坐标节点的坐标点和第一安防节点的坐标点生成第二候选子路径；
数据处理服务器将第一候选子路径和第二候选子路径通过目标途径节点连接以得到候选数据传输路径；
重复以上步骤直到遍历完所有的途径节点以得到若干条候选访问路径连接。
本申请通过目标安防数据的数据量将目标安防数据分为若干个安防数据段，并为每个安防数据段选择数据传输路径，然后通过每个安防数据段的数据传输路径将每个安防数据段从第二安防节点到传输到第一安防节点，避免了网络拥塞的情况，提高了数据传输效率。
图2为本发明的数据处理服务器的结构示意图。
如图2所示，该服务器可包括网络接口、机器可读存储介质、处理器以及总线。处理器可以是一个或多个，图2中以一个处理器为例。网络接口、机器可读存储介质以及处理器可以通过总线或其他方式连接，图2中以通过总线连接为例。
机器可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，机器可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable rom，PROM、可擦除可编程只读存储器(Erasableprom，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM或闪存。易失性存储器可以是随机存取存储器(Random Access memory，RAM)，其用作外部髙速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM、同步动态随机存取存储器(SynchronousDRAM，SDRAM、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。
在一些实例中，机器可读存储介质可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
服务器可以通过网络接口和其它设备进行信息交互。网络接口可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。处理器可以利用网络接口收发信息。
上述实施例只为说明本发明的技术构思及特点，其目的是让熟悉该技术领域的技术人员能够了解本发明的内容并据以实施，并不能以此来限制本发明的保护范围。凡根据本发明精神实质所作出的等同变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于大数据和智慧安防的数据管理系统，其特征在于，其包括：安防节点、数据处理服务器和数据库，数据处理服务器分别与安防节点和数据库具有通信连接；
第一安防节点发送目标安防数据的数据访问请求到数据处理服务器；
数据处理服务器基于访问权限配置和访问控制策略对所述数据访问请求进行验证，并在所述数据访问请求通过验证时对数据访问请求进行授权；
数据处理服务器根据第一安防节点和第二安防节点的位置获取第一安防节点和第二安防节点的坐标点，并根据第一安防节点和第二安防节点的坐标点计算第二安防节点的坐标点与第一安防节点的坐标点的正切值以得到标准路径方向角，然后将第二安防节点的作为目标安防节点；
数据处理服务器将目标安防节点的通信范围中所有的安防节点作为候选安防节点，并获取所有候选安防节点的坐标点，然后基于每个候选安防节点的坐标点与第一安防节点的坐标点计算每个候选安防节点的坐标点与第一安防节点的坐标点的正切值以得到每个候选安防节点的参考路径方向角；
数据处理服务器计算每个参考路径方向角与标准路径方向角的偏差，并将偏差最小的参考路径方向角对应的候选安防节点作为途径节点，然后将途径节点作为目标安防节点；
在目标安防节点的通信范围中存在第一安防节点时，数据处理服务器将第二安防节点、所有的途径节点和第一安防节点依次连接以得到最短数据传输路径，并根据目标安防数据的数据量和最短数据传输路径将目标安防数据从第二安防节点发送到第一安防节点；
数据处理服务器根据目标安防数据的数据量和最短数据传输路径将目标安防数据从第二安防节点发送到第一安防节点包括：
数据处理服务器将目标安防数据的数据量与数据量阈值进行比较，在目标安防数据的数据量小于数据量阈值时，根据将目标安防数据根据最短数据传输路径从第二安防节点传输到第一安防节点；
数据处理服务器在目标安防数据的数据量大于数据量阈值时，对目标安防数据进行数据分割以将目标安防数据分为若干个数据量各不相同的安防数据段，并将所有的安防数据段按照数据量从大到小进行排列，然后基于所述排列顺序设置每个安防数据段的顺序编号；
数据处理服务器基于最短数据传输路径获取从第二安防节点到第一安防节点的若干条候选数据传输路径，并将最短数据传输路径和候选数据传输路径按照数据传输路径的路径长度从小到大进行排列，然后基于所述排列顺序设置每条数据传输路径的顺序编号；
数据处理服务器根据数据传输路径的顺序编号和安防数据段的顺序编号为每个安防数据段选择相应的数据传输路径，并将每个安防数据段通过相应的数据传输路径从第二安防节点传输到第一安防节点。
2.根据权利要求1所述的系统，其特征在于，所述第一安防节点为安防数据的数据请求方所在的安防节点；所述第二安防节点为安防数据的数据提供方所在的安防节点；所述安防节点为在安防网络中的网络节点。
3.根据权利要求2所述的系统，其特征在于，所述网络节点为具有独立地址和数据传输功能的设备，其包括个人计算机和服务器。
4.根据权利要求3所述的系统，其特征在于，数据处理服务器对目标安防数据进行数据分割以得到若干个安防数据段包括：
数据处理服务器将目标安防数据作为第一安防数据，并提取第一安防数据的数据结构特征以得到第一安防数据的数据结构特征矩阵，然后基于所述第一安防数据的数据结构特征矩阵将第一安防数据划分为若干个第一安防子数据；
数据处理服务器将所有的第一安防子数据按照数据量进行从大到小排列以生成第一安防子数据序列，并从第一安防子数据序列中选择第一安防数据段，然后将第一安防数据中除了第一安防数据段以外所有的第一安防子数据进行数据整合以得到第二安防数据；
数据处理服务器将第二安防数据的数据量与数据量阈值进行比较，在第二安防数据的数据量大于数据量阈值时，根据第二安防数据的数据结构特征将第二安防数据划分为若干个第二安防子数据，并将所有的第二安防子数据按照数据量进行从大到小排列以生成第二安防子数据序列，然后从第二安防子数据序列中选择第二安防数据段；
数据处理服务器将第二安防数据中除了第二安防数据段以外的所有第二安防子数据进行数据整合以得到第三安防数据；
对以上步骤进行N次迭代，直到第N安防数据的数据量小于数据量阈值时停止对第N安防数据进行数据划分以将目标安防数据分割为若干个数据量各不相同的安防数据段；
数据处理服务器根据每个安防数据段的迭代顺序为每个安防数据段设置顺序编号；所述第一安防数据段的顺序编号为一，第二安防数据段的顺序编号为二，第N安防数据段的顺序编号为N。
5.根据权利要求4所述的系统，其特征在于，数据处理服务器从第一安防子数据序列中选择第一安防数据段包括：
数据处理服务器根据第一安防子数据序列中第一安防子数据的排列顺序遍历所有的第一安防子数据，并将正在遍历的第一安防子数据作为第一目标安防子数据，然后将第一目标安防子数据的数据量与数据量阈值进行比较；
在第一目标安防子数据的数据量小于或等于数据量阈值时，数据处理服务器停止遍历并将第一目标安防子数据作为第一安防数据段；
在第一目标安防子数据的数据量大于数据量阈值时，数据处理服务器将第一安防子数据序列中的下一个第一安防子数据作为第一目标安防子数据；
重复以上步骤直到第一目标安防子数据的数据量小于或等于数据量阈值。
6.根据权利要求5所述的系统，其特征在于，数据处理服务器提取第一安防数据的数据结构特征得到第一安防数据的数据结构特征矩阵包括：
数据处理服务器获取第一安防数据的所有数据结点，所述数据结点为数据存储单元；
数据处理服务器基于数据结点的分布情况将所有的数据结点进行连接生成第一安防数据的数据结构树，并将第一安防数据的数据结构树中具有子结点的数据结点作为特征数据结点以得到若干个特征数据结点；
数据处理服务器获取所有的特征数据结点，并获取特征数据结点与每个数据结点的欧式距离，然后将欧式距离小于预设距离阈值的数据结点作为特征数据结点的关联数据结点；
数据处理服务器统计每个特征数据结点的关联数据结点的数量，并将关联数据结点的数量大于或等于第一预设阈值的特征数据结点作为核心特征数据结点，然后将关联数据结点的数量小于第一预设阈值的特征数据结点作为边缘特征数据结点；
数据处理服务器基于核心特征数据结点和边缘特征数据结点获取第一安防数据的数据结构特征矩阵。
7.根据权利要求6所述的系统，其特征在于，数据处理服务器基于核心特征数据结点和边缘特征数据结点获取第一安防数据的数据结构特征矩阵包括：
数据处理服务器获取核心特征数据结点和边缘特征数据结点在数据结构树中的位置；
数据处理服务器将子结点的数量小于第二预设阈值的核心特征数据结点作为第一核心特征结点，并将子结点的数量大于或等于第二预设阈值的核心特征数据结点作为第二核心特征结点；
数据处理服务器将子结点的数量小于第二预设阈值的边缘特征数据结点作为第一边缘特征结点，并将子结点的数量大于或等于第二预设阈值的边缘特征数据结点作为第二边缘特征结点；
数据处理服务器将每个第一核心特征结点用单位向量进行初始化，并将所述单位向量映射到多维向量空间以得到每个第一边缘特征结点的特征向量；将每个第一边缘特征结点用零向量进行初始化，并将所述零向量映射到多维向量空间以得到每个第一边缘特征结点的特征向量；
数据处理服务器获取每个第二核心特征结点的子结点的特征向量，并将每个第二核心特征结点的所有子结点的特征向量进行累加以得到每个第二核心特征结点的特征向量；获取每个第二边缘特征结点的子结点的特征向量，并将每个第二边缘特征结点的所有子结点的特征向量进行累加以得到每个第二边缘特征结点的特征向量；
数据处理服务器根据所有第二核心特征结点的特征向量和所有第二边缘特征结点的特征向量进行矩阵扩展以生成第一安防数据的数据结构特征矩阵。
8.根据权利要求7所述的系统，其特征在于，数据处理服务器根据数据传输路径的顺序编号和安防数据段的顺序编号为每个安防数据段选择数据传输路径包括：
数据处理服务器获取每条数据传输路径和每个安防数据段的顺序编号，并将顺序编号相同的安防数据段和数据传输路径作为一个数据传输对以得到若干个数据传输对；所述数据传输路径包括最短数据传输路径和候选数据传输路径；
数据处理服务器遍历所有数据传输对，将正在遍历的数据传输对作为目标数据传输对，将目标数据传输对中的数据传输路径作为目标数据传输路径，将目标数据传输对中的安防数据段作为目标安防数据段；
数据处理服务器判断目标数据传输对是否存在数据缺失和节点缺失；所述数据缺失为相应的安防数据段出现损坏或丢失；所述节点缺失为相应的数据传输路径途径的节点出现崩溃或瘫痪；
在目标数据传输对不存在数据缺失或节点缺失时，数据处理服务器将目标安防数据段在目标数据传输路径的节点上进行排队，并将目标安防数据段通过目标数据传输路径从第二安防节点传输到第一安防节点；
在目标数据传输对存在数据缺失或节点缺失时，数据处理服务器将目标安防数据段在目标数据传输路径的节点上进行数据传输排队，并判断在预设时间阈值内目标数据传输对是否完成数据修复和节点修复；
在预设时间阈值内完成数据修复和节点修复时，数据处理服务器通过目标数据传输路径将目标安防数据段从第二安防节点传输到第一安防节点；在预设时间阈值内没有完成数据修复和节点修复时，数据处理服务器为目标安防数据段重新选择数据传输路径。
9.根据权利要求8所述的系统，其特征在于，数据处理服务器基于最短数据传输路径获取从第二安防节点到第一安防节点的若干条候选数据传输路径包括：
数据处理服务器将最短数据传输路径中除第一安防节点和第二安防节点外的其他节点作为途径节点；遍历所有的途径节点，并将正在遍历的途径节点作为目标途径节点；
数据处理服务器获取最短数据传输路径中第二安防节点到目标途径节点的数据传输路径，并将其作为第一候选子路径，然后根据目标坐标节点的坐标点和第一安防节点的坐标点生成第二候选子路径；
数据处理服务器将第一候选子路径和第二候选子路径通过目标途径节点连接以得到候选数据传输路径；
重复以上步骤直到遍历完所有的途径节点以得到若干条候选访问路径连接。
CN202110928441.8A 2021-08-13 2021-08-13 基于大数据和智慧安防的数据管理系统 Active CN113726749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110928441.8A CN113726749B (zh) 2021-08-13 2021-08-13 基于大数据和智慧安防的数据管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110928441.8A CN113726749B (zh) 2021-08-13 2021-08-13 基于大数据和智慧安防的数据管理系统

Publications (2)

Publication Number Publication Date
CN113726749A CN113726749A (zh) 2021-11-30
CN113726749B true CN113726749B (zh) 2023-04-28

Family

ID=78675715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110928441.8A Active CN113726749B (zh) 2021-08-13 2021-08-13 基于大数据和智慧安防的数据管理系统

Country Status (1)

Country Link
CN (1) CN113726749B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111711635A (zh) * 2020-06-23 2020-09-25 平安银行股份有限公司 防火墙开墙方法、装置、计算机设备及存储介质
CN112256495A (zh) * 2020-10-20 2021-01-22 平安科技（深圳）有限公司 数据传输方法、装置、计算机设备及存储介质
CN112329040A (zh) * 2020-02-14 2021-02-05 张�浩 电子商务数据处理方法、电子商务系统及服务器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6625318B2 (ja) * 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
CN110391982B (zh) * 2018-04-20 2022-03-11 伊姆西Ip控股有限责任公司 传输数据的方法、设备和计算机程序产品
CN109284191A (zh) * 2018-09-21 2019-01-29 深圳市九洲电器有限公司 安防数据均衡方法及其系统
CN109302346B (zh) * 2018-10-25 2020-09-18 网宿科技股份有限公司 一种传输数据流量的方法和装置
CN109600447B (zh) * 2018-12-21 2021-08-10 北京百度网讯科技有限公司 用于处理数据的方法、装置和系统
CN110347708B (zh) * 2019-06-28 2023-06-30 深圳市元征科技股份有限公司 一种数据处理方法以及相关设备
CN111444237A (zh) * 2020-03-24 2020-07-24 维沃移动通信有限公司 服务器系统、数据传输方法及电子设备
CN111783141B (zh) * 2020-07-02 2021-08-06 深圳市腾盟技术有限公司 基于区块链的数据存储方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329040A (zh) * 2020-02-14 2021-02-05 张�浩 电子商务数据处理方法、电子商务系统及服务器
CN111711635A (zh) * 2020-06-23 2020-09-25 平安银行股份有限公司 防火墙开墙方法、装置、计算机设备及存储介质
CN112256495A (zh) * 2020-10-20 2021-01-22 平安科技（深圳）有限公司 数据传输方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113726749A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN111245912B (zh) 智能楼宇信息监控方法、装置、服务器及智能楼宇系统
CN108494575B (zh) 一种基于图数据库的电力通信网运行方式建模方法及系统
CN104298541A (zh) 云存储系统的数据分布算法及其装置
CN103366411B (zh) 用于通过无线网络传输车辆位置数据残差的方法和装置
CN103970879B (zh) 一种调整数据块存储位置的方法及系统
CN106921578A (zh) 一种转发表项的生成方法和装置
CN110413845A (zh) 基于物联网操作系统的资源存储方法及装置
CN111707279A (zh) 一种激光点云与地图的匹配评价方法、介质、终端和装置
CN109587072A (zh) 分布式系统全局限速系统及方法
CN113900810A (zh) 分布式图处理方法、系统及存储介质
CN109739433A (zh) 数据处理的方法及终端设备
CN113726749B (zh) 基于大数据和智慧安防的数据管理系统
CN112215864B (zh) 电子地图的轮廓处理方法、装置及电子设备
CN110765319B (zh) 一种提高Janusgraph路径探索性能的方法
CN113722728B (zh) 基于区块链的智慧政务信息管理方法
CN111258968A (zh) 企业冗余数据清理方法、装置及大数据平台
CN110887490A (zh) 一种激光定位导航的关键帧选取方法、介质、终端和装置
CN110727831A (zh) 全路径计算方法、装置、计算机设备和存储介质
CN116467081A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN110019043B (zh) 一种区块链数据存储方法
CN109688758A (zh) 用于确定数据中心故障的方法、装置、电子设备和介质
CN111107162B (zh) 基于物联网的室内定位数据处理方法、装置及系统
CN110781202B (zh) 本科教学质量信息的数据智能收集方法及系统
CN113239905A (zh) 车道线简化方法、装置、电子设备及存储介质
CN108768735B (zh) 一种测试床拓扑结构的二分图采样方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230331

Address after: Room 1702, 17th Floor, Building 10, Xingfu Lane, No. 56, Section 1, Jinci Road, Wanbailin District, Taiyuan City, Shanxi Province, 030000

Applicant after: Shanxi Xinborui Technology Co.,Ltd.

Address before: 610000 Tianfu Software Park, Tianhua 2nd Road, Wuhou District, Chengdu, Sichuan

Applicant before: Liu Yingsen

GR01 Patent grant
GR01 Patent grant