CN113612705A - 基于哈希算法分片及重组的电网监控系统数据传输方法 - Google Patents

基于哈希算法分片及重组的电网监控系统数据传输方法 Download PDF

Info

Publication number
CN113612705A
CN113612705A CN202110880044.8A CN202110880044A CN113612705A CN 113612705 A CN113612705 A CN 113612705A CN 202110880044 A CN202110880044 A CN 202110880044A CN 113612705 A CN113612705 A CN 113612705A
Authority
CN
China
Prior art keywords
data
fragment
hash
piece
pieces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110880044.8A
Other languages
English (en)
Other versions
CN113612705B (zh
Inventor
齐鹏辉
郑志豪
龚舒
何伊妮
江雄烽
曹伟
韦洪波
叶桂南
阮诗迪
刘欣然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Power Grid Co Ltd
Original Assignee
Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Power Grid Co Ltd filed Critical Guangxi Power Grid Co Ltd
Priority to CN202110880044.8A priority Critical patent/CN113612705B/zh
Publication of CN113612705A publication Critical patent/CN113612705A/zh
Application granted granted Critical
Publication of CN113612705B publication Critical patent/CN113612705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • H04L49/9057Arrangements for supporting packet reassembly or resequencing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/74Address processing for routing
    • H04L45/745Address table lookup; Address filtering
    • H04L45/7453Address table lookup; Address filtering using hashing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种基于哈希算法分片及重组的电网监控系统数据传输方法、装置、计算机设备和存储介质。该方法包括:传输服务器通过确定各目标存储器的存储地址;将待传输数据进行分片得到多个片数据,并对各片数据均进行标注处理,得到各分片标识,并将分片标识与存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据按照与分片标识对应的存储地址存储至目标存储器,再基于分片标识和哈希数据表生成数据传输请求,并将数据传输请求发送至隔离服务器,以使得隔离服务器获取各个片数据,这样,在数据传输的过程中,隔离服务器通过对获取的各个片数据进行处理,能够大大降低隔离服务器的处理压力,从而实现在传输数据时的负载均衡的需求。

Description

基于哈希算法分片及重组的电网监控系统数据传输方法
技术领域
本申请涉及电力系统信息化技术领域,特别是涉及一种基于哈希算法分片及重组的电网监控系统数据传输方法、装置、计算机设备和存储介质。
背景技术
随着电力系统信息化技术的发展,为确保电力核心系统安全,电力系统开始采用安全防护机制,在我国的电力系统中,将基于计算机和网络技术的业务区分为实时控制区(即安全一区)和非控制生产区(即安全二区),将管理信息区分为生产管理区(即安全三区)和管理信息区(即安全四区)。其中,实时控制区与非控制生产区之间的通信、生产管理区与管理信息区之间的通信,均使用防火墙实现逻辑隔离,对于实时控制区与生成管理区之间的通信、以及非控制生产区与生成管理区之间的通信,均通过网络安全隔离装置隔离,从而实现各个区域之间的区间业务应用的数据共享需要。
然而,随着数据的大量积累,业务区(实时控制区、非控制生产区)与管理信息区之间对海量数据,尤其是实时数据、历史数据、全网模型数据的交换需求也越来越大,这大大增加了隔离服务器的处理压力,使得隔离服务器无法应对跨区域数据传递的需求。
发明内容
基于此,有必要针对上述技术问题,提供一种基于哈希算法分片及重组的电网监控系统数据传输方法、装置、计算机设备和存储介质。
一种基于哈希算法分片及重组的电网监控系统数据传输方法,由传输服务器执行,所述方法包括:
确定与多个目标存储器分别对应的存储地址;将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。
在其中一个实施例中,该将待传输数据进行分片得到多个片数据,包括:
获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。
在其中一个实施例中,该将待传输数据进行分片得到多个片数据,包括:
确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。
在其中一个实施例中,该将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表,包括:
对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。
一种基于哈希算法分片及重组的电网监控系统数据传输方法,由隔离服务器执行,该方法包括:
接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。
一种基于哈希算法分片及重组的电网监控系统数据传输方法,由隔离服务器执行,该方法还包括:
接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于传输服务器,该装置包括:
确定模块,用于确定与多个目标存储器分别对应的存储地址;
标注模块,用于将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;
建立模块,用于将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;
存储模块,用于将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;
第一发送模块,用于基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。
在其中一个实施例中,该标注模块,具体用于:
获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。
在其中一个实施例中,该标注模块,具体用于:
确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。
在其中一个实施例中,该建立模块,具体用于:
对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。
一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于隔离服务器,该装置包括:
第一接收模块,用于接收数据传输请求,并解析所述数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;
第一查找模块,用于基于所述分片标识,从所述哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与所述分片标识对应的片数据;
第一重组模块,用于按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将所述待传输数据发送至接收服务器。
一种基于哈希算法分片及重组的电网监控系统数据传输装置,其特征在于,应用于隔离服务器,该装置包括:
第二接收模块,用于接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;
第二查找模块,用于基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;
第二发送模块,用于将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述任一所述的基于哈希算法分片及重组的电网监控系统数据传输方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一所述的基于哈希算法分片及重组的电网监控系统数据传输方法。
上述基于哈希算法分片及重组的电网监控系统数据传输方法、装置、计算机设备和存储介质,传输服务器通过确定与多个目标存储器分别对应的存储地址,传输服务器将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识,并且将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;传输服务器将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,这样,能够根据哈希数据表迅速且准确的确定存储有片数据的目标存储器,然后传输服务器基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据,这样,在数据传输的过程中,隔离服务器通过对获取的各个片数据进行处理,能够大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。
附图说明
图1为一个实施例中基于哈希算法分片及重组的电网监控系统数据传输方法的应用环境图;
图2为一个实施例中基于哈希算法分片及重组的电网监控系统数据传输方法的流程示意图;
图3为另一个实施例中基于哈希算法分片及重组的电网监控系统数据传输方法的流程示意图;
图4为一个实施例中基于哈希算法分片及重组的电网监控系统数据传输装置的结构框图;
图5为另一个实施例中基于哈希算法分片及重组的电网监控系统数据传输装置的结构框图;
图6为另一个实施例中基于哈希算法分片及重组的电网监控系统数据传输装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于哈希算法分片及重组的电网监控系统数据传输方法,可以应用于如图1所示的应用环境中。其中,传输服务器102通过网络与隔离服务器104进行通信。传输服务器102确定与多个目标存储器分别对应的存储地址;传输服务器102将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;传输服务器102将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;传输服务器102将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;传输服务器102基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。其中,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输方法,以该方法应用于图1中的传输服务器为例进行说明,包括以下步骤:
步骤S202,确定与多个目标存储器分别对应的存储地址。
其中,存储器为用于存储数据和指令等的记忆部件。
具体地,传输服务器从多个存储器中确定多个目标存储器,并基于多个目标存储器,确定与各个目标存储器对应的存储地址。
步骤S204,将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识。
其中,分片标识包括各个片数据所属待传输数据的字符标号,以及确定各个片数据的顺序标号。
具体地,传输服务器对待传输数据进行分片处理,获得多个与待传输数据对应的片数据,并对每个片数据分别进行标注处理,得到各个片数据给自对应的分片标识。
例如,传输服务器对待传输数据A进行分片处理,获得10个片数据,对每个片数据进行标注处理,得到对应的片数据分片标识可以为A-0001、A-0002、……、A-0010。以片数据A-0001为例,其中字符A为各个片数据所属待传输数据的字符标识,该字符标识为对片数据进行唯一标识,0001为顺序标号,该顺序标号可以用数字排列的形式进行表征,,基于该顺序标号确定各个片数据的顺序。
步骤S206,将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表。
其中,哈希数据表是将关键码值映射到表中一个位置来实现访问的数据结果,以此加快查找的速度。
具体地,传输服务器基于各个片数据的分片标识、各个目标存储器的存储地址,通过哈希算法,确定每个分片标识对应的存储地址,并确定各个分片标识与存储地址的对应关系,基于对应关系建立索引关系,得到哈希数据表。
步骤S208,将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中。
具体地,传输服务器基于分片标识与存储地址的对应关系,将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,例如,传输服务器基于分片标识对应的序号,按照从小到大的顺序,根据分片标识与存储地址的对应关系,依次将片数据存储至对应的目标存储器中。
步骤S210,基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。
具体地,传输服务器基于分片标识和该哈希数据表生成携带有哈希数据表以及分片标识的数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于数据传输请求获取哈希数据表和分片标识,并基于该哈希数据表和分片标识,从各个目标存储器中获取对应的各个片数据。
例如,传输服务器基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,进行信息查询,以分别访问各个片数据对应的目标存储器中,并从各个目标存储器中获取各个片数据。
上述基于哈希算法分片及重组的电网监控系统数据传输方法中,通过确定与多个目标存储器分别对应的存储地址,将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识,并且将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,这样,能够根据哈希数据表迅速且准确的确定存储有片数据的目标存储器,然后基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据,这样,在数据传输的过程中,隔离服务器通过对获取的各个片数据进行处理,能够大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。
在一个实施例中,该将待传输数据进行分片得到多个片数据,包括:获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。
具体地,传输服务器分别获取待传输数据的总数据量、目标存储器的数量,将目标存储器的数量作为片数据的数量,传输服务器将该待传输数据的总数据量除以该片数据的数量,得到每个片数据的单位数据量,传输服务器通过单位数据量对待传输的总数据量进行分片,得到多个数据量相同的片数据。
例如,传输服务器获取待传输数据的总数据量,该总数据量为A,目标存储器的数量为B,则传输服务器确定片数据的数量为B,将该待传输的总数据量除以该片数据的数量,得到每个片数据的单位数据量为A/B,传输服务器根据单位数据量为A/B对总数据量进行平均分片,得到多个数据量均为A/B的片数据。
在本实施例中,获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据,能够确保每次分片的数量是相同的,并且得到的每个片数据的数据量大小都是相同的,这样,传输服务器通过传输各个数据量相同的片数据,能够保证传输服务器传输数据时的均衡传输,有利于后续隔离服务器通过获取各个片数据,大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。
在一个实施例中,该将待传输数据进行分片得到多个片数据,包括:确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。
具体地,传输服务器基于预设文件确定预设数据量,基于该预设数据量对待传输数据逐一分片,直至剩余的待传输数据的剩余数据量小于预设数据量。
例如,传输服务器获取预设文件,并基于该预设文件确定预设数据量,传输服务器基于预设数据量对待传输数据进行第一次分片,得到第一个片数据和第一次剩余数据,并比较第一次剩余数据与预设数据量的大小,当第一次剩余数据大于预设数据量时,传输服务器基于预设数据量对第一次剩余数据进行第二次分片,得到第二个片数据和第二次剩余数据,进行下一次的迭代循环,并将第二次剩余数据作为下一次迭代所随意的第一次剩余数据,返回比较第一次剩余数据与预设数据量的大小的步骤继续执行,直至第一次剩余数据小于或等于预设数据量时停止,获取经过迭代循环得到的多个片数据。
在本实施例中,确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据,能够确保最多一个片数据的数据量小于该预设数据量,从而确保其余的片数据的数据量都是相同,最大程度上保证传输服务器传输数据时均衡传输,有利于后续隔离服务器通过获取各个片数据,大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。
在一个实施例中,该将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表,包括:对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。
具体地,传输服务器通过哈希算法对分片标识进行哈希处理,得到与分片标识对应的映射地址,传输服务器将各个存储地址与该分片标识对应的各个映射地址进一一关联对应,建立各个存储地址与各个映射地址的索引关系,得到哈希数据表。
例如,传输服务器获取哈希函数,将各个分片标识输入至哈希函数中得到与分片标识对应的映射地址,传输服务器按照各个映射地址的顺序,依次将各个映射地址与各个存储地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。
在本实施例,对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表,这样,能够使得隔离服务器哈希数据表和分片标识,从该目标存储器中获取各个片数据,有利于后续隔离服务器通过获取各个片数据,大大降低隔离服务器的处理压力,从而实现了在传输数据时的负载均衡的需求。
在一个实施例中,如图3所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输方法,以该方法应用于图1中的隔离服务器为例进行说明,包括以下步骤:
步骤S302,接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到。
具体地,隔离服务器接收数据传输请求,并对该数据传输请求进行解析,得到哈希数据表和分片标识,该哈希数据表是将该分片标识与多个目标存储器分别对应的存储地址一一对应并建立索引得到的,其中,分片标识是基于传输服务器对待传输数据进行分片得到的多个片数据进行标注处理获得。
步骤S304,基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据。
具体地,隔离服务器基于从数据传输请求中获取的分片标识,从该哈希数据表中存储有多个存储地址的映射地址中,查询与各个分片标识对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据。
步骤S306,按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。
具体地,隔离服务器获取各个目标存储器中的各个片数据,基于各个分片标识,隔离服务器按照各个片数据各自对应的分片标识顺序,对多个片数据进行重组得到待传输数据,该隔离服务器将该传输数据发送至接收服务器。
在一个可选实施例中,隔离服务器接收由传输服务器发送的数据传输请求,从该数据传输请求中获取哈希数据表和分片标识,基于该分片标识,从哈希数据表中的映射地址中确定与各个片数据对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据,隔离服务器基于分片标识中确定待传输数据的字符标号、各个片数据的顺序标号,基于字符标号确定属于同一待传输数据的各个片数据,基于该顺序标号确定各个片数据的顺序,隔离服务器将同一待传输数据的多个片数据按照顺序标号进行重组得到待传输数据,并将该待传输数据发送至接收服务器。
在本实施例中,隔离服务器接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;隔离服务器基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,这样能够直接且准确地确定存储地址,从而能够基于查找到的存储地址直接从各个目标存储器中获取与该分片标识对应的片数据;隔离服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器,这样,隔离服务器通过对各个片数据进行获取,能够大大降低隔离服务器的处理压力。
在一个实施例中,一种基于哈希算法分片及重组的电网监控系统数据传输方法,其特征在于,由隔离服务器执行,该方法还包括:
接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
具体地,隔离服务器接收由传输服务器发送的数据传输请求,并对该数据传输请求进行解析,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到,其中,分片标识是基于传输服务器对待传输数据进行分片得到的多个片数据进行标注处理获得,隔离服务器基于分片标识,从哈希数据表中存储有多个存储地址的映射地址中,查询与各个分片标识对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据,将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
例如,隔离服务器接收由传输服务器发送的数据传输请求,并从该数据传输请求中获取哈希数据表和分片标识,基于该分片标识,从哈希数据表中的映射地址中确定与各个片数据对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据,将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识中的字符标号确定属于同一待传输数据的各个片数据,再按照各个片数据各自对应的分片标识中的顺序标号确定各个片数据的顺序,该接收服务器将同一待传输数据的多个片数据按照顺序标号进行重组得到待传输数据。
在本实施例中,接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,这样能够直接且准确地确定存储地址,从而能够基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,这样,隔离服务器通过对各个片数据进行获取,能够大大降低隔离服务器的处理压力。此外,通过将获取到的各个片数据发送给传输服务器,以使得传输服务器基于各个片数据进行重组,获得待传输数据,从而实现传输服务器与接收服务器之间对数据的均衡传输。
为了便于更清楚的了解本申请的技术方案,提供了一个更为详细实施例进行描述。该基于哈希算法分片及重组的电网监控系统数据传输方法应用于如图1所述的环境中。其中,如图1所述的环境可以是在电力系统中各个区域数据传输的应用场景中,其中,各个区域的数据传输涉及到实时控制区(即安全一区)与生产管理区(即安全三区)之间的数据传输、或者非控制生产区(即安全二区)与生产管理区(即安全三区)之间的数据传输,其中,当安全一区或者安全二区中的数据传输至安全三区的数据时,安全一区或者安全二区作为数据接收方,对应的服务器为传输服务器;安全三区则作为数据接收方,对应的服务器为接收服务器。或者,当安全三区中的数据传输至安全一区或者安全二区时,安全三区作为数据传输方,对应的服务器为传输服务器;安全一区或者安全二区则作为数据接收方,对应的服务器为接收服务器。下述过程将以安全一区作为数据传输方(对应的服务器为传输服务器)、安全三区作为数据接收方(对应的服务器为接收服务器)对本申请的技术方案作详细的描述,其中,隔离服务器用于隔离安全一区和安全二区。
在传输服务器方面,传输服务器确定与多个目标存储器分别对应的存储地址;传输服务器从安全一区中获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量,基于该片数据的数量和该总数据量,确定每个片数据的单位数据量,传输服务器通过该单位数据对待传输数据进行分片,得到多个片数据;或者传输服务器基于预设文件的预设数据量,确定预设数据量,并基于该预设数据量对待传输数据进行分片,得到多个片数据,其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量;传输服务器对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;传输服务器对该分片标识进行哈希处理,得到与该分片标识对应的映射地址,通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表;传输服务器将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器。
在隔离服务器方面,隔离服务器(隔离器的服务端)接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将由待传输数据获得的分片标识与多个目标存储器分别对应的存储地址一一对应并建立索引关系得到;该隔离服务器基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;该隔离服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器(第二安全区的服务器)。或者,在隔离服务器方面,隔离服务器接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将由待传输数据获得的分片标识与多个目标存储器分别对应的存储地址一一对应并建立索引关系得到;该隔离服务器基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;该隔离服务器将多个片数据发送至接收服务器(第二安全区的服务器),以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
其中,若多个目录存储器中存在目录存储器宕机,需要重启与宕机对应的目标存储器,并重新从目录存储器中获取对应的片数据,并再次进行重组得到待传输数据,以此确保数据的完整性。
在本实施例中,传输服务器将第一安全区中的待传输数据的总数据量进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识,并对该分片标识进行哈希处理,得到与该分片标识对应的映射地址,通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表;传输服务器将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中,这样,能够根据哈希数据表迅速且准确的确定存储有片数据的目标存储器,再基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得隔离服务器通过接收数据传输请求,得到哈希数据表和分片标识,从该目标服务器中获得各个片数据,因此,完成数据从第一安全区均衡传输至隔离服务器,这样,隔离服务器可以将各个片数据进行重组获得待传输数据,并将该传输数据传输至第二安全区所对应的接收服务器中,或者隔离服务器将各个片数据发送至第二安全区对应的接收服务器,以使得该服务器对多个片数据进行重组获得待传输数据,这样,实现数据从一个安全区能够均衡传输至隔离服务器,并通隔离服务器传输到另一个安全区,进而实现各个安全区之间均衡地传输数据。
应该理解的是,虽然图2、图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图3中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于传输服务器,包括:确定模块402、标注模块404、建立模块406、存储模块408和第一发送模块410,其中:
确定模块402,用于确定与多个目标存储器分别对应的存储地址。
标注模块404,用于将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识。
建立模块406,用于将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表。
存储模块408,用于将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中。
第一发送模块410,用于基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。
在一个实施例中,该标注模块404,用于获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。
在一个实施例中,该标注模块404,用于确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。
在一个实施例中,建立模块406,用于对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。
在一个实施例中,如图5所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于隔离服务器,包括:第一接收模块502、第一查找模块502、第一重组模块504,其中:
第一接收模块502,用于接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到。
第一查找模块502,用于基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据。
第一重组模块504,用于按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。
在一个实施例中,如图6所示,提供了一种基于哈希算法分片及重组的电网监控系统数据传输装置,应用于隔离服务器,包括:第二接收模块602、第二查找模块604、第二发送模块606,其中:
第二接收模块602,用于接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到。
第二查找模块604,用于基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据。
第二发送模块606,用于将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
关于基于哈希算法分片及重组的电网监控系统数据传输装置的具体限定可以参见上文中对于基于哈希算法分片及重组的电网监控系统数据传输方法的限定,在此不再赘述。上述基于哈希算法分片及重组的电网监控系统数据传输装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是传输服务器、隔离服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于哈希算法分片及重组的电网监控系统数据传输数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于哈希算法分片及重组的电网监控系统数据传输方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种传输服务器,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:确定与多个目标存储器分别对应的存储地址;将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。
在一个实施例中,提供了一种隔离服务器,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。
在一个实施例中,提供了一种隔离服务器,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:确定与多个目标存储器分别对应的存储地址;将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;将该分片标识与该存储地址进行一一对应并建立索引关系,得到哈希数据表;将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;基于分片标识和该哈希数据表生成数据传输请求,并将该数据传输请求发送至隔离服务器,以使得该隔离服务器基于该数据传输请求中携带的哈希数据表和分片标识,从该目标存储器中获取各个片数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;基于该片数据的数量和该总数据量,确定每个片数据的单位数据量;通过该单位数据量对待传输数据进行分片,得到多个片数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定预设数据量,基于该预设数据量对待传输数据进行分片,得到多个片数据;其中,该多个片数据中最多存在一个片数据的数据量小于该预设数据量。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对该分片标识进行哈希处理,得到与该分片标识对应的映射地址;通过将各个存储地址与该分片标识映射地址进行一一关联,并将该存储地址存储至相关联的映射地址中,得到哈希数据表。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识;该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将该待传输数据发送至接收服务器。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收数据传输请求,并解析该数据传输请求,得到哈希数据表和分片标识,该哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立该分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;基于该分片标识,从该哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与该分片标识对应的片数据;将多个片数据发送至接收服务器,以使得该接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于哈希算法分片及重组的电网监控系统数据传输方法,其特征在于,由传输服务器执行,所述方法包括:
确定与多个目标存储器分别对应的存储地址;
将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;
将所述分片标识与所述存储地址进行一一对应并建立索引关系,得到哈希数据表;
将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;
基于分片标识和所述哈希数据表生成数据传输请求,并将所述数据传输请求发送至隔离服务器,以使得所述隔离服务器基于所述数据传输请求中携带的哈希数据表和分片标识,从所述目标存储器中获取各个片数据。
2.根据权利要求1所述的方法,其特征在于,所述将待传输数据进行分片得到多个片数据,包括:
获取待传输数据的总数据量,并将目标存储器的数量作为片数据的数量;
基于所述片数据的数量和所述总数据量,确定每个片数据的单位数据量;
通过所述单位数据量对待传输数据进行分片,得到多个片数据。
3.根据权利要求1所述的方法,其特征在于,所述将待传输数据进行分片得到多个片数据,包括:
确定预设数据量,基于所述预设数据量对待传输数据进行分片,得到多个片数据;其中,所述多个片数据中最多存在一个片数据的数据量小于所述预设数据量。
4.根据权利要求1所述的方法,其特征在于,所述将所述分片标识与所述存储地址进行一一对应并建立索引关系,得到哈希数据表,包括:
对所述分片标识进行哈希处理,得到与所述分片标识对应的映射地址;
通过将各个存储地址与所述分片标识映射地址进行一一关联,并将所述存储地址存储至相关联的映射地址中,得到哈希数据表。
5.一种基于哈希算法分片及重组的电网监控系统数据传输方法,其特征在于,由隔离服务器执行,所述方法包括:
接收数据传输请求,并解析所述数据传输请求,得到哈希数据表和分片标识;所述哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立所述分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;
基于所述分片标识,从所述哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与所述分片标识对应的片数据;
按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将所述待传输数据发送至接收服务器。
6.一种基于哈希算法分片及重组的电网监控系统数据传输方法,其特征在于,由隔离服务器执行,所述方法还包括:
接收数据传输请求,并解析所述数据传输请求,得到哈希数据表和分片标识,所述哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立所述分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;
基于所述分片标识,从所述哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与所述分片标识对应的片数据;
将多个片数据发送至接收服务器,以使得所述接收服务器按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据。
7.一种基于哈希算法分片及重组的电网监控系统数据传输装置,其特征在于,应用于传输服务器,所述装置包括:
确定模块,用于确定与多个目标存储器分别对应的存储地址;
标注模块,用于将待传输数据进行分片得到多个片数据,并对每个片数据分别进行标注处理,得到各个片数据各自对应的分片标识;
建立模块,用于将所述分片标识与所述存储地址进行一一对应并建立索引关系,得到哈希数据表;
存储模块,用于将每个片数据分别按照相应分片标识所对应的存储地址,存储至由所对应的存储地址指定的目标存储器中;
第一发送模块,用于基于分片标识和所述哈希数据表生成数据传输请求,并将所述数据传输请求发送至隔离服务器,以使得所述隔离服务器基于所述数据传输请求中携带的哈希数据表和分片标识,从所述目标存储器中获取各个片数据。
8.一种基于哈希算法分片及重组的电网监控系统数据传输装置,其特征在于,应用于隔离服务器,所述装置包括:
第一接收模块,用于接收数据传输请求,并解析所述数据传输请求,得到哈希数据表和分片标识;所述哈希数据表是通过将待传输数据进行分片得到多个片数据,对每个片数据分别进行标注得到分片标识后,建立所述分片标识与多个目标存储器分别对应的存储地址间的索引关系得到;
第一查找模块,用于基于所述分片标识,从所述哈希数据表中查找到与各个分片标识分别对应的存储地址,并基于查找到的存储地址从各个目标存储器中获取与所述分片标识对应的片数据;
第一重组模块,用于按照各个片数据各自对应的分片标识的顺序,对多个片数据进行重组得到待传输数据,并将所述待传输数据发送至接收服务器。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110880044.8A 2021-08-02 2021-08-02 基于哈希算法分片及重组的电网监控系统数据传输方法 Active CN113612705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110880044.8A CN113612705B (zh) 2021-08-02 2021-08-02 基于哈希算法分片及重组的电网监控系统数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110880044.8A CN113612705B (zh) 2021-08-02 2021-08-02 基于哈希算法分片及重组的电网监控系统数据传输方法

Publications (2)

Publication Number Publication Date
CN113612705A true CN113612705A (zh) 2021-11-05
CN113612705B CN113612705B (zh) 2023-08-22

Family

ID=78306431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110880044.8A Active CN113612705B (zh) 2021-08-02 2021-08-02 基于哈希算法分片及重组的电网监控系统数据传输方法

Country Status (1)

Country Link
CN (1) CN113612705B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490458A (zh) * 2021-12-31 2022-05-13 浙江毫微米科技有限公司 数据传输方法、芯片、服务器以及存储介质
CN116610485A (zh) * 2023-07-21 2023-08-18 深圳市城市交通规划设计研究中心股份有限公司 一种隔离网闸数据校验方法、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259008A (ja) * 2008-04-17 2009-11-05 Sony Corp ノード、コンテンツ格納方法およびコンテンツ取得方法
US8644339B1 (en) * 2011-12-01 2014-02-04 Juniper Networks, Inc. In-line packet reassembly within a mobile gateway
CN105100146A (zh) * 2014-05-07 2015-11-25 腾讯科技(深圳)有限公司 数据存储方法、装置及系统
CN105260136A (zh) * 2015-09-24 2016-01-20 北京百度网讯科技有限公司 数据读写方法及分布式存储系统
CN106101291A (zh) * 2016-08-26 2016-11-09 苏州蓝海彤翔系统科技有限公司 一种传输文件的方法、系统、服务器及客户端
US9898474B1 (en) * 2015-01-05 2018-02-20 Amazon Technologies, Inc. Object sharding in a host-side processing device for distributed storage
CN108460072A (zh) * 2017-12-26 2018-08-28 北京国电通网络技术有限公司 配用电数据检索方法和系统
CN110149373A (zh) * 2019-04-28 2019-08-20 平安科技(深圳)有限公司 基于点对点网络的数据存储方法、装置、介质及服务器
US20200117637A1 (en) * 2018-10-11 2020-04-16 Box, Inc. Systems and methods for sharding based on distributed inverted indexes
US20200133780A1 (en) * 2018-10-26 2020-04-30 EMC IP Holding Company LLC Method, device and computer program product for data processing
CN111324606A (zh) * 2020-01-23 2020-06-23 北京恒华伟业科技股份有限公司 数据分片的方法及装置
CN112016110A (zh) * 2020-09-01 2020-12-01 三星电子(中国)研发中心 用于存储数据的方法、装置、设备以及存储介质
CN112527479A (zh) * 2020-12-03 2021-03-19 武汉联影医疗科技有限公司 任务执行方法、装置、计算机设备和存储介质
CN113010526A (zh) * 2021-04-19 2021-06-22 星辰天合(北京)数据科技有限公司 基于对象存储服务的存储方法及装置
CN113132489A (zh) * 2021-04-22 2021-07-16 中国工商银行股份有限公司 下载文件的方法、装置、计算设备和介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259008A (ja) * 2008-04-17 2009-11-05 Sony Corp ノード、コンテンツ格納方法およびコンテンツ取得方法
US8644339B1 (en) * 2011-12-01 2014-02-04 Juniper Networks, Inc. In-line packet reassembly within a mobile gateway
CN105100146A (zh) * 2014-05-07 2015-11-25 腾讯科技(深圳)有限公司 数据存储方法、装置及系统
US9898474B1 (en) * 2015-01-05 2018-02-20 Amazon Technologies, Inc. Object sharding in a host-side processing device for distributed storage
CN105260136A (zh) * 2015-09-24 2016-01-20 北京百度网讯科技有限公司 数据读写方法及分布式存储系统
CN106101291A (zh) * 2016-08-26 2016-11-09 苏州蓝海彤翔系统科技有限公司 一种传输文件的方法、系统、服务器及客户端
CN108460072A (zh) * 2017-12-26 2018-08-28 北京国电通网络技术有限公司 配用电数据检索方法和系统
US20200117637A1 (en) * 2018-10-11 2020-04-16 Box, Inc. Systems and methods for sharding based on distributed inverted indexes
US20200133780A1 (en) * 2018-10-26 2020-04-30 EMC IP Holding Company LLC Method, device and computer program product for data processing
CN110149373A (zh) * 2019-04-28 2019-08-20 平安科技(深圳)有限公司 基于点对点网络的数据存储方法、装置、介质及服务器
CN111324606A (zh) * 2020-01-23 2020-06-23 北京恒华伟业科技股份有限公司 数据分片的方法及装置
CN112016110A (zh) * 2020-09-01 2020-12-01 三星电子(中国)研发中心 用于存储数据的方法、装置、设备以及存储介质
CN112527479A (zh) * 2020-12-03 2021-03-19 武汉联影医疗科技有限公司 任务执行方法、装置、计算机设备和存储介质
CN113010526A (zh) * 2021-04-19 2021-06-22 星辰天合(北京)数据科技有限公司 基于对象存储服务的存储方法及装置
CN113132489A (zh) * 2021-04-22 2021-07-16 中国工商银行股份有限公司 下载文件的方法、装置、计算设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JOHAN GARCIA: "Duplications and Misattributions of File Fragment Hashes in Image and Compressed Files", 2018 9TH IFIP INTERNATIONAL CONFERENCE ON NEW TECHNOLOGIES, MOBILITY AND SECURITY (NTMS) *
管友露: "支持高吞吐量区块链的块结构研究", 中国优秀硕士论文电子期刊网 *
苏跃明;李晨;田丽华;: "基于分片一致性哈希负载均衡策略与应用", 计算机技术与发展, vol. 27, no. 11 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490458A (zh) * 2021-12-31 2022-05-13 浙江毫微米科技有限公司 数据传输方法、芯片、服务器以及存储介质
CN114490458B (zh) * 2021-12-31 2023-06-20 浙江毫微米科技有限公司 数据传输方法、芯片、服务器以及存储介质
CN116610485A (zh) * 2023-07-21 2023-08-18 深圳市城市交通规划设计研究中心股份有限公司 一种隔离网闸数据校验方法、电子设备及存储介质
CN116610485B (zh) * 2023-07-21 2024-04-30 深圳市城市交通规划设计研究中心股份有限公司 一种隔离网闸数据校验方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN113612705B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
US9104676B2 (en) Hash algorithm-based data storage method and system
CN110995513B (zh) 物联网系统中的数据发送、接收方法、物联网设备及平台
CN113612705B (zh) 基于哈希算法分片及重组的电网监控系统数据传输方法
US11368901B2 (en) Method for identifying a type of a wireless hotspot and a network device thereof
WO2019080232A1 (zh) 工作流系统中的任务信息传输方法、装置和计算机设备
CN112052227A (zh) 数据变更日志的处理方法、装置和电子设备
CN109218131B (zh) 网络监控方法、装置、计算机设备和存储介质
CN113157734B (zh) 基于搜索框架的数据处理方法、装置、设备及存储介质
CN112507010B (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN108389124B (zh) 数据处理方法、装置、计算机设备和存储介质
CN111865975B (zh) 一种电网智能监控系统
CN113630418A (zh) 一种网络服务识别方法、装置、设备及介质
CN113268328A (zh) 批处理方法、装置、计算机设备和存储介质
CN110995489B (zh) 大数据平台服务器管理方法、装置、服务器及存储介质
CN114793244B (zh) 一种区块链的资源处理方法、装置、设备和介质
CN110798492B (zh) 数据存储方法及装置、数据处理系统
CN115801729A (zh) Dns请求处理方法、装置、电子设备及存储介质
US8281000B1 (en) Variable-length nonce generation
CN115599982A (zh) 混合云的数据查询方法及装置
CN111522873B (zh) 区块生成方法、装置、计算机设备和存储介质
CN114168610A (zh) 一种基于线序划分的分布式存储和查询方法及系统
CN111708795A (zh) 对象标识生成方法、更新方法、装置、计算机设备和介质
CN112905128B (zh) 门禁用户数据的管理方法和装置、存储介质及电子设备
CN111985446A (zh) 人脸识别方法以及系统
CN110730106A (zh) 基于树状结构的电子公文交换方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant