CN111159120A - 电力系统处理文件的方法、装置与系统 - Google Patents
电力系统处理文件的方法、装置与系统 Download PDFInfo
- Publication number
- CN111159120A CN111159120A CN201911297199.8A CN201911297199A CN111159120A CN 111159120 A CN111159120 A CN 111159120A CN 201911297199 A CN201911297199 A CN 201911297199A CN 111159120 A CN111159120 A CN 111159120A
- Authority
- CN
- China
- Prior art keywords
- file
- power
- header information
- stored
- file header
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 claims abstract description 145
- 239000002699 waste material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及电力系统处理文件的方法、装置与系统,方法包括:接收一个电力系统发送的一个电力文件;生成与电力文件对应的文件头信息,文件头信息用于指示电力文件的名称、类型和大小;存储文件头信息和电力文件,文件头信息的起始位置与最新存储的一个文件的结束位置连接,电力文件的起始位置与文件头信息的结束位置连接,至少部分电力文件与至少部分最新存储的一个文件位于同一个存储块,存储块的存储空间为一个存储平台预设的最小存储空间。
Description
技术领域
本发明涉及电力系统领域,特别是一种电力系统处理文件的方法、装置与系统。
背景技术
电力系统的数据采集是对电力系统进行分析、治理、预测的基础,,例如电能质量文件。因此,在采集后如何存储这些文件成为热点。现有技术中会采用HDFS(HadoopDistributed File System,Hadoop分布式文件系统)来存储文件,其具有高容错性的特点,适合有着超大文件集的电力系统。多种文件格式均可以存储在该HDFS中,例如PQDIF,COMTRADE或者是CSV(Comma-Separated Values,逗号分隔值)。
但是电力系统的文件的存储的过程中,会浪费很多存储空间。
发明内容
有鉴于此,本发明提出了一种电力系统文件处理的方法,包括:
接收一个电力系统发送的一个电力文件;
生成与所述电力文件对应的文件头信息,所述文件头信息用于指示所述电力文件的名称、类型和大小;
存储所述文件头信息和所述电力文件,所述文件头信息的起始位置与最新存储的一个文件的结束位置连接,所述电力文件的起始位置与所述文件头信息的结束位置连接,至少部分所述电力文件与至少部分所述最新存储的一个文件位于同一个存储块,所述存储块的存储空间为一个存储平台预设的最小存储空间。
通过生成与电力文件一一对应的文件头信息,并将该文件头信息与电力文件连接于最新存储的文件的后面进行存储,这样能够减少存储空间的浪费,并且通过该文件头信息,能够准确识别出所需要的电力文件。
根据如上所述的方法,可选地,所述文件头信息还包括以下信息中的至少一种:所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码、所述电力文件对应的地理位置信息、所述电力文件的拓扑;或者
所述电力文件与所述最新存储的文件的类型不同;或者
所述存储平台为基于HDFS的数据平台。
根据如上所述的方法,可选地,将所述文件头信息和所述电力文件整合为一个文件并存储于连接所述最新存储的一个文件的位置处;或者
将所述文件头信息和所述电力文件依次存储。
根据如上所述的方法,可选地,接收所述电力系统发送的另一个电力文件;
生成与所述另一个电力文件对应的另一个文件头信息,所述另一个文件头信息用于指示所述另一个电力文件的名称、类型和大小;
存储所述另一个文件头信息和所述另一个电力文件,所述另一个文件头信息的起始位置与所述电力文件的结束位置连接,所述另一个电力文件的起始位置与所述另一个文件头信息的结束位置连接。
本发明提供另一种电力系统处理文件的方法,包括:
遍历一个文件头信息群组,从所述文件头信息群组中确定出一个目标文件头信息,所述文件头信息群组包括多个文件头信息且每相邻的两个文件头信息之间具有电力系统的一个电力文件,每个文件头信息用于指示该文件头信息与下一个文件头信息之间的电力文件的名称、类型和大小,至少有两个电力文件的各自的一部分位于同一个存储块,所述存储块的存储空间为一个存储平台预设的最小存储空间;
根据所述目标文件头信息获取对应的一个目标电力文件。
通过遍历文件头信息群组中的文件头信息来确定所需要查找到的目标电力文件,这样既能够节省存储空间,又能够准确找到所需要的文件。
根据如上所述的方法,可选地,位于同一个存储块的两个电力文件,其中在后存储的电力文件对应的文件头信息的起始位置与在前存储的电力文件对应的文件头信息的结束位置连接,所述在后存储的电力文件的起始位置与所述在后存储的电力文件对应的文件头信息的结束位置连接。
根据如上所述的方法,可选地,所述文件头信息还包括以下信息中的至少一种:所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码、所述电力文件对应的地理位置信息、所述电力文件的拓扑;或者
至少有一个存储块中所存储的两个电力文件的类型不同;或者
所述存储平台为基于HDFS的数据平台。
本发明提供一种电力系统文件处理的装置,包括:
一个接收单元,用于接收一个电力系统发送的一个电力文件;
一个生成单元,用于生成与所述电力文件对应的文件头信息,所述文件头信息用于指示所述电力文件的名称、类型和大小;
一个存储单元,用于存储所述文件头信息和所述电力文件,所述文件头信息的起始位置与最新存储的一个文件的结束位置连接,所述电力文件的起始位置与所述文件头信息的结束位置连接,至少部分所述电力文件与至少部分所述最新存储的一个文件位于同一个存储块,所述存储块的存储空间为一个存储平台预设的最小存储空间。
通过生成与电力文件一一对应的文件头信息,并将该文件头信息与电力文件连接于最新存储的文件的后面进行存储,这样能够减少存储空间的浪费,并且通过该文件头信息,能够准确识别出所需要的电力文件。
根据如上所述的装置,可选地,所述文件头信息还包括以下信息中的至少一种:所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码、所述电力文件对应的地理位置信息、所述电力文件的拓扑;或者
所述电力文件与所述最新存储的文件的类型不同;或者
所述存储平台为基于HDFS的数据平台。
根据如上所述的装置,可选地,所述存储单元具体用于:
将所述文件头信息和所述电力文件整合为一个文件并存储于连接所述最新存储的一个文件的位置处;或者
将所述文件头信息和所述电力文件依次存储。
根据如上所述的装置,可选地,所述接收单元还用于:接收所述电力系统发送的另一个电力文件;
所述生成单元还用于:生成与所述另一个电力文件对应的另一个文件头信息,所述另一个文件头信息用于指示所述另一个电力文件的名称、类型和大小;
所述存储单元还用于:存储所述另一个文件头信息和所述另一个电力文件,所述另一个文件头信息的起始位置与所述电力文件的结束位置连接,所述另一个电力文件的起始位置与所述另一个文件头信息的结束位置连接。
本发明提供另一种电力系统文件处理的装置,包括:
一个遍历单元,用于遍历一个文件头信息群组,从所述文件头信息群组中确定出一个目标文件头信息,所述文件头信息群组包括多个文件头信息且每相邻的两个文件头信息之间具有电力系统的一个电力文件,每个文件头信息用于指示该文件头信息与下一个文件头信息之间的电力文件的名称、类型和大小,至少有两个电力文件的各自的一部分位于同一个存储块,所述存储块的存储空间为一个存储平台预设的最小存储空间;
一个获取单元,用于根据所述目标文件头信息获取对应的一个目标电力文件。
通过遍历文件头信息群组中的文件头信息来确定所需要查找到的目标电力文件,这样既能够节省存储空间,又能够准确找到所需要的文件。
根据如上所述的装置,可选地,位于同一个存储块的两个电力文件,其中在后存储的电力文件对应的文件头信息的起始位置与在前存储的电力文件对应的文件头信息的结束位置连接,所述在后存储的电力文件的起始位置与所述在后存储的电力文件对应的文件头信息的结束位置连接。
根据如上所述的装置,可选地,所述文件头信息还包括以下信息中的至少一种:所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码、所述电力文件对应的地理位置信息、所述电力文件的拓扑;或者
至少有一个存储块中所存储的两个电力文件的类型不同;或者
所述存储平台为基于HDFS的数据平台。
本发明提供一种电力系统文件处理的系统,包括:
至少一个存储器,其用于存储指令;
至少一个处理器,其用于根据所述存储器存储的指令执行根据前述任一项所述的电力系统文件处理的方法。
本发明提供另一种电力系统文件处理的系统,所述可读存储介质中存储有机器可读指令,所述机器可读指令当被一个机器执行时,所述机器执行根据前述任一项所述的电力系统文件处理的方法。
附图说明
下面将通过参照附图详细描述本发明的优选实施例,使本领域的普通技术人员更清楚本发明的上述及其它特征和优点,附图中:
图1为根据本发明一实施例的电力系统处理文件的方法流程示意图。
图2为根据本发明另一实施例的电力系统处理文件的方法流程示意图。
图3为根据本发明再一实施例的电力系统处理文件的方法中存储文件的示意图。
图4为根据本发明一实施例的电力系统处理文件的装置的结构示意图。
图5为根据本发明另一实施例的电力系统处理文件的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下举实施例对本发明进一步详细说明。
经研究发现,对于基于HDFS的数据平台,其具有块(block),一个块的存储空间是最小的存储空间。也就是说,如果一个文件的大小小于一个块的大小,则该块不会被占满。根据默认的设置,对于下一个文件,其会存储在另外一个块中。这样,就会出现多个块中的存储空间未被占满的情况,进而导致存储空间的浪费。实际操作中,会存在很多量但是较小的文件,例如电能质量文件,其一般只有几十兆,但是因为其持续的产生所以数量较多,而且电力系统中很多装置会产生这样的文件,这就导致存储空间的浪费。
实施例一
本实施例提供一种电力系统文件处理的方法,执行主体是电力系统文件处理的装置,该装置可以设置在基于HDFS的数据平台中。本实施例主要说明的是如何存储该电力系统文件。
如图1所示,为根据本实施例的电力系统文件处理的方法的流程示意图。该方法包括:
步骤101,接收一个电力系统发送的一个电力文件。
该电力系统可以是任何一个现有的电力系统,具体可以是电力系统中的任一组件,例如继电保护装置、电能质量装置等,当然还可以是其它的装置。实际操作中,电力系统文件处理的装置可以周期性地收集电力文件,也可以在电力系统触发之后收集该该电力文件,具体可以根据实际需要设置,在此不再赘述。
本实施例的电力文件可以是任何需要采集的电力系统的文件,可以是任何格式的电力文件,例如电能质量文件。这样的文件具有占用空间小且数量多的特点,例如一般为几十兆以下,但是持续产生。当接收到该电力文件后,可以先缓存,待执行后续操作后将其存储起来。
步骤102,生成与电力文件对应的文件头信息。
该文件头信息用于指示电力文件的名称、类型和大小。电力文件的名称可以用于识别该文件是否为操作人员所需要的文件。电力文件的类型能够用于识别采用何种打开方式来读取该文件。电力文件的大小能够用于识别该电力文件的结束位置。这样,通过文件头信息,就能够正确找到电力文件并读取电力文件。
由于该文件头信息的存储文件较少,一般只有几K,因此其所占用的存储空间较少。
具体如何通过一个文件生成所需的对应的另外一个文件,可以采用现有技术,在此不再赘述。
文件头信息中还可以根据实际需要设置其它信息,具体不再赘述。
步骤103,存储文件头信息和电力文件,文件头信息的起始位置与最新存储的一个文件的结束位置连接,电力文件的起始位置与文件头信息的结束位置连接,至少部分电力文件与至少部分最新存储的一个文件位于同一个存储块(block),存储块的存储空间为一个存储平台预设的最小存储空间。
这里的最新存储的文件可以是该电力系统文件处理的装置中最新存储的一个电力文件,例如是在接收电力文件之前最新存储的电力文件。这里的存储平台例如基于HDFS的数据平台。该最小存储空间也可以根据实际需要进行设定。
电力系统文件处理的装置接下来存储该文件头信息和电力文件。本实施例中,每一个电力文件都对应有一个文件头信息,文件头信息位于电力文件的前面,新的电力文件以及该新的电力文件所对应的电力文件直接附加在已有文件的后面,这样可以尽量利用存储块的空间。具体地,该文件头信息存储在电力文件前面的位置,且该文件头信息与电力文件相连接,由于文件头信息、电力文件依次交替存储,因此尽可能地避免了存储空间的浪费。即,若最新存储的文件并未占满一个存储块,该存储块的其它空间也会由于文件头信息和/或电力文件的填充而避免浪费。
该步骤的连接指的是文件之间连续存储,例如在最新存储的一个文件的结束位置的下一个字节处开始存储文件头信息,在该文件头信息的结束位置的下一个字节处开始存储该文件头信息对应的电力文件。
该实施例中,可以将新生成的文件头信息和所对应的电力文件整体作为一个整个文件,该整个文件接续在上一个整个文件之后,这样不易发生混乱,以误存信息。当然也可以依次存储文件头信息和电力文件,这样节省操作。即,本实施例中,对于每个电力文件都生成一个文件头信息,文件头信息放置于所对应的电力文件的前面并一起存储,其与其它的文件头信息和电力文件的组合顺序存储,成为一个更大的文件。
例如,该电力系统文件处理的装置还可以包括:
接收电力系统发送的另一个电力文件;
生成与另一个电力文件对应的另一个文件头信息,另一个文件头信息用于指示另一个电力文件的名称、类型和大小;
存储另一个文件头信息和另一个电力文件,另一个文件头信息的起始位置与电力文件的结束位置连接,另一个电力文件的起始位置与另一个文件头信息的结束位置连接,另一个文件头信息用于指示另一个电力文件的名称、类型和大小。
这里的另一个电力文件,可以是电力系统任一一个组件发过来的电力文件。并且在接收到该另一个电力文件后,与前述方法一致,生成与另一个电力文件对应的另一个文件头信息。然后将该另一个文件头信息和另一个电力文件依次存储于上一个整个文件之后,或者将另一个文件头信息和另一个电力文件作为一个整体文件存储于上一个整个文件之后。
上述的存储方式能够将尽量多的小文件存储于同一个存储块中,以避免空间浪费。
本实施例中,对于同一个版本的组件的文件头信息,其大小可以是固定的,由于文件头信息可以包含所对应的电力文件在整个文件中的偏移位置和该电力文件的大小,则可以便于装置快速便利该整个文件。当然,文件头信息的大小也可以根据实际需要生成,例如根据部件版本的不同生成对应大小的文件头信息。如果是固定大小的文件头信息,则在读取到文件头信息时就能够通过该固定大小自动移动到所要读取的该文件头信息对应的电力文件的起始位置处;若文件头信息的大小是根据实际需要生成的,则可以在文件头信息中的预设字节位置处标识出该文件头信息的大小或者该文件头信息的偏移位置,这样就能够准确找到该文件头信息所对应的电力文件的起始位置。
当然,该文件头信息中还可以包括以下信息中的至少一种:电力文件的版本、电力文件的扩展名、电力文件的校验码、电力文件对应地理位置信息、电力文件的拓扑。其中,电力文件的版本(File version)指的是电力系统发送的同一部件的同一文件,如果有更新可以标识为不同的版本,或者是如果该部件的版本升级更新,可以将文件表示为不同的版本,以供操作人员能够准确找到所需要的文件;电力文件的扩展名(File extension)可以进一步表示能够打开该电力文件的软件,同一类型文件下,可能有不同的扩展名,通过该扩展名,能够准确打开该电力文件;电力文件的校验码(CRC)能够及时分辨出该电力文件是否出现错误;电力文件对应的地理位置信息(GIS,Geographic Information System)可以是发送该电力文件的部件所在的地理位置信息,由于同一个电力系统中可能在不同的地理位置具有相同的部件,且该相同的部件可能发送相同的信息,通过该地理位置信息能够识别出是哪个部件发送的电力文件,这样有利于操作人员后续根据实际需要来读取;电力文件的拓扑(Topology)指的是该电力文件的对应的部件在整个电力系统中的层级,即电力系统的间隔层(bay level),进而能够了解该部件所在的具体位置。
对于以上信息,在实际操作中,所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码可以作为必选信息,所述电力文件对应的地理位置信息、所述电力文件的拓扑可以作为可选信息,具体可以根据实际需要选择。文件头信息还可以包括其它内容,具体可以根据实际需要生成,在此不再赘述。
可选地,本实施例中的电力文件与最新存储的文件的类型不同。由于文件头信息的存在,其能够标识其所对应的电力文件的类型,装置通过读取文件头信息的信息就能够正确读取所对应的电力文件,因此不同的类型能够存储在同一存储块中,这样就能够进一步节省存储空间。
根据本实施例,通过生成与电力文件一一对应的文件头信息,并将该文件头信息与电力文件连接于最新存储的文件的后面进行存储,这样能够减少存储空间的浪费,并且通过该文件头信息,能够准确识别出所需要的电力文件。
实施例二
本实施例提供一种电力系统文件处理的方法,执行主体是电力系统文件处理的装置,该装置可以设置在基于HDFS的数据平台中。与实施例一不同的是,该实施例提供的是如何查询电力文件的方法。
如图2所示,为根据本实施例的电力系统电力文件处理的方法的流程示意图。该方法包括:
步骤201,遍历一个文件头信息群组,从文件头信息群组中确定出一个目标文件头信息。
其中,文件头信息群组包括多个文件头信息,且每相邻的两个文件头信息之间具有电力系统的一个电力文件。这表示,存储文件头信息和电力文件时,是按照文件头信息、电力文件、文件头信息、电力文件这样的方式交替存储的。具体可以将每个文件头信息以及其所对应的电力文件整体看作一个整个文件,文件头信息位于电力文件的前面。每个文件头信息用于指示该文件头信息与下一个文件头信息之间的电力文件的名称、类型和大小。本实施例的电力文件可以是任何需要采集的电力系统的文件,可以是任何格式的文件,如前述实施例。本实施例的电力系统可以是任何一个现有的电力系统,具体可以是电力系统中的任一组件,例如继电保护装置、电能质量装置系统等。
其中,至少有两个电力文件的各自的一部分位于同一个存储块,存储块的存储空间为一个存储平台预设的最小存储空间。该预设的最小存储空间可以根据实际需要设定。
文件头信息用于指示所对应的电力文件的名称、类型和大小。当然,该文件头信息还可以包括以下信息中的至少一种:文件头信息的大小、文件头信息的偏移位置、电力文件的版本、电力文件的扩展名、电力文件的校验码、电力文件对应的地理位置信息、电力文件的拓扑。各信息中的含义与前述实施例描述的一致,在此不再赘述。
本实施例的存储平台可以为基于HDFS的数据平台。
步骤202,根据目标文件头信息获取对应的一个目标电力文件。
通过读取目标文件头信息指示的电力文件的名称,就能够找到所需要的电力文件;通过目标文件头信息指示的电力文件的类型,就能够采用合适的方式读取该电力文件。
可选地,至少有一个存储块中所存储的两个电力文件的类型不同。例如,至少有一个存储块中的在前存储的电力文件与在后最新存储的电力文件的类型不同。由于文件头信息的存储,其能够标识其所对应的文件的类型,因此不同的类型能够存储在同一存储块中,这样就能够进一步节省存储空间。
可选地,位于同一个存储块的两个电力文件,其中在后存储的电力文件对应的文件头信息的起始位置与在前存储的电力文件对应的文件头信息的结束位置连接,在后存储的电力文件的起始位置与在后存储的电力文件对应的文件头信息的结束位置连接。通过连续存储电力文件、文件头信息、该文件头信息所对应的电力文件,能够尽量减少存储空间的浪费。
在实际操作中,一个是文件头信息群组中所包含的文件头信息的数量可以根据实际需要设定,例如是某一时间段内的所有文件头信息,或者是电力系统的某一部件对应的所有文件头信息,或者是某一电力系统对应的所有文件头信息,这样能够分成多个文件头信息群组,以减少遍历文件头信息的时间,有效提高查找所需要的目标文件的效率。
根据本实施例,通过遍历文件头信息群组中的文件头信息来确定所需要查找到的目标电力文件,这样既能够节省存储空间,又能够准确找到所需要的文件。
实施例三
下面对前述的电力系统处理文件的方法做具体举例说明。
如图3所示,首先,基于HDFS的数据平台300从继电保护装置301中接收电力文件A。基于HDFS的数据平台300根据该电力文件A生成对应的文件头信息A1,并将文件头信息A1和电力文件A依次存储在预设的存储位置,如表1所示。其中,文件头信息A1中可以包括以下信息中的至少一种:电力文件A的名称(File name)、类型(File type)、大小(Data size)、版本(Version)、格式(File format)、扩展名(File extension)、对应的地理位置信息(GISinfo)、校验码(CRC,Cyclic Redundancy Check)、拓扑(Topology)以及文件头信息A1的大小(Header size)、偏移位置(File offset)等信息。具体地,基于HDFS的数据平台300在接收到一个电力文件后,根据预先设定的格式,生成与该电力文件对应的文件头信息。
本实施例所提到的各文件头信息均可以包含这些信息,当然也可以根据实际需要确定各类型的文件对应的文件头信息。其中,文件头信息A1存储在前,电力文件A存储在文件头信息A1的后面的字节。
表1
文件头信息A1 |
电力文件A |
接下来,基于HDFS的数据平台300从电能质量装置302中接收电力文件B。基于HDFS的数据平台300根据该电力文件B生成对应的文件头信息B1,该文件头信息B1所包括的信息可以如上。然后先将文件头信息B1存储在电力文件A的后面,即存储在电力文件A的下一个字节处,再将电力文件B存储起来,即存储在文件头信息B1的下一个字节处。如表2所示。
表2
再接下来,基于HDFS的数据平台300又从继电保护装置301中接收电力文件C。基于HDFS的数据平台300根据该电力文件C生成对应的文件头信息C1,并将文件头信息C1和电力文件C依次存储在预设的存储位置。该文件头信息C1所包括的信息可以如上。然后先将文件头信息C1存储在电力文件B的后面,即存储在电力文件B的下一个字节处,再将电力文件C存储起来,即存储在文件头信息C1的下一个字节处。如表3所示。
表3
文件头信息A1 |
电力文件A |
文件头信息B1 |
电力文件B |
文件头信息C1 |
电力文件C |
假设以上的B和C存储于同一存储块中,且B和C的类型不同,例如B为COMTMTRADE类型文件,C为PQDIF类型文件。后续可以如上依次交替存储各文件头信息和电力文件。
假设该基于HDFS的数据平台300的存储块为128MB,该基于HDFS的数据平台300默认的对于所存储的文件的备份数量为3。当前若有100万个电力文件需要存储且每个电力文件为10MB,如果单独在各个存储块中存储各电力文件则需要大概384T的存储空间,如果按照本发明的方式,能够节省90%的存储空间。
假设工作人员需要找电力文件C,需要遍历各文件头信息。由于文件头信息中存在文件头信息的长度或者偏移位置,所以工作人员能够知道当前的文件头信息在什么位置结束。又由于文件头信息中包括了对应的电力文件的名称,所以能够知道该文件头信息后面跟着的电力文件是否是所需要的文件。还由于文件头信息中包括了对应的电力文件的大小,因此当装置发现该文件头信息对应的文件并非是所需要的文件时,可以很容易的定位到下一个文件头信息。所以,装置首先定位到文件头信息A1,经过读取发现该文件头信息A1对应的电力文件A并非是所需要的文件,进而装置定位到下一个文件头信息B1,经过读取发现该文件头信息B1对应的电力文件B并非是所需要的文件,进而装置定位到下一个文件头信息C1,经过读取发现该文件头信息对应的电力文件C是所需要的文件,则会准确定位到该电力文件C的起始位置进行读取。
这些电力文件可以用于后续的分析,例如分析电能质量等。具体不再赘述。
实施例四
本实施例提供一种电力系统文件处理的装置。如图4所示,为根据本实施例的电力系统文件处理的装置的结构示意图,该装置包括:一个接收单元401、一个生成单元402和一个存储单元403。
其中,接收单元401用于接收一个电力系统发送的一个电力文件;生成单元402用于生成与电力文件对应的文件头信息,文件头信息用于指示电力文件的名称、类型和大小;存储单元403用于存储文件头信息和电力文件,文件头信息的起始位置与最新存储的一个文件的结束位置连接,电力文件的起始位置与文件头信息的结束位置连接,至少部分电力文件与至少部分最新存储的一个文件位于同一个存储块,存储块的存储空间为一个存储平台预设的最小存储空间。
可选地,文件头信息还包括以下信息中的至少一种:文件头信息的大小、文件头信息的偏移位置、电力文件的版本、电力文件的扩展名、电力文件的校验码、电力文件对应的地理位置信息、电力文件的拓扑;或者
电力文件与最新存储的文件的类型不同;或者
存储平台为基于HDFS的数据平台。
可选地,存储单元403具体用于:
将文件头信息和电力文件整合为一个文件并存储于连接最新存储的一个文件的位置处,这样以尽量避免误存信息的可能性;或者将文件头信息和电力文件依次存储,这样能够避免过多的操作。
可选地,接收单元401还用于:接收电力系统发送的另一个电力文件;
生成单元402还用于:生成与另一个电力文件对应的另一个文件头信息,另一个文件头信息用于指示另一个电力文件的名称、类型和大小;
存储单元403还用于:存储另一个文件头信息和另一个电力文件,另一个文件头信息的起始位置与电力文件的结束位置连接,另一个电力文件的起始位置与另一个文件头信息的结束位置连接。
本实施例的各个单元的工作方法与前述实施例相同,在此不再赘述。
根据本实施例,通过生成与电力文件一一对应的文件头信息,并将该文件头信息与电力文件连接于最新存储的文件的后面进行存储,这样能够减少存储空间的浪费,并且通过该文件头信息,能够准确识别出所需要的电力文件。
实施例五
本实施例提供另一种电力系统文件处理的装置。如图5所示,为根据本实施例的电力系统文件处理的装置的结构示意图,该装置包括:一个遍历单元501和一个获取单元502。
其中,遍历单元501用于遍历一个文件头信息群组,从文件头信息群组中确定出一个目标文件头信息,文件头信息群组包括多个文件头信息且每相邻的两个文件头信息之间具有电力系统的一个电力文件,每个文件头信息用于指示该文件头信息与下一个文件头信息之间的电力文件的名称、类型和大小,至少有两个电力文件的各自的一部分位于同一个存储块,存储块的存储空间为一个存储平台预设的最小存储空间;获取单元502用于根据目标文件头信息获取对应的一个目标电力文件。
可选地,位于同一个存储块的两个电力文件,其中在后存储的电力文件对应的文件头信息的起始位置与在前存储的电力文件对应的文件头信息的结束位置连接,在后存储的电力文件的起始位置与在后存储的电力文件对应的文件头信息的结束位置连接。
可选地,文件头信息还包括以下信息中的至少一种:文件头信息的大小、文件头信息的偏移位置、电力文件的版本、电力文件的扩展名、电力文件的校验码、电力文件对应的地理位置信息、电力文件的拓扑;或者
至少有一个存储块中所存储的两个电力文件的类型不同;或者
存储平台为基于HDFS的数据平台。
本实施例的各个单元的工作方法与前述实施例相同,在此不再赘述。
根据本实施例,通过遍历文件头信息群组中的文件头信息来确定所需要查找到的目标电力文件,这样既能够节省存储空间,又能够准确找到所需要的文件。
本实发明还提供一种电力系统文件处理的系统,包括至少一个存储器和至少一个处理器。其中,存储器用于存储指令。处理器用于根据存储器存储的指令执行前述任意实施例所描述的电力系统文件处理的方法。
本发明的实施例还提供一种可读存储介质。该可读存储介质中存储有机器可读指令,机器可读指令当被一个机器执行时,机器执行前述任意实施例所描述的电力系统文件处理的方法。
该可读介质上存储有机器可读指令,该机器可读指令在被处理器执行时,使处理器执行前述的任一种方法。具体地,可以提供配有可读存储介质的系统或者装置,在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的机器可读指令。
在这种情况下,从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上或云上下载程序代码。
本领域技术人员应当理解,上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此,本发明的保护范围应当由所附的权利要求书来限定。
需要说明的是,上述各流程和各系统结构图中不是所有的步骤和单元都是必须的,可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的,可以根据需要进行调整。上述各实施例中描述的装置结构可以是物理结构,也可以是逻辑结构,即,有些单元可能由同一物理实体实现,或者,有些单元可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。
以上各实施例中,硬件单元可以通过机械方式或电气方式实现。例如,一个硬件单元或处理器可以包括永久性专用的电路或逻辑(如专门的处理器,FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器),可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上文通过附图和优选实施例对本发明进行了详细展示和说明,然而本发明不限于这些已揭示的实施例,基与上述多个实施例本领域技术人员可以知晓,可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例,这些实施例也在本发明的保护范围之内。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (18)
1.电力系统文件处理的方法,其特征在于,包括:
接收一个电力系统发送的一个电力文件;
生成与所述电力文件对应的文件头信息,所述文件头信息用于指示所述电力文件的名称、类型和大小;
存储所述文件头信息和所述电力文件,所述文件头信息的起始位置与最新存储的一个文件的结束位置连接,所述电力文件的起始位置与所述文件头信息的结束位置连接,至少部分所述电力文件与至少部分所述最新存储的一个文件位于同一个存储块,所述存储块的存储空间为一个存储平台预设的最小存储空间。
2.根据权利要求1所述的方法,其特征在于,所述文件头信息还包括以下信息中的至少一种:所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码、所述电力文件对应的地理位置信息、所述电力文件的拓扑;或者
所述电力文件与所述最新存储的一个文件的类型不同;或者
所述存储平台为基于HDFS的数据平台。
3.根据权利要求1所述的方法,其特征在于,所述存储所述文件头信息和所述电力文件包括:
将所述文件头信息和所述电力文件整合为一个文件并存储于连接所述最新存储的一个文件的位置处;或者
将所述文件头信息和所述电力文件依次存储。
4.根据权利要求1-3中任一项所述的方法,其特征在于,还包括:
接收所述电力系统发送的另一个电力文件;
生成与所述另一个电力文件对应的另一个文件头信息,所述另一个文件头信息用于指示所述另一个电力文件的名称、类型和大小;
存储所述另一个文件头信息和所述另一个电力文件,所述另一个文件头信息的起始位置与所述电力文件的结束位置连接,所述另一个电力文件的起始位置与所述另一个文件头信息的结束位置连接。
5.电力系统处理文件的方法,其特征在于,包括:
遍历一个文件头信息群组,从所述文件头信息群组中确定出一个目标文件头信息,所述文件头信息群组包括多个文件头信息且每相邻的两个文件头信息之间具有电力系统的一个电力文件,每个文件头信息用于指示该文件头信息与下一个文件头信息之间的电力文件的名称、类型和大小,至少有两个电力文件的各自的一部分位于同一个存储块,所述存储块的存储空间为一个存储平台预设的最小存储空间;
根据所述目标文件头信息获取对应的一个目标电力文件。
6.根据权利要求5所述的方法,其特征在于,位于同一个存储块的两个电力文件,其中在后存储的电力文件对应的文件头信息的起始位置与在前存储的电力文件对应的文件头信息的结束位置连接,所述在后存储的电力文件的起始位置与所述在后存储的电力文件对应的文件头信息的结束位置连接。
7.根据权利要求5或6所述的方法,其特征在于,所述文件头信息还包括以下信息中的至少一种:所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码、所述电力文件对应的地理位置信息、所述电力文件的拓扑;或者
至少有一个存储块中所存储的两个电力文件的类型不同;或者
所述存储平台为基于HDFS的数据平台。
8.电力系统文件处理的装置,其特征在于,包括:
一个接收单元,用于接收一个电力系统发送的一个电力文件;
一个生成单元,用于生成与所述电力文件对应的文件头信息,所述文件头信息用于指示所述电力文件的名称、类型和大小;
一个存储单元,用于存储所述文件头信息和所述电力文件,所述文件头信息的起始位置与最新存储的一个文件的结束位置连接,所述电力文件的起始位置与所述文件头信息的结束位置连接,至少部分所述电力文件与至少部分所述最新存储的一个文件位于同一个存储块,所述存储块的存储空间为一个存储平台预设的最小存储空间。
9.根据权利要求8所述的装置,其特征在于,所述文件头信息还包括以下信息中的至少一种:所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码、所述电力文件对应的地理位置信息、所述电力文件的拓扑;或者
所述电力文件与所述最新存储的文件的类型不同;或者
所述存储平台为基于HDFS的数据平台。
10.根据权利要求8所述的装置,其特征在于,所述存储单元具体用于:
将所述文件头信息和所述电力文件整合为一个文件并存储于连接所述最新存储的一个文件的位置处;或者
将所述文件头信息和所述电力文件依次存储。
11.根据权利要求8-10中任一项所述的装置,其特征在于,
所述接收单元还用于:接收所述电力系统发送的另一个电力文件;
所述生成单元还用于:生成与所述另一个电力文件对应的另一个文件头信息,所述另一个文件头信息用于指示所述另一个电力文件的名称、类型和大小;
所述存储单元还用于:存储所述另一个文件头信息和所述另一个电力文件,所述另一个文件头信息的起始位置与所述电力文件的结束位置连接,所述另一个电力文件的起始位置与所述另一个文件头信息的结束位置连接。
12.电力系统文件处理的装置,其特征在于,包括:
一个遍历单元,用于遍历一个文件头信息群组,从所述文件头信息群组中确定出一个目标文件头信息,所述文件头信息群组包括多个文件头信息且每相邻的两个文件头信息之间具有电力系统的一个电力文件,每个文件头信息用于指示该文件头信息与下一个文件头信息之间的电力文件的名称、类型和大小,至少有两个电力文件的各自的一部分位于同一个存储块,所述存储块的存储空间为一个存储平台预设的最小存储空间;
一个获取单元,用于根据所述目标文件头信息获取对应的一个目标电力文件。
13.根据权利要求12所述的装置,其特征在于,位于同一个存储块的两个电力文件,其中在后存储的电力文件对应的文件头信息的起始位置与在前存储的电力文件对应的文件头信息的结束位置连接,所述在后存储的电力文件的起始位置与所述在后存储的电力文件对应的文件头信息的结束位置连接。
14.根据权利要求12或13所述的装置,其特征在于,所述文件头信息还包括以下信息中的至少一种:所述文件头信息的大小、所述文件头信息的偏移位置、所述电力文件的版本、所述电力文件的扩展名、所述电力文件的校验码、所述电力文件对应的地理位置信息、所述电力文件的拓扑;或者
至少有一个存储块中所存储的两个电力文件的类型不同;或者
所述存储平台为基于HDFS的数据平台。
15.电力系统文件处理的系统,其特征在于,包括:
至少一个存储器,其用于存储指令;
至少一个处理器,其用于根据所述存储器存储的指令执行根据权利要求1-4中任一项所述的电力系统文件处理的方法。
16.电力系统文件处理的系统,其特征在于,包括:
至少一个存储器,其用于存储指令;
至少一个处理器,其用于根据所述存储器存储的指令执行根据权利要求5-7中任一项所述的电力系统文件处理的方法。
17.电力系统文件处理的系统,其特征在于,所述可读存储介质中存储有机器可读指令,所述机器可读指令当被一个机器执行时,所述机器执行根据权利要求1-4中任一项所述的电力系统文件处理的方法。
18.电力系统文件处理的系统,其特征在于,所述可读存储介质中存储有机器可读指令,所述机器可读指令当被一个机器执行时,所述机器执行根据权利要求5-7中任一项所述的电力系统文件处理的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911297199.8A CN111159120A (zh) | 2019-12-16 | 2019-12-16 | 电力系统处理文件的方法、装置与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911297199.8A CN111159120A (zh) | 2019-12-16 | 2019-12-16 | 电力系统处理文件的方法、装置与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111159120A true CN111159120A (zh) | 2020-05-15 |
Family
ID=70557312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911297199.8A Pending CN111159120A (zh) | 2019-12-16 | 2019-12-16 | 电力系统处理文件的方法、装置与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111159120A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1561483A (zh) * | 2001-09-28 | 2005-01-05 | 英特尔公司 | 最小单位地更新多个文件的方法 |
CN102065118A (zh) * | 2010-09-16 | 2011-05-18 | 深圳市九洲电器有限公司 | 一种网络设备升级方法及装置 |
CN104765876A (zh) * | 2015-04-24 | 2015-07-08 | 中国人民解放军信息工程大学 | 海量gnss小文件云存储方法 |
CN108804566A (zh) * | 2018-05-22 | 2018-11-13 | 广东技术师范学院 | 一种基于Hadoop的海量小文件读取方法 |
CN109446165A (zh) * | 2018-10-11 | 2019-03-08 | 中盈优创资讯科技有限公司 | 大数据平台的文件合并方法及装置 |
CN110519355A (zh) * | 2019-08-16 | 2019-11-29 | 北京浪潮数据技术有限公司 | 下发ova文件信息的方法、系统、设备及存储介质 |
-
2019
- 2019-12-16 CN CN201911297199.8A patent/CN111159120A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1561483A (zh) * | 2001-09-28 | 2005-01-05 | 英特尔公司 | 最小单位地更新多个文件的方法 |
CN102065118A (zh) * | 2010-09-16 | 2011-05-18 | 深圳市九洲电器有限公司 | 一种网络设备升级方法及装置 |
CN104765876A (zh) * | 2015-04-24 | 2015-07-08 | 中国人民解放军信息工程大学 | 海量gnss小文件云存储方法 |
CN108804566A (zh) * | 2018-05-22 | 2018-11-13 | 广东技术师范学院 | 一种基于Hadoop的海量小文件读取方法 |
CN109446165A (zh) * | 2018-10-11 | 2019-03-08 | 中盈优创资讯科技有限公司 | 大数据平台的文件合并方法及装置 |
CN110519355A (zh) * | 2019-08-16 | 2019-11-29 | 北京浪潮数据技术有限公司 | 下发ova文件信息的方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321387B (zh) | 数据同步方法、设备及终端设备 | |
CN109388566B (zh) | 一种代码覆盖率分析方法、装置、设备及存储介质 | |
CN114186100A (zh) | 数据存储及查询方法、装置及数据库系统 | |
CN109978499B (zh) | 一种多测站事后遥测数据快速处理方法 | |
CN107491458B (zh) | 一种存储时间序列数据的方法和装置以及系统 | |
CN111125298A (zh) | 重建ntfs文件目录树的方法、设备及存储介质 | |
CN109086307A (zh) | 文件处理的方法及装置 | |
CN109684309A (zh) | 一种数据质量评测方法及装置、计算机设备和存储介质 | |
CN104636401A (zh) | 一种scada系统数据回滚的方法及装置 | |
CN112486915A (zh) | 数据存储方法及装置 | |
CN108038127B (zh) | 一种数据同步的方法、装置、终端设备及存储介质 | |
CN111159120A (zh) | 电力系统处理文件的方法、装置与系统 | |
CN114153910A (zh) | 数据采集方法、装置及电子装置、计算机程序产品 | |
CN112860679A (zh) | 一种设备信息管理方法、装置、电子设备及存储介质 | |
CN110807000B (zh) | 一种文件修复方法、装置、电子设备和存储介质 | |
CN107798086A (zh) | 服务器信息更新方法、装置、系统及电子设备 | |
CN112433954B (zh) | 一种测试用例数据的解析提取和导入方法及装置 | |
CN102447589B (zh) | 一种聚合记录的方法及装置 | |
CN105095382A (zh) | 样本分布式聚类计算方法及装置 | |
CN110972258A (zh) | 一种位置指纹库的建立方法及装置 | |
CN112016025B (zh) | 数据采集方法、装置及终端设备 | |
CN114444137A (zh) | 一种定位硬盘所在机柜扩展器的方法、系统、设备及介质 | |
CN114138786A (zh) | 一种联机交易消息去重方法、装置、介质、产品和设备 | |
CN111143294A (zh) | 电力采集终端数据检索方法、装置和电子设备 | |
CN107577604B (zh) | 测试数据的生成方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |