CN110297811B - 数据处理方法及装置、计算机系统和计算机可读存储介质 - Google Patents
数据处理方法及装置、计算机系统和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110297811B CN110297811B CN201910582673.5A CN201910582673A CN110297811B CN 110297811 B CN110297811 B CN 110297811B CN 201910582673 A CN201910582673 A CN 201910582673A CN 110297811 B CN110297811 B CN 110297811B
- Authority
- CN
- China
- Prior art keywords
- data
- page
- time
- time sequence
- sorted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据处理方法,应用于电子设备,该数据处理方法包括:获取多个数据和多个数据中的每个数据对应的采集时间;根据每个数据对应的采集时间,将多个数据按照时序进行排序;以及将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成一个或多个页面中的每一页的时间属性数据,其中,每一页记录有按照时序进行排序后的数据中的部分数据,时间属性数据用于表征每一页记录的部分数据对应的采集时间所在的时间区间。本公开还提供了一种数据处理装置、一种计算机系统和一种计算机可读存储介质。
Description
技术领域
本公开涉及一种数据处理方法及装置、一种计算机系统和一种计算机可读存储介质。
背景技术
随着人工智能、自动控制、通信和计算机技术的快速发展,计算设备被越来越多地应用于处理工农业生产、建筑、物流、和日常生活等诸多领域产生的数据。在相关技术中,在对数据进行时序化处理的过程中,服务端设备要从被监控设备逐一读取数据进行排序,然后处理数据,存储数据,但随着数据量的增大,从被监控设备逐一读取数据会产生很大的时间开销,导致数据处理效率低。
发明内容
本公开的一个方面提供了一种数据处理方法,应用于电子设备,上述方法包括:获取多个数据和上述多个数据中的每个数据对应的采集时间;根据上述每个数据对应的采集时间,将上述多个数据按照时序进行排序;以及将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成上述一个或多个页面中的每一页的时间属性数据,其中,上述每一页记录有上述按照时序进行排序后的数据中的部分数据,上述时间属性数据用于表征上述每一页记录的部分数据对应的采集时间所在的时间区间。
可选地,数据处理方法还包括根据上述一个或多个页面中的每一页的时间属性数据,将上述目标文件包含的所有页面按照时序进行排序,得到排序处理后的文件;以及向时序数据库发送上述排序处理后的文件,以便在上述时序数据库中存储上述排序处理后的文件。
可选地,数据处理方法还包括在向时序数据库发送上述排序处理后的文件之前,将上述排序处理后的文件中的每一页进行压缩,得到压缩后的文件;以及向上述时序数据库发送上述压缩后的文件。
可选地,在将上述排序处理后的文件中的每一页进行压缩后,压缩后的每一页分别具有对应的数据量,上述方法还包括:将上述压缩后的每一页对应的数据量记录在对应页面中的第一预设位置。
可选地,数据处理方法还包括确定上述每一页记录的部分数据中的特征数据;以及将上述特征数据记录在对应页面中的第二预设位置。
本公开的另一方面提供了一种数据处理装置,应用于电子设备,上述装置包括:获取模块,用于获取多个数据和上述多个数据中的每个数据对应的采集时间;第一排序模块,用于根据上述每个数据对应的采集时间,将上述多个数据按照时序进行排序;以及记录模块,用于将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成上述一个或多个页面中的每一页的时间属性数据,其中,上述每一页记录有上述按照时序进行排序后的数据中的部分数据,上述时间属性数据用于表征上述每一页记录的部分数据对应的采集时间所在的时间区间。
可选地,数据处理装置还包括:第二排序模块,用于根据上述一个或多个页面中的每一页的时间属性数据,将上述目标文件包含的所有页面按照时序进行排序,得到排序处理后的文件;以及发送模块,用于向时序数据库发送上述排序处理后的文件,以便在上述时序数据库中存储上述排序处理后的文件。
可选地,数据处理装置还包括压缩模块,用于在向时序数据库发送上述排序处理后的文件之前,将上述排序处理后的文件中的每一页进行压缩,得到压缩后的文件;以及上述发送模块用于向上述时序数据库发送上述压缩后的文件。
可选地,在将上述排序处理后的文件中的每一页进行压缩后,压缩后的每一页分别具有对应的数据量,上述记录模块还用于将上述压缩后的每一页对应的数据量记录在对应页面中的第一预设位置。
可选地,数据处理装置还包括:确定模块,用于确定上述每一页记录的部分数据中的特征数据;以及上述记录模块还用于将上述特征数据记录在对应页面中的第二预设位置。
本公开的另一方面提供了一种计算机系统,包括:一个或多个处理器;计算机可读存储介质,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,上述计算机程序包括计算机可执行指令,上述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的数据处理方法及装置的应用场景;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图5示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图6示意性示出了根据本公开实施例的数据处理装置的框图;以及
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开的实施例提供了一种数据处理方法,应用于电子设备,该数据处理方法包括:获取多个数据和多个数据中的每个数据对应的采集时间;根据每个数据对应的采集时间,将多个数据按照时序进行排序;以及将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成一个或多个页面中的每一页的时间属性数据,其中,每一页记录有按照时序进行排序后的数据中的部分数据,时间属性数据用于表征每一页记录的部分数据对应的采集时间所在的时间区间。
图1示意性示出了根据本公开实施例的数据处理方法及装置的应用场景。需要注意的是,图1所示仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,在该应用场景100中,边缘端设备101可以采集多个数据,然后将多个数据按照时序进行排序,最后将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成每一页的时间属性数据。边缘端设备101可以将写有数据的目标文件传输给中转设备102,通过中转设备102传输给服务端设备103,服务端设备103将目标文件放置在时序数据库中管理。
根据本公开的实施例,边缘端设备101也可以将写有数据的目标文件通过无线通信方式直接传输给服务端设备103。
根据本公开的实施例,通过将采集到的多个数据直接按照采集时间进行排序,并写入目标文件的页面中,在页面中还记载有时间属性数据,使得对页面进行排序时,直接根据每页的时间属性数据进行排序,无需再对数据进行逐一进行读取,减少了数据读取的次数,提高了排序效率。进一步的,将目标文件存储到支持目标文件的文件格式的时序数据库中时,服务端设备无需再次对数据进行逐一进行读取,提高了数据处理效率。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
本公开所提供的数据处理方法应用于电子设备,如图2所示,该方法包括操作S201~S203。
在操作S201,获取多个数据和多个数据中的每个数据对应的采集时间。
根据本公开的实施例,获取的多个数据可以是通过传感器采集的被监控设备的运行数据。获取的多个数据也可以是通过被监控设备自身传输的数据。
根据本公开的实施例,运行数据的类型根据被监控设备的种类不同而不同,并且/或者,运行数据的类型根据业务需求的不同而不同。例如,被监控设备为半导体设备,对温度要求比较高,运行数据可以是半导体设备的温度。
根据本公开的实施例,可以按照一定时间间隔采集每个数据,每个数据具有对应的采集时间。本公开采集数据的时间间隔可以根据实际业务需求进行设定,例如,时间间隔可以是1秒,5秒等等。
在操作S202,根据每个数据对应的采集时间,将多个数据按照时序进行排序。
在操作S203,将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成一个或多个页面中的每一页的时间属性数据,其中,每一页记录有按照时序进行排序后的数据中的部分数据,时间属性数据用于表征每一页记录的部分数据对应的采集时间所在的时间区间。
根据本公开的实施例,随着采集的数据量逐渐增多,需要能够及时的存储大量的数据。本公开可以按照数据的采集时间将数据进行排序,同时,将按照时序进行排序后的数据逐一写入目标文件的页面中。
例如,按照时序进行排序后的数据包括900个数据,目标文件的每一页可以写入200个数据,那么至少需要5页才能将所有数据写入页面中,每一页记录有按照时序进行排序后的数据中的部分数据。
根据本公开的实施例,在向页面中写入数据时,无需达到每一页可以写入的数据量上限。例如,每一页可以写入的数据量上限为200个数据,在向页面中写入数据时,可以只写入180个数据,如此,可以空出20个数据的位置用于记录该页的时间属性数据。
根据本公开的实施例,在将多个数据按照时序进行排序之后,可以将按照时序进行排序后的数据并行写入目标文件的多个页面中。例如,在将前180个数据写入第一页中的同时,可以将第181个数据至第360个数据写入第二页中。如此,可以提高数据写入效率。
根据本公开的实施例,每一页的时间属性数据是根据该页上记录的数据的采集时间确定的,例如,该页上记录的数据的最早采集时间为t1,该页上记录的数据的最晚采集时间为t2,时间属性数据可以是t1-t2,t1-t2表征了该页记录的部分数据对应的采集时间所在的时间区间。本公开可以将t1-t2记录在该页的最后一行,或者记录在最后一个采集的数据后面位置。如此,可以使得在对所有页面进行排序时,无需访问页面中的具体数据就能知道本页数据的基本信息,减少了数据读取的次数,提高了排序效率。
在相关技术中,在对数据进行时序化处理的过程中,电子设备要从被监控设备逐一读取数据进行排序,然后处理数据,存储数据,但随着数据量的增大,从被监控设备逐一读取数据会产生很大的时间开销,导致数据处理效率低。根据本公开的实施例,通过将采集到的多个数据直接按照采集时间进行排序,并写入目标文件的页面中,在页面中还记载有时间属性数据,使得对页面进行排序时,直接根据每页的时间属性数据进行排序,无需再对数据进行逐一进行读取,减少了数据读取的次数,提高了排序效率。
下面参考图3~图5,结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图3所示,该数据处理方法包括操作S301~S302。
在操作S301,根据一个或多个页面中的每一页的时间属性数据,将目标文件包含的所有页面按照时序进行排序,得到排序处理后的文件。
根据本公开的实施例,由于在向页面写入数据时,同时也记载了页面的时间属性数据,在根据时间属性数据对页面进行排序后,将所有排序后的页面进行合并,得到最终的文件。
根据本公开的实施例,将目标文件包含的所有页面按照时序进行排序时,可以直接在电子设备的内存中进行排序。
在电子设备的内存中对页面进行排序时,可以判断内存中的数据量是否达到阈值,在达到阈值的情况下,可以预先将排好的页面先发给时序数据库进行存储,在释放内存空间之后,再对剩余的页面进行排序。
在操作S302,向时序数据库发送排序处理后的文件,以便在时序数据库中存储排序处理后的文件。
根据本公开的实施例,在时序数据库中可以存储属于不同被监控设备的采集数据,在时序数据库中可以对采集的数据进行分析处理,确定被监控设备是否出现异常情况。
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图4所示,该数据处理方法包括操作S401~S402。
在操作S401,在向时序数据库发送排序处理后的文件之前,将排序处理后的文件中的每一页进行压缩,得到压缩后的文件。
在操作S402,向时序数据库发送压缩后的文件。
根据本公开的实施例,例如,排序处理后的文件包括10页数据,对每一页分别进行压缩,每一页的压缩比例可以相同,也可以不同。根据本公开的实施例,在采集的数据量较大的情况下,可以降低时序数据库中的存储量,从而降低存储成本。
在工业物联网领域,边缘端设备采集完数据后,可以对数据进行编码,压缩以后传输到服务端,然后服务端再解码,解压,然后再存入时序数据库,存入时序数据库时也会进行编码,压缩操作。通过本公开的实施例,压缩后的文件具有时序数据库支持的文件格式,通过直接使用时序数据库支持的文件格式进行数据的编码和压缩,不仅满足了降低上报流量的要求,而且当服务端收到上报的时序数据库支持的文件格式的文件后,可以直接交给支持文件格式的时序数据库使用,不需要再进行其他任何操作,节约在时序数据库再次进行数据编码和压缩,数据解码和解压的操作,节约了资源开销。
根据本公开的实施例,在将排序处理后的文件中的每一页进行压缩后,压缩后的每一页分别具有对应的数据量,还可以将压缩后的每一页对应的数据量记录在对应页面中的第一预设位置。
根据本公开的实施例,第一预设位置可以是每一页上的固定位置,例如,可以是每一页的最后一行。需要说明的是,第一预设位置的具体位置不做限定,可以预先设定。
通过本公开的实施例,由于每一页都记载了压缩后的对应数据量,使得在对数据进行存储时,可以根据压缩后的对应数据量预先判断存储所需空间。同时,使得无需逐一读取页面中的所有数据,就可以对该页信息有所了解。
图5示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图5所示,该数据处理方法包括操作S501~S502。
在操作S501,确定每一页记录的部分数据中的特征数据。
根据本公开的实施例,特征数据的类型不做限定。例如,包括但不限于每一页记录的部分数据中的最大值和/或最小值,或者,每一页记录的部分数据中采集时间最早的数值和/或采集时间最晚的数值。
在操作S502,将特征数据记录在对应页面中的第二预设位置。
根据本公开的实施例,第二预设位置可以是每一页上的固定位置,例如,可以是每一页的最后一行。需要说明的是,第二预设位置的具体位置不做限定,可以预先设定。
通过本公开的实施例,由于每一页都记载了部分数据中的特征数据,使得无需逐一读取页面中的所有数据,就可以对该页信息有所了解。
图6示意性示出了根据本公开实施例的数据处理装置的框图。
本公开的数据处理装置600应用于电子设备。如图6所示,数据处理装置600包括获取模块601、第一排序模块602和记录模块603。
获取模块601用于获取多个数据和多个数据中的每个数据对应的采集时间。
第一排序模块602用于根据每个数据对应的采集时间,将多个数据按照时序进行排序。
记录模块603用于将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成一个或多个页面中的每一页的时间属性数据,其中,每一页记录有按照时序进行排序后的数据中的部分数据,时间属性数据用于表征每一页记录的部分数据对应的采集时间所在的时间区间。
通过本公开的实施例,通过将采集到的多个数据直接按照采集时间进行排序,并写入目标文件的页面中,在页面中还记载有时间属性数据,使得对页面进行排序时,直接根据每页的时间属性数据进行排序,无需再对数据进行逐一进行读取,减少了数据读取的次数,提高了排序效率。
根据本公开的实施例,数据处理装置600还包括第二排序模块,用于根据一个或多个页面中的每一页的时间属性数据,将目标文件包含的所有页面按照时序进行排序,得到排序处理后的文件;以及发送模块,用于向时序数据库发送排序处理后的文件,以便在时序数据库中存储排序处理后的文件。
根据本公开的实施例,数据处理装置600还包括:压缩模块,用于在向时序数据库发送排序处理后的文件之前,将排序处理后的文件中的每一页进行压缩,得到压缩后的文件;以及发送模块用于向时序数据库发送压缩后的文件。
根据本公开的实施例,在将排序处理后的文件中的每一页进行压缩后,压缩后的每一页分别具有对应的数据量,记录模块还用于将压缩后的每一页对应的数据量记录在对应页面中的第一预设位置。
根据本公开的实施例,数据处理装置600还包括确定模块,用于确定每一页记录的部分数据中的特征数据;记录模块还用于将特征数据记录在对应页面中的第二预设位置。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,获取模块601、第一排序模块602和记录模块603中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,获取模块601、第一排序模块602和记录模块603中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块601、第一排序模块602和记录模块603中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
根据本公开的实施例,提供了一种计算机系统,包括:一个或多个处理器;计算机可读存储介质,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的方法。
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图7示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括处理器710和计算机可读存储介质720。该计算机系统700可以执行根据本公开实施例的方法。
具体地,处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质720,例如可以是非易失性的计算机可读存储介质,具体示例包括但不限于:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;等等。
计算机可读存储介质720可以包括计算机程序721,该计算机程序721可以包括代码/计算机可执行指令,其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。
计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序721中的代码可以包括一个或多个程序模块,例如包括721A、模块721B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器710执行时,使得处理器710可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例,获取模块601、第一排序模块602和记录模块603中的至少一个可以实现为参考图7描述的计算机程序模块,其在被处理器710执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。
Claims (5)
1.一种数据处理方法,应用于边缘端设备,所述方法包括:
获取多个数据和所述多个数据中的每个数据对应的采集时间;
根据所述每个数据对应的采集时间,将所述多个数据按照时序进行排序;以及
将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成所述一个或多个页面中的每一页的时间属性数据,其中,所述每一页记录有所述按照时序进行排序后的数据中的部分数据,所述时间属性数据用于表征所述每一页记录的部分数据对应的采集时间所在的时间区间;
根据所述一个或多个页面中的每一页的时间属性数据,将所述目标文件包含的所有页面按照时序进行排序,得到排序处理后的文件;
向服务端设备发送所述排序处理后的文件,以便所述服务端设备将所述排序处理后的文件放在时序数据库中管理;
在向时序数据库发送所述排序处理后的文件之前,将所述排序处理后的文件中的每一页进行压缩,得到压缩后的文件;
将所述压缩后的每一页对应的数据量记录在对应页面中的第一预设位置;以及
向所述时序数据库发送所述压缩后的文件。
2.根据权利要求1所述的方法,还包括:
确定所述每一页记录的部分数据中的特征数据;以及
将所述特征数据记录在对应页面中的第二预设位置。
3.一种数据处理装置,应用于边缘端设备,所述装置包括:
获取模块,用于获取多个数据和所述多个数据中的每个数据对应的采集时间;
第一排序模块,用于根据所述每个数据对应的采集时间,将所述多个数据按照时序进行排序;以及
记录模块,用于将按照时序进行排序后的数据写入目标文件的一个或多个页面中,并生成所述一个或多个页面中的每一页的时间属性数据,其中,所述每一页记录有所述按照时序进行排序后的数据中的部分数据,所述时间属性数据用于表征所述每一页记录的部分数据对应的采集时间所在的时间区间。
第二排序模块,用于根据所述一个或多个页面中的每一页的时间属性数据,将所述目标文件包含的所有页面按照时序进行排序,得到排序处理后的文件;以及
发送模块,用于向服务端设备发送所述排序处理后的文件,以便所述服务端设备将所述排序处理后的文件放在时序数据库中管理;
压缩模块,用于在向时序数据库发送所述排序处理后的文件之前,将所述排序处理后的文件中的每一页进行压缩,得到压缩后的文件;以及
所述发送模块用于向所述时序数据库发送所述压缩后的文件。
4.一种计算机系统,包括:
一个或多个处理器;
计算机可读存储介质,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至2中任一项所述的方法。
5.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至2中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910582673.5A CN110297811B (zh) | 2019-06-28 | 2019-06-28 | 数据处理方法及装置、计算机系统和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910582673.5A CN110297811B (zh) | 2019-06-28 | 2019-06-28 | 数据处理方法及装置、计算机系统和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110297811A CN110297811A (zh) | 2019-10-01 |
CN110297811B true CN110297811B (zh) | 2022-04-19 |
Family
ID=68029729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910582673.5A Active CN110297811B (zh) | 2019-06-28 | 2019-06-28 | 数据处理方法及装置、计算机系统和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110297811B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115072B (zh) * | 2020-09-03 | 2022-06-17 | 清华大学 | 时序图的处理方法及装置 |
CN112711612B (zh) * | 2020-12-31 | 2023-09-19 | 青岛海尔科技有限公司 | 数据处理方法、装置和存储介质及电子装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101483494A (zh) * | 2008-01-07 | 2009-07-15 | 中兴通讯股份有限公司 | 一种会话发起协议终端编解码算法动态协商的方法及系统 |
CN102930025A (zh) * | 2011-11-03 | 2013-02-13 | 微软公司 | 用于处理大数据的属性和区间的系统和方法 |
CN104063441A (zh) * | 2014-06-12 | 2014-09-24 | 北京东进航空科技股份有限公司 | 数据库运维系统及其对数据的运维方法 |
CN106156285A (zh) * | 2016-06-27 | 2016-11-23 | 北京小米移动软件有限公司 | 图片显示方法及装置 |
-
2019
- 2019-06-28 CN CN201910582673.5A patent/CN110297811B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101483494A (zh) * | 2008-01-07 | 2009-07-15 | 中兴通讯股份有限公司 | 一种会话发起协议终端编解码算法动态协商的方法及系统 |
CN102930025A (zh) * | 2011-11-03 | 2013-02-13 | 微软公司 | 用于处理大数据的属性和区间的系统和方法 |
CN104063441A (zh) * | 2014-06-12 | 2014-09-24 | 北京东进航空科技股份有限公司 | 数据库运维系统及其对数据的运维方法 |
CN106156285A (zh) * | 2016-06-27 | 2016-11-23 | 北京小米移动软件有限公司 | 图片显示方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110297811A (zh) | 2019-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108073519B (zh) | 测试用例生成方法和装置 | |
US9298725B2 (en) | De-duplication with partitioning advice and automation | |
US20220075794A1 (en) | Similarity analyses in analytics workflows | |
CN110297811B (zh) | 数据处理方法及装置、计算机系统和计算机可读存储介质 | |
US20160034201A1 (en) | Managing de-duplication using estimated benefits | |
CN109669798B (zh) | 崩溃分析方法、装置、电子设备,及存储介质 | |
CN112311902B (zh) | 基于微服务的文件发送方法及装置 | |
CN111581171A (zh) | 日志处理方法、装置、计算设备和介质 | |
US20170109258A1 (en) | Smart logging of trace data for storage systems | |
CN109981774B (zh) | 数据缓存方法和数据缓存装置 | |
CN111124894B (zh) | 代码覆盖率的处理方法、装置和计算机设备 | |
CN108108467B (zh) | 数据删除方法及装置 | |
US11323419B2 (en) | Method and system for anonymizing subsets selected from datasets of parameters relating to a plurality of network-connected devices | |
CN114556283B (zh) | 一种数据写入、一致性检查和读取的方法及装置 | |
US8811756B2 (en) | Image compression | |
US10552386B1 (en) | System and method for storing and reading a database on flash memory or other degradable storage | |
CN104932983A (zh) | 在存储器中记录数据的系统和方法 | |
US11023226B2 (en) | Dynamic data ingestion | |
CN107229535B (zh) | 数据块的多副本存储方法、存储设备、数据读取方法 | |
CN110879830A (zh) | 一种数据管理方法、设备及存储介质 | |
CN116662214B (zh) | 基于fio的硬盘垃圾回收方法、装置、系统及介质 | |
CN105102083A (zh) | 一种处理数据的方法、装置和系统 | |
CN104050052A (zh) | 错误校正代码播种 | |
CN112988530B (zh) | 一种用户数据处理方法、装置、存储介质及用户终端 | |
CN112765170B (zh) | 一种嵌入式时间序列数据管理方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |