CN110795431B - 环境监测数据处理方法、装置、设备及存储介质 - Google Patents

环境监测数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110795431B
CN110795431B CN201911031765.0A CN201911031765A CN110795431B CN 110795431 B CN110795431 B CN 110795431B CN 201911031765 A CN201911031765 A CN 201911031765A CN 110795431 B CN110795431 B CN 110795431B
Authority
CN
China
Prior art keywords
target
data table
storage
data
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911031765.0A
Other languages
English (en)
Other versions
CN110795431A (zh
Inventor
于光伟
王新
张金永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN TONGYANG TECHNOLOGY DEVELOPMENT CO LTD
Original Assignee
TIANJIN TONGYANG TECHNOLOGY DEVELOPMENT CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN TONGYANG TECHNOLOGY DEVELOPMENT CO LTD filed Critical TIANJIN TONGYANG TECHNOLOGY DEVELOPMENT CO LTD
Priority to CN201911031765.0A priority Critical patent/CN110795431B/zh
Publication of CN110795431A publication Critical patent/CN110795431A/zh
Application granted granted Critical
Publication of CN110795431B publication Critical patent/CN110795431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof

Abstract

本发明实施例公开了一种环境监测数据处理方法、装置、设备及存储介质,其中处理方法包括:获取环境监测数据和与环境监测数据对应的记录时间;根据记录时间,从各目标数据表中确定与记录时间对应的各存储数据表,并将环境监测数据存储至各存储数据表。本发明实施例并不是将各环境监测数据均存储至同一数据表,而是根据各环境监测数据的记录时间,将各环境监测数据存储至对应的各存储数据表,实现了数据存储的分散化。并且,随着数据量的增加,各存储数据表存储的数据量远小于单一存储数据表所存储的数据量,且各存储数据量所存储的数据量可控,不会因数据量大而导致存储数据库运行缓慢,甚至导致系统崩溃,进而提高了数据处理效率及系统稳定性。

Description

环境监测数据处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及数据处理技术,尤其涉及一种环境监测数据处理方法、装置、设备及存储介质。
背景技术
在环境监测领域,通常需要采集环境监测数据,并将采集的环境监测数据存储到数据库当中,以及对环境监测数据进行各种处理,如数据查询。
现有技术中,针对具有关联关系的环境监测数据,通常采用将环境监测数据存储至同一数据库中的同一数据表。
然而,发现现有技术中至少存在如下问题:随着数据量的增大,上述数掘存储方式,可能会造成数据库处理器和内存的满载,进而使得应用程序或功能无法正常使用,甚至使得系统崩溃,从而对数据处理效率及系统稳定性产生了不利影响。
发明内容
本发明实施例提供了一种环境监测数据处理方法、装置、设备及存储介质,以提高数据处理效率及提高系统稳定性。
第一方面,本发明实施例提供了一种环境监测数据处理方法,该方法包括:
获取环境监测数据和与所述环境监测数据对应的记录时间;
根据所述记录时间,从各目标数据表中确定与所述记录时间对应的各存储数据表,并将所述环境监测数据存储至各所述存储数据表。
进一步的,所述获取环境监测数据和与所述环境监测数据对应的记录时间之前,还包括:
根据各原始数据表的原始标识,确定与各原始标识对应的创建规则,每个所述创建规则包括创建频率,对应于同一原始标识的各创建规则不同;
执行各创建规则,生成与各所述原始标识对应的目标数据表,以及,与各所述目标数据表对应的目标日志,每个所述目标日志包括所述目标数据表的有效时间和所述目标数据表的目标标识。
进一步的,所述创建规则还包括数据库标识;
所述执行各创建规则,生成与各所述原始标识对应的目标数据表,以及,与各所述目标数据表对应的目标日志之后,还包括:
将各所述目标数据表存储至与各所述数据库标识对应的存储数据库,以及,将与各所述目标数据表对应的目标日志存储至基本数据库;或,
将各所述目标数据表和与各所述目标数据表对应的目标日志关联存储至与各所述数据库标识对应的存储数据库。
进一步的,所述根据所述记录时间,从各目标数据表中确定与所述记录时间对应的各存储数据表,并将所述环境监测数据存储至各所述存储数据表,包括:
从各所述目标日志中确定与所述记录时间匹配的各有效时间;
根据各所述有效时间,从各所述目标数据表中确定与各所述有效时间对应的存储数据表,并将所述环境监测数据存储至各所述存储数据表。
进一步的,所述从各所述目标日志中确定与所述记录时间匹配的各有效时间,包括:
根据第一配置信息,从各所述存储数据库中确定用于存储所述环境监测数据的第一目标数据库;
从与所述第一目标数据库对应的各所述目标日志中确定与所述记录时间匹配的各有效时间。
进一步的,所述根据所述记录时间,从各目标数据表中确定与所述记录时间对应的各存储数据表,并将所述环境监测数据存储至各所述存储数据表之后,还包括:
获取数据查询请求,所述数据查询请求包括查询时间和查询标识;
从各所述目标日志中确定与所述查询标识一致的各目标标识,根据各所述目标标识,确定与各所述目标标识对应的目标数据表;
从各目标数据表中确定与所述查询时间匹配的各存储数据表,根据各所述存储数据表,得到查询结果。
进一步的,所述从各所述目标日志中确定与所述查询标识一致的各目标标识,根据各所述目标标识,确定与各所述目标标识对应的目标数据表,包括:
根据第二配置信息,从各所述存储数据库中确定用于存储所述查询标识的第二目标数据库;
从与所述第二目标数据库对应的各所述目标日志中确定与所述查询标识一致的各目标标识,根据各所述目标标识,确定与各所述目标标识对应的目标数据表。
第二方面,本发明实施例还提供了一种环境监测数据处理装置,该装置包括:
数据获取模块,用于获取环境监测数据和与所述环境监测数据对应的记录时间;
数据存储模块,用于根据所述记录时间,从各目标数据表中确定与所述记录时间对应的各存储数据表,并将所述环境监测数据存储至各所述存储数据表。
第三方面,本发明实施例还提供了一种环境监测数据处理设备,该设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例第一方面所述的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例第一方面所述的方法。
本发明实施例通过获取环境监测数据和与环境监测数据对应的记录时间,根据记录时间,从各目标数据表中,确定与该记录时间对应的各存储数据表,并将该环境监测数据存储至各存储数据表。上述由于存储数据表为与记录时间对应的目标数据表,即并不是将各环境监测数据均存储至同一数据表,而是根据各环境监测数据的记录时间,将各环境监测数据存储至对应的各存储数据表,实现了数据存储的分散化。并且,随着数据量的增加,本发明实施例中各存储数据表存储的数据量远小于现有技术中单一存储数据表所存储的数据量,且各存储数据量所存储的数据量可控,不会因数据量大而导致存储数据库运行缓慢,甚至导致系统崩溃,进而提高了数据存储效率及系统稳定性,由于数据存储效率的提高,因此,也提高了数据处理效率。
附图说明
图1是本发明实施例中的一种环境监测数据处理方法的流程图;
图2是本发明实施例中的一种目标数据表及目标日志生成方法的流程图;
图3是本发明实施例中的一种环境监测数据查询方法的流程图;
图4是本发明实施例中的另一种环境监测数据处理方法的流程图;
图5是本发明实施例中的一种环境监测数据处理装置的结构示意图;
图6是本发明实施例中的一种环境监测数据处理设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定,实施例中记载的各个特征可进行组合,形成多个可选方案。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种环境监测数据处理方法的流程图,本实施例可适用于提高数据处理效率及提高系统稳定性的情况,该方法可以由环境监测数据处理装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于设备中,例如典型的是计算机。如图1所示,该方法具体包括如下步骤:
步骤110、获取环境监测数据和与环境监测数据对应的记录时间。
在本发明的实施例中,环境监测数据可表示待存储的数据。通常每个环境监测数据有与该环境监测数据对应的记录时间,因此,在获取环境监测数据的同时,也可获取与该环境监测数据对应的记录时间。其中,记录时间可表示获取到该环境监测数据对应的时间。记录时间可用于确定存储与该记录时间对应的环境监测数据的存储位置的依据。
获取环境监测数据和与环境监测数据对应的记录时间,可作如下理解:可获取数据存储请求,数据存储请求包括待存储的环境监测数据和与该环境监测数据对应的记录时间。
步骤120、根据记录时间,从各目标数据表中确定与记录时间对应的各存储数据表,并将环境监测数据存储至各存储数据表。
在本发明的实施例中,目标数据表可用于存储环境监测数据。目标数据表可预先建立并存储,同时可关联存储该目标数据表的目标标识和该目标数据表的有效时间,并可将该目标数据表的目标标识和该目标数据表的有效时间关联存储至与该目标数据表对应的目标日志。有效时间可用于表示目标数据表的可存储数据时间,有效时间可用于作为确定是否可将环境监测数据存储至与有效时间对应的目标数据表的依据,有效时间可为由初始有效时间和结束有效时间组成的时间段。目标数据表的建立时间通常不是目标数据表的初始有效时间,一般需早于目标数据表的初始有效时间,目标数据表的建立时间可根据实际情况进行设定,在此不作具体限定。示例性的,如某目标数据表的有效时间为2019年1月1日0:00:00到2019年1月1日23:59:59,即初始有效时间为2019年1月1日0:00:00,则该目标数据表的建立时间可为2018年12月31日0:00:00。目标标识可用于作为查询环境监测数据的存储位置的依据。由于在获取环境监测数据时,也会获取环境监测数据的记录时间,记录时间可用于确定存储与该记录时间对应的环境监测数据的存储位置的依据,因此,可根据记录时间与有效时间,确定存储与记录时间对应的环境监测数据的存储位置,其中,存储位置可指目标数据表。基于上述,针对某环境监测数据来说,如果该环境监测数据的记录时间不属于某目标数据表的有效时间,则确定无法将该环境监测数据存储至该目标数据表。相反的,如果该环境监测数据的记录时间属于某目标数据表的有效时间,则确定可将该环境监测数据存储至该目标数据表。换个角度理解,针对某环境监测数据来说,需要将该环境监测数据存储至与该环境监测数据的记录时间匹配的有效时间所对应的目标数据表中。需要说明的是,针对某环境监测数据来说,可存储该环境监测数据的目标数据表的个数为至少一个。即可能存在至少一个目标数据表,上述目标数据表的有效时间与该环境监测数据的记录时间匹配。此外,由于每个目标日志存储有目标数据表的目标标识和目标数据表的有效时间,因此,可根据记录时间和目标日志,确定存储与记录时间对应的环境监测数据的存储位置。
基于上述,根据记录时间,从各目标数据表中确定与记录时间对应的各存储数据表,并将环境监测数据存储至各存储数据表,可作如下理解:在获取到待存储的环境监测数据和与该环境监测数据对应的记录时间后,可根据该环境监测数据的记录时间,从各目标数据表中确定与该记录时间匹配的各目标数据表,将与该记录时间匹配的各目标数据表作为各存储数据表,并将该环境监测数据存储至各存储数据表。由于在存储目标数据表的同时,还可关联存储与该目标数据表对应的目标日志,目标日志可包括该目标数据表的目标标识和该目标数据表的有效时间,因此,上述所述的根据该环境监测数据的记录时间,从各目标数据表中确定与该记录时间匹配的各目标数据表,将与该记录时间对应的各目标数据表作为各存储数据表,可作如下理解:根据该环境监测数据的记录时间,从各目标日志中确定与记录时间匹配的各有效时间,根据各有效时间,从各目标数据表中确定与各有效时间对应的存储数据表,并可将该环境监测数据存储至各存储数据表。可以理解到,由于存储数据表为与记录时间匹配的目标数据表,因此,存储数据表属于目标数据表。根据上文所述可知,可存储环境监测数据的存储数据表的个数为至少一个。
需要说明的是,针对每个目标数据表,以及与该目标数据表对应的目标日志,其有如下两种存储方式:方式一、可将该目标数据表存储至对应的数据库,将与该目标数据表对应的目标日志存储至对应的另一数据库。即可将该目标数据表,以及,与该目标数据表对应的目标日志,分别存储至不同的数据库;方式二、可将该目标数据表以及与该目标数据对应的目标日志存储至对应的同一数据库中。上述方式一中不同目标日志所存储的数据库通常可为同一数据库,即可将各目标日志均存储至同一数据库。还需要说明的是,针对每个待存储的环境监测数据,在确定将该环境监测数据存储至哪个或哪几个存储数据表时,可存储该环境监测数据的各存储数据表所对应的数据库通常是可预先确定的。即可理解为是在确定的数据库中,根据环境监测数据的记录时间和各目标数据表的目标日志,确定将该环境监测数据存储至该数据库中的哪个或哪几个存储数据表中。简而言之,可理解为是在确定的数据库中,确定可存储环境监测数据的各存储数据表。其中,可根据配置信息确定可存储环境监测数据的数据库。
另需要说明的是,由于针对环境监测数据而言,通常是以小时、天、季度和年等中的至少一种为单位进行数据处理的,即对小时数据、天数据、月数据、季度数据和年度数据中的至少一种进行数据处理,因此,可理解到,存储环境监测数据的数据表的类型可分为小时表、日表、旬表、月表、季度表和年度表等。本发明实施例为了提高数据处理效率以及提高系统稳定性,目标数据表的类型包括小时表、日表、旬表、月表、季度表和年度表中的至少一种。基于此,可对上文所述的目标数据表的有效时间作进一步理解,如果某目标数据表的类型为日表,则可说明该目标数据表将仅在某天作为可存储环境监测数据的数据表,其中,某天可理解为该目标数据表的有效时间。示例性的,如某目标数据表的有效时间为2019年10月19日0:00:00到2019年10月19日23:59:59。此外,为了进一步减少数据存储量,在同一数据库中,针对同一目标标识的同一类型的目标数据表,可设定上述目标数据表之间的有效时间无交叉。即保证在将环境监测数据存储至各存储数据表时,不会出现将该环境监测数据同时存储在具有同一目标标识的同一类型的不同存储数据表中。上述是通过在建立目标数据表时,确保不会出现两个或两个以上的目标数据具有同一目标标识且属于同一类型。
示例性的,如待存储的环境监测数据为A,与环境监测数据A对应的记录时间a为2019年10月19日11:00:00。目标数据表一的有效时间b为2019年10月19日0:00:00到2019年10月19日23:59:59,目标数据表二的有效时间c为2019年10月1日0:00:00到2019年12月31日23:59:59,目标数据表三的有效时间d为2019年10月18日0:00:00到2019年10月18日23:59:59。由于记录时间a与有效时间b和有效时间c匹配,即记录时间a属于有效时间b和有效时间c,因此,可确定目标数据表一和目标数据表二为与记录时间对应的目标数据表,可将目标数据表一作为存储数据表一,将目标数据表二作为存储数据表二,并可将环境监测数据A存储至存储数据表一和存储数据表二。
上述通过在获取到环境监测数据和与该环境监测数据对应的记录时间,根据记录时间,从预先建立并存储的各目标数据表中确定与记录时间对应的各存储数据表,并将该环境监测数据存储至各存储数据表,相比于传统技术中由于仅建立并存储一个数据表,因此,针对每个环境监测数据,在获取到该环境监测数据后便直接将该环境监测数据存储至该数据表的数据存储方式而言,由于预先建立并存储各目标数据表,因此,针对每个环境监测数据,在获取到该环境监测数据后,可根据记录时间,从各目标数据表中,确定与该记录时间对应的各存储数据表,并将该环境监测数据存储至各存储数据表,存储数据表为与记录时间对应的目标数据表,即并不是将各环境监测数据均存储至同一数据表,而是根据各环境监测数据的记录时间,将各环境监测数据存储至对应的各存储数据表,上述实现了数据存储的分散化。随着数据量的增加,本发明实施例中各存储数据表存储的数据量远小于传统技术中单一存储数据表所存储的数据量,且各存储数据量所存储的数据量可控,不会因数据量大而导致存储数据库运行缓慢,甚至导致系统崩溃,进而提高了数据存储效率及系统稳定性,由于数据存储效率的提高,因此,也提高了数据处理效率。
本实施例的技术方案,通过获取环境监测数据和与环境监测数据对应的记录时间,根据记录时间,从各目标数据表中,确定与该记录时间对应的各存储数据表,并将该环境监测数据存储至各存储数据表。上述由于存储数据表为与记录时间对应的目标数据表,即并不是将各环境监测数据均存储至同一数据表,而是根据各环境监测数据的记录时间,将各环境监测数据存储至对应的各存储数据表,实现了数据存储的分散化。并且,随着数据量的增加,本发明实施例中各存储数据表存储的数据量远小于现有技术中单一存储数据表所存储的数据量,且各存储数据量所存储的数据量可控,不会因数据量大而导致存储数据库运行缓慢,甚至导致系统崩溃,进而提高了数据存储效率及系统稳定性,由于数据存储效率的提高,因此,也提高了数据处理效率。
可选的,在上述技术方案的基础上,获取环境监测数据和与环境监测数据对应的记录时间之前,具体还可以包括:根据各原始数据表的原始标识,确定与各原始标识对应的创建规则,每个创建规则包括创建频率,对应于同一原始标识的各创建规则不同。执行各创建规则,生成与各原始标识对应的目标数据表,以及,与各目标数据表对应的目标日志,每个目标日志包括目标数据表的有效时间和目标数据表的目标标识。
在本发明的实施例中,为了解决传统技术中数据处理效率不高且系统稳定性差的问题,可考虑对传统技术中采用的由单一数据表存储各环境监测数据的数据存储方式进行改进,以提高数据处理效率以及提高系统稳定性,其中,数据处理效率的提高可通过数据存储效率的提高实现,具体的:由于导致传统技术中存在上述问题的原因在于:由于预先建立并存储一个数据表,因此,后续在得到各环境监测数据后,只能将各环境监测数据均存储至该数据表中,当获取到的环境监测数据的数量越来越多,即数据量越来越大时,容易导致系统稳定性的降低,以及,数据存储效率的降低。基于上述,可以理解到,导致上述问题的主要原因在于数据表的个数过少,相应的,解决上述问题的关键在于如何增加数据表的个数。本发明实施例提出可通过采用建立并执行创建规则,为每个原始数据表建立对应的目标数据表的方式来解决上述问题,其中,目标数据表的个数可为至少一个。下面对其进行详细说明。
创建规则可用于作为建立目标数据表的规则,创建规则可包括原始数据表的创建频率。原始数据表可指数据库中已存在的数据表,原始数据表可用原始标识进行标识。原始标识可为原始数据表的表名。创建频率可用于表示建立目标数据表的频率。创建频率可包括每小时、每天、每旬、每月、每季度和每年度中的至少一种。相应的,如果设定与某原始标识对应的创建频率为每小时,则将每小时建立一个与该原始标识对应的目标数据表,该目标数据表的类型为小时表。如果设定与某原始标识对应的创建频率为每天,则将每天建立一个与该原始标识对应的目标数据表,该目标数据表的类型为日表。如果设定与某原始标识对应的创建频率为每旬,则将每旬建立一个与该原始标识对应的目标数据表,该目标数据表的类型为旬表。如果设定与某原始标识对应的创建频率为每月,则将每月建立一个与该原始标识对应的目标数据表,该目标数据表的类型为月表。如果设定与某原始标识对应的创建频率为每季度,则将每季度建立一个与该原始标识对应的目标数据表,该目标数据表的类型为季度表。如果设定与某原始标识对应的创建频率为每年度,则将每年度建立一个与该原始标识对应的目标数据表,该目标数据表的类型为年度表。可以理解到,每个原始标识可对应建立至少一个目标数据表。需要说明的是,目标数据表的建立时间通常由创建规则每次被执行的时间确定,并结合上文所述的目标数据表的建立时间通常早于目标数据表的初始有效时间可得到创建规则每次被执行的时间通常早于目标数据表的初始有效时间。具体创建规则每次被执行的时间可根据实际情况进行设定,在此不作具体限定。还需要说明的是,为了进一步减少单一数据库的数据处理量,可将各目标数据表存储至不同的数据库中,其中,数据库可用数据库标识进行表示。相应的,创建规则还可包括数据库标识。此外,还可设定创建规则的运行时间、运行状态和主从表关系。其中,运行时间可表示由运行开始时间和运行结束时间组成的时间段。即如果设定某创建规则的运行时间为运行时间一,则可表示该创建规则可在运行时间一内按照运行频率执行,相应的,如果当前时间不属于运行时间一,则该创建规则将无法被执行。需要说明的是,也可能在运行时间一内终止执行该创建规则。运行状态可表示创建规则的执行状态。运行状态可包括运行状态可根据实际情况进行设定,在此不作限定。主从表关系可表示数据表之间的从属关系。
可以理解到,由于创建规则可包括运行时间,因此,可说明创建规则并不是建立后,就会一直被执行的。相应的,随着时间的推移,创建规则可能会发生变化,即在同一数据库中,针对某原始标识,设定与该原始标识对应的创建规则一,创建规则一可包括创建频率一,创建频率一为每天,则基于创建规则一生成的目标数据表的类型为日表。设定与该原始标识对应的创建规则二,创建规则二可包括创建频率二,创建频率为每月,则基于创建规则二生成的目标数据表的类型为月表。之后,又将创建规则一的创建频率一由每天修改为每月,创建规则二仍在被执行,则由于当前已存储有与该原始标识对应的创建频率为每月的创建规则二,创建规则二仍被执行,因此,当前已存在类型为月表的目标数据表,为了避免出现在同一数据库中,针对同一原始标识,在同一有效时间内,建立两个或两个以上的同类型的目标数据表的情况,要求在对已设定的创建规则进行修改,如上文所述的重新设定与该原始标识对应的创建规则一,确定针对同一原始标识,在同一有效时间内是否已存在同类型的目标数据表。如果确定存在,则可直接放弃对已设定的创建规则进行修改,以保证在同一数据库中,针对同一原始标识,在同一有效时间内,只存在一个目标数据表。上述为了避免出现上述情况,针对同一数据库,具体可通过在建立创建规则时,使得对应不同原始标识的各创建规则不同来实现。由于创建规则可包括创建频率和运行时间,因此,对应于同一原始标识的各创建规则不同,可作如下理解:对应于同一原始标识的各创建频率不同,或,对应于同一原始标识的各创建频率相同且各运行时间无交叉。上述对应于同一原始标识的各创建频率不同,可保证对应于同一原始标识,不存在同类型的两个或两个以上的目标数据表,即每个类型的目标数据表的个数为一个。此时,对应于同一原始标识的各运行时间可相同,也可不同。对应于同一原始标识的各创建频率相同且各运行时间无交叉,可保证对应于同一原始标识,在同一有效时间内,不存在两个或两个以上的同类型的目标数据表,即针对同一原始标识,在同一有效时间内,每个类型的目标数据表的个数为一个,也即针对同一创建频率,对应于同一原始标识的各目标数据表的有效时间无交叉。
根据各原始数据表的原始标识,确定与各原始标识对应的创建规则,每个创建规则包括创建频率,可作如下理解:获取各原始数据表的原始标识。针对每个原始标识,可设定与该原始标识对应的各创建规则,创建规则的个数可为至少一个。每个创建规则可包括创建频率。基于此,可得到与各原始标识对应的创建规则。
执行各创建规则,生成与各原始标识对应的目标数据表,以及,与各目标数据表对应的目标日志,可作如下理解:针对与每个原始标识对应的每个创建规则,可根据该创建规则的创建频率,生成与该原始标识对应的目标数据表,以及,与该目标数据表对应的目标日志。其中,目标日志可用于作为存储环境监测数据以及查询环境监测数据的依据。目标日志可包括该目标数据表的目标标识和该目标数据表的有效时间。目标数据表的有效时间可由建立该目标数据表的创建频率确定。基于此,可得到各原始标识对应的目标数据表,各目标数据表对应的目标日志。需要说明的是,每个原始标识对应的目标数据表的个数可为至少一个。相应的,由于目标日志的个数与目标数据表的个数一一对应,因此,目标日志的个数也可为至少一个。还需要说明的是,由于创建规则还可包括运行时间,因此,针对与每个原始标识对应的每个创建规则,可在该运行时间内,根据该创建规则的创建频率,生成与该原始标识对应的目标数据表,以及,与该目标数据表对应的目标日志。
需要说明的是,上述所述的执行各创建规则,生成与各原始标识对应的目标数据表,以及,与各目标数据表对应的目标日志,每个目标日志可包括目标数据表的目标标识和目标数据表的有效时间,可通过调用创建规则方法实现。其中,创建规则方法的输入参数可包括创建频率、数据库标识、运行时间、运行状态、主从表关系、备注信息和主键等,创建规则方法的输出参数可包括目标数据表,以及,与目标数据表对应的目标日志,每个目标日志可包括目标数据表的目标标识和目标数据表的有效时间。创建频率的数据类型可为整形变量,数据库标识的数据类型可为字符串变量,运行时间的数据类型可为时间变量,运行状态的数据类型可为整形变量,备注信息的数据类型可为字符串变量,主键的数据类型可为字符串变量,主从表关系的数据类型可为列表变量。列表的输入参数可包括主表标识、从表标识和主键标识。其中,主表标识的数据类型可为字符串变量,主表标识的数据类型可为字符串变量,从表标识的数据类型可为字符串变量。创建频率可包括每小时、每天、每旬、每月、每季度、每年度和不分表中的至少一种。并可用具体数值来表示对应类型的创建频率。上述创建频率所包括的类型以及创建频率的具体数值表示均可根据实际情况进行设定,在此不作具体限定。示例性的,如创建频率可包括每小时、每天、每旬、每月、每季度、每年度和不分表。可用数值“1”表示每小时、用数值“2”表示每天,用数值“3”表示每旬、用数值“4”表示每月,用数值“5”表示每季度,用数值“6”表示每年度,用数值“0”表示不分表。目标数据表的目标标识可为在原始数据表的原始标识的基础上,在原始标识后加上日期信息形成。如表1所示,给出了一种创建频率。
表1
Figure GDA0002715712290000111
Figure GDA0002715712290000121
示例性的,如原始数据表的原始标识为Monidata,与原始标识对应的创建规则为创建规则一,创建规则一包括创建频率一,创建频率一为每天,则执行创建规则一,将每天生成目标数据表一,目标数据表一的目标标识一可为Monidata+年月日,即目标标识一可为Monidata20190101,Monidata20190102,……。其中,与目标标识Monidata20190101对应的有效时间可为2019年1月1日0:00:00到2019年1月1日23:59:59。与目标标识Monidata20190102对应的有效时间为2019年1月2日0:00:00到2019年1月2日23:59:59。根据上文所述可知,目标标识一为Monidata20190101的目标数据表将在2019年1月1日0:00:00之前被建立,目标标识一为Monidata20190102的目标数据表将在2019年1月2日0:00:00之前被建立。
又如与原始标识对应的创建规则为创建规则二,创建规则二包括创建频率二,创建频率二为每旬,则执行创建规则二,将每旬生成目标数据表二,目标数据表二的目标标识二可为Monidata+年月+A/B/C,即目标标识二可为Monidata201901A,Monidata201901B,Monidata201901C,Monidata201902A,……。其中,与目标标识Monidata201901A对应的有效时间可为2019年1月1日0:00:00到2019年1月10日23:59:59。与目标标识Monidata201901B对应的有效时间为2019年1月11日0:00:00到2019年1月20日23:59:59。与目标标识Monidata201901C对应的有效时间为2019年1月21日0:00:00到2019年1月31日23:59:59。根据上文所述可知,目标标识二为Monidata201901A的目标数据表将在2019年1月1日0:00:00之前被建立,目标标识二为Monidata201901B的目标数据表将在2019年1月11日0:00:00之前建立,目标标识二为Monidata201901C的目标数据表将在2019年1月21日0:00:00之前被建立,
又如与原始标识对应的创建规则为创建规则三,创建规则三包括创建频率三,创建频率三为每月,则执行创建规则三,将每月生成目标数据表三,目标数据表三的目标标识三可为Monidata+年月,即目标标识三可为Monidata201901,Monidata201902,……。其中,与目标标识Monidata201901对应的有效时间可为2019年1月1日0:00:00到2019年1月31日23:59:59。与目标标识Monidata201902对应的有效时间为2019年2月1日0:00:00到2019年2月28日23:59:59。根据上文所述可知,目标标识三为Monidata201901的目标数据表将在2019年1月1日0:00:00之前被建立,目标标识三为Monidata201902的目标数据表将在2019年2月1日之前0:00:00建立。
又如与原始标识对应的创建规则为创建规则四,创建规则四包括创建频率四,创建频率四为每季度,则执行创建规则四,将每季度生成目标数据表四,目标数据表四的目标标识四可为Monidata+年份+D/E/F/G,即目标标识四可为Monidata2019D,Monidata2019E,Monidata2019F,Monidata2019G,Monidata2020D,……。其中,与目标标识Monidata2019D对应的有效时间可为2019年1月1日0:00:00到2019年3月31日23:59:59。与目标标识Monidata2019E对应的有效时间为2019年4月1日0:00:00到2019年6月30日23:59:59。与目标标识Monidata2019F对应的有效时间为2019年7月1日0:00:00到2019年9月30日23:59:59。与目标标识Monidata2019G对应的有效时间为2019年10月1日0:00:00到2019年12月30日23:59:59。根据上文所述可知,目标标识四为Monidata2019D的目标数据表将在2019年1月1日0:00:00之前被建立,目标标识四为Monidata2019E的目标数据表将在2019年4月1日0:00:00之前被建立,目标标识四为Monidata2019F的目标数据表将在2019年7月1日0:00:00之前被建立,目标标识四为Monidata2019G的目标数据表将在2019年10月1日0:00:00之前被建立
又如与原始标识对应的创建规则为创建规则五,创建规则五包括创建频率五,创建频率五为每年度,则执行创建规则五,将每年度生成目标数据表五,目标数据表五的目标标识五可为Monidata+年份,即目标标识五可为Monidata2019,Monidata2020,Monidata2021,……。其中,与目标标识Monidata2019对应的有效时间可为2019年1月1日0:00:00到2019年12月31日23:59:59。与目标标识Monidata2020对应的有效时间为2020年1月1日0:00:00到2020年12月31日23:59:59。与目标标识Monidata2021对应的有效时间为2021年1月1日0:00:00到2021年12月31日23:59:59。根据上文所述可知,目标标识五为Monidata2019的目标数据表将在2019年1月1日0:00:00之前被建立,目标标识五为Monidata2020的目标数据表将在2020年1月1日0:00:00之前被建立,目标标识五为Monidata2021的目标数据表将在2021年1月1日0:00:00之前被建立。
可选的,在上述技术方案的基础上,创建规则还包括数据库标识。执行各创建规则,生成与各原始标识对应的目标数据表,以及,与各目标数据表对应的目标日志之后,具体还可以包括:将各目标数据表存储至与各数据库标识对应的存储数据库,以及,将与各目标数据表对应的各目标日志存储至基本数据库。或,将各目标数据表和与各目标数据表对应的目标日志关联存储至与各数据库标识对应的存储数据库。
在本发明的实施例中,为了进一步提高数据处理效率以及提高系统稳定性,可将各目标数据表存储至对应的存储数据库中,即并不是将各目标数据表存储至同一存储数据库,而是进行了分库处理。为了实现将各目标数据表存储至对应的存储数据库,则与原始标识对应的创建规则还可包括数据库标识。相应的,针对与每个原始标识对应的每个创建规则,可根据该创建规则的创建频率,生成与该原始标识对应的目标数据表,以及,与该目标数据表对应的目标日志之后,针对每个目标数据表,以及与该目标数据表对应的目标日志,其有如下两种存储方式:
方式一、可将该目标数据表存储至与该数据库标识对应的存储数据库,以及,可将与该目标数据表对应的目标日志存储至基本数据库。即可将该目标数据表,以及,与该目标数据表对应的目标日志,分别存储至不同的数据库。需要说明的是,不同目标日志所存储的基本数据库通常可为同一基本数据库,即可将各目标日志均存储至同一基本数据库。每个基本数据库可对应至少一个存储数据库,所谓对应可理解为基本数据库可存储有与存储数据库中与目标数据表对应的目标日志。
方式二、可将该目标数据表和与该目标数据表对应的目标日志存储至与数据库标识对应的存储数据库中。基于此,可将各目标数据表,以及,与各目标数据表对应的目标日志,存储至与各数据库标识对应的存储数据库中。
可以理解到,可能将两个或两个以上目标数据表存储至同一存储数据库。此外,还可将不同存储数据库设置于不同服务器上,即不同存储数据库运行于不同服务器。
此外,还可对与目标数据表对应的创建规则进行存储。存储方式可包括如下两种:方式一、将与目标数据表对应的创建规则存储至基本数据库。即可将与目标数据表对应的创建规则和与目标数据表对应的目标日志关联存储至基本数据库;方式二、将目标数据表、与目标数据表对应的创建规则,以及,与目标数据表对应的目标日志关联存储至存储数据表。可以理解到,针对每个创建规则,将其存储至基本数据库或存储数据库的存储操作通常只需在该创建规则被建立时执行一次即可,而无需在创建规则每次被执行时,也同时执行。
上述相比于传统技术所提供的直接将环境监测数据存储至同一存储数据库中的同一数据表的方案而言,本发明实施例所提供的分库分表方案可极大提高数据存储效率以及提高系统稳定性,原因如下:由于传统技术所提供的技术方案采用单一存储数据库,因此,受到单一存储数据库性能瓶颈的影响,数据存储效率及系统稳定性的提高只能通过硬件性能的提升来实现,而硬件性能提升难度较大。并且,不但难以提高数据存储效率及系统稳定性,还容易产生由于该单一存储数据库宕机而引发的系统崩溃问题,即容易降低系统稳定性。而由于本发明实施例所提供的技术方案实现了对环境监测数据的分库分表存储,不同存储数据库之间相互独立,互不干扰,因此,将不会出现由于某存储数据库宕机而使得系统崩溃的问题,实现了提高系统稳定性。此外,随着数据量的增加,本发明实施例中各存储数据表存储的数据量远小于传统技术中单一存储数据表所存储的数据量,且各存储数据量所存储的数据量可控,不会因数据量大而导致存储数据库运行缓慢,实现了提高数据存储效率,进而实现了提高数据处理效率。
示例性的,如针对原始数据表一的原始标识A,与原始标识A对应的创建规则一包括创建频率一和数据库标识一。根据创建频率一,生成目标数据表一,以及,与目标数据表一对应的目标日志一,将目标数据表一和目标日志一存储至与数据库标识一对应的数据库。
可选的,在上述技术方案的基础上,根据记录时间,从各目标数据表中确定与记录时间对应的各存储数据表,并将环境监测数据存储至各存储数据表,具体可以包括:从各目标日志中确定与记录时间匹配的各有效时间。根据各有效时间,从各目标数据表中确定与各有效时间对应的存储数据表,并将环境监测数据存储至各存储数据表。
在本发明的实施例中,由于每个目标数据表有与之对应的目标日志,每个目标日志包括该目标数据表的目标标识和该目标数据表的有效时间。目标数据表的有效时间可表示该目标数据表可存储环境监测数据的时间。目标数据表的有效时间可用于作为是否可将获取到的环境监测数据存储至该目标数据表的依据。
基于上述,在获取待存储的环境监测数据时,也将会获取到与该环境监测数据对应的记录时间,可从各目标日志中确定与该环境监测数据的记录时间匹配的各有效时间,根据各匹配的有效时间,从各目标数据表中确定与各匹配的有效时间对应的存储数据表,并将该环境监测数据存储至各存储数据表。上述所述的从各目标日志中确定与该环境监测数据的记录时间匹配的各有效时间,根据各匹配的有效时间,从各目标数据表中确定与各匹配的有效时间对应的存储数据表,可作如下理解:从各目标日志中的有效时间中确定与该记录时间匹配的各有效时间,可将与该记录时间匹配的有效时间称为匹配时间,将包括匹配时间的目标日志称为有效日志,将有效日志中包括的目标标识称为有效标识。可根据各匹配时间,从各目标数据表中确定有效时间为匹配时间的目标数据表,将有效时间为匹配时间的目标数据表作为存储数据表。或者,可根据各有效标识,从各目标数据表中,将各有效标识对应的目标数据表作为存储数据表。所谓匹配可理解为记录时间属于有效时间,即针对某个目标日志,如果环境监测数据的记录时间属于该目标日志中的有效时间,则可认为该环境监测数据的记录时间与该目标日志中的有效时间匹配。
可选的,在上述技术方案的基础上,从各目标日志中确定与记录时间匹配的有效时间,具体可以包括:根据第一配置信息,从各存储数据库中确定用于存储环境监测数据的第一目标数据库。从与第一目标数据库对应的各目标日志中确定与记录时间匹配的各有效时间。
在本发明的实施例中,在对待存储的环境监测数据进行存储时,为了进一步减少数据处理量,可从各数据库中确定用于存储环境监测数据的存储数据库,可将用于存储环境监测数据的存储数据库称为第一目标数据库,以便后续确定将环境监测数据存储至哪个或哪几个存储数据表时,可缩小数据表查找范围。
基于上述,可根据第一配置信息,从各存储数据库中确定用于存储环境监测数据的第一目标数据库,从存储于第一目标数据库中的各目标日志中,确定与环境监测数据的记录时间匹配的各有效时间。目标日志还可包括数据库标识,上述存储于第一目标数据库中的各目标日志包括的数据库标识均一致,且均为第一目标数据库的数据库标识。其中,第一配置信息可理解为第一数据库适配协议,第一数据库适配协议可用于为环境监测数据配置存储该环境监测数据的数据库。
可选的,在上述技术方案的基础上,根据记录时间,从各目标数据表中确定与记录时间对应的各存储数据表,并将环境监测数据存储至各存储数据表之后,具体还可以包括:获取数据查询请求,数据查询请求包括查询时间和查询标识。从各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表。从各目标数据表中确定与查询时间匹配的各存储数据表,根据各存储数据表,得到查询结果。
在本发明的实施例中,可获取数据查询请求,数据查询请求可包括查询时间和查询标识。其中,查询标识可表示查询结果所在的存储数据表的标识。查询时间可表示查询结果所对应的时间范围。
从各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表,从各目标数据表中确定与查询时间匹配的各存储数据表,可作如下理解:可从各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表,即从各目标日志中确定与查询标识一致的各目标标识,根据与查询标识一致的各目标标识,确定与查询标识一致的各目标标识所对应的目标数据表,根据查询时间和与查询标识一致的各目标标识所对应的目标数据表的目标日志,从各目标数据表中确定有效时间与该查询时间匹配的目标数据表,将有效时间与该查询时间匹配的目标数据表作为存储数据表。所谓匹配可理解为查询时间属于有效时间,即针对某个目标日志,如果查询时间属于该目标日志中的有效时间,则可认为该查询时间与该目标日志中的有效时间匹配。
根据各存储数据表,得到查询结果,可作如下理解:在得到各存储数据表后,可从各存储数据表中将与查询时间对应的各环境监测数据作为查询结果并返回。
上述由于将环境监测数据存储至对应的存储数据表中,存储数据表存储于对应的存储数据库中,因此,实现了对环境监测数据的分库分表存储。由于环境监测数据的分库分表存储,因此,可减少数据查询操作处理的数据量,进而提高了数据查询效率。为了更好的理解本发明实施例所提供的技术方案,下面将通过具体示例进行说明:
现确定环境监测点的个数为10个,每个环境监测点设置4个监测因子,并且每个监测因子包括8个属性,分别为实时值、平均值、最大值、最小值、折算最大值、折算最小值、折算平均值和折算实时值。
基于上述,每分钟将有10×4条环境监测记录存储至实时监测因子表,并每分钟将有10×4×8条环境监测记录存储至实时监测因子属性表,即每分钟有(1+8)×40条环境监测记录存储至存储数据库。相应的,每天将有(1+8)×40×60×24条环境监测记录(即518400条环境监测记录)存储至存储数据库。可以理解到,上述环境监测记录的条数并不包括与数据表对应的目标日志,以及,在基础数据库中产生的留痕处理数据。
为了比较本发明实施例所提供的技术方案与传统技术提供的技术方案在数据查询方面的查询效率,现选取两个测试环境配置相同,且,数据库版本相同的服务器A和服务器B。其中,服务器A中采用传统技术所提供的技术方案,获取到的环境监测数据均存储至同一存储数据表,即不分表方案。服务器B采用本发明实施例所提供的技术方案,设定创建规则中的创建频率为每天,即每天建立一个目标数据表,将当天获取到的环境监测数据存储至当天建立的目标数据表,并可将存储环境监测数据的目标数据表作为存储数据表,即分表方案。持续获取5天的环境监测数据,并对其中一天的环境监测数据进行查询,得到如表2和表3所示的测试结果。其中,表2为对第一天的环境监测数据进行查询得到的耗时结果。表3为对第五天的环境监测数据进行查询得到的耗时结果。
表2
Figure GDA0002715712290000181
表3
Figure GDA0002715712290000182
Figure GDA0002715712290000191
从表2可以得出,在数据量较小的情况下,本发明实施例所提供的技术方案(即分表方案)与传统技术所提供的技术方案(即不分表方案),在数据查询效率方面的差别不大,本发明实施例所提供的技术方案的数据查询效率略小于传统技术所提供的技术方案的数据查询效率,上述由如下原因导致的:由于本发明实施例所提供的技术方案需要根据目标日志,确定需哪个存储数据表中获取查询结果,这部分将会消耗部分时间,因此,本发明实施例所提供的技术方案的数据查询效率略小于传统技术所提供的技术方案的数据查询效率。
从表3可以得出,随着数据量的增大,本发明实施例所提供的技术方案(即分表方案)的数据查询效率没有较大的变化,但是传统技术所提供的技术方案(即不分表方案),由于数据量巨大,因此,使得数据查询效率变得越来越慢。并且,在数据量较大的情况下,本发明实施例所提供的技术方案(即分表方案)的数据查询效率高于传统技术所提供的技术方案(即不分表方案)的数据查询效率。
可选的,在上述技术方案的基础上,从各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表,具体可以包括:根掘第二配置信息,从各存储数据库中确定用于存储查询标识的第二目标数据库。从与第二目标数据库对应的各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表。
在本发明的实施例中,在本发明的实施例中,在进行数据查询时,为了进一步减少数据处理量,可从各数据库中确定用于存储查询标识的存储数据库,可将用于存储查询标识的存储数据库称为第二目标数据库,以便后续确定查询标识存储对应于哪个或哪几个存储数据表时,可缩小数据表查找范围。
基于上述,可根据第二配置信息,从各存储数据库中确定用于存储查询标识的第二目标数据库,从存储于第二目标数据库中的各目标日志中,确定与查询标识一致的各目标标识。根据与查询标识一致的各目标标识,确定与查询标识一致的各目标标识所对应的目标数据表。其中,第二配置可理解为第二数据库适配协议,第二数据库适配协议可用于为查询标识配置存储该查询标识的数据库。
图2为本发明实施例提供的一种目标数据表及目标日志生成方法的流程图,本实施例可适用于提高数据处理效率及提高系统稳定性的情况,该方法可以由环境监测数据处理装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于设备中,例如典型的是计算机。如图2所示,该方法具体包括如下步骤:
步骤210、根据各原始数据表的原始标识,确定与各原始标识对应的创建规则,每个创建规则包括创建频率和数据库标识,对应于同一原始标识的各创建规则不同。
步骤220、执行各创建规则,生成与各原始标识对应的目标数据表,以及,与各目标数据表对应的目标日志,每个目标日志包括目标数据表的有效时间和目标数据表的目标标识。
步骤230、将各目标数据表存储至与各数据库标识对应的存储数据库,以及,将与各目标数据表对应的目标日志存储至基本数据库。或,将各目标数据表和与各目标数据表对应的目标日志关联存储至与各数据库标识对应的存储数据库。
本实施例的技术方案,通过建立并将各目标数据表存储至对应的存储数据库,实现了对环境监测数据的分库分表存储。由于不同存储数据库之间相互独立,互不干扰,因此,将不会出现由于某存储数据库宕机而使得系统崩溃的问题,提高了系统稳定性。此外,随着数据量的增加,本发明实施例中各存储数据表存储的数据量远小于传统技术中单一存储数据表所存储的数据量,且各存储数据量所存储的数据量可控,不会因数据量大而导致存储数据库运行缓慢,提高了数据存储效率,进而提高了数据处理效率。
图3为本发明实施例提供的一种环境监测数据查询方法的流程图,本实施例可适用于提高数据查询效率的情况,该方法可以由环境监测数据处理装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于设备中,例如典型的是计算机。如图3所示,该方法具体包括如下步骤:
步骤310、获取数据查询请求,数据查询请求包括查询时间和查询标识。
步骤320、根据第二配置信息,从各存储数据库中确定用于存储查询标识的第二目标数据库。
步骤330、从与第二目标数据库对应的各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表。
步骤340、从各目标数据表中确定与查询时间匹配的各存储数据表,根据各存储数据表,得到查询结果。
本实施例的技术方案,通过从与查询时间和查询标识对应的各存储数据表中,获得查询结果,相比于从单一数据表中获得查询结果,单一数据表存储的数据量大而言,由于各存储数据表存储的数据量较小,因此,减少了数据处理量,进而提高了数据查询效率。
图4为本发明实施例提供的另一种环境监测数据处理方法的流程图,本实施例可适用于提高数据处理效率及提高系统稳定性的情况,该方法可以由环境监测数据处理装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于设备中,例如典型的是计算机。如图4所示,该方法具体包括如下步骤:
步骤401、根据各原始数据表的原始标识,确定与各原始标识对应的创建规则,每个创建规则包括创建频率和数据库标识,对应于同一原始标识的各创建规则不同。
步骤402、执行各创建规则,生成与各原始标识对应的目标数据表,以及,与各目标数据表对应的目标日志,每个目标日志包括目标数据表的有效时间和目标数据表的目标标识。
步骤403、将各目标数据表存储至与各数据库标识对应的存储数据库,以及,将与各目标数据表对应的目标日志存储至基本数据库。或,将各目标数据表和与各目标数据表对应的目标日志关联存储至与各数据库标识对应的存储数据库。
步骤404、获取环境监测数据和与环境监测数据对应的记录时间。
步骤405、根据第一配置信息,从各存储数据库中确定用于存储环境监测数据的第一目标数据库。
步骤406、从与第一目标数据库对应的各目标日志中确定与记录时间匹配的各有效时间。
步骤407、根据各有效时间,从各目标数据表中确定与各有效时间对应的存储数据表,并将环境监测数据存储至各存储数据表。
步骤408、获取数据查询请求,数据查询请求包括查询时间和查询标识。
步骤409、根据第二配置信息,从各存储数据库中确定用于存储查询标识的第二目标数据库。
步骤410、从与第二目标数据库对应的各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表。
步骤411、从各目标数据表中确定与查询标识匹配的各存储数据表,根据各存储数据表,得到查询结果。
在本发明的实施例中,需要说明的是,可单独执行由步骤401-步骤407形成的技术方案,也可单独执行由步骤401-步骤403,以及,步骤408-步骤411形成的技术方案。
本实施例的技术方案,通过对环境监测数据的分库分表存储,不同存储数据库之间相互独立,互不干扰,因此,将不会出现由于某存储数据库宕机而使得系统崩溃的问题,提高了系统稳定性。此外,随着数据量的增加,本发明实施例中各存储数据表存储的数据量远小于现有技术中单一存储数据表所存储的数据量,且各存储数据量所存储的数据量可控,不会因数据量大而导致存储数据库运行缓慢,提高了数据存储效率,进而提高了数据处理效率。
图5为本发明实施例提供的一种环境监测数据处理装置的结构示意图,本实施例可适用于提高数据处理效率及提高系统稳定性的情况,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于设备中,例如典型的是计算机。如图5所示,该方法具体包括如下步骤:
数据获取模块510,用于获取环境监测数据和与环境监测数据对应的记录时间。
数据存储模块520,用于根据记录时间,从各目标数据表中确定与记录时间对应的各存储数据表,并将环境监测数据存储至各存储数据表。
本实施例的技术方案,通过获取环境监测数据和与环境监测数据对应的记录时间,根据记录时间,从各目标数据表中,确定与该记录时间对应的各存储数据表,并将该环境监测数据存储至各存储数据表。上述由于存储数据表为与记录时间对应的目标数据表,即并不是将各环境监测数据均存储至同一数据表,而是根据各环境监测数据的记录时间,将各环境监测数据存储至对应的各存储数据表,实现了数据存储的分散化。并且,随着数据量的增加,本发明实施例中各存储数据表存储的数据量远小于传统技术中单一存储数据表所存储的数据量,且各存储数据量所存储的数据量可控,不会因数据量大而导致存储数据库运行缓慢,甚至导致系统崩溃,进而提高了数据存储效率及系统稳定性,由于数据存储效率的提高,因此,也提高了数据处理效率。
可选的,在上述技术方案的基础上,该装置具体还可以包括:
创建规则确定模块,用于根据各原始数据表的原始标识,确定与各原始标识对应的创建规则,每个创建规则包括创建频率,对应于同一原始标识的各创建规则不同。
创建规则执行模块,用于执行各创建规则,生成与各原始标识对应的目标数据表,以及,与各目标数据表对应的目标日志,每个目标日志包括目标数据表的有效时间和目标数据表的目标标识。
可选的,在上述技术方案的基础上,创建规则还包括数据库标识。
该装置具体还可以包括:
关联存储模块,用于将各目标数据表存储至与各数据库标识对应的存储数据库,以及,将与各目标数据表对应的目标日志存储至基本数据库。或,将各目标数据表和与各目标数据表对应的目标日志关联存储至与各数据库标识对应的存储数据库。
可选的,在上述技术方案的基础上,数据存储模块520,具体可以包括:
有效时间确定子模块,用于从各目标日志中确定与记录时间匹配的各有效时间。
数据存储子模块,用于根据各有效时间,从各目标数据表中确定与各有效时间对应的存储数据表,并将环境监测数据存储至各存储数据表。
可选的,在上述技术方案的基础上,有效时间确定子模块,具体可以包括:
第一目标数据库确定单元,用于根据第一配置信息,从各存储数据库中确定用于存储环境监测数据的第一目标数据库。
有效时间确定单元,用于从与第一目标数据库对应的各目标日志中确定与记录时间匹配的各有效时间。
可选的,在上述技术方案的基础上,该装置具体还可以包括:
数据查询请求获取模块,用于获取数据查询请求,数据查询请求包括查询时间和查询标识。
目标数据表确定模块,用于从各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表。
查询结果确定模块,用于从各目标数据表中确定与查询时间匹配的各存储数据表,根据各存储数据表,得到查询结果。
可选的,在上述技术方案的基础上,目标数据表确定模块,具体可以包括:
第二目标数据库确定子模块,用于根据第二配置信息,从各存储数据库中确定用于存储查询标识的第二目标数据库。
目标数据表确定子模块,用于从与第二目标数据库对应的各目标日志中确定与查询标识一致的各目标标识,根据各目标标识,确定与各目标标识对应的目标数据表。
本发明实施例所提供的环境监测数据处理装置可执行本发明任意实施例所提供的环境监测数据处理方法,具备执行方法相应的功能模块和有益效果。
图6为本发明实施例提供的一种环境监测数据处理设备的结构示意图。图6显示的环境监测数据处理设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。如图6所示,本发明实施例提供的环境监测数据处理设备,包括处理器51、存储器52、输入装置53和输出装置54;环境监测数据处理设备中处理器51的数量可以是一个或多个,图6中以一个处理器51为例;环境监测数据处理设备中的处理器51、存储器52、输入装置53和输出装置54可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储器52作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的环境监测数据处理方法对应的程序指令/模块(例如,环境监测数据处理装置中的数据获取模块510、和数据存储模块520)。处理器51通过运行存储在存储器52中的软件程序、指令以及模块,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的应用于环境监测数据处理设备的环境监测数据处理方法。
存储器52可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据环境监测数据处理设备的使用所创建的数据等。此外,存储器52可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器52可进一步包括相对于处理器51远程设置的存储器,这些远程存储器可以通过网络连接至环境监测数据处理设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置53可用于接收用户输入的数字或字符信息,以产生与设备的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。
当然,本领域技术人员可以理解,处理器还可以实现本发明任意实施例所提供应用于环境监测数据处理设备的环境监测数据处理方法的技术方案。该环境监测数据处理设备的硬件结构以及功能可参见实施例的内容解释。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的一种环境监测数据处理方法,该方法包括:
获取环境监测数据和与环境监测数据对应的记录时间。
根据记录时间,从各目标数据表中确定与记录时间对应的各存储数据表,并将环境监测数据存储至各存储数据表。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、射频等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,例如C语言和Python等。程序代码可以在计算机或服务器上执行。
当然,本发明实施例所提供的一种计算机可读存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的环境监测数据处理设备的环境数据处理方法的相关操作。对存储介质的介绍可参见实施例中的内容解释。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种环境监测数据处理方法,其特征在于,包括:
获取环境监测数据和与所述环境监测数据对应的记录时间;
根据所述记录时间,从各目标数据表中确定与所述记录时间对应的各存储数据表,并将所述环境监测数据存储至各所述存储数据表;
所述获取环境监测数据和与所述环境监测数据对应的记录时间之前,还包括:
根据各原始数据表的原始标识,确定与各原始标识对应的创建规则,每个所述创建规则包括创建频率,对应于同一原始标识的各创建规则不同;
执行各创建规则,生成与各所述原始标识对应的目标数据表,以及,与各所述目标数据表对应的目标日志,每个所述目标日志包括所述目标数据表的有效时间和所述目标数据表的目标标识;
所述创建规则还包括数据库标识;
所述执行各创建规则,生成与各所述原始标识对应的目标数据表,以及,与各所述目标数据表对应的目标日志之后,还包括:
将各所述目标数据表存储至与各所述数据库标识对应的存储数据库,以及,将与各所述目标数据表对应的目标日志存储至基本数据库;或,
将各所述目标数据表和与各所述目标数据表对应的目标日志关联存储至与各所述数据库标识对应的存储数据库;
所述根据所述记录时间,从各目标数据表中确定与所述记录时间对应的各存储数据表,并将所述环境监测数据存储至各所述存储数据表,包括:
从各所述目标日志中确定与所述记录时间匹配的各有效时间;
根据各所述有效时间,从各所述目标数据表中确定与各所述有效时间对应的存储数据表,并将所述环境监测数据存储至各所述存储数据表。
2.根据权利要求1所述的方法,其特征在于,所述从各所述目标日志中确定与所述记录时间匹配的各有效时间,包括:
根据第一配置信息,从各所述存储数据库中确定用于存储所述环境监测数据的第一目标数据库;
从与所述第一目标数据库对应的各所述目标日志中确定与所述记录时间匹配的各有效时间。
3.根据权利要求1所述的方法,其特征在于,所述根据所述记录时间,从各目标数据表中确定与所述记录时间对应的各存储数据表,并将所述环境监测数据存储至各所述存储数据表之后,还包括:
获取数据查询请求,所述数据查询请求包括查询时间和查询标识;
从各所述目标日志中确定与所述查询标识一致的各目标标识,根据各所述目标标识,确定与各所述目标标识对应的目标数据表;
从各目标数据表中确定与所述查询时间匹配的各存储数据表,根据各所述存储数据表,得到查询结果。
4.根据权利要求3所述的方法,其特征在于,所述从各所述目标日志中确定与所述查询标识一致的各目标标识,根据各所述目标标识,确定与各所述目标标识对应的目标数据表,包括:
根据第二配置信息,从各所述存储数据库中确定用于存储所述查询标识的第二目标数据库;
从与所述第二目标数据库对应的各所述目标日志中确定与所述查询标识一致的各目标标识,根据各所述目标标识,确定与各所述目标标识对应的目标数据表。
5.一种环境监测数据处理装置,其特征在于,包括:
数据获取模块,用于获取环境监测数据和与所述环境监测数据对应的记录时间;
数据存储模块,用于根据所述记录时间,从各目标数据表中确定与所述记录时间对应的存储数据表,并将所述环境监测数据存储至各所述存储数据表;
还包括:
创建规则确定模块,用于根据各原始数据表的原始标识,确定与各原始标识对应的创建规则,每个所述创建规则包括创建频率,对应于同一原始标识的各创建规则不同;
创建规则执行模块,用于执行各创建规则,生成与各所述原始标识对应的目标数据表,以及,与各所述目标数据表对应的目标日志,每个所述目标日志包括所述目标数据表的有效时间和所述目标数据表的目标标识;
所述创建规则还包括数据库标识;
所述装置还包括:
关联存储模块,用于将各所述目标数据表存储至与各所述数据库标识对应的存储数据库,以及,将与各所述目标数据表对应的目标日志存储至基本数据库;或,
将各所述目标数据表和与各所述目标数据表对应的目标日志关联存储至与各所述数据库标识对应的存储数据库;
所述数据存储模块包括:
有效时间确定子模块,用于从各所述目标日志中确定与所述记录时间匹配的各有效时间;
数据存储子模块,用于根据各所述有效时间,从各所述目标数据表中确定与各所述有效时间对应的存储数据表,并将所述环境监测数据存储至各所述存储数据表。
6.一种环境监测数据处理设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4任一所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4任一所述的方法。
CN201911031765.0A 2019-10-28 2019-10-28 环境监测数据处理方法、装置、设备及存储介质 Active CN110795431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911031765.0A CN110795431B (zh) 2019-10-28 2019-10-28 环境监测数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911031765.0A CN110795431B (zh) 2019-10-28 2019-10-28 环境监测数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110795431A CN110795431A (zh) 2020-02-14
CN110795431B true CN110795431B (zh) 2020-12-01

Family

ID=69441559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911031765.0A Active CN110795431B (zh) 2019-10-28 2019-10-28 环境监测数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110795431B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538711A (zh) * 2020-04-14 2020-08-14 中国人民财产保险股份有限公司 日志存储方法及装置
CN112000669B (zh) * 2020-08-14 2021-08-03 中科三清科技有限公司 一种环境监测数据的处理方法、装置、存储介质及终端
CN116340363B (zh) * 2023-04-06 2024-01-30 河海大学 一种基于关系型数据库的数据存储、加载方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965873A (zh) * 2015-06-10 2015-10-07 努比亚技术有限公司 一种分页查询方法及装置
CN107463693A (zh) * 2017-08-11 2017-12-12 深圳乐信软件技术有限公司 一种数据处理方法、装置、终端及计算机可读存储介质
CN109408508A (zh) * 2018-09-30 2019-03-01 广州恩业电子科技有限公司 监测数据的存储和查询方法、装置和计算机设备
CN109657009A (zh) * 2018-12-21 2019-04-19 北京锐安科技有限公司 数据预分区存储周期表创建方法、装置、设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940380B2 (en) * 2014-12-02 2018-04-10 International Business Machines Corporation Automatic modeling of column and pivot table layout tabular data
CN106933836B (zh) * 2015-12-29 2021-07-06 航天信息股份有限公司 一种基于分表的数据存储方法和系统
CN106649435A (zh) * 2016-09-07 2017-05-10 努比亚技术有限公司 数据查询装置及方法
CN106547870B (zh) * 2016-10-31 2020-03-17 天脉聚源(北京)科技有限公司 数据库的分表方法及装置
CN108062314B (zh) * 2016-11-07 2021-09-14 北京京东尚科信息技术有限公司 动态分表数据处理方法和装置
US20180189337A1 (en) * 2016-12-30 2018-07-05 Teradata Us, Inc. Method and system for storing time series data in a relational database

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965873A (zh) * 2015-06-10 2015-10-07 努比亚技术有限公司 一种分页查询方法及装置
CN107463693A (zh) * 2017-08-11 2017-12-12 深圳乐信软件技术有限公司 一种数据处理方法、装置、终端及计算机可读存储介质
CN109408508A (zh) * 2018-09-30 2019-03-01 广州恩业电子科技有限公司 监测数据的存储和查询方法、装置和计算机设备
CN109657009A (zh) * 2018-12-21 2019-04-19 北京锐安科技有限公司 数据预分区存储周期表创建方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN110795431A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110908997B (zh) 数据血缘构建方法、装置、服务器及可读存储介质
CN110795431B (zh) 环境监测数据处理方法、装置、设备及存储介质
CN106156088B (zh) 一种索引数据处理方法、数据查询方法及装置
CN110309125A (zh) 数据校验方法、电子装置及存储介质
CN111008521B (zh) 生成宽表的方法、装置及计算机存储介质
CN101098248A (zh) 一种基于配置描述文件实现通用网络管理的方法及系统
CN109086382B (zh) 一种数据同步方法、装置、设备及存储介质
CN111737227B (zh) 数据修改方法及系统
CN109388659B (zh) 数据存储方法、装置和计算机可读存储介质
CN104461531A (zh) 一种报表系统自定义函数的实现方法
CN113434482A (zh) 数据迁移方法、装置、计算机设备及存储介质
CN108763323B (zh) 基于资源集和大数据技术的气象格点文件应用方法
CN111047434B (zh) 一种操作记录生成方法、装置、计算机设备和存储介质
CN113282599A (zh) 数据同步方法及系统
CN111782671A (zh) 一种基于分布式数据库实现cdc的优化方法
CN113407560B (zh) 更新消息处理方法、数据同步方法、配置信息配置方法
CN103440302B (zh) 实时数据交换的方法和系统
CN114443015A (zh) 一种基于数据库元数据的增删改查服务接口生成方法
CN113641742A (zh) 一种数据抽取方法、装置、设备和存储介质
CN110515979B (zh) 数据查询方法、装置、设备和存储介质
CN111984660A (zh) 数据同步方法、装置、设备及存储介质
CN111680275A (zh) 工控机控制系统的权限管理方法、系统、存储介质及设备
CN114706839A (zh) 日志数据处理方法、装置、电子设备和存储介质
CN113868138A (zh) 测试数据的获取方法、系统、设备及存储介质
CN110781170B (zh) 基于aop的历史数据保护方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant