CN115238658B - 一种数据处理方法、装置、存储介质与电子设备 - Google Patents

一种数据处理方法、装置、存储介质与电子设备 Download PDF

Info

Publication number
CN115238658B
CN115238658B CN202211158629.XA CN202211158629A CN115238658B CN 115238658 B CN115238658 B CN 115238658B CN 202211158629 A CN202211158629 A CN 202211158629A CN 115238658 B CN115238658 B CN 115238658B
Authority
CN
China
Prior art keywords
data
fused
emission
identifier
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211158629.XA
Other languages
English (en)
Other versions
CN115238658A (zh
Inventor
柴源
钟方潜
计登科
肖林鸿
陈焕盛
王文丁
魏巍
秦东明
吴剑斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Clear Technology Co Ltd
Original Assignee
3Clear Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Clear Technology Co Ltd filed Critical 3Clear Technology Co Ltd
Priority to CN202211158629.XA priority Critical patent/CN115238658B/zh
Publication of CN115238658A publication Critical patent/CN115238658A/zh
Application granted granted Critical
Publication of CN115238658B publication Critical patent/CN115238658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/177Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种数据处理方法、装置、存储介质与电子设备,涉及计算机技术领域。所述方法包括:接收携带有待融合区域标识与待融合数据标识的融合请求;响应于所述融合请求,从排放明细表中筛选出所述待融合区域标识与所述待融合数据标识;确定所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据合并后的合并数据。使用本公开提出的数据处理方法,可以自动地为用户合并不同区域的数据,给用户合并数据带来便利。

Description

一种数据处理方法、装置、存储介质与电子设备
技术领域
本公开涉及计算机技术领域,具体地,涉及一种数据处理方法、装置、存储介质与电子设备。
背景技术
由于我国大多数城市各排放清单编制单位不同、编制技术和能力不同以及编制结果形式不同导致排放清单的字段信息和数据格式千差万别,其数据质量也参差不齐。
相关技术中,工作人员将不同地区的数据进行合并,来生成新的表格数据的过程中,需要工作人员分别从不同地区的排放清单中查找到自身所需的数据,再将自身所需的数据合并至同一清单中,这种人工合并清单的方式比较麻烦。
发明内容
本公开的目的是提供一种数据处理方法、装置、存储介质与电子设备,以解决上述技术问题。
为了实现上述目的,本公开实施例的第一方面提供一种数据处理方法,所述方法包括:
接收携带有待融合区域标识与待融合数据标识的融合请求;
响应于所述融合请求,从排放明细表中筛选出所述待融合区域标识与所述待融合数据标识;
确定所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据合并后的合并数据。
可选地,所述确定所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据合并后的合并数据,包括:
从不同的编码表中,查询与所述待融合区域标识对应的待融合区域以及与所述待融合数据标识对应的待融合数据;
将所述待融合区域与所述待融合数据进行合并,得到所述合并数据;
其中,所述编码表与所述排放明细表中具有相同的所述待融合区域标识与相同的所述待融合数据标识。
可选地,所述排放明细表通过以下步骤确定:
获取不同的入库排放清单中的原始数据;所述原始数据包括区域数据、排放源数据、污染物数据、企业明细数据以及行业数据;
将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,得到所述排放明细表,所述编码表包括区域划分编码表、排放源编码表、污染物编码表、企业明细表与行业映射表。
可选地,在所述原始数据为区域数据,所述编码表为区域划分编码表的情况下,所述将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,包括:
从所述区域划分编码表中,确定与所述区域数据对应的目标区域划分编码表;
在确定所述区域数据的字段与所述目标区域划分编码表中的字段一致的情况下,将所述区域数据的数据标识映射在所述排放明细表中。
可选地,在所述原始数据为排放源数据,所述编码表为排放源编码表的情况下,所述将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,包括:
在确定所述排放源数据的字段位于所述排放源编码表中的情况下,将所述排放源数据对应的数据标识映射在所述排放明细表中。
可选地,在所述原始数据为污染物数据,所述编码表为污染物编码表的情况下,所述将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,包括:
在确定所述污染物数据的字段位于所述污染物编码表中的情况下,将所述污染物数据对应的数据标识映射在所述排放明细表中。
可选地,所述在确定所述污染物数据的字段位于所述污染物编码表中的情况下,将所述污染物数据对应的数据标识映射在所述排放明细表中,包括:
在所述污染物数据所在区域位于目标区域划分编码表的区域之外情况下,去除所述污染物数据,得到清洗数据;
在确定所述清洗数据的字段位于所述污染物编码表中的情况下,将所述清洗数据对应的数据标识映射在所述排放明细表中。
可选地,所述方法还包括:
将所述原始数据存放至入库排放日志表,所述待融合区域标识与所述待融合数据标识存放至排放明细日志表,所述合并数据存放至版本清单日志表中,所述编码表存放在编码日志表中;
在元数据层中存储所述入库排放日志表、所述排放明细日志表、所述版本清单日志表以及所述编码日志表。
可选地,所述确定所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据合并后的合并数据,包括:
根据所述待融合区域标识,从多个不同的版本清单表中,确定与所述待融合区域标识所对应的版本清单表,所述版本清单表中具有所述合并数据。
根据本公开实施例的第二方面,提供一种数据处理装置,所述装置包括:
接收模块,被配置为接收携带有待融合区域标识与待融合数据标识的融合请求;
响应模块,被配置为响应于所述融合请求,从排放明细表中筛选出所述待融合区域标识与所述待融合数据标识;
合并模块,被配置为确定所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据合并后的合并数据。
根据本公开实施例的第三方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开实施例的第一方面所提供的数据处理方法的步骤。
根据本公开实施例的第四方面,提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开实施例的第一方面所提供的数据处理方法的步骤。
通过上述技术方案,可以依据用户输入的待融合数据标识与待融合区域标识,从排放明细表中筛选出待融合数据标识与待融合区域标识,确定与待融合数据标识对应的待融合数据,以及与待融合区域标识对应的待融合区域,以对二者进行合并,得到合并数据。
在这个过程中,用户只需输入待融合数据标识与待融合区域标识即可得到合并数据,并不需要用户手动地将不同地区的数据进行合并,也不需要用户从不同的排放清单中查找到自身所需的数据,从而给用户合并数据带来便利;另一方面由于排放明细表中存储的是待融合区域标识与待融合数据标识等数据标识,而实际的原始数据可以通过数据标识来映射得到,所以可以减少排放明细表的存储量,缩小排放明细表的大小。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的数据处理方法的步骤流程图。
图2是根据一示例性实施例示出的排放明细表与编码表之间的关系图。
图3是根据一示例性实施例示出的数据处理装置的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
需要说明的是,本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
请参阅图1所示,本公开提出一种数据处理方法,该方法包括以下步骤:
在步骤S11中,接收携带有待融合区域标识与待融合数据标识的融合请求。
本公开中,用户可以在终端的人机交互界面输入待融合区域标识以及待融合数据标识,终端依据用户输入的待融合区域标识与待融合数据标识生成融合请求。
其中,待融合区域标识指的是用户所需融合的区域对应的标识,待融合区域标识指的是各个不同的省、城市以及县等区域对应的标识。例如城市A对应的待融合区域标识为5,城市B对应的待融合区域标识为6。
待融合数据标识指的是用户所需融合的待融合数据对应的标识,例如待融合数据标识包括排放源标识、污染物标识、企业明细标识以及行业标识等。待融合数据可以为排放源数据、污染物数据、企业明细数据以及行业数据中的至少一种。
其中,不同的待融合数据标识代表不同的待融合数据,例如,对于污染物数据而言,SO2对应的待融合数据标识为1,CO对应的待融合数据为2等。不同的待融合区域标识代表不同的待融合区域,例如城市A对应的待融合区域标识为5,城市B对应的待融合区域标识为6。
其中,待融合请求可以是对同一区域的同一类型的待融合数据进行融合,也可以是对不同区域的不同类型的待融合数据进行融合,也可以是对同一区域的不同类型的待融合数据进行融合,也可以是对不同区域同一类型的待融合数据进行融合,具体依据用户输入的待融合区域标识与待融合数据标识而定,本公开在此不做限制。
在步骤S12中,响应于所述融合请求,从排放明细表中筛选出所述待融合区域标识与所述待融合数据标识。
本公开中,排放明细表中存储有排放明细表自身生成的排放明细标识以及来自于不同系统、不同企业等各个不同区域的原始数据的数据标识,原始数据包括区域数据、排放源数据、污染物数据、企业明细数据以及行业数据等,数据标识包括区域标识、排放源标识、污染物标识、企业明细标识以及行业标识等标识。可见,排放明细表中存储有各个不同区域的数据标识,因此可以从排放明细表中筛选出用户所需的待融合区域标识与待融合数据标识。
其中,postgresql存储介质会将数据层划分为原始层、维度层、明细层、版本层和元数据层,postgresql存储介质是源代码开放的服务器关系型数据库管理系统。
对于原始层而言,可以收集不同企业、不同地区以及不同系统的入库排放清单,并存储在原始层中,入库排放清单记录了所有的原始数据。
对于维度层而言,维度层中存储有各种不同类型的编码表,不同类型的编码表具有不同的数据标识以及与数据标识对应的原始数据,原始数据包括编码。当不同的原始数据的编码与对应的编码表中的编码匹配的情况下,则可以将该原始数据的数据标识映射至排放明细表中,来得到排放明细表。
具体地,编码表包括区域划分编码表、排放源编码表、污染物编码表、行业映射表以及企业明细表等。
区域划分编码表包括省级区域编码表、市级区域编码表与县级区域编码表等,区域划分编码表中具有区域的区域标识与区域数据,区域数据包括区域的名称、区域的位置信息以及区域的区域编码等。
排放源编码表中具有排放源的排放源标识与排放源数据,排放源数据包括该排放源的排放源大类名称、第一级排放源名称、第二级排放源名称以及排放源编码等,排放源大类名称例如可以分为天然排放源与人为排放源两大类,或者可以分为工业排放源、生活排放源、农业排放源和交通运输排放源等多大类名称。
污染物编码表中具有污染物的污染物标识与污染物数据,污染物数据包括SO2、NOX、CO、VOC、NH3等污染物的排放量以及污染物编码。
行业明细表中具有行业的行业标识以及行业数据,行业数据指的是数据所在的行业,例如农业、交通运输业等。
企业明细表中具有企业的企业标识以及企业的名称、位置信息、信用代码以及企业编码等信息。
对于明细层而言,明细层中存储有排放明细表,排放明细表记录了区域标识、排放源标识、污染物标识、企业标识、行业标识以及排放明细表本身的排放明细标识等数据标识。且排放明细表与编码表之间通过不同的数据标识进行关联。
对于元数据层而言,元数据层中具有入库排放日志表、排放明细日志表、版本清单日志表以及编码日志表。入库排放日志表中记录了原始层中的原始数据的名称以及数据录入时间,排放明细日志表中记录了明细层中的数据标识的制作时间,版本清单日志表记录了由合并数据形成的版本清单的制作时间,编码日志表包括区域划分编码日志表与排放源编码日志表,区域划分编码日志表记录了区域划分编码表的制作时间,排放源编码日志表记录了排放源编码表的制作时间。
由于省、市以及县的区域划分在实时变化,所以在这些区域变化后,区域划分表编码表中的区域数据也会发生变化,使得区域划分编码日志表所记录的区域划分编码表的名称与制作时间也会发生变化;由于排放源的类型也是实时变化,所以排放源编码表也在实时变化,导致排放源编码日志表在实时变化。
可见,排放明细表中记录了不同行业、不同区域、不同系统以及不同企业的原始数据的数据标识,该数据标识中具有区域标识、排放源标识、污染物标识、企业标识与行业标识,因此可以从排放明细表中筛选出用户所需的待融合区域标识与待融合数据标识,以从原始数据中筛选出待融合区域与待融合数据。
具体地,可以先从多个数据标识中筛选出多个待融合区域标识,再从多个待融合区域标识对应的多个数据标识中确定出自身所需的多个待融合数据标识,以实现数据的筛选;也可以从多个数据标识中筛选出多个待融合数据标识,再从多个待融合数据教师对应的多个数据标识中确定出自身所需的多个待融合区域标识,本公开在此不做限定。
Figure 382000DEST_PATH_IMAGE001
例如,请参阅表格1所示的排放明细表的表格,不同的区域在排放明细表中的区域标识不同,不同的排放源数据在排放明细表中的排放源标识不同,不同的污染物数据在排放明细表中的污染物标识不同,不同的企业明细数据在排放明细表中的企业明细标识不同,不同的行业在排放明细表中的行业标识不同。
在用户想要合并区域标识11与区域标识12的污染物标识32的情况下,则可以先从排放明细表中筛选出三个区域标识11与区域标识12(对应表格1中的排放明细标识1、2与4),再从三个区域标识11与区域标识12中筛选出污染物标识为31的区域标识,从表格1中可以看出,排放明细标识1与排放明细标识4的区域标识所对应的污染物标识是筛选结果。
其中,排放明细表中同一行中的数据用于表明同一个企业或同一个系统或同一个区域的数据标识;排放明细表中同一列中的数据表示的不同企业或不同系统或不同区域,但为同一数据类型的数据标识,数据类型可以同为一个区域、或同为一种污染物等。
在步骤S13中,确定所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据合并后的合并数据。
本公开中,由于编码表中记载了与数据标识对应的原始数据,所以在获取到待融合区域标识与待融合数据标识之后,可以从编码表的原始数据中获得与待融合区域标识对应的待融合区域,以及与待融合数据标识对应的待融合数据。
其中,不同的待融合区域标识与待融合数据标识通过不同的编码表来查询,且编码表与排放明细表中具有相同的待融合区域标识与相同的待融合数据标识,或者编码表与排放明细表中具有相同的原始数据的数据标识。通过相同的数据标识,可以从编码表中确定出与数据标识对应的数据。
Figure 822471DEST_PATH_IMAGE002
例如,请参阅表格2所示的污染物编码表,污染物编码表与表格1中的排放明细表中具有相同的污染物标识31与32。当用户需要获取污染物标识31的污染物数据时,系统则可以先从排放明细表中筛选出污染物标识31,再从表格2示出的编码表中,确定污染物标识31对应的污染物数据。
Figure 300726DEST_PATH_IMAGE003
又如,请参阅表格3所示的区域划分编码表,区域划分编码表与表格1中的排放明细表中具有相同的区域标识11与12。当用户需要获取区域标识11的区域数据时,系统则可以先从排放明细表中筛选出区域标识11,再从表格3的编码表中,确定出区域标识11对应的区域数据。
可见,排放明细表中记载了各个原始数据的数据标识,而编码表中记载了与数据标识对应具体的原始数据,二者通过相同的数据标识建立关联。请参阅图2所示,当用户需要对待融合区域与待融合数据进行合并时,则可以先从排放明细表中筛选出自身所需的待融合区域标识与待融合数据标识,再依据排放明细表与编码表之间的关联关系,从编码表中确定与待融合区域标识和待融合数据标识对应的原始数据,该原始数据则是与待融合区域标识对应的待融合区域,以及与待融合数据标识对应的待融合数据,以此来完成数据的筛选与合并。
通过本公开提出的数据处理方法,可以依据用户输入的待融合数据标识与待融合区域标识,从排放明细表中筛选出待融合数据标识与待融合区域标识,从确定与待融合数据标识对应的待融合数据,以及与待融合区域标识对应的待融合区域,以进行合并,得到合并数据。
在这个过程中,用户只需输入待融合数据标识与待融合区域标识即可得到合并后的数据,并不需要用户手动地将不同地区的数据进行合并,也不需要用户从不同的表格中查找到自身所需的数据,从而给用户合并数据带来便利;另一方面由于排放明细表中存储的是数据标识,而实际的原始数据是被存储在编码表中,所以可以减少排放明细表的存储量,缩小排放明细表的大小。
在一种可能的实施方式中,由于排放明细表中具有区域标识、排放源标识、污染物标识、企业标识、行业标识等不同的数据标识,因此可以通过以下几种方式来向排放明细表中映射不同的数据标识,以建立排放明细表。
方式1:在原始数据为区域数据,编码表为区域划分编码表的情况下,从区域划分编码表中,确定与区域数据对应的目标区域划分编码表;在确定区域数据的字段与目标区域划分编码表中的字段一致的情况下,将区域数据的数据标识映射在排放明细表中。字段可以为编码,例如县的编码、市的编码、省的编码等。
具体地,区域划分编码表具有省区域编码表、市区域编码表以及县区域编码表。
在区域数据为县区域数据的情况下,目标区域划分编码表为县区域编码表,若县区域数据的字段与县区域编码表中的字段一致(例如县区域数据的字段与县区域编码表中的字段均为23000),说明县区域数据验证通过,此时可以将县区域数据对应的区域标识映射在排放明细表中。
在区域数据为市区域数据的情况下,目标区域划分编码表包括县区域编码表与市区域编码表,此时可以确定市区域数据是否与县区域编码表的字段一致,在一致的情况下,再确定市区域数据是否与市区域编码表的字段一致,在一致的情况下,说明市区域数据验证通过,此时可以将市区域数据对应的区域标识映射在排放明细表中。
在区域数据为省区域数据的情况下,目标区域划分编码表包括县区域编码表、市区域编码表与省区域编码表,此时可以确定省区域数据的字段是否与县区域编码表的字段一致,一致时,再确定省区域数据的字段是否与市区域编码表的字段一致,一致的情况下,再确定省区域数据的字段是否与省区域编码表的字段一致,一致的情况下,说明省区域数据验证通过,此时可以将省区域数据对应的区域标识映射在排放明细表中。
通过不同的区域划分编码表来对不同的区域数据进行编码验证,可以筛除错误的区域数据,以使得映射在排放明细表中的区域标识所对应的区域数据均是经过编码表编码校验过的,是正确有效的数据标识。
方式2:在所述原始数据为排放源数据,所述编码表为排放源编码表的情况下,若确定所述排放源数据的字段位于所述排放源编码表中,则将所述排放源数据对应的数据标识映射在所述排放明细表中。
其中,该字段可以为排放源数据的编码,依据该编码可以确定排放源数据是否编写错误。
其中,排放源编码表中存储了所有排放源的排放源标识、排放源名称、排放源编码以及排放量。当确定出排放源数据的编码与排放源编码表中的所有编码中的所有排放源编码不匹配时,说明排放源数据的字段不位于排放源编码中,排放源编码对应的排放源数据错误,此时可以将排放源数据进行筛除;当确定出排放源数据的字段位于排放源编码表中时,说明排放源数据是正确的,此时可以将排放源数据对应的数据标识映射在排放明细表中。
方式3:在所述原始数据为污染物数据,所述编码表为污染物编码表的情况下,若确定所述污染物数据的字段位于所述污染物编码表中,则将所述污染物数据对应的数据标识映射在所述排放明细表中。
其中,该字段可以为污染物数据的编码,依据该编码可以确定污染物数据是否编写错误。
其中,污染物编码表中存储了所有排放源的污染物标识、污染物名称、污染物编码以及排放量。当确定出污染物数据的编码与污染物编码表中的所有编码均不一致时,说明污染物数据的字段不位于污染物编码表中,污染物数据错误,此时可以将污染物数据进行筛除;当确定出污染物数据的字段位于污染物编码表中时,说明污染物数据是正确的,此时可以将污染物数据对应的数据标识映射在排放明细表中。
方式4:在确定原始数据为行业数据,编码表为行业映射表的情况下,若确定行业数据位于行业映射表中,则将行业数据对应的数据标识映射在排放明细表中;若确定行业数据位于行业映射表外,则将行业数据进行筛除。
其中,行业映射表中具有行业标识与行业信息,当行业数据位于行业映射表之内时,说明该行业数据编写正确。
通过行业映射表的设置,可以将待融合数据与待融合区域映射至不同的行业,以使得本公开提出的数据处理方法能够适配不同的行业。
方式5:在确定原始数据为企业明细数据,编码表为企业明细表的情况下,若确定企业明细数据的字段位于企业明细表中,则将企业明细数据对应的数据标识映射在排放明细表中,若确定企业明细数据的字段位于企业明细表之外,则将企业明细数据进行筛除。
其中,企业明细表中存储有企业的企业标识、企业名称、企业地理位置信息、企业编码以及信用代码等企业明细数据;当接收到企业明细数据的编码与企业明细表中的企业编码一致的情况下,说明企业明细数据正确,此时可以将企业明细数据对应的数据标识映射在排放明细表中。
通过方式1至方式5,可以将不同企业、不同系统以及不同行业的原始数据通过编码表进行编码验证,并将通过编码表验证的原始数据对应的数据标识存储在排放明细表中,以为待融合数据标识与待融合区域标识提供查询的依据,来得到与待融合数据标识对应的待融合数据,以及与待融合区域标识对应的待融合区域。
在这个过程中,由于存储在排放明细表中的数据标识是通过编码表验证的,使得映射至排放明细表中的原始数据的数据标识是正确的数据标识,进而使得后续在接收到用户输出的融合请求时,能够为用户反馈正确的合并数据。
其中,通过方式1至方式5筛除后的原始数据,可以将错误的原始数据返给用户进行修改;在原始数据为区域数据的情况下,也可以将区域数据修正至市中心区域,也可以将异常的区域数据的坐标信息去除。
在一种可能的实施方式中,在将原始数据映射至排放明细表的过程中,不仅需要对原始数据进行编码校验,还要对原始数据进行清洗,以进一步地保证原始数据的正确性。
其中,在所述污染物数据所在区域位于目标区域划分编码表的区域之外的情况下,去除所述污染物数据,得到清洗数据;在确定所述清洗数据的字段位于所述污染物编码表中的情况下,将所述清洗数据对应的数据标识映射在所述排放明细表中。
当污染物所在区域位于目标区域划分编码表所记载的多个区域之外的情况下,说明污染物数据是异常数据,此时可以去除该污染物数据得到清洗数据,再对清洗数据进行编码校验,将校验通过的清洗数据对应的数据标识映射在排放明细表中。
在一种可能的实施方式中,在得到合并数据之后,还可以对合并数据所形成的版本清单进行命名,以便用户查看或使用。
其中,版本清单的命名规则可以以基准年-省份缩写-版本号-城市缩写的方式来对版本清单进行命名。例如2018-M-10b1-N,2018就是版本清单的制作基准年,M是省份缩写,10b1是版本号,N是城市缩写。
其中,可以以XYZ的定义格式来为版本号进行命名,XYZ分别为0至9的整数,其递增规则可以为:
X表示主版本号,当收集到单位所编制的某区域的版本清单,且系统中已经存在另一单位编制的该区域的版本清单的情况下,X需要递增;Y表示次版本号,当编制方对同一版本清单的数据进行订正后,Y需要递增;Z表示修订号,当开发人员对数据进行订正后,Z需要递增。
且在XYZ中其中一个超过9时,则在前面增加小写字母a,b,c,依次递增。例如版本号10b1中,X是1,Y是0,Z是b1,代表Z更新了21次。
由此可见,同一个版本清单可能有不同的版本号,在用户输入融合请求时,不仅需要输入待融合区域标识,还需要输入对应的版本清单的版本号,才能得到对应版本的版本清单。
例如,用户可以输入城市A、城市B、城市C的待融合区域标识,以及将三者结合在一起的待融合区域标识(例如为202019ABC),100是版本号与待融合区域标识一起输入得到202019ABC100的融合请求,从而得到城市A、城市B以及城市C三个待融合区域的合并数据。
其中,版本清单可以提前制作好,当接收到用户输入的融合请求之后,可以依据融合请求中的待融合区域标识与版本号,确定对应的版本清单,从版本清单中获得合并数据;版本清单也可以在用户输入待融合区域标识与待融合数据标识之后,从排放明细表中临时筛选出待融合区域标识与待融合数据标识,再从编码表中确定待融合区域与待融合数据,将二者的信息进行合并,来得到合并数据,本公开对合并数据的获取不做限制。
基于同一发明构思,本公开还提出一种数据处理装置,请参阅图3所示,该数据处理装置120包括:接收模块121、响应模块122与合并模块123。
接收模块121,被配置为接收携带有待融合区域标识与待融合数据标识的融合请求;
响应模块122,被配置为响应于所述融合请求,从排放明细表中筛选出所述待融合区域标识与所述待融合数据标识;
合并模块123,被配置为确定所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据合并后的合并数据。
可选地,合并模块123包括:
查询模块,被配置为从不同的编码表中,查询与所述待融合区域标识对应的待融合区域以及与所述待融合数据标识对应的待融合数据;
第一合并模块,被配置为将所述待融合区域与所述待融合数据进行合并,得到所述合并数据;
其中,所述编码表与所述排放明细表中具有相同的所述待融合区域标识与相同的所述待融合数据标识。
可选地,数据处理装置120包括:
原始数据获取模块,被配置为获取不同的入库排放清单中的原始数据;所述原始数据包括区域数据、排放源数据、污染物数据、企业明细数据以及行业数据;
映射模块,被配置为将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,得到所述排放明细表,所述编码表包括区域划分编码表、排放源编码表、污染物编码表、企业明细表与行业映射表。
可选地,在所述原始数据为区域数据,所述编码表为区域划分编码表的情况下,映射模块包括:
目标区域划分编码表确定模块,被配置为从所述区域划分编码表中,确定与所述区域数据对应的目标区域划分编码表;
第一映射模块,被配置为在确定所述区域数据的字段与所述目标区域划分编码表中的字段一致的情况下,将所述区域数据的数据标识映射在所述排放明细表中。
可选地,在所述原始数据为排放源数据,所述编码表为排放源编码表的情况下,映射模块包括:
第二映射模块,被配置为在确定所述排放源数据的字段位于所述排放源编码表中的情况下,将所述排放源数据对应的数据标识映射在所述排放明细表中。
可选地,在所述原始数据为污染物数据,所述编码表为污染物编码表的情况下,映射模块包括:
第三映射模块,被配置为在确定所述污染物数据的字段位于所述污染物编码表中的情况下,将所述污染物数据对应的数据标识映射在所述排放明细表中。
可选地,第三映射模块包括:
清洗模块,被配置为在所述污染物数据的排放量在所述污染物编码表的排放量范围之外的和/或所述污染物数据所在区域位于目标区域划分编码表的区域之外情况下,去除所述污染物数据,得到清洗数据;
第四映射模块,被配置为在确定所述清洗数据的字段位于所述污染物编码表中的情况下,将所述清洗数据对应的数据标识映射在所述排放明细表中。
可选地,数据处理装置120包括:
日志存放模块,被配置为将所述原始数据存放至入库排放日志表,所述待融合区域标识与所述待融合数据标识存放至排放明细日志表,所述合并数据存放至版本清单日志表中,所述编码表存放在编码日志表中;
存储模块,被配置为在元数据层中存储所述入库排放日志表、所述排放明细日志表、所述版本清单日志表以及所述编码日志表。
可选地,合并模块123包括:
第二合并模块,被配置为根据所述待融合区域标识,从多个不同的版本清单表中,确定与所述待融合区域标识所对应的版本清单表,所述版本清单表中具有所述合并数据。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图4,电子设备1900包括处理器1922,其数量可以为一个或多个,以及存储器1932,用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器1922可以被配置为执行该计算机程序,以执行上述的数据处理方法。
另外,电子设备1900还可以包括电源组件1926和通信组件1950,该电源组件1926可以被配置为执行电子设备1900的电源管理,该通信组件1950可以被配置为实现电子设备1900的通信,例如,有线或无线通信。此外,该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM等等。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的数据处理方法的步骤。例如,该非临时性计算机可读存储介质可以为上述包括程序指令的存储器1932,上述程序指令可由电子设备1900的处理器1922执行以完成上述的数据处理方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的数据处理方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
接收携带有待融合区域标识与待融合数据标识的融合请求;
响应于所述融合请求,从排放明细表中筛选出所述待融合区域标识与所述待融合数据标识,所述排放明细表中具有不同的数据标识;
从不同的编码表中,确定与所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据;其中,所述编码表与所述排放明细表中具有相同的所述待融合区域标识与相同的所述待融合数据标识;
对所述待融合区域与所述待融合数据进行合并,得到合并数据;
其中,对所述待融合区域与所述待融合数据进行合并,得到合并数据包括:根据所述待融合区域标识,从多个不同的版本清单表中,确定与所述待融合区域标识所对应的版本清单表,所述版本清单表中具有所述合并数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述排放明细表通过以下步骤确定:
获取不同的入库排放清单中的原始数据;所述原始数据包括区域数据、排放源数据、污染物数据、企业明细数据以及行业数据;
将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,得到所述排放明细表,所述编码表包括区域划分编码表、排放源编码表、污染物编码表、企业明细表与行业映射表。
3.根据权利要求2所述的数据处理方法,其特征在于,在所述原始数据为区域数据,所述编码表为区域划分编码表的情况下,所述将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,包括:
从所述区域划分编码表中,确定与所述区域数据对应的目标区域划分编码表;
在确定所述区域数据的字段与所述目标区域划分编码表中的字段一致的情况下,将所述区域数据的数据标识映射在所述排放明细表中。
4.根据权利要求2所述的数据处理方法,其特征在于,在所述原始数据为排放源数据,所述编码表为排放源编码表的情况下,所述将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,包括:
在确定所述排放源数据的字段位于所述排放源编码表中的情况下,将所述排放源数据对应的数据标识映射在所述排放明细表中。
5.根据权利要求2所述的数据处理方法,其特征在于,在所述原始数据为污染物数据,所述编码表为污染物编码表的情况下,所述将通过所述编码表校验的所述原始数据对应的数据标识映射在所述排放明细表中,包括:
在确定所述污染物数据的字段位于所述污染物编码表中的情况下,将所述污染物数据对应的数据标识映射在所述排放明细表中。
6.根据权利要求5所述的数据处理方法,其特征在于,所述在确定所述污染物数据的字段位于所述污染物编码表中的情况下,将所述污染物数据对应的数据标识映射在所述排放明细表中,包括:
在所述污染物数据所在区域位于目标区域划分编码表的区域之外情况下,去除所述污染物数据,得到清洗数据;
在确定所述清洗数据的字段位于所述污染物编码表中的情况下,将所述清洗数据对应的数据标识映射在所述排放明细表中。
7.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:
将所述原始数据存放至入库排放日志表,所述待融合区域标识与所述待融合数据标识存放至排放明细日志表,所述合并数据存放至版本清单日志表中,所述编码表存放在编码日志表中;
在元数据层中存储所述入库排放日志表、所述排放明细日志表、所述版本清单日志表以及所述编码日志表。
8.一种数据处理装置,其特征在于,所述装置包括:
接收模块,被配置为接收携带有待融合区域标识与待融合数据标识的融合请求;
响应模块,被配置为响应于所述融合请求,从排放明细表中筛选出所述待融合区域标识与所述待融合数据标识,所述排放明细表中具有不同的数据标识;
合并模块,被配置为从不同的编码表中,确定与所述待融合区域标识对应的待融合区域以及所述待融合数据标识对应的待融合数据;其中,所述编码表与所述排放明细表中具有相同的所述待融合区域标识与相同的所述待融合数据标识;对所述待融合区域与所述待融合数据进行合并,得到合并数据;
其中,对所述待融合区域与所述待融合数据进行合并,得到合并数据包括:根据所述待融合区域标识,从多个不同的版本清单表中,确定与所述待融合区域标识所对应的版本清单表,所述版本清单表中具有所述合并数据。
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~7中任一项所述的数据处理方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1~7中任一项所述的数据处理方法的步骤。
CN202211158629.XA 2022-09-22 2022-09-22 一种数据处理方法、装置、存储介质与电子设备 Active CN115238658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211158629.XA CN115238658B (zh) 2022-09-22 2022-09-22 一种数据处理方法、装置、存储介质与电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211158629.XA CN115238658B (zh) 2022-09-22 2022-09-22 一种数据处理方法、装置、存储介质与电子设备

Publications (2)

Publication Number Publication Date
CN115238658A CN115238658A (zh) 2022-10-25
CN115238658B true CN115238658B (zh) 2023-01-31

Family

ID=83667261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211158629.XA Active CN115238658B (zh) 2022-09-22 2022-09-22 一种数据处理方法、装置、存储介质与电子设备

Country Status (1)

Country Link
CN (1) CN115238658B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011777A (zh) * 2021-04-07 2021-06-22 中科三清科技有限公司 臭氧污染防治的动态决策方法及装置
CN114860875A (zh) * 2022-04-26 2022-08-05 深圳市生态环境智能管控中心 一种固定污染源的数据整合系统及方法
CN114896952A (zh) * 2022-04-28 2022-08-12 北京清创美科环境科技有限公司 一种大气污染源排放清单编制方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9056783B2 (en) * 1998-12-17 2015-06-16 Hach Company System for monitoring discharges into a waste water collection system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011777A (zh) * 2021-04-07 2021-06-22 中科三清科技有限公司 臭氧污染防治的动态决策方法及装置
CN114860875A (zh) * 2022-04-26 2022-08-05 深圳市生态环境智能管控中心 一种固定污染源的数据整合系统及方法
CN114896952A (zh) * 2022-04-28 2022-08-12 北京清创美科环境科技有限公司 一种大气污染源排放清单编制方法及装置

Also Published As

Publication number Publication date
CN115238658A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
US7698013B2 (en) Parts production management system and parts production management method
CN111291024A (zh) 数据处理方法、装置、电子设备及存储介质
CN110647562B (zh) 一种数据查询方法和装置、电子设备、存储介质
CN110704426A (zh) 数据校验方法、电子装置及计算机可读存储介质
CN113704094A (zh) 测试用例知识库构建方法、装置、电子设备及存储介质
CN111428095B (zh) 图数据质量验证方法及图数据质量验证装置
CN110796060B (zh) 高速行车路线确定方法、装置、设备和存储介质
CN106354727B (zh) 小部件文件生成方法和装置
CN115238658B (zh) 一种数据处理方法、装置、存储介质与电子设备
CN111178839A (zh) 环保税申报监控管理方法、装置及系统
CN102136013B (zh) 制造步骤信息生成系统和制造步骤信息生成方法
CN109343891B (zh) 数据处理的系统、方法及装置
CN112420172A (zh) 一种医学影像信息管理系统
CN111444177A (zh) 配置报表的方法和装置
CN114501383A (zh) 用于车联网云端的数据接入方法
CN114118944A (zh) 一种取证实验室分级管理方法、终端设备及存储介质
CN113590907A (zh) 相机管理方法及装置、电子设备和存储介质
CN113157890A (zh) 智能问答方法、装置、电子设备及可读存储介质
CN111241082A (zh) 数据修正方法及装置
US20240330820A1 (en) Information processing method, storage medium storing information processing program, data processing system, data display device, information accumulation method, storage medium storing information accumulation program, and data accumulation system
CN111291031A (zh) 一种数据修正方法及装置
CN112732846A (zh) 水务运营分析系统、方法、电子设备及存储介质
EP2717174A1 (en) A method and system for retrieving and providing requested data from hierarchical data structures
CN112487022B (zh) 关联数据的采集方法、系统、存储介质及电子设备
CN117114796A (zh) 订单转换方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant