CN112069213A - 数据报送的方法和系统 - Google Patents
数据报送的方法和系统 Download PDFInfo
- Publication number
- CN112069213A CN112069213A CN202010933913.4A CN202010933913A CN112069213A CN 112069213 A CN112069213 A CN 112069213A CN 202010933913 A CN202010933913 A CN 202010933913A CN 112069213 A CN112069213 A CN 112069213A
- Authority
- CN
- China
- Prior art keywords
- rule
- target
- verification
- message
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000012795 verification Methods 0.000 claims abstract description 192
- 230000005540 biological transmission Effects 0.000 claims abstract description 63
- 238000013480 data collection Methods 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 62
- 238000003860 storage Methods 0.000 claims description 59
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000012384 transportation and delivery Methods 0.000 abstract description 20
- 238000004891 communication Methods 0.000 description 16
- 238000013500 data storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本说明书提供的数据报送的方法和系统,将前置数据采集端与中央数据采集中心建立连接,使前置数据采集端从中央数据采集中心获取校验规则,并利用从中央数据采集中心获取的校验规则,在数据传输前在前置数据采集端对要传输的报文进行数据校验,通过校验的数据自动发送给中央数据采集中心,而未通过校验的数据则不会被发送给中央数据采集中心。所述方法和系统,大大提高了报文在中央数据采集中心的校验通过率,避免了因为中央数据采集中心校验不通过导致反复报送浪费时间和资源的情况,提升了数据报送的成功率,缩端了数据报送的时间,降低了时间成本。
Description
技术领域
本说明书涉及互联网技术领域,尤其涉及一种数据报送的方法和系统。
背景技术
数字时代,在监督管理、统计审计等领域都广泛存在着对各种数据的采集报送和管理需求。譬如中国人民银行需要从所监管的银行机构收集数据进行金融数据的汇总统计和监管。地方金融局也需要从所管辖的类金融机构收集数据实现对类金融机构的监管。而这些报文往往都是GB级别以上的数据。一般这些专业领域的数据都是通过专线或专网报送,而专线或专网的带宽一般都比较小,报送一次GB级别的数据可能需要数个小时。传统大文件数据的报送方式一般通过电子邮件或FTP的报送方式,待文件传送至中央数据采集中心后由中央数据采集中心进行校验,若校验不通过再通知前置数据采集端数据错误,要求重报。整个过程一般都需要人工干预,且经常需要反复重复报送,耗费大量时间、人力和带宽资源,导致数据报送不及时、不准确、不安全。
因此,需要一种更高效、更安全的数据报送的方法和系统。
发明内容
本说明书提供一种更高效、更安全的数据报送的方法和系统。
第一方面,本说明书提供一种数据报送的方法,用于专线或专网数据报送系统中的前置数据采集端,所述方法通过所述前置数据采集端将待报送的报文发送至中央数据采集中心,所述方法包括:从所述中央数据采集中心获取处理规则,所述处理规则包括校验规则,所述处理规则预先可视化地配置在所述中央数据采集中心;获取目标报文,所述目标报文包括至少一个所述待报送的报文,所述目标报文包括目标数据内容;基于所述校验规则对所述目标报文进行校验,确认所述目标数据内容是否符合所述校验规则;以及将通过所述校验的目标报文发送至所述中央数据采集中心。
在一些实施例中,所述处理规则与所述前置数据采集端相对应。
在一些实施例中,所述从所述中央数据采集中心获取处理规则,包括:基于第一预设时间周期,从所述中央数据采集中心获取所述处理规则。
在一些实施例中,所述校验规则包括:所述校验规则对应的校验方法;以及所述校验规则对应的报文类型,其中,所述校验规则与所述报文类型一一对应。
在一些实施例中,所述基于所述校验规则对目标报文进行校验,包括:基于解析规则对所述目标报文进行解析,获取所述目标数据内容,其中,所述处理规则还包括所述解析规则;基于所述目标报文的报文类型,确定与所述目标报文相对应的目标校验规则,其中,所述校验规则包括所述目标校验规则;以及使用所述目标校验规则对应的目标校验方法对所述目标数据内容进行所述校验,确认所述目标数据内容是否符合所述目标校验规则。
在一些实施例中,所述校验规则还包括:所述校验规则对应的版本标识,其中,所述目标校验规则对应的版本标识为最新的版本标识。
在一些实施例中,所述基于所述校验规则对目标报文进行校验,还包括:将所述通过所述校验的目标报文标记为校验成功目标报文。
在一些实施例中,所述基于所述校验规则对目标报文进行校验,还包括:将未通过所述校验的目标报文标记为校验失败目标报文,所述校验失败目标报文包括所述目标报文的失败原因。
在一些实施例中,所述前置数据采集端包括:存储库,被配置为存储所述目标报文;所述获取目标报文,包括:从所述存储库中获取所述目标报文。
在一些实施例中,所述从所述存储库中获取所述目标报文,包括:基于第二预设时间周期,从所述存储库中获取所述目标报文。
在一些实施例中,所述将通过所述校验的目标报文发送至所述中央数据采集中心,包括:基于第三预设时间周期,将所述通过所述校验的目标报文发送至所述中央数据采集中心。
在一些实施例中,所述将通过所述校验的目标报文发送至所述中央数据采集中心,包括:基于加密规则,对所述通过所述校验的目标报文进行加密,所述处理规则还包括所述加密规则;以及将加密后的所述目标报文发送至所述中央数据采集中心。
在一些实施例中,所述数据报送方法还包括:接收所述中央数据采集中心发送的反馈信息。
在一些实施例中,所述将通过所述校验的目标报文发送至所述中央数据采集中心,包括:确定所述通过所述校验的目标报文发送失败;从所述中央数据采集中心获取所述通过所述校验的目标报文的传输量;以及基于所述传输量,从所述传输量处向所述中央数据采集中心发送所述通过所述校验的目标报文的剩余数据。
第二方面,本说明书提供一种数据报送系统,用于专线或专网数据报送系统中的前置数据采集端,包括:至少一个存储介质,包括至少一个指令集,用于将待报送的报文发送至中央数据采集中心;以及至少一个处理器,同所述至少一个存储介质通信连接,运行时读取所述至少一个指令集并执行:从所述中央数据采集中心获取处理规则,所述处理规则包括校验规则,所述处理规则预先可视化配置在所述中央数据采集中心;获取目标报文,所述目标报文包括至少一个所述待报送的报文,所述目标报文包括目标数据内容;基于所述校验规则对所述目标报文进行校验,确认所述目标数据内容是否符合所述校验规则;以及将通过所述校验的目标报文发送至所述中央数据采集中心。
在一些实施例中,所述至少一个指令集包括:规则获取指令,被配置为从所述中央数据采集中心获取所述处理规则,所述处理规则与所述前置数据采集端相对应。
在一些实施例中,所述至少一个指令集还包括:校验指令,被配置为使用与所述目标报文的报文类型相对应的目标校验规则对所述目标报文进行所述校验,确认所述目标报文的目标数据内容是否符合所述目标校验规则,所述校验规则包括所述目标校验规则。
在一些实施例中,所述至少一个存储介质还包括:存储库,被配置为存储所述目标报文;所述至少一个指令集还包括:报文获取指令,被配置为从所述存储库获取所述目标报文。
在一些实施例中,所述至少一个指令集还包括:加密指令,被配置为使用加密规则对所述目标报文进行加密,其中,所述处理规则还包括所述加密规则。
在一些实施例中,所述至少一个指令集还包括:解析指令,被配置为基于解析规则对所述目标报文进行解析,获取所述目标报文的所述目标数据内容,其中,所述处理规则还包括所述解析规则。
第三方面,本说明书提供一种数据报送方法,用于专线或专网数据报送系统中的中央数据采集中心,所述中央数据采集中心用于接收前置数据采集端发送的报文,所述方法包括:接收所述前置数据采集端发送的经过所述前置数据采集端基于校验规则进行校验的目标报文,所述目标报文包括目标数据内容,所述目标数据内容符合所述校验规则,其中,所述校验规则预先可视化配置在所述中央数据采集中心,所述前置数据采集端从所述中央数据采集中心获取所述校验规则;基于所述校验规则对所述目标报文进行校验,确认所述目标数据内容是否符合所述校验规则;以及将通过所述校验的目标报文存储至存储系统。
在一些实施例中,所述数据报送方法还包括:接收所述前置数据采集端发送的获取处理规则的请求,并基于所述前置数据采集端的设备标识,向所述前置数据采集端发送与所述前置数据采集端相对应的处理规则,所述获取处理规则的请求包括所述前置数据采集端的设备标识,所述处理规则包括所述校验规则。
在一些实施例中,所述校验规则包括:所述校验规则对应的校验方法;以及所述校验规则对应的报文类型。
在一些实施例中,所述基于所述校验规则对所述目标报文进行校验,包括:基于解析规则,对所述目标报文进行解析,获取所述目标数据内容,所述解析规则预先存储在所述中央数据采集中心;基于所述目标报文的报文类型,确定与所述目标报文相对应的目标校验规则,其中,所述校验规则包括所述目标校验规则;以及使用所述目标校验规则对所述目标数据内容进行所述校验,确认所述目标数据内容是否符合所述目标校验规则。
在一些实施例中,所述校验规则还包括:所述校验规则对应的版本标识,其中,所述目标校验规则对应的版本标识为最新的版本标识。
在一些实施例中,在所述基于解析规则,对所述目标报文进行解析之前,所述基于所述校验规则对所述目标报文进行校验,还包括:基于解密规则对所述目标报文进行解密,其中,所述解密规则预先存储在所述中央数据采集中心,其中,所述目标报文为经过所述前置数据采集端基于加密规则进行加密的报文,所述解密规则与所述加密规则相对应,所述加密规则由所述前置数据采集端从所述中央数据采集中心获取。
在一些实施例中,所述数据报送方法还包括:向所述前置数据采集端发送反馈信息,所述反馈信息包括所述目标报文的报送结果。
第四方面,本说明书提供一种数据报送系统,用于专线或专网数据报送系统中的中央数据采集中心,包括:至少一个存储介质,包括至少一个指令集,用于数据报送;以及至少一个处理器,同所述至少一个存储介质通信连接,运行时读取所述至少一个指令集并执行本说明书第三方面所述的数据报送方法。
由以上技术方案可知,本说明书提供的数据报送的方法和系统,将前置数据采集端与中央数据采集中心建立连接,使前置数据采集端定时从中央数据采集中心获取校验规则,并利用从中央数据采集中心获取的校验规则,在数据传输前在前置数据采集端对要传输的报文的数据内容进行数据校验,通过校验的数据自动发送给中央数据采集中心,而未通过校验的数据则不会被发送给中央数据采集中心。所述方法和系统,可以自动对待报送的数据进行检验,只有通过前置数据采集端校验的报文才会被发送至中央数据采集中心,大大提高了报文在中央数据采集中心的校验通过率,避免了因为中央数据采集中心校验不通过导致反复报送浪费时间和资源的情况,提升了数据报送的成功率,缩端了数据报送的时间,降低了时间成本。并且所述方法和系统,支持前置数据采集端断点续传,即当前置数据采集端与中央数据采集中心的连接断开时报文传输未完成,当前置数据采集端与中央数据采集中心再次连接时,前置数据采集端会继续向中央数据采集中心发送未完成的部分,直至报文传输完成。
本说明书提供的数据报送的方法和系统的其他功能将在以下说明中部分列出。根据描述,以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的数据报送的方法和系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的实施例提供的一种数据报送系统的应用场景示意图;
图2示出了根据本说明书的实施例提供的一种前置数据采集端的设备示意图;
图3示出了根据本说明书的实施例提供的一种中央数据采集中心的设备示意图;以及
图4示出了根据本说明书的实施例提供的一种数据报送的方法流程图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本说明书的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述,本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本说明书的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。还应理解,附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
在传统的数据报送过程中,用户通过前置数据采集端将需要报送的数据按照指定的方式传送至中央数据采集中心,中央数据采集中心基于与所述报文相对应的校验规则对报文的数据内容进行校验,若校验不通过,则用户需要在前置数据采集端修改报文的数据内容,并将修改后的报文重新通过前置数据采集端传送给中央数据采集中心,中央数据采集中心则再次对修改后的报文进行校验。报文可能达到GB级别的数据。每次数据传送会占用大量的时间和资源,若报文的数据内容不能一次通过中央数据采集中心的校验,则用户需要反复进行数据报送,浪费大量的人力和资源。若是能有一种数据报送系统可以在前置数据采集端使用中央数据采集中心的校验规则提前对报文进行校验,然后再将通过校验的报文传送至中央数据采集中心,则可以显著提高报文在中央数据采集中心的校验通过率,从而节避免错误的报文占用时间和带宽,节省时间成本和资源成本。
本说明书提供一种数据报送系统,所述数据报送系统为基于专线或专网的数据报送系统。所述数据报送系统可以包括前置数据采集端和中央数据采集中心。所述前置数据采集端可以向所述中央数据采集中心发送待报送的报文。所述数据报送系统的前置数据采集端可以定时从中央数据采集中心获取存储在中央数据采集中心的校验规则和解析规则,当用户将需要报送的数据存储在所述数据报送系统的前置数据采集端时,所述数据报送系统可以根据从中央数据采集中心获取的解析规则和校验规则对报文的数据内容进行解析和校验,并将通过校验的报文发送给中央数据采集中心,以提高中央数据采集中心校验通过率,节省时间和资源。用户只需将报文存储在所述数据报送系统指定的路径中,所述数据报送系统可以自行检测到所述报文,并自行对所述报文进行解析和校验,校验通过后,自行将所述报文发送至中央数据采集中心,不需要用户干预操作,节省用户的工作量,提升工作效率。
图1示出了一种数据报送系统001的应用场景示意图。数据报送系统001(以下简称系统001)可以包括中央数据采集中心200、前置数据采集端300、网络120以及数据库150。
中央数据采集中心200可以是接收报文的设备或服务器。比如,中央数据采集中心200可以是中国人民银行接收所监管的银行发送的所述报文的服务器,中央数据采集中心200也可以是地方金融局接收所管辖的金融机构发送的所述报文的服务器,等等。中央数据采集中心200可以存储有执行本说明书描述的数据报送的方法的数据或指令,并可以执行或用于执行所述数据和/或指令。中央数据采集中心200中可以预先可视化地配置有报文的处理规则,所述处理规则可以包括校验规则,还可以包括解析规则,还可以包括加解密规则、存储规则和/或渲染规则等等。中央数据采集中心200可以根据所述报文的类型生成报文对应的报文配置表,所述报文配置表可以用于描述所述报文对应的处理规则。所述解析规则用于对所述报文进行解析,以获取所述报文的数据内容。所述数据内容即所述报文中各项对应的具体内容。所述校验规则用于对所述报文的数据内容进行校验,以检验所述报文的数据内容是否符合校验规则,是否包含不符合校验规则的内容。所述加解密规则用于对所述报文进行加解密,以保证所述报文的安全传输。所述存储规则用于对所述报文进行存储,规定了所述报文对应的存储格式和存储地址。所述渲染规则用于对所述报文进行渲染,以生成可视化的界面向用户展示。中央数据采集中心200在接收到前置数据采集端300发送的报文后,需要对所述报文进行解析以获取报文的数据内容,然后对数据内容进行校验,以检验数据内容是否符合要求,最后对通过所述检验的数据进行存储。
前置数据采集端300可以是向中央数据采集中心200上传所述报文的终端设备。前置数据采集端300可以与中央数据采集中心200通讯连接。比如,前置数据采集端300可以是中国人民银行所述监管的银行上报所述报文所使用的终端设备,也可以是地方金融局所管辖的金融机构上报所述报文所使用的终端设备,等等。用户110可以通过前置数据采集端300向中央数据采集中心200发送报文。具体地,用户110可以通过安装在前置数据采集端300上的数据报送程序向中央数据采集中心200发送报文。作为示例,所述数据报送程序可以包括,但不限于,浏览网页,应用软件,等等。前置数据采集端300可以存储有执行本说明书描述的数据报送的方法的数据或指令,并可以执行或用于执行所述数据和/或指令。
在一些实施例中,前置数据采集端300可以包括移动设备300-1、平板电脑300-2、笔记本电脑300-3、机动车辆300-4的内置设备或类似内容,或其任意组合。在一些实施例中,移动设备300-1可包括智能家居设备、智能移动设备或类似设备,或其任意组合。在一些实施例中,所述智能家居装置可包括智能电视、台式电脑等,或任意组合。在一些实施例中,所述智能移动设备可包括智能手机、个人数字辅助等,或其任意组合。在一些实施例中,前置数据采集端300可以是具有定位技术的设备,用于定位前置数据采集端300的位置。
网络120可以促进信息和/或数据的交换。如图1所示,前置数据采集端300、中央数据采集中心200、数据库150可以同网络120连接,并且通过网络120互相传输信息和/或数据。例如,前置数据采集端300可以通过网络120向中央数据采集中心200发送报文。在一些实施例中,网络120可以是任何类型的有线或无线网络,也可以是其组合。比如,网络120可以包括电缆网络,有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线或无线网络接入点,如基站和/或互联网交换点,通过该接入点,前置数据采集端300、中央数据采集中心200、数据库150的一个或多个组件可以连接到网络120以交换数据和/或信息。
数据库150可以存储数据和/或指令。在一些实施例中,数据库150可以存储从前置数据采集端300获得的报文。在一些实施例中,数据库150可以存储用于校验报文的校验规则、解析规则以及加密规则,等等。中央数据采集中心200和/或前置数据采集端300可能具有访问数据库150的权限,中央数据采集中心200和/或前置数据采集端300可以通过网络120访问存储在数据库150中的数据或指令。在一些实施例中,数据库150可以直接连接到中央数据采集中心200和/或前置数据采集端300。在一些实施例中,数据库150可以是中央数据采集中心200的一部分。在一些实施例中,数据库150可以包括大容量存储、可移动存储、易失性读写存储器、只读存储器(ROM)或类似内容,或其任意组合。示例性大容量存储可能包括磁盘、光盘、固态驱动器等非暂时性存储介质(non-transitory storage medium)。示例可移动存储可能包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等。典型的易失性读写内存可能包括随机存取存储器(RAM)。示例RAM可能包括动态RAM(DRAM)、双日期速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM(Z-RAM)等。示例性ROM可包括掩码ROM(MROM)、可编程ROM(PROM)、可虚拟可编程ROM(PEROM)、电子可编程ROM(EEPROM)、光盘(CD-ROM)和数字多功能磁盘ROM等。在一些实施例中,数据库150可以在云平台上实现。仅举例,云平台可能包括私有云、公共云、混合云、社区云、分布式云、云间云或类似,或其任意组合。
如图1所示,用户110可以将需要报送的报文放置在前置数据采集端300的所述数据报送程序的指定路径中,前置数据采集端300可以执行本说明书描述的数据报送的方法的数据或指令,对需要报送的报文进行解析和校验,并将通过校验的报文通过网络120发送至中央数据采集中心200,中央数据采集中心200可以对所述报文再次进行解析和校验,并将通过校验的报文存储在中央数据采集中心200的本地存储介质和/或数据库150中。
图2示出了一种前置数据采集端300的设备示意图。前置数据采集端300可以执行本说明书描述的数据报送的方法。所述数据报送的方法在本说明书中的其他部分介绍。比如,在图4的描述中介绍了所述数据报送的方法P200。
如图2所示,前置数据采集端300包括至少一个存储介质330和至少一个处理器320。在一些实施例中,前置数据采集端300还可以包括通信端口350和内部通信总线310。同时,前置数据采集端300还可以包括I/O组件360。
内部通信总线310可以连接不同的系统组件,包括存储介质330和处理器320。
I/O组件360支持前置数据采集端300和其他组件之间的输入/输出。
通信端口350用于前置数据采集端300同外界的数据通讯。比如,前置数据采集端300可以通过通信端口350连接网络120,与中央数据采集中心200之间建立数据传输。
存储介质330可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘、只读存储介质(ROM)或随机存取存储介质(RAM)中的一种或多种。存储介质330还包括存储在所述数据存储装置中的至少一个指令集332,用于数据报送。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的数据报送的方法的程序、例程、对象、组件、数据结构、过程、模块等等。
如图2所示,所述至少一个存储介质330还可以包括存储库334,被配置为存储待报送的报文。其中,所述报文包括目标报文,所述目标报文包括至少一个待报送的报文。所述目标报文包括目标数据内容,即所述目标报文中各项指标对应的数据内容。具体地,用户110可以将待报送的所述目标报文存储在所述存储库334中。存储库334可以是前置数据采集端300中的一个本地文件夹。具体地,存储库334可以包括待校验库334-2、校验成功库334-4以及校验失败库334-6。所述待校验库334-2可以存储所述待报送的目标报文,所述目标报文是未经校验的报文。校验成功库334-4可以存储经过前置数据采集端300的校验且校验通过的所述目标报文。校验失败库334-6可以存储经过前置数据采集端300的校验且校验未通过的所述目标报文。
如图2所示,所述至少一个指令集332可以包括规则获取指令332-2,被配置为从中央数据采集中心200获取报文的处理规则,所述处理规则可以包括校验规则。所述校验规则用于对前置数据采集端300的报文的数据内容进行数据校验,以确认所述报文的数据内容是否符合所述校验规则。需要说明的是,规则获取指令332-2不仅可以从中央数据采集中心200获取所述校验规则,还可以从中央数据采集中心200获取解析所述报文的数据内容的解析规则,还可以从中央数据采集中心200获取对所述报文进行加密或解密的加密规则和解密规则,等等。即所述处理规则还可以包括解析规则、加解密规则,等等。由于中央数据采集中心200可能接收多个不同的前置数据采集端300发送的报文,而不同的前置数据采集端300的报文的内容、格式等都可能是不同的。因此,不同的前置数据采集端300所使用的所述校验规则、所述解析规则或者所述加密规则、所述解密规则可能也是不同的。中央数据采集中心200可以根据前置数据采集端300所负责的领域和范围,对前置数据采集端300的所述报文的内容、格式等做出限定,并针对前置数据采集端300所负责的领域和范围,将针对前置数据采集端300的所述检验规则、所述解析规则,以及所述加密规则和所述解密规则发送给前置数据采集端300。即前置数据采集端300通过规则获取指令332-2获取的所述校验规则与所述前置数据采集端300相对应。当然,前置数据采集端300通过规则获取指令332-2获取的所述解析规则、以及所述加密规则和所述解密规则也与前置数据采集端300相对应。除此之外,同一个前置数据采集端300中不同类型的报文对应的校验规则和/或解析规则也不相同。针对不同类型的报文,需要使用不同的校验规则和解析规则进行校验和解析。
随着时间和数据的推进,中央数据采集中心200的所述校验规则、所述解析规则、所述加密规则以及所述解密规则,可能发生变化,即所述校验规则、所述解析规则、所述加密规则以及所述解密规则可能存在版本更新。中央数据采集中心200中的所述校验规则、所述解析规则、所述加密规则以及所述解密规则每次更新,都标记有对应的版本号。为了保证前置数据采集端300的所述校验规则、所述解析规则、所述加密规则以及所述解密规则与中央数据采集中心200的所述校验规则、所述解析规则、所述加密规则以及所述解密规则一致,前置数据采集端300需要定时从中央数据采集中心200获取所述校验规则、所述解析规则、所述加密规则以及所述解密规则,以保证前置数据采集端300的所述校验规则、所述解析规则、所述加密规则以及所述解密规则为最新版本。即规则获取指令332-2可以基于第一预设时间周期,每间隔所述第一预设时间周期从中央数据采集中心200获取所述校验规则、所述解析规则、所述加密规则以及所述解密规则。所述第一预设时间周期为可配置化参数,所述第一预设时间周期可以自行设定和更改,比如所述第一预设时间周期可以是一分钟,也可以是10分钟,还可以是1小时,甚至可以是更长时间或更短的时间。前置数据采集端300也可以基于规则获取指令332-2,定时监测中央数据采集中心200的所述校验规则、所述解析规则、所述加密规则以及所述解密规则的版本号,当监测到更新版本时,则从中央数据采集中心200获取所述更新版本。
所述校验规则中的每个校验规则可以包括所述校验规则对应的校验方法、所述校验规则对应的报文类型以及所述校验规则对应的版本标识。所述报文类型与所述校验规则一一对应。所述版本标识可以是所述校验规则的版本号。
当然,所述解析规则中的每个解析规则可以包括所述解析规则对应的解析方法、所述解析规则对应的报文类型以及所述解析规则对应的版本标识。所述版本标识可以是所述解析规则的版本号。
如图2所示,所述至少一个指令集332还可以包括报文获取指令332-1,被配置为从所述存储库334中获取所述目标报文。具体地,报文获取指令332-1可以从待校验库334-2中获取未经校验的待报送的所述目标报文。为了节省时间和人员成本,报文获取指令332-1可以定时自动从待校验库334-2中获取所述目标报文。因此,用户110只需将待报送的所述目标报文存储在待校验库334-2中,报文获取指令332-1便可自动获取所述目标报文,并自动进行校验和上传。具体地,报文获取指令332-1可以基于第二预设时间周期,每间隔所述第二预设时间周期从待校验库334-2中获取所述目标报文。所述第二预设时间周期可以自行设定和更改,比如所述第二预设时间周期可以是一分钟,也可以是10分钟,还可以是1小时,甚至可以是更长时间或更短的时间。前置数据采集端300也可以基于报文获取指令332-1,定时监测待校验库334-2中的报文,当监测到有新的报文时,则从待校验库334-2获取所述新的报文。
所述至少一个指令集332还可以包括解析指令332-4,被配置为基于所述解析规则对所述目标报文进行解析,以获取所述目标报文的目标数据内容。前置数据采集端300对应的所述报文可能存在多种内容、格式以及类型,等等。而不同内容、不同格式或不同类型的报文对应的所述解析规则可能也不同。所述解析规则可以是前置数据采集端300从中央数据采集中心200获取的所述解析规则,也可以是预设在前置数据采集端300的与中央数据采集中心200一致的所述解析规则。所述解析规则也可以是与所述目标报文相对应的解析规则。解析指令332-4可以根据目标报文所包含的内容、格式或者类型,从所述解析规则中确定与所述目标报文相对应的目标解析规则,并使用所述目标解析规则对应的目标解析方法对报文获取指令332-1获取的所述目标报文进行解析,获取所述目标数据内容。
所述至少一个指令集332还可以包括校验指令332-6,被配置为使用所述校验规则对所述目标报文的目标数据内容进行校验,以校验所述目标数据内容是否符合所述校验规则。前置数据采集端300对应的所述报文可能存在多种内容、格式以及类型,等等。而不同内容、不同格式或不同类型的报文对应的所述校验规则也不同。校验指令332-6可以根据目标报文所包含的内容、格式或者类型,从所述校验规则中确定与所述目标报文相对应的目标校验规则,并使用所述目标校验规则对应的目标校验方法对所述目标报文进行校验,具体地,是对经过解析的所述目标报文的所述目标数据内容进行校验。所述目标校验规则是所述校验规则中的一种。校验指令332-6可以自动对报文获取指令332-1获取的所述目标报文进行校验,无需人工干预。当所述目标报文通过所述校验后,前置数据采集端300可以将所述通过所述校验的目标报文标记为校验成功目标报文,还可以将所述校验成功目标报文存储在校验成功库334-4。当所述目标报文未通过所述校验时,前置数据采集端300可以将所述未通过所述校验的目标报文标记为校验失败目标报文,还可以将所述校验失败目标报文存储在校验失败库334-6中,其中,所述校验失败目标报文不仅包括所述校验失败目标报文的报文内容,还包括校验失败原因,以方便用户110根据所述失败原因对所述校验失败目标报文进行修改。用户110对所述校验失败目标报文进行修改后,可以将修改后的所述校验失败目标报文重新命名,并再次存储在待校验库334-2中。
所述至少一个指令集332还可以包括加解密指令332-8,加解密指令332-8可以包括加密指令和解密指令,被配置为使用所述加密规则对所述目标报文进行加密和解密。校验指令332-6完成对所述目标报文的校验并且校验通过后,前置数据采集端300可以将通过所述校验的所述目标报文发送至中央数据采集中心200。为确保数据传输的安全性,在数据传输前,可以对所述目标报文基于所述加密规则进行加密。为了保证加密后的数据在中央数据采集中心200可以被解密,因此,前置数据采集端300与中央数据采集中心200所使用的加密规则和解密规则应一致。所述加密规则可以是任何加密规则,可以是国产加密规则,也可以是非国产加密规则,可以分块加密,也可以整体加密,对此不作限定。所述加密规则可以是前置数据采集端300从中央数据采集中心200获取的所述加密规则,也可以是预设在前置数据采集端300的与中央数据采集中心200一致的加密规则。
至少一个指令集332还可以包括数据上传指令332-9,被配置为将所述目标报文传送给中央数据采集中心200。前置数据采集端300可以基于数据上传指令332-9,将校验通过的加密后的所述目标报文通过网络120发送给中央数据采集中心200,比如,基于HTTP/HTTPS协议传送给中央数据采集中心200。采用标准HTTP/HTTPS协议可以降低系统部署和维护的复杂度,提高系统的健壮性。当然,也可以基于其他通信协议传送所述目标报文,比如web通信协议。具体地,数据上传指令332-9可以基于第三预设时间周期,每间隔所述第三预设时间周期从校验成功库334-4中获取所述校验成功目标报文,并将所述校验成功目标报文发送至中央数据采集中心200。所述第三预设时间周期可以自行设定和更改,比如所述第三预设时间周期可以是一分钟,也可以是10分钟,还可以是1小时,甚至可以是更长时间或更短的时间。前置数据采集端300也可以基于数据上传指令332-9,定时监测校验成功库334-4中的报文,当监测到有新的校验成功目标报文时,则从校验成功库334-4获取所述新的校验成功目标报文上传至中央数据采集中心200。
所述第一预设时间周期、所述第二预设时间周期以及所述第三预设时间周期可以相同,也可以不同。
数据上传指令332-9支持对所述目标报文的断点续传。即当所述目标报文在传输过程中,前置数据采集端300与中央数据采集中心200之间的数据连接断开时,所述目标报文并没有成功传输至中央数据采集中心200。当前置数据采集端300与中央数据采集中心200再次建立数据连接时,数据上传指令332-9可以继续上传所述目标报文,直至所述目标报文的数据全部传输至中央数据采集中心200。具体地,数据上传指令332-9可以从中央数据采集中心200处获取所述目标报文的传输量,并从所述传输量处开始继续上传所述目标报文剩余的数据,直至所有数据全部上传完成。
当所述目标报文全部传输至中央数据采集中心200后,中央数据采集中心200会向前置数据采集端300发送反馈信息,所述反馈信息中包含所述目标报文的哈希值(MD5)。前置数据采集端300根据所述中央数据采集中心200反馈的所述哈希值,与前置数据采集端300存储的所述目标报文的哈希值进行匹配,以确保所述目标报文传输的完整性。当所述中央数据采集中心200反馈的所述哈希值与前置数据采集端300存储的所述目标报文的哈希值不匹配时,证明所述目标报文传输不完整,前置数据采集端300可以继续向中央数据采集中心200传输所述目标报文,直至所述目标报文完整传输至中央数据采集中心200。
至少一个指令集332还可以包括其他指令,比如配置指令、状态管理指令、账号管理指令,等等,在此不再赘述。
至少一个处理器320同至少一个存储介质330通过内部通信总线310通讯连接。至少一个处理器320用以执行上述至少一个指令集332。当系统001运行时,至少一个处理器320读取所述至少一个指令集332,并且根据所述至少一个指令集332的指示执行本说明书提供的数据报送的方法P200。处理器320可以执行数据报送的方法P200包含的在前置数据采集端300执行的所有步骤。处理器320可以是一个或多个处理器的形式,在一些实施例中,处理器320可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(RISC),专用集成电路(ASIC),特定于应用的指令集处理器(ASIP),中央处理单元(CPU),图形处理单元(GPU),物理处理单元(PPU),微控制器单元,数字信号处理器(DSP),现场可编程门阵列(FPGA),高级RISC机器(ARM),可编程逻辑器件(PLD),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。仅仅为了说明问题,在本说明书中前置数据采集端300中仅描述了一个处理器320。然而,应当注意,本说明书中前置数据采集端300还可以包括多个处理器,因此,本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本说明书中前置数据采集端300的处理器320执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同处理器320联合或分开执行(例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一和第二处理器共同执行步骤A和B)。
综上所述,本说明书提供的数据报送系统001可以定时自行获取待报送的所述目标报文,并自主使用与中央数据采集中心200一致的所述目标校验规则对所述目标报文进行校验,并将校验通过的所述目标报文发送给中央数据采集中心200,用户110只需将待报送的所述目标报文存储在存储库334中即可自动校验和上传,操作方便、智能,上传过程无需人工干预,且校验的成功率高,无需反复上传,大大节省时间成本和人员成本。
图3示出了根据本说明书的实施例提供的一种中央数据采集中心200的设备示意图。如图3所示,中央数据采集中心200包括至少一个存储介质230和至少一个处理器220。在一些实施例中,中央数据采集中心200还可以包括通信端口250和内部通信总线210。同时,中央数据采集中心200还可以包括I/O组件260。关于通信端口250、内部通信总线210以及I/O组件260,其功能与前置数据采集端300相似,在此不再赘述。
存储介质230可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘、只读存储介质(ROM)或随机存取存储介质(RAM)中的一种或多种。存储介质230中还可以存储有所述校验规则、所述解析规则以及所述加解密规则。存储介质230还包括存储在所述数据存储装置中的至少一个指令集232,用于数据报送。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的数据报送的方法的程序、例程、对象、组件、数据结构、过程、模块等等。
至少一个指令集232可以包括校验指令232-6,被配置为对所述目标报文进行校验,以校验所述目标数据内容是否符合所述校验规则。校验指令232-6中可以包括所述校验规则。至少一个指令集232还可以包括解析指令232-4,被配置为对所述目标报文进行解析,以获取所述目标报文的所述目标数据内容。解析指令232-4中可以包括解析规则。至少一个指令集232还可以包括加解密指令232-8,被配置为对所述目标报文进行加解密。加解密指令232-8中可以包括加密指令,还可以包括解密指令,还可以包括加解密规则。至少一个指令集232可以包括数据上传指令232-9,被配置为接收前置数据采集端300发送的所述目标报文。数据上传指令232-9支持前置数据采集端300对所述目标报文的断点续传。中央数据采集中心200的校验指令232-6、解析指令232-4、加解密指令232-8以及数据上传指令232-9与前置数据采集端300的指令相匹配,即使用的规则相同。至少一个指令集232还可以包括数据接入指令232-5、数据存储指令232-3以及其他指令,比如,下发指令(下发规则及报表)、报送状态管理指令、报表管理指令、配置指令、管理指令等等,在此不再赘述。
至少一个处理器220同至少一个存储介质230通过内部通信总线210通讯连接。至少一个处理器220用以执行上述至少一个指令集232。当系统001运行时,至少一个处理器320读取所述至少一个指令集232,并且根据所述至少一个指令集232的指示执行本说明书提供的数据报送的方法P200。处理器320可以执行数据报送的方法P200包含的在中央数据采集中心200执行的所有步骤。
图4示出了一种数据报送的方法P200的流程图。如前所述,前置数据采集端300和中央数据采集中心200可以执行本说明书提供的数据报送的方法P200。具体地,前置数据采集端300中的处理器320可以读取存储在其本地存储介质中的至少一个指令集332,中央数据采集中心200中的处理器220可以读取存储在其本地存储介质中的至少一个指令集232,然后根据至少一个指令集332和至少一个指令集232的规定,执行本说明书提供的数据报送的方法P200。所述方法P200可以包括:
S210:前置数据采集端300从中央数据采集中心200获取所述处理规则。
如前所述,所述处理规则可以包括所述校验规则,还可以包括所述解析规则,还可以包括所述加密规则和/或解密规则。需要说明的是,所述处理规则预先可视化地配置在中央数据采集中心200。所述处理规则与前置数据采集端300相对应,即所述处理规则是与前置数据采集端300负责报文的范围和领域相匹配的规则。中央数据采集中心200可以对不同的前置数据采集端300相对应的所述处理规则进行限定。具体地,前置数据采集端300可以基于第一预设时间周期,定时从中央数据采集中心200获取所述处理规则,也可以基于所述第一预设时间周期定时监测中央数据采集中心200的所述处理规则的版本更新状态,当检测到所述处理规则存在版本更新时,从中央数据采集中心200获取更新的所述规则。具体地,步骤S210可以包括:
S212:前置数据采集端300向中央数据采集中心200发送获取处理规则的请求,所述获取处理规则的请求可以包括前置数据采集端300的设备标识,也可以包括前置数据采集端300的账号信息。具体地,前置数据采集端300可以基于第一预设时间周期,定时向中央数据采集中心200发送所述获取处理规则的请求。
S214:中央数据采集中心200在接收到前置数据采集端300发送的获取处理规则的请求后,基于前置数据采集端300的设备标识或账号信息,向前置数据采集端300发送与前置数据采集端300相对应的所述处理规则。
所述方法P200还可以包括:
S220:前置数据采集端300从存储库334中获取目标报文。具体地,前置数据采集端300可以从待校验库334-2中获取所述目标报文。具体地,前置数据采集端300可以基于第二预设时间周期,定时从待校验库334-2中获取所述目标报文,也可以基于所述第二预设时间周期定时监测待校验库334-2中的所述目标报文的更新状态,当检测到待校验库334-2中存在新的目标报文时,从待校验库334-2中获取新的所述目标报文。
S230:前置数据采集端300基于中央数据采集中心200的所述校验规则对所述目标报文进行校验。步骤S230可以包括:
S233:前置数据采集端300基于所述解析规则对所述目标报文进行解析,以获取所述目标报文的所述目标数据内容。所述解析规则可以是前置数据采集端300从中央数据采集中心200获取的最新版本的解析规则,也可以是预先存储在前置数据采集端300中与中央数据采集中心200一致的解析规则。具体地,前置数据采集端300可以基于所述目标报文的类型,从所述解析规则中确定与所述目标报文相匹配的目标解析规则,并基于所述目标解析规则对应的目标解析方法对所述目标报文进行所述解析,以获取所述目标报文中的目标数据内容。
S235:前置数据采集端300基于所述目标报文的报文类型,确定与所述目标报文相对应的目标校验规则,其中,所述校验规则包括所述目标校验规则。
S237:前置数据采集端300使用所述目标校验规则对应的目标校验方法对所述目标数据内容进行所述校验,以校验所述目标报文的数据是否符合所述目标校验规则。
其中,前置数据采集端300所使用的所述目标校验规则对应的版本标识为最新的版本标识,以保证与中央数据采集中心200校验时所使用的所述目标校验规则一致。
步骤S230还可以包括:
S238:前置数据采集端300将通过所述校验的目标报文标记为校验成功目标报文。所述校验成功目标报文可以被存储在校验成功库334-4中。
S239:前置数据采集端300将未通过所述校验的目标报文标记为校验失败目标报文.所述校验失败目标报文不仅包括所述目标报文的内容,还包括所述目标报文的失败原因,以方便用户110根据所述失败原因修改所述目标报文。所述校验失败目标报文可以被存储在校验失败库334-6中。
所述方法P200还可以包括:
S240:前置数据采集端300将通过所述校验的目标报文发送至中央数据采集中心200。具体地,前置数据采集端300可以基于第三预设时间周期,定时从校验成功库334-4中获取通过所述校验的目标报文发送至所述中央数据采集中心200,也可以基于所述第三预设时间周期定时监测校验成功库334-4中的通过所述校验的目标报文的更新状态,当检测到校验成功库334-4中存在新的通过所述校验的目标报文时,从校验成功库334-4中获取新的通过所述校验的目标报文发送至中央数据采集中心300。具体地,步骤S240可以包括:
S242:前置数据采集端300基于所述加密规则,对所述通过所述校验的目标报文进行加密。所述加密规则可以是前置数据采集端300从中央数据采集中心200获取的加密规则,也可以是预先存储在前置数据采集端300中的与中央数据采集中心200一致的加密规则。
S244:前置数据采集端300将加密后的所述目标报文发送至中央数据采集中心200。
如前所述,前置数据采集端300支持断点续传,即当前置数据采集端300在传送所述目标报文时,前置数据采集端300与中央数据采集中心200的数据连接断开,导致数据传输不完整时,前置数据采集端300在和中央数据采集中心200重新建立数据连接时,可以继续对为传输完成的所述目标数据继续进行传输。
具体地,所述断点续传可以包括:前置数据采集端300确定所述通过所述校验的目标报文发送失败;前置数据采集端300从中央数据采集中心200获取所述通过所述校验的目标报文的传输量;前置数据采集端300基于所述传输量,从所述传输量处向中央数据采集中心200发送所述通过所述校验的目标报文的剩余数据,直至所述目标报文传输完整。
所述方法P200还可以包括:
S260:中央数据采集中心200接收到前置数据采集端200发送的所述目标报文后,基于所述校验规则对所述目标报文进行校验。具体地,中央数据采集中心200在接收到所述目标报文后,需再次在中央数据采集中心200对所述目标报文进行校验,在中央数据采集中心200使用的所述校验规则与前置数据采集端300一致。具体地,步骤S260可以包括:
S262:中央数据采集中心200基于解密规则对所述目标报文进行解密。如前所述,所述目标报文为经过前置数据采集端300基于所述加密规则进行加密的报文。中央数据采集中心200中所述解密规则与所述加密规则相对应,以使所述目标报文可以正确解密。
S264:中央数据采集中心200基于所述解析规则,对所述目标报文进行解析,以获取所述目标数据内容。所述解析规则与前置数据采集端300中的所述解析规则一致。
S266:中央数据采集中心200基于所述目标报文的报文类型,确定与所述目标报文相对应的目标校验规则。所述目标校验规则与前置数据采集端300对所述目标报文进行校验时所使用的所述目标校验规则一致。
S268:中央数据采集中心200使用所述目标校验规则对所述目标报文的所述目标数据内容进行所述校验。
所述方法P200还可以包括:
S280:中央数据采集中心200向所述前置数据采集端300发送反馈信息。前置数据采集端300接收所述反馈信息。所述反馈信息包括所述目标报文的报送结果。所述反馈信息中可以包括所述目标报文的哈希值,前置数据采集端300可以将中央数据采集中心200发送的所述目标报文的哈希值和前置数据采集端300存储的所述目标报文的哈希值进行匹配,当匹配结果一致时,代表所述目标报文传输完整;当匹配结果不一致时,代表所述目标报文传输不完整,前置数据采集端300可以基于所述目标报文的传输量,继续向中央数据采集中心200传送所述目标数据,直至传输完整。所述反馈信息中还可以包括所述目标报文的校验结果。
所述方法P200还可以包括:
S290:中央数据采集中心200将通过所述校验的所述目标报文存储至数据库150。数据库150可以包括结构化数据存储系统和非结构化数据存储系统。作为示例,所述结构化存储系统可以包括,但不限于,MySQL数据库,OceanBase数据库,HIVE数据库,Oracel数据库,SQL Server数据库,等等。作为示例,所述非结构化存储系统可以包括,但不限于,本地文件系统,网络文件系统NFS,Hadoop文件系统HDFS,对象存储OSS,等等。
综上所述,本说明书提供的数据报送的方法P200和系统001,将前置数据采集端300与中央数据采集中心200建立连接,使前置数据采集端300定时从中央数据采集中心200获取校验规则,并利用从中央数据采集中心200获取的校验规则,在数据传输前在前置数据采集端300对要传输的报文的数据内容进行数据校验,通过校验的数据自动发送给中央数据采集中心200,而未通过校验的数据则不会被发送给中央数据采集中心300。所述方法P200和系统001,可以在前置数据采集端300使用与中央数据采集中心200一致的校验规则自动对待报送的数据进行检验,只有通过前置数据采集端300校验的报文才会被发送至中央数据采集中心200,大大提高了报文在中央数据采集中心200的校验通过率,避免了因为中央数据采集中心200校验不通过导致反复报送浪费时间和资源的情况,提升了数据报送的成功率,缩端了数据报送的时间,降低了时间成本。并且所述方法P200和系统001,支持前置数据采集端断点续传,即当前置数据采集端300与中央数据采集中心200的连接断开时报文传输未完成,当前置数据采集端300与中央数据采集中心200再次连接时,前置数据采集端300会继续向中央数据采集中心发送未完成的部分,直至报文传输完成,进一步节约数据传输的时间。
本说明书另一方面提供一种非暂时性存储介质,存储有至少一组用来数据报送的可执行指令,当所述可执行指令被处理器执行时,所述可执行指令指导所述处理器实施本说明书所述的数据报送的方法P200的步骤。在一些可能的实施方式中,本说明书的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在前置数据采集端300上运行时,所述程序代码用于使前置数据采集端300执行本说明书描述的数据报送的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在前置数据采集端300上运行。然而,本说明书的程序产品不限于此,在本说明书中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统(例如处理器320)使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在前置数据采集端300上执行、部分地在前置数据采集端300上执行、作为一个独立的软件包执行、部分在前置数据采集端300上部分在远程计算设备上执行、或者完全在远程计算设备上执行。在涉及远程计算设备的情形中,远程计算设备可以通过网络120连接到前置数据采集端300,或者可以连接到外部计算设备。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本说明书提出,并且在本说明书的示例性实施例的精神和范围内。
此外,本说明书中的某些术语已被用于描述本说明书的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本说明书的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解,在本说明书的实施例的前述描述中,为了帮助理解一个特征,出于简化本说明书的目的,本说明书将各种特征组合在单个实施例、附图或其描述中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本说明书的时候完全有可能将其中一部分特征提取出来作为单独的实施例来理解。也就是说,本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
最后,应理解,本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此,本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此,本说明书的实施例不限于申请中被精确地描述过的实施例。
Claims (28)
1.一种数据报送方法,用于专线或专网数据报送系统中的前置数据采集端,所述方法通过所述前置数据采集端将待报送的报文发送至中央数据采集中心,所述方法包括:
从所述中央数据采集中心获取处理规则,所述处理规则包括校验规则,所述处理规则预先可视化地配置在所述中央数据采集中心;
获取目标报文,所述目标报文包括至少一个所述待报送的报文,所述目标报文包括目标数据内容;
基于所述校验规则对所述目标报文进行校验,确认所述目标数据内容是否符合所述校验规则;以及
将通过所述校验的目标报文发送至所述中央数据采集中心。
2.如权利要求1所述的数据报送方法,其中,所述处理规则与所述前置数据采集端相对应。
3.如权利要求1所述的数据报送方法,其中,所述从所述中央数据采集中心获取处理规则,包括:
基于第一预设时间周期,从所述中央数据采集中心获取所述处理规则。
4.如权利要求1所述的数据报送方法,其中,所述校验规则包括:
所述校验规则对应的校验方法;以及
所述校验规则对应的报文类型,其中,所述校验规则与所述报文类型一一对应。
5.如权利要求4所述的数据报送方法,其中,所述基于所述校验规则对所述目标报文进行校验,包括:
基于解析规则对所述目标报文进行解析,获取所述目标数据内容,其中,所述处理规则还包括所述解析规则;
基于所述目标报文的报文类型,确定与所述目标报文相对应的目标校验规则,其中,所述校验规则包括所述目标校验规则;以及
使用所述目标校验规则对应的目标校验方法对所述目标数据内容进行所述校验,确认所述目标数据内容是否符合所述目标校验规则。
6.如权利要求5所述的数据报送方法,其中,所述校验规则还包括:
所述校验规则对应的版本标识,
其中,所述目标校验规则对应的版本标识为最新的版本标识。
7.如权利要求5所述的数据报送方法,其中,所述基于所述校验规则对所述目标报文进行校验,还包括:
将所述通过所述校验的目标报文标记为校验成功目标报文。
8.如权利要求7所述的数据报送方法,其中,所述基于所述校验规则对所述目标报文进行校验,还包括:
将未通过所述校验的目标报文标记为校验失败目标报文,所述校验失败目标报文包括所述目标报文的失败原因。
9.如权利要求5所述的数据报送方法,其中,所述前置数据采集端包括:
存储库,被配置为存储所述目标报文;
所述获取目标报文,包括:
从所述存储库中获取所述目标报文。
10.如权利要求9所述的数据报送方法,其中,所述从所述存储库中获取所述目标报文,包括:
基于第二预设时间周期,从所述存储库中获取所述目标报文。
11.如权利要求1所述的数据报送方法,其中,所述将通过所述校验的目标报文发送至所述中央数据采集中心,包括:
基于第三预设时间周期,将所述通过所述校验的目标报文发送至所述中央数据采集中心。
12.如权利要求1中所述的数据报送方法,其中,所述将通过所述校验的目标报文发送至所述中央数据采集中心,包括:
基于加密规则,对所述通过所述校验的目标报文进行加密,所述处理规则还包括所述加密规则;以及
将加密后的所述目标报文发送至所述中央数据采集中心。
13.如权利要求1所述的数据报送方法,其中,还包括:
接收所述中央数据采集中心发送的反馈信息。
14.如权利要求1所述的数据报送方法,其中,所述将通过所述校验的目标报文发送至所述中央数据采集中心,包括:
确定所述通过所述校验的目标报文发送失败;
从所述中央数据采集中心获取所述通过所述校验的目标报文的传输量;以及
基于所述传输量,从所述传输量处向所述中央数据采集中心发送所述通过所述校验的目标报文的剩余数据。
15.一种数据报送系统,用于专线或专网数据报送系统中的前置数据采集端,包括:
至少一个存储介质,包括至少一个指令集,用于将待报送的报文发送至中央数据采集中心;以及
至少一个处理器,同所述至少一个存储介质通信连接,运行时读取所述至少一个指令集并执行:
从所述中央数据采集中心获取处理规则,所述处理规则包括校验规则,所述处理规则预先可视化配置在所述中央数据采集中心;
获取目标报文,所述目标报文包括至少一个所述待报送的报文,所述目标报文包括目标数据内容;
基于所述校验规则对所述目标报文进行校验,确认所述目标数据内容是否符合所述校验规则;以及
将通过所述校验的目标报文发送至所述中央数据采集中心。
16.如权利要求15所述的数据报送系统,其中,所述至少一个指令集包括:
规则获取指令,被配置为从所述中央数据采集中心获取所述处理规则,所述处理规则与所述前置数据采集端相对应。
17.如权利要求16所述的数据报送系统,其中,所述至少一个指令集还包括:
校验指令,被配置为使用与所述目标报文的报文类型相对应的目标校验规则对所述目标报文进行所述校验,确认所述目标报文的目标数据内容是否符合所述目标校验规则,所述校验规则包括所述目标校验规则。
18.如权利要求17所述的数据报送系统,其中,所述至少一个存储介质还包括:存储库,被配置为存储所述目标报文;
所述至少一个指令集还包括:
报文获取指令,被配置为从所述存储库获取所述目标报文。
19.如权利要求18所述的数据报送系统,其中,所述至少一个指令集还包括:
加密指令,被配置为使用加密规则对所述目标报文进行加密,其中,所述处理规则还包括所述加密规则。
20.如权利要求17所述的数据报送系统,其中,所述至少一个指令集还包括:
解析指令,被配置为基于解析规则对所述目标报文进行解析,获取所述目标报文的所述目标数据内容,其中,所述处理规则还包括所述解析规则。
21.一种数据报送方法,用于专线或专网数据报送系统中的中央数据采集中心,所述中央数据采集中心用于接收前置数据采集端发送的报文,所述方法包括:
接收所述前置数据采集端发送的经过所述前置数据采集端基于校验规则进行校验的目标报文,所述目标报文包括目标数据内容,所述目标数据内容符合所述校验规则,其中,所述校验规则预先可视化配置在所述中央数据采集中心,所述前置数据采集端从所述中央数据采集中心获取所述校验规则;
基于所述校验规则对所述目标报文进行校验,确认所述目标数据内容是否符合所述校验规则;以及
将通过所述校验的目标报文存储至存储系统。
22.如权利要求21所述的数据报送方法,其中,所述方法还包括:
接收所述前置数据采集端发送的获取处理规则的请求,并基于所述前置数据采集端的设备标识,向所述前置数据采集端发送与所述前置数据采集端相对应的处理规则,所述获取处理规则的请求包括所述前置数据采集端的设备标识,所述处理规则包括所述校验规则。
23.如权利要求22所述的数据报送方法,其中,所述校验规则包括:
所述校验规则对应的校验方法;以及
所述校验规则对应的报文类型。
24.如权利要求23所述的数据报送方法,其中,所述基于所述校验规则对所述目标报文进行校验,包括:
基于解析规则,对所述目标报文进行解析,获取所述目标数据内容,所述解析规则预先存储在所述中央数据采集中心;
基于所述目标报文的报文类型,确定与所述目标报文相对应的目标校验规则,其中,所述校验规则包括所述目标校验规则;以及
使用所述目标校验规则对所述目标数据内容进行所述校验,确认所述目标数据内容是否符合所述目标校验规则。
25.如权利要求24所述的数据报送方法,其中,所述校验规则还包括:
所述校验规则对应的版本标识,
其中,所述目标校验规则对应的版本标识为最新的版本标识。
26.如权利要求24所述的数据报送方法,其中,在所述基于解析规则,对所述目标报文进行解析之前,所述基于所述校验规则对所述目标报文进行校验,还包括:
基于解密规则对所述目标报文进行解密,其中,所述解密规则预先存储在所述中央数据采集中心,
其中,所述目标报文为经过所述前置数据采集端基于加密规则进行加密的报文,所述解密规则与所述加密规则相对应,所述加密规则由所述前置数据采集端从所述中央数据采集中心获取。
27.如权利要求21所述的数据报送方法,其中,所述方法还包括:
向所述前置数据采集端发送反馈信息,所述反馈信息包括所述目标报文的报送结果。
28.一种数据报送系统,用于专线或专网数据报送系统中的中央数据采集中心,包括:
至少一个存储介质,包括至少一个指令集,用于数据报送;以及
至少一个处理器,同所述至少一个存储介质通信连接,运行时读取所述至少一个指令集并执行权利要求21-27中任一项所述的数据报送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010933913.4A CN112069213A (zh) | 2020-09-08 | 2020-09-08 | 数据报送的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010933913.4A CN112069213A (zh) | 2020-09-08 | 2020-09-08 | 数据报送的方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112069213A true CN112069213A (zh) | 2020-12-11 |
Family
ID=73664291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010933913.4A Pending CN112069213A (zh) | 2020-09-08 | 2020-09-08 | 数据报送的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112069213A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115001851A (zh) * | 2022-07-15 | 2022-09-02 | 深圳市信润富联数字科技有限公司 | 数据采集对接方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106254045A (zh) * | 2016-08-09 | 2016-12-21 | 中国银行股份有限公司 | 一种数据校验方法及装置 |
CN111371549A (zh) * | 2020-03-05 | 2020-07-03 | 浙江双成电气有限公司 | 一种报文数据传输方法、装置及系统 |
-
2020
- 2020-09-08 CN CN202010933913.4A patent/CN112069213A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106254045A (zh) * | 2016-08-09 | 2016-12-21 | 中国银行股份有限公司 | 一种数据校验方法及装置 |
CN111371549A (zh) * | 2020-03-05 | 2020-07-03 | 浙江双成电气有限公司 | 一种报文数据传输方法、装置及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115001851A (zh) * | 2022-07-15 | 2022-09-02 | 深圳市信润富联数字科技有限公司 | 数据采集对接方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11108863B2 (en) | Tag operating system | |
US20230353375A1 (en) | Reward point transfers using blockchain | |
CN109087101B (zh) | 交易校验方法、装置、存储介质及电子设备 | |
US8745641B1 (en) | Automatic verification and anomaly detection in a representational state transfer (REST) application programming interface | |
EP3534263A1 (en) | Systems and methods for web analytics testing and web development | |
CA3047081C (en) | Production-like testing and complex business to business auditing system | |
US20200250571A1 (en) | Automated data extraction and adaptation | |
CN108958959B (zh) | 检测hive数据表的方法和装置 | |
CN113157648A (zh) | 基于区块链的分布式数据存储方法、装置、节点及系统 | |
CN106575227B (zh) | 自动软件更新框架 | |
CN111488995B (zh) | 用于评估联合训练模型的方法、装置和系统 | |
CN109818962B (zh) | 业务数据处理方法及装置、电子设备、存储介质 | |
CN108536580A (zh) | 利用轻量级设备验证协议测试设备的系统和方法 | |
KR102478464B1 (ko) | 웹 트래픽 데이터를 처리 및 관리하는 시스템, 장치 및 방법 | |
WO2021078139A1 (en) | A blockchain based hybrid system and method thereof for construction document management | |
CN110737655B (zh) | 用于上报数据的方法和装置 | |
US11368297B2 (en) | Method and apparatus for updating digital certificate | |
CN112069213A (zh) | 数据报送的方法和系统 | |
US20210358013A1 (en) | Processing documents | |
US20210209553A1 (en) | Reading and writing processing improvements as a single command | |
CN116166615A (zh) | 一种针对业务系统的数据归档方法、设备及介质 | |
CN114840429A (zh) | 识别版本冲突的方法、装置、设备、介质和程序产品 | |
CN114143308A (zh) | 文件上传信息处理方法、装置、计算机设备及存储介质 | |
CN115471168B (zh) | 自动化流程处理方法、装置、电子设备和计算机可读介质 | |
CN108427682A (zh) | 一种数据文件同步方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |