CN110727691A

CN110727691A - 一种数据解析校验方法及装置

Info

Publication number: CN110727691A
Application number: CN201911005398.7A
Authority: CN
Inventors: 张峻源
Original assignee: Beijing Mininglamp Software System Co ltd
Current assignee: Beijing Zhizhi Heshu Technology Co.,Ltd.
Priority date: 2019-10-22
Filing date: 2019-10-22
Publication date: 2020-01-24

Abstract

本申请提供了一种数据解析校验方法及装置，应用于警务服务器，包括：获取待处理文本数据，并根据预设数据分割逻辑，将所述待处理文本数据分割成多个字段；根据硬盘读取性能信息以及内存使用情况，分多次读取所述多个字段，得到待验证数据流；针对待验证数据流的每一个字段中的每一个字段列进行数据验证，得到多个已验证字段；将字段中所有字段列为正确状态的已验证字段存入警务数据库。

Description

一种数据解析校验方法及装置

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据解析校验方法及装置。

背景技术

在互联网广泛应用的环境下，在警务业务中除使用公安系统所配备的设备所采集的数据外，为了更全面地获取多种警务相关数据，还需要将社会的各种通信网络和数据接入公安系统中，以提高警方获取数据信息的效率。

现有技术通过多线程的方式将多个文本数据进行读取解析，但这种方式下，在数据没有读取时是无法估算最佳线程数量的，需要人工进行估算，而在数据读取后，虽然分成了多个线程，但由于内存资源有限，只能依次进行解析，但由于读取了大量的数据，导致系统的解析效率降低。

发明内容

有鉴于此，本申请的目的在于提供一种数据解析校验方法，用于解决现有技术中数据读取解析的效率低的问题。

第一方面，本申请实施例提供了一种数据解析校验方法，应用于警务服务器，该方法包括：

获取待处理文本数据，并根据预设数据分割逻辑，将所述待处理文本数据分割成多个字段；

根据硬盘读取性能信息以及内存使用情况，分多次读取所述多个字段，得到待验证数据流；

针对待验证数据流的每一个字段中的每一个字段列进行数据验证，得到多个已验证字段；

将字段中所有字段列为正确状态的已验证字段存入警务数据库。

根据第一方面，本申请实施例提供了第一方面的第一种可能的实施方案，其中，所述待处理文本数据中携带有地区标识，所述根据预设数据分割逻辑，将所述待处理文本数据分割成多个字段，包括：

从预先存储的数据分割逻辑库中，匹配所述地区标识对应的数据分割逻辑；

根据所述地区标识对应的数据分割逻辑，将所述待处理文本数据分割成多个字段。

根据第一方面，本申请实施例提供了第一方面的第二种可能的实施方案，其中，根据硬盘读取性能信息以及内存使用情况，分多次读取所述多个字段，得到待验证数据流，包括：

根据硬盘读取性能和内存使用情况，得到当前可读取数据量；

根据所述当前可读取数据量，分多次读取所述多个字段，得到待验证数据流。

根据第一方面，本申请实施例提供了第一方面的第三种可能的实施方案，其中，针对待验证数据流的每一个字段中的每一个字段列进行数据验证，得到多个已验证字段，包括：

根据当前字段列中的数据内容类型标识，匹配相应的数据验证规则，根据所述数据验证规则判断当前字段列的数据是否正确；

若当前字段列的数据内容正确，则设置当前字段列的状态标识为正确状态；若当前字段列的数据错误，则设置当前字段列的状态标识为错误状态。

根据第一方面，本申请实施例提供了第一方面的第四种可能的实施方案，其中，将字段中所有字段列为正确状态的已验证字段存入警务数据库，包括：

将所有字段列为正确状态的已验证字段与历史数据进行比对，若所述已验证字段的所有字段列都与历史数据不同，将所述已验证字段存入警务数据库。

第二方面，本申请实施例提供了一种数据解析校验装置，应用于警务服务器，该装置包括：

分割模块，用于获取待处理文本数据，并根据预设数据分割逻辑，将所述待处理文本数据分割成多个字段；

读取模块，用于根据硬盘读取性能信息以及内存使用情况，分多次读取所述多个字段，得到待验证数据流；

验证模块，用于针对待验证数据流的每一个字段中的每一个字段列进行数据验证，得到多个已验证字段；

存储模块，用于将字段中所有字段列为正确状态的已验证字段存入警务数据库。

根据第二方面，本申请实施例提供了第二方面的第一种可能的实施方案，其中，读取模块，包括：

计算单元，用于根据硬盘读取性能和内存使用情况，得到当前可读取数据量；

读取单元，用于根据所述当前可读取数据量，分多次读取所述多个字段，得到待验证数据流。

根据第二方面，本申请实施例提供了第二方面的第二种可能的实施方案，其中，存储模块，包括：

去重单元，用于将所有字段列为正确状态的已验证字段与历史数据进行比对，若所述已验证字段的所有字段列都与历史数据不同，将所述已验证字段存入警务数据库。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面及其可能的实施方案中任一项所述的方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面及其可能的实施方案中任一项所述的方法的步骤。

本申请实施例提出的一种数据解析校验方法及装置，通过将待处理文本数据分割成多个字段后，根据硬盘的读取性能信息和当前的内存使用情况，分多次读取字段，解析为待验证数据流，然后通过对每个字段中的全部字段列进行验证后，只保留所有字段列都正确的字段存入数据库。本申请实施例所提出的数据解析校验方法，减轻了数据读取解析的系统压力，从而提高了数据读取解析的效率，同时保证了入库的数据的正确性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据解析校验方法的流程示意图；

图2为本申请实施例提供的一种数据解析校验方法的流程示意图；

图3为本申请实施例提供的一种数据解析校验装置的结构示意图；

图4为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种数据解析校验方法，应用于警务服务器，如图1所示，包括以下步骤S101-S104：

步骤S101、获取待处理文本数据，并根据预设数据分割逻辑，将上述待处理文本数据分割成多个字段；

步骤S102、根据硬盘读取性能信息以及内存使用情况，分多次读取上述多个字段，得到待验证数据流；

步骤S103、针对待验证数据流的每一个字段中的每一个字段列进行数据验证，得到多个已验证字段；

步骤S104、将字段中所有字段列为正确状态的已验证字段存入警务数据库。

具体地，在警务服务器从社会网络获取的文本数据后，警务服务器需要根据预设数据分割逻辑识别字段符等分隔符，根据这些分隔符将文本数据分割成多个字段，方便数据解析。

根据警务服务器所配置的硬盘的性能信息、当前内存占用量和剩余可用的内存，来分多次读取分割后的字段，并将每一个字段中的每一个字段列都解析为验证格式，验证格式的字段列包括唯一标识、验证状态和校验规则。

然后将解析后的字段进行数据验证，将字段中的每一个字段列都分配到一个验证进程中，进行并行验证，并将有错误字段列的字段进行排除，只留下全字段列正确的字段存入警务数据库。

通过上述实施例的处理方式，缩短数据解析的时长，提高资源的使用效率，并且避免了在经过解析后的数据依然存在数据存在错误的局面，提升了数据的可用性，使得数据能够起到实时使用的效果。

在一可选的实施例中，上述待处理文本数据中携带有地区标识，在步骤S101中上述根据预设数据分割逻辑，将上述待处理文本数据分割成多个字段，包括：

步骤1011、从预先存储的数据分割逻辑库中，匹配上述地区标识对应的数据分割逻辑；

步骤1012、根据上述地区标识对应的数据分割逻辑，将上述待处理文本数据分割成多个字段。

警务服务器中预先在数据分割逻辑库中存储了各地区的数据分割逻辑(例如根据各地市的《公安文本数据上传规范》中明确的字段分隔符和换行分隔符生成的数据分割逻辑)，警务服务器根据文本数据中携带的地区标识从数据分割逻辑库中匹配对应的数据分割逻辑，以将文本数据正确地分割成多个字段。

在一可选的实施例中，步骤S102、根据硬盘读取性能信息以及内存使用情况，分多次读取上述多个字段，得到待验证数据流，如图2所示，包括：

步骤S1021、根据硬盘读取性能和内存使用情况，得到当前可读取数据量；

步骤S1022、根据上述当前可读取数据量，分多次读取上述多个字段，得到待验证数据流。

具体地，硬盘读取性能是指硬盘的最大IOPS(每秒进行读写操作的次数，Input/Output Operations Per Second)，IOPS反映了硬盘每秒的数据吞吐量，通过如下公式进行计算警务服务器的硬盘最大IOPS：

IOPS＝1000ms/(Tseek+Troatation)；

其中，Tseek是读写刺头移动至正确的磁道上所需的时间，Troatation是完成传输锁清秋的数据所需的时间。

全面考虑警务服务器的硬盘最大IOPS和内存的使用情况，得到警务服务器当前能够读取的数据量，以将分割好的字段进行分批次读取解析。

在一可选的实施例中，步骤S103、针对待验证数据流的每一个字段中的每一个字段列进行数据验证，得到多个已验证字段，包括：

步骤1031、根据当前字段列中的数据内容类型标识，匹配相应的数据验证规则，根据上述数据验证规则判断当前字段列的数据是否正确；

步骤1032、若当前字段列的数据内容正确，则设置当前字段列的状态标识为正确状态；若当前字段列的数据错误，则设置当前字段列的状态标识为错误状态。

字段列中携带了数据内容类型标识，是在解析时添加到字段列中的，根据该数据内容类型标识，为每一字段列匹配有针对性的校验规则。

例如，一个字段列的数据内容类型标识为身份证信息，那么就为该字段列匹配身份证信息校验规则，并以该规则对该字段列进行数据验证，若该字段列数据内容正确，就将该字段列中的验证状态设置为正确状态，反之，若该字段列数据内容错误，就将该字段列中的验证状态设置为错误状态。

在一可选的实施例中，步骤S104、将字段中所有字段列为正确状态的已验证字段存入警务数据库，包括：

步骤1041、将所有字段列为正确状态的已验证字段与历史数据进行比对，若上述已验证字段的所有字段列都与历史数据不同，将上述已验证字段存入警务数据库。

在对每一个字段中的各字段列数据验证之后，得到所有字段列为正确状态的字段之后，还要将所有字段列与数据库中的历史数据进行比对，若某一字段列的数据与历史数据重复，就将该字段列的验证状态设置为重复状态，在进行数据比对之后，只将所有字段列都不是重复状态的字段存入警务数据库，也就是对通过数据验证的已验证字段进行去重处理。

本申请实施例还提供了一种数据解析校验装置，应用于警务服务器，如图3所示，该装置包括：

分割模块30，用于获取待处理文本数据，并根据预设数据分割逻辑，将上述待处理文本数据分割成多个字段；

读取模块31，用于根据硬盘读取性能信息以及内存使用情况，分多次读取上述多个字段，得到待验证数据流；

验证模块32，用于针对待验证数据流的每一个字段中的每一个字段列进行数据验证，得到多个已验证字段；

存储模块33，用于将字段中所有字段列为正确状态的已验证字段存入警务数据库。

在一可选的实施例中，读取模块31，包括：

计算单元311，用于根据硬盘读取性能和内存使用情况，得到当前可读取数据量；

读取单元312，用于根据上述当前可读取数据量，分多次读取上述多个字段，得到待验证数据流。

IOPS＝1000ms/(Tseek+Troatation)；

在一可选的实施例中，存储模块33，包括：

去重单元331，用于将所有字段列为正确状态的已验证字段与历史数据进行比对，若上述已验证字段的所有字段列都与历史数据不同，将上述已验证字段存入警务数据库。

对应于图1中的一种数据解析校验方法，本申请实施例还提供了一种计算机设备400，如图4所示，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述一种数据解析校验方法。

具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述一种数据解析校验方法，解决了现有技术中数据读取解析的效率低的问题。

对应于图1中的一种数据解析校验方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述一种数据解析校验方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述一种数据解析校验方法，解决了现有技术中数据读取解析的效率低的问题，本申请通过将待处理文本数据分割成多个字段后，根据硬盘的读取性能信息和当前的内存使用情况，分多次读取字段，解析为待验证数据流，然后通过对每个字段中的全部字段列进行验证后，只保留所有字段列都正确的字段存入数据库。本申请实施例所提出的数据解析校验方法，减轻了数据读取解析的系统压力，从而提高了数据读取解析的效率，同时保证了入库的数据的正确性，尤其是公安的警务系统对于社会数据的解析校验。

在本申请所提供的实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种数据解析校验方法，应用于警务服务器，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述待处理文本数据中携带有地区标识，所述根据预设数据分割逻辑，将所述待处理文本数据分割成多个字段，包括：

3.根据权利要求1所述的方法，其特征在于，根据硬盘读取性能信息以及内存使用情况，分多次读取所述多个字段，得到待验证数据流，包括：

4.根据权利要求1所述的方法，其特征在于，针对待验证数据流的每一个字段中的每一个字段列进行数据验证，得到多个已验证字段，包括：

5.根据权利要求1所述的方法，其特征在于，将字段中所有字段列为正确状态的已验证字段存入警务数据库，包括：

6.一种数据解析校验装置，应用于警务服务器，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，读取模块，包括：

8.根据权利要求6所述的装置，其特征在于，存储模块，包括：

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-5中任一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-5中任一项所述的方法的步骤。