CN118152382A - 一种针对市政管网数据动态检查的方法和系统 - Google Patents

Abstract

一种针对市政管网数据动态检查的方法和系统，所述方法包括：S100.通过配置表的信息和字段的信息，对数据文件结构进行映射；S200.通过将不同的检查点转换为动态参数，对质检项进行配置；S300.通过对特定类型的数据进行质检，对质检方案进行配置；S400.将数据进行导入，并转换为QGIS矢量图层；S500.通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；S600.输出数据质检结果和报告。本发明通过项目迭代，可以减少需要重新开发的质检项，仅需动态配置参数即可满足各种复杂的检查需求。这种做法不仅提高了开发速度，而且具有良好的维护性，使得市政管数据检查更加简单高效。

Description

一种针对市政管网数据动态检查的方法和系统

技术领域

本发明涉及的是市政管网数据领域，特别涉及一种针对市政管网数据动态检查的方法和系统。

背景技术

在市政管网系统中，数据格式多种多样，包括Excel、MDB、GDB、SHP等。在市政管网检查实际应用中，需要对市政管网数据进行检查，然而，对市政管网数据相同的检查很少见，而相似的检查却很多。例如，某个字段的数据是否可以为空值，某个字段的数值必须在某个范围之间，或者是字段需要满足一定的格式(例如300X300)等。此外，为每种格式的数据单独开发检查系统既耗时又耗力。此外，即使检查要求相同，也难以复用已有的数据检查。因此，亟需一种针对市政管网数据动态检查的方法和系统解决此问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种针对市政管网数据动态检查的方法和系统。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种针对市政管网数据动态检查的方法，包括：

S200.通过配置表的信息和字段的信息，对数据文件结构进行映射；

S200.通过将不同的检查点转换为动态参数，对质检项进行配置；

S300.通过对特定类型的数据进行质检，对质检方案进行配置；

S400.将数据进行导入，并转换为QGIS矢量图层；

S500.通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；

S600.输出数据质检结果和报告。

进一步地，S100中，配置表的信息，具体包括：配置每张表的名称、表中的中文名称，数据库表名，以及空间类型。

进一步地，S100中，配置字段信息，具体包括：配置原字段名称、中文字段名称、数据库字段名称、字段类型、字段长度、字段精度，以及字段是否必填。

进一步地，S200中，对质检项进行配置,具体包括：分类信息检查、类型检查、名称和描述检查、使用函数ID检查和参数检查。

进一步地，S300中，通过对特定类型的数据进行质检，对质检方案进行配置，具体方法包括：针对特定类型的数据进行质检，需要关联相应的质检项以及需要检查的表和字段，在创建质检方案时，只需选择所需的质检项，并在数据结构映射窗口中确定相应的表和字段；最后，将质检方案保存为XML格式。

进一步地，S400中，将数据进行导入，并转换为QGIS矢量图层，具体方法包括：通过驱动程序读取数据中的表格，将表格数据加载到QGIS矢量图层的数据部分，然后根据表格中的XY坐标构建点的空间信息；如果是线表，还需要根据前后点的位置绘制线段。

进一步地，S500中，通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施，具体方法包括：首先遍历质检方案中确定的表，并对每张表使用相应的质检函数进行检查；质检函数会根据表名称获取QGIS矢量图层的数据，然后根据不同的检查类型返回检查结果。

进一步地，S600中，数据检查结果包括质检项名称、问题数量、通过数量、检查总数、通过率和问题数据详细列表。通过所述信息帮助用户更好地了解数据质量情况，并采取相应的措施进行修复。

进一步地，S600中，通过问题数据，构建新的QGIS矢量图层，并将其显示到二维视图中；通过问题数据，导出为Excel表格，以便采集人员更容易地进行确认和修复。

本发明还公开了一种针对市政管网数据动态检查的系统，包括：数据文件结构映射单元、质检项配置单元、质检方案配置单元、QGIS矢量图层转换单元、数据质检过程实施单元和质检结果和报告输出单元；其中：

数据文件结构映射单元，用于通过配置表的信息和字段的信息，对数据文件结构进行映射；

质检项配置单元，用于通过将不同的检查点转换为动态参数，对质检项进行配置；

质检方案配置单元，用于通过对特定类型的数据进行质检，对质检方案进行配置；

QGIS矢量图层转换单元，用于将数据进行导入，并转换为QGIS矢量图层；

数据质检过程实施单元，用于通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；

质检结果和报告输出单元，用于输出数据质检结果和报告。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明公开了一种针对市政管网数据动态检查的方法和系统，所述方法包括：S100.通过配置表的信息和字段的信息，对数据文件结构进行映射；S200.通过将不同的检查点转换为动态参数，对质检项进行配置；S300.通过对特定类型的数据进行质检，对质检方案进行配置；S400.将数据进行导入，并转换为QGIS矢量图层；S500.通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；S600.输出数据质检结果和报告。

本发明公开的一种针对市政管网数据动态检查的方法和系统，利用QGIS矢量图层和动态配置参数，为市政管数据检查提供了一种高效便捷的模式。通过项目迭代，我们可以减少需要重新开发的质检项，仅需动态配置参数即可满足各种复杂的检查需求。这种做法不仅提高了开发速度，而且具有良好的维护性，使得市政管数据检查更加简单高效。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1中，一种针对市政管网数据动态检查的方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中存在的问题，本发明实施例提供一种针对市政管网数据动态检查的方法和系统。

实施例1

本实施例公开了一种针对市政管网数据动态检查的方法，包括：

S100.通过配置表的信息和字段的信息，对数据文件结构进行映射；为了进行表检查和字段检查，我们需要一个正确的表和字段结构模板，而配置文件映射主要是为了给表和字段结构检查提供一个标准。此外，它还有另一个重要作用，那就是方便配置质检项可以检查哪些表和字段。

在本实施例S100中，配置表的信息，具体包括：配置每张表的名称、表中的中文名称，数据库表名，以及空间类型。配置字段信息，具体包括：配置原字段名称、中文字段名称、数据库字段名称、字段类型、字段长度、字段精度，以及字段是否必填。

具体的，在数据文件结构映射中，我们主要配置表的信息和字段的信息。对于表信息，我们需要配置每张表的名称、表中的中文名称(如果原名称是英文，质检结果需要翻译时可以使用)，数据库表名(如果需要上传数据库时，可以通过此映射上传)，以及空间类型(点|线|面)。对于字段信息，我们需要配置原字段名称、中文字段名称、数据库字段名称、字段类型、字段长度、字段精度，以及是否必填。映射以XML格式存储，这样能方便后续与质检项共同构成质检方案。

S200.通过将不同的检查点转换为动态参数，对质检项进行配置；质检项的配置主要采用同类归纳方法，通过将不同的检查点转换为动态参数，以实现质检项的复用。

在本实施例的S200中，对质检项进行配置,具体包括：分类信息检查、类型检查、名称和描述检查、使用函数ID检查和参数检查。具体的：

分类信息：属于哪种类型的质检，如基本检查、格式一致性检查、范围检查、拓扑一致性检查、逻辑一致性检查和空间数据检查等。

检查类型：如表检查、字段检查和数据检查等。

名称和描述：为质检项提供清晰的名称和描述。

使用函数ID：标识用于执行该质检项的函数。

参数：这些参数将作为输入传递给函数，并影响函数的执行结果。参数可以是多种类型，如字符串、数字或正则表达式等。

质检项的配置信息以CSV格式存储，这种格式方便后续的质检方案配置和管理。

S300.通过对特定类型的数据进行质检，对质检方案进行配置；质检方案主要是针对特定类型的数据进行质检，需要关联相应的质检项以及需要检查的表和字段。例如，对于必填字段的质检项，可以通过勾选多个表的字段，质检项会分别检查这些表的字段是否存在空值。

在本实施例的S300中，通过对特定类型的数据进行质检，对质检方案进行配置，具体方法包括：针对特定类型的数据进行质检，需要关联相应的质检项以及需要检查的表和字段，在创建质检方案时，只需选择所需的质检项，并在数据结构映射窗口中确定相应的表和字段；最后，将质检方案保存为XML格式，方便后续的调用和管理。

S400.将数据进行导入，并转换为QGIS矢量图层；其中，QGIS矢量图层包含数据和空间信息，空间信息能够直接在视图中展示点线面。QGIS是一款开源的地理信息系统软件，可以用于处理和分析地理数据。在QGIS中，矢量图层是一种重要的数据类型，它由一系列的矢量数据组成，可以用来表示各种地理要素，例如点、线、多边形等。要添加矢量图层，可以在QGIS的图层菜单中选择添加矢量图层。在添加矢量图层时，需要选择要添加的矢量数据文件，并指定其坐标系和投影方式。如果需要，还可以对矢量数据进行编辑和修改。在QGIS中，可以使用各种工具来编辑矢量图层，例如添加、删除、修改和合并要素等。还可以使用符号化功能来为矢量图层添加颜色、样式和标签等视觉效果。

在本实施例的S400中，将数据进行导入，并转换为QGIS矢量图层，具体方法包括：通过驱动程序读取数据中的表格，将表格数据加载到QGIS矢量图层的数据部分，然后根据表格中的XY坐标构建点的空间信息；如果是线表，还需要根据前后点的位置绘制线段。

S500.通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；本实施例提供了质检确认功能，使得用户可以更灵活地选择需要执行哪些质检项。同时，我们为每个质检项都分配了一个独立的线程，这样可以显著提高检查速度。用户还可以选择不同的质检方案进行质检，并且在质检过程中，我们可以实时显示质检用时、质检文件名、质检进度、质检问题数量、质检通过数量以及质检通过状态等信息。

在本实施例的S500中，通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施，具体方法包括：首先遍历质检方案中确定的表，并对每张表使用相应的质检函数进行检查；质检函数会根据表名称获取QGIS矢量图层的数据，然后根据不同的检查类型返回检查结果。

S600.输出数据质检结果和报告。具体的，数据检查结果包括质检项名称、问题数量、通过数量、检查总数、通过率和问题数据详细列表。通过所述信息帮助用户更好地了解数据质量情况，并采取相应的措施进行修复。

为了更直观地展示问题数据，我们可以基于这些问题数据构建新的QGIS矢量图层，并将其显示到二维视图中。这样，用户可以方便地查看问题点、线、面的分布情况，进一步加强对数据问题的认识和了解。

此外，问题数据还可以导出为Excel表格，以便采集人员更容易地进行确认和修复。Excel是一种常用的数据处理工具，可以方便地对数据进行整理和分析。通过将问题数据导出为Excel表格，可以使得采集人员更容易地对问题进行确认和修复，进而提高数据质量。通过这些优化措施，我们可以更好地进行数据质检，提高数据质量，同时为用户提供更全面、更直观的数据检查结果展示。

本实施例公开了一种针对市政管网数据动态检查的方法和系统，所述方法包括：S100.通过配置表的信息和字段的信息，对数据文件结构进行映射；S200.通过将不同的检查点转换为动态参数，对质检项进行配置；S300.通过对特定类型的数据进行质检，对质检方案进行配置；S400.将数据进行导入，并转换为QGIS矢量图层；S500.通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；S600.输出数据质检结果和报告。

本实施例公开的一种针对市政管网数据动态检查的方法和系统，利用QGIS矢量图层和动态配置参数，为市政管数据检查提供了一种高效便捷的模式。通过项目迭代，我们可以减少需要重新开发的质检项，仅需动态配置参数即可满足各种复杂的检查需求。这种做法不仅提高了开发速度，而且具有良好的维护性，使得市政管数据检查更加简单高效。

实施例2

基于实施例1中的一种针对市政管网数据动态检查的方法，本实施例公开了公开了一种针对市政管网数据动态检查的系统，包括：数据文件结构映射单元、质检项配置单元、质检方案配置单元、QGIS矢量图层转换单元、数据质检过程实施单元和质检结果和报告输出单元；其中：

数据文件结构映射单元，用于通过配置表的信息和字段的信息，对数据文件结构进行映射；

质检项配置单元，用于通过将不同的检查点转换为动态参数，对质检项进行配置；

质检方案配置单元，用于通过对特定类型的数据进行质检，对质检方案进行配置；

QGIS矢量图层转换单元，用于将数据进行导入，并转换为QGIS矢量图层；

数据质检过程实施单元，用于通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；

质检结果和报告输出单元，用于输出数据质检结果和报告。

其中，数据文件结构映射单元，通过配置表的信息和字段的信息，对数据文件结构进行映射；具体方法包括：配置表的信息，具体包括：配置每张表的名称、表中的中文名称，数据库表名，以及空间类型。配置字段信息，具体包括：配置原字段名称、中文字段名称、数据库字段名称、字段类型、字段长度、字段精度，以及字段是否必填。

质检项配置单元，通过将不同的检查点转换为动态参数，对质检项进行配置；具体包括：分类信息检查、类型检查、名称和描述检查、使用函数ID检查和参数检查。

质检方案配置单元，通过对特定类型的数据进行质检，对质检方案进行配置；具体方法包括：针对特定类型的数据进行质检，需要关联相应的质检项以及需要检查的表和字段，在创建质检方案时，只需选择所需的质检项，并在数据结构映射窗口中确定相应的表和字段；最后，将质检方案保存为XML格式。

QGIS矢量图层转换单元，将数据进行导入，并转换为QGIS矢量图层；具体方法包括：通过驱动程序读取数据中的表格，将表格数据加载到QGIS矢量图层的数据部分，然后根据表格中的XY坐标构建点的空间信息；如果是线表，还需要根据前后点的位置绘制线段。

数据质检过程实施单元，通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；具体方法包括：首先遍历质检方案中确定的表，并对每张表使用相应的质检函数进行检查；质检函数会根据表名称获取QGIS矢量图层的数据，然后根据不同的检查类型返回检查结果。

质检结果和报告输出单元，输出数据质检结果和报告。数据检查结果包括质检项名称、问题数量、通过数量、检查总数、通过率和问题数据详细列表。通过所述信息帮助用户更好地了解数据质量情况，并采取相应的措施进行修复。通过问题数据，构建新的QGIS矢量图层，并将其显示到二维视图中；通过问题数据，导出为Excel表格，以便采集人员更容易地进行确认和修复。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (10)

1.一种针对市政管网数据动态检查的方法，其特征在于，包括：

S100.通过配置表的信息和字段的信息，对数据文件结构进行映射；

S200.通过将不同的检查点转换为动态参数，对质检项进行配置；

S300.通过对特定类型的数据进行质检，对质检方案进行配置；

S400.将数据进行导入，并转换为QGIS矢量图层；

S500.通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；

S600.输出数据质检结果和报告。

2.如权利要求1所述的一种针对市政管网数据动态检查的方法，其特征在于，S100中，配置表的信息，具体包括：配置每张表的名称、表中的中文名称，数据库表名，以及空间类型。

3.如权利要求1所述的一种针对市政管网数据动态检查的方法，其特征在于，S100中，配置字段信息，具体包括：配置原字段名称、中文字段名称、数据库字段名称、字段类型、字段长度、字段精度，以及字段是否必填。

4.如权利要求1所述的一种针对市政管网数据动态检查的方法，其特征在于，S200中，对质检项进行配置,具体包括：分类信息检查、类型检查、名称和描述检查、使用函数ID检查和参数检查。

5.如权利要求1所述的一种针对市政管网数据动态检查的方法，其特征在于，S300中，通过对特定类型的数据进行质检，对质检方案进行配置，具体方法包括：针对特定类型的数据进行质检，需要关联相应的质检项以及需要检查的表和字段，在创建质检方案时，只需选择所需的质检项，并在数据结构映射窗口中确定相应的表和字段；最后，将质检方案保存为XML格式。

6.如权利要求1所述的一种针对市政管网数据动态检查的方法，其特征在于，S400中，将数据进行导入，并转换为QGIS矢量图层，具体方法包括：通过驱动程序读取数据中的表格，将表格数据加载到QGIS矢量图层的数据部分，然后根据表格中的XY坐标构建点的空间信息；如果是线表，还需要根据前后点的位置绘制线段。

7.如权利要求1所述的一种针对市政管网数据动态检查的方法，其特征在于，S500中，通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施，具体方法包括：首先遍历质检方案中确定的表，并对每张表使用相应的质检函数进行检查；质检函数会根据表名称获取QGIS矢量图层的数据，然后根据不同的检查类型返回检查结果。

8.如权利要求1所述的一种针对市政管网数据动态检查的方法，其特征在于，S600中，数据检查结果包括质检项名称、问题数量、通过数量、检查总数、通过率和问题数据详细列表；通过所述信息帮助用户更好地了解数据质量情况，并采取相应的措施进行修复。

9.如权利要求8所述的一种针对市政管网数据动态检查的方法，其特征在于，S600中，通过问题数据，构建新的QGIS矢量图层，并将其显示到二维视图中；通过问题数据，导出为Excel表格，以便采集人员更容易地进行确认和修复。

10.一种针对市政管网数据动态检查的系统，其特征在于，包括：数据文件结构映射单元、质检项配置单元、质检方案配置单元、QGIS矢量图层转换单元、数据质检过程实施单元和质检结果和报告输出单元；其中：

数据文件结构映射单元，用于通过配置表的信息和字段的信息，对数据文件结构进行映射；

质检项配置单元，用于通过将不同的检查点转换为动态参数，对质检项进行配置；

质检方案配置单元，用于通过对特定类型的数据进行质检，对质检方案进行配置；

QGIS矢量图层转换单元，用于将数据进行导入，并转换为QGIS矢量图层；

数据质检过程实施单元，用于通过配置的质检方案和转换的矢量图层，对数据质检过程进行实施；

质检结果和报告输出单元，用于输出数据质检结果和报告。