CN117573327B - 一种智能调度和趋势监控的方法、设备及存储介质 - Google Patents

Abstract

本发明涉及地理信息系统领域，具体为一种智能调度和趋势监控方法、设备及存储介质，方法包括：选择质检方案和成果包文件夹；生成任务信息，并对质检规则分类，记录数量；主线程创建质检调度子线程、监控子线程、质检结果入库子线程；质检调度子线程获取计算机资源信息，结合预设的配置信息获取下一个的执行的质检规则类型；主线程开启一个质检进程，进行分析，将结果记录到本地；监控子线程监控执行中的质检进程，对超时的质检进程进行关闭；质检结果入库子线程获取已质检完成的规则信息，将本地质检结果文件内容进行解析并录入数据库中，并根据错误信息对任务进行评分，进行记录。本发明提高质检效率且无需人为干预，自动处理假死进程。

Description

一种智能调度和趋势监控的方法、设备及存储介质

技术领域

本发明涉及地理信息系统领域，尤其涉及一种智能调度和趋势监控的方法、设备及存储介质。

背景技术

在地理信息系统中，无论是调查还是规划的数据成果都必须经过质检才能应用于实际业务需求，如卫片巡查、项目审批、领导决策等。然而各地方汇交上来的数据非常大且问题比较多，同时，质检时间紧，质检规则多。

而当前的质检工具规则执行调度的方式如下：

（1）读取成果包和质检方案；

（2）根据方案读取规则列表；

（3）根据事先配置好的最大可执行质检规则数量，批量开启多个质检进程，对成果包内数据进行分析和计算；

（4）每个质检进程结束后，系统判断是否仍有未执行的规则以及当前正在运行的质检进程数量是否小于配置的最大可执行质检规则数量；

（5）如果仍有未执行的质检规则，并且正在运行的质检进程数量小于配置的最大可同时执行的规则数量，则开启一个新的质检进程进行数据分析；

（6）当全部质检规则执行完成，将质检规则生成的质检结果进行入库和评分，质检结束。

现行的已实现的技术有几个缺点：

其一，只能配置并行执行的规则数量，没有加入CPU和内存的监控。由于拓扑检查和属性检查占用的计算机资源差别较大，这导致难以确定应该配置的并行执行的规则数量，如果设置过低，导致资源浪费，如果设置过高，可能导致计算机由于资源耗尽而宕机。

其二，没有拆分拓扑规则和属性检查规则，由于拓扑检查和属性检查对计算机资源利用率差异比较大，在不拆分规则类型情况下，为了避免计算机资源耗尽，往往在设置并行执行的规则数量时，只能按拓扑规则预计的资源利用率来进行评估设置，这将导致资源实际利用率低下以及质检效率不高。

其三，没有对质检进程进行监控，由于部分质检规则执行效率不高，且强依赖于第三方组件，会偶发性地出现程序假死或者执行时间过长，但又无法确定进程状态的情况，对于这种情况下，目前只能依赖于人为去发现和处理，比较被动。

发明内容

本发明主要解决质检系统中的三个问题，一个是质检效率低，二是计算机资源利用率低问题，三是进程偶尔出现假死的问题。

本发明提出了一种智能调度和趋势监控方法、设备及存储介质，方法包括以下步骤：

S1、选择质检方案和成果包文件夹；

S2、根据成果包和质检方案，生成任务信息，并对任务信息中质检规则进行分类，并记录数量；

S3、主线程创建质检调度子线程、监控子线程、质检结果入库子线程；

S4、质检调度子线程获取计算机资源信息，并结合预设的配置信息计算出下一个的执行的质检规则类型，通知主线程；

S5、主线程开启一个质检进程，并对相关数据进行分析与计算，将质检结果记录到本地指定文件中；

S6、监控子线程监控执行中的质检进程，对超时的质检进程进行关闭；

S7、质检结果入库子线程获取已质检完成的规则信息，将本地质检结果文件内容进行解析并录入数据库中，并根据错误信息对任务进行评分，把最终评分记录到任务信息中。

一种存储介质，所述存储介质存储指令及数据用于被处理器执行以实现一种智能调度和趋势监控的方法。

一种智能调度和趋势监控设备，包括：处理器及所述存储介质；所述处理器加载并执行所述存储介质中的指令及数据用于实现一种智能调度和趋势监控的方法。

本发明提供的有益效果是：

（1）最大化利用计算资源。在本发明之前，仅设置了计算机允许同时执行的最多规则数量，这很容易导致一个问题，就是设置多了，计算机资源会耗导致计算机异常，设计少了，又浪费计算机资源。本发明仅需要关注质检所依赖的底层分析工具能支撑的同时进行拓扑检查的数量（在拓扑检查数量过多时，底层分析工具会报错，这与计算机性能无关），只要当前正在执行的拓扑检查数量小于这个上限，并且计算机资源足够，就可以开启一个新的检查，最大限度地使用计算机资源。并且不需要将属性检查纳入这个数量计算，不占用拓扑检查的数量。在此之前，一次质检总耗时大概在4小时左右，使用本发明后，质检时间普遍在1小时内可结束。

（2）自动处理假死进程，无需人为监控干预。引入监控子线程对正在执行的进程进行监控，质检规则的执行进程是有可能假死的。在这之前，操作人员往往需要不定时检查质检系统记录的日志，从日志中去分析哪些规则的检查进程可能假死了，如果假死了，只能手动结束异常进程，并且需要终止整个质检任务，并重新执行该检查任务。由于一个任务包含了近100个的检查规则，重新执行一次任务，就会浪费几个小时的时间。加入了该监控后，无需求人为处理，系统会自动结束异常进程并重新开启一个新的进程执行产生了异常的规则，而不需要将整个任务进行重新执行。

附图说明

图1是本发明方法流程示意图；

图2是本发明硬件设备工作示意图。

具体实施方式

在正式阐述本发明技术方案之前，为方便理解，对前后文可能涉及到的相关术语和概念进行统一解释如下：

（1）质检效率问题：在地理信息领域的数据质检中，数据可分为空间数据和属性数据，系统对于空间数据（拓扑规则检查的对象）和属性数据（属性检查规则检查的对象）的质检效率差别很大，进行拓扑检查的效率远远低于属性检查的效率，并且不同拓扑规则检查之间由于涉及的空间图形数据量的多少不一也导致不同拓扑规则检查的效率也不尽相同。

（2）计算机资源利用率问题：在原有的质检规则调度中，将拓扑检查规则与属性检查规则混合并行执行，并简单设置了一台计算机可执行的规则数量来对调度进行限制。但是如上所说，质检规则间效率差距太大，简单设置往往导致资源利用率过高或过低，无法合理利用计算机资源以提高质检效率。

（3）进程假死的问题：由于某些客观原因，规则进程在执行过程中，可能出现假死的情况，也就是在计算机的任务管理器中能看到该进程的信息，但是该进程的内存占用一直没有变化，CPU的使用率一直为0，这种进程实际上没有在执行任何操作，称之为假死。系统需要自动识别这种进程，中止该进程并重新执行一次相同的检查规则。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，图1是本发明方法流程示意图；本发明提供的一种智能调度和趋势监控方法，具体包括以下步骤：

S1、选择质检方案和成果包文件夹；

需要说明的是，质检方案是指，一个方案包含了标准目录结构信息，标准数据库信息，需要执行的规则信息。方案信息决定了哪些规则要执行，哪些规则不需要执行。

比如标准目标结构信息定义如下：其包括了目录名称、目录结构；目录结构中又包括一下著录项：文件名称、文件类型、匹配类型、是否必要、允许为空。

其中文件名称比如为：规划文本、栅格图件、规划表格等；文件类型比如为：mdb、pdf等；

匹配类型可以为精确或粗略；

是否必要是指对应的文件是否是必须的；

允许为空与是否必要对应，若文件为可选的，则允许为空。

待质检的数据按照上述目录结构进行存放和文件命名，该目录结构也定义了某些文件名称的匹配方式以及是否必须提交。

标准数据库结构信息定义了数据库的表格类型和组织形式，以及每个字段的名字、别名、数据类型、字段长度、是否为空、值域等信息，用户提交的数据库数据，根据设置的规则与标准数据库信息进行匹配校验。

作为一种实施例，方案的基本信息包括了方案名称、方案类型、目录结构、质检库和方案描述。该方案基本信息中配置定义了方案关联的标准目录结构和标准数据库信息。比如方案名称为检查确认版，方案类型为自动质检方案、目录结构参考上述目录结构，质检库中包括了多个数据库，方案描述中可以添加与方案有关的描述备注信息。

方案关联的规则信息以树型进行展示，作为一种实施例，该树形结构的节点包括：图形拓扑检查、属性检查、数据完整性检查、空间数据基本检查；各项节点后均可再展开，比如属性检查中，可以包括字段完备性检查、字段属性符合性检查等。

需要说明的是，成果包文件夹，具体指用户提交的待检查的成果数据，是一个文件夹，里面按指定规创建了多个文件夹，用于存放待检查的数据，这些数据包含文档数据、图片数据、数据库等等。

S2、根据成果包和质检方案，生成任务信息，并对任务信息中质检规则进行分类，并记录数量；

需要说明的是，每提交一次成果包，就会创建一个任务，代表一次质检检查。

而任务信息是指一个任务包含的质检方案信息和数据信息，其中数据信息主要是待检查的成果包的信息，如成果包存储位置、创建时间、结束时间、任务状态、任务评分等。

需要说明的是，质检即数据质量检查，通过一系列分析与计算，得出被检查的成果包的数据的问题信息，用户根据这些问题信息对成果包的数据进行整改，并再次进行检查，直至没有问题的过程。

作为一种实施例而言，步骤S2中对质检规则进行分类，具体分为拓扑规则和属性检查两类。

需要说明的是，拓扑规则是指，在实际应用时，有时需要在要素之间保持某种特定的关系，比如，行政管理的范围不能相互重叠，线状道路之间不能有重叠线段，某些汽车站必须在公共交通线路上等，这些特定的空间关系可用拓扑学来描述、定义。借助Geodatabase，可规定一系列拓扑规则，在要素之间建立起空间关系，还可以对这些规则（即关系）进行调整。拓扑规则的特别是CPU使用率高，执行效率较低。

需要说明的是，属性检查是指对普通属性数据的正确性进行检查的规则，如字段名称是否正确，字段的值是否对应某个规则等等，属性检查的特别是执行效率高。

S3、主线程创建质检调度子线程、监控子线程、质检结果入库子线程；

需要说明的是，线程是进程内的执行单元，它是操作系统调度的最小单位。一个进程可以包含多个线程，这些线程共享进程的资源，如内存空间、文件句柄等。线程可以独立执行任务，并且可以并发执行，提高了程序的效率和响应性。

一个exe程序的线程包括主线程和多个子线程，主线程即一个exe程序开启后直接产生的线程，其生命周期就是这个exe程序的生命周期。子线程则是由主线程创建的其他线程，子线程创建后，和主线程并行执行。例如文中提到的监控子线程、调度子线程和入库子线程。三个子线程相互独立运行，但又由主线程协调，完成整个质检任务。

进程是计算机中正在运行的程序的实例。它是操作系统分配资源和执行任务的基本单位。每个进程都有自己的内存空间、执行代码和数据的能力。进程可以同时运行多个程序，每个程序都在独立的进程中执行，互不干扰。进程之间可以通过进程间通信（IPC）机制进行数据交换和协作。操作系统负责管理进程的创建、调度、终止以及资源分配等。

比如运双击质检程序的exe文件时将开启一个进程。

需要注意的是，质检并不是在程序主线程中执行的，而是在一个由主线程开启的子进程中执行，该进程称为质检进程，也是个exe程序。但质检进程没有UI界面，是后台执行程序，在计算机桌面不可见。

S4、质检调度子线程获取计算机资源信息，并结合预设的配置信息计算出下一个的执行的质检规则类型，通知主线程；

需要说明的是，步骤S4具体如下：

S41、启动一个定时器，定时器的作用是每隔一段时间，执行一次定时任务，定时任务为步骤S42～步骤S44；

S42、读取计算机CPU使用率和内存使用率信息，判断当前计算机的剩余资源是否可以执行一次质检规则，如果是，则执行后续步骤，否则返回S41，等待定时器执行下一个定时任务；

S43、读取当前正在执行的规则的信息，得出正在执行的拓扑规则的质检进程数量和属性检查的质检进程数量，根据配置文件设定的值，判断是否可以执行一个新的质检规则和可以执行哪个类型的质检规则，如果是，则通知主线程执行指定类型的规则，否则返回步骤S41，等待定时器执行下一个定时任务；

S44、判断所有规则是否执行完成，如果是，则关闭定时器，并退出当前线程，否则返回步骤S41，等待定时器执行下一个定时任务；

S45、全部规则执行完成，关闭定时器，结束质检调度子线程。

S5、主线程开启一个质检进程，并对相关数据进行分析与计算，将质检结果记录到本地指定文件中；

需要说明的是，所述步骤S5具体如下：

S51、开启一个exe质检进程；

S52、获取规则的配置信息和成果包的信息；

S53、获取规则对应的质检算子；

需要说明的是，算子是数据检查具体执行的最小可复用单元，算子接收相关参数后，对数据进行各种分析计算，并返回结果。

需要说明的是，规则包含了两方面的信息，一个是算子信息，一个是参数信息，执行规则，即是使用当前规则配置的参数，调用某个算子，对指定的数据进行检查。

作为一种实施例规则的信息中一个规则一般包3方面信息，规则的基本信息（规则编码、规则等级、规则名称、规则说明），算子（质检规则），参数（图片中规则参数配置除“质检规则”以外的其他信息），其中规则参数会根据算子的设计进行动态设置。

S54、调用算子对指定的数据进行分析与计算；

S55、将计算结果记录到当前计算机本指定的目录中，生成一个本地文件；

在本发明中，计算结果以文件形式存储至程序上目录下的临时目录中，由主线系统启动的一个子线程逐个读取并记录到数据库，完成后删除文件。

S56、质检结束，结束进程。

S6、监控子线程监控执行中的质检进程，对超时的质检进程进行关闭；

需要说明的是，步骤S6具体如下：

S61、开启一个定时器，定时器的作用是每隔一段时间，执行一次定时任务，定时任务即步骤S63；

S62、监控子线程从主线程中获取一个质检进程开始的通知，监控子线程将进程和规则信息记录到一个队列里，并记录进程开启的时间；

S63、监控子线程从队列中循环获取质检进程信息，根据当前时间计算进程已执行的时长，判断是否超时，如果是，则查询该进程最近三次记录的内存占用量和CPU使用率是否无任何变化，如果是则强制结束该质检进程，并从队列删除该进程信息，否则记录当前进程占用量的内存和CPU使用率；

S64、监控子线程从主线程中获取一个质检进程结束的通知，从记录的队列中将该质检进程删除；

S65、监控子线程从主线程获取全部规则检查结束的通知，监控子线程停止计时器，监控子线程结束。

S7、质检结果入库子线程获取已质检完成的规则信息，将本地质检结果文件内容进行解析并录入数据库中，并根据错误信息对任务进行评分，把最终评分记录到任务信息中。

需要说明的是，这里的数据库指的是随系统部署的本地数据库，包含了系统运行所需的系统信息、用户信息、权限信息、任务信息、方案信息、规则信息结果信息等等，入库指是将执行结果，记录到结果信息表中。

作为一种实施例，步骤S7具体如下：

S71、质检结果入库子线程开启一个定时器，定时器的作用是每隔一段时间，执行一次定时任务，定时任务即步骤S73～步骤S75；

S72、质检结果入库子线程从主线程中获取一个质检进程结束的通知，将已执行完成的质检规则记录到一个队列中；

S73、质检结果入库子线程从队列中读取一个规则，根据规则信息，读取该规则的质检进程在质检过程中记录在本地的文件；

S74、解析文件内容，获取到质检的错误信息，将错误信息记录到数据库中；

S75、根据规则的级别和错误的数量，对任务分数进行计算；

S76、全部规则的结果信息录入数据库完成，评分完成并记录到对应任务信息中，停止定时器，质检结果入库子线程结束。

请参考图2，图2是本发明硬件设备工作示意图。

所述硬件设备具体包括：一种智能调度和趋势监控设备401、处理器402及存储介质403。

一种智能调度和趋势监控设备401：所述一种智能调度和趋势监控设备401实现所述一种智能调度和趋势监控方法。

处理器402：所述处理器402加载并执行所述存储介质403中的指令及数据用于实现所述一种智能调度和趋势监控方法。

存储介质403：所述存储介质403存储指令及数据；所述存储介质403用于被处理器执行以实现所述一种智能调度和趋势监控方法。

总的来说，本发明能够：

（1）实现智能调度。程序首先对规则进行了分组，将拓扑检查与属性检查进行拆分，以单独控制两种类型的规则的执行数量。另外，增加了对计算机资源的监控，主要是CPU的使用率和内存的使用率。系统以CPU或内存的使用率的80%作为上限，每个拓扑检查消耗10%的CPU使用率，属性检查消耗1%的CPU使用率。由于计算的内存分配较高，因此忽略了每个检查可能消耗的内存，只在每次调度前获取当前内存的使用率即可。调度算法以此为限制条件，结合系统的配置信息，计算出下一个可执行的规则类型，通知给主线程，再由主线程开启一个质检进程。

（2）实现趋势监控。独立运行了一个监控子线程，该线程随系统启动开始运行。在监控子线程运行过程中，主线程不定时把正在执行的规则的进程信息加入到监控子线程的队列中，监控子线定时巡查一次这个队列，逐个从队列中取出规则执行的进程，记录进程当前的内存占用信息和CPU使用率，并分析资源利用趋势，如果进程执行时间超过指定时间，并且连续3次巡查中，内存使用趋势无变化，并且CPU使用率都为0，则判定该进程已卡死，无法继续执行，监控线程会结束该进程，以腾出位置执行下一个规则。

最终，本发明提供的有益效果是：

（1）最大化利用计算资源。在本发明之前，仅设置了计算机允许同时执行的最多规则数量，这很容易导致一个问题，就是设置多了，计算机资源会耗尽导致计算机异常，设置少了，又浪费计算机资源。本发明仅需要关注质检所依赖的底层分析工具能支撑的同时进行拓扑检查的数量（在拓扑检查数量过多时，底层分析工具会报错，这与计算机性能无关），只要当前正在执行的拓扑检查数量小于这个上限，并且计算机资源足够，就可以开启一个新的检查，最大限度地利用计算机资源。并且不需要将属性检查纳入这个数量计算，不占用拓扑检查的数量。在此之前，一次质检总耗时大概在4小时左右，使用本发明后，质检时间普遍在1小时内可结束。

（2）自动处理假死进程，引入监控子线程对正在执行的进程进行监控，无需人为监控干预。质检规则的执行进程是有可能假死的。在这之前，操作人员往往需要不定时检查质检系统记录的日志，从日志中去分析哪些规则的检查进程可能假死了，如果假死了，只能手动结束异常进程，并且需要终止整个质检任务，并重新执行该检查任务。由于一个任务包含了近100个的检查规则，重新执行一次任务，就会浪费几个小时的时间。加入了该监控后，无需人为处理，系统会自动结束异常进程并重新开启一个新的进程执行产生了异常的规则，而不需要将整个任务进行重新执行。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种智能调度和趋势监控的方法，其特征在于：包括以下步骤：

S1、选择质检方案和成果包文件夹；

S2、根据成果包和质检方案，生成任务信息，并对任务信息中质检规则进行分类，并记录数量；

S3、主线程创建质检调度子线程、监控子线程、质检结果入库子线程；

S4、质检调度子线程获取计算机资源信息，并结合预设的配置信息计算出下一个的执行的质检规则类型，通知主线程；

步骤S4具体如下：

S41、启动一个定时器，定时器的作用是每隔一段时间，执行一次定时任务，定时任务为步骤S42～步骤S44；

S42、读取计算机CPU使用率和内存使用率信息，判断当前计算机的剩余资源是否可以执行一次质检规则，如果是，则执行后续步骤，否则返回S41，等待定时器执行下一个定时任务；

S43、读取当前正在执行的规则的信息，得出正在执行的拓扑规则的质检进程数量和属性检查的质检进程数量，根据配置文件设定的值，判断是否可以执行一个新的质检规则和可以执行哪个类型的质检规则，如果是，则通知主线程执行指定类型的规则，否则返回步骤S41，等待定时器执行下一个定时任务；

S44、判断所有规则是否执行完成，如果是，则关闭定时器，并退出当前线程，否则返回步骤S41，等待定时器执行下一个定时任务；

S45、全部规则执行完成，关闭定时器，结束质检调度子线程；

S5、主线程开启一个质检进程，并对相关数据进行分析与计算，将质检结果记录到本地指定文件中；

S6、监控子线程监控执行中的质检进程，对超时的质检进程进行关闭；

S7、质检结果入库子线程获取已质检完成的规则信息，将本地质检结果文件内容进行解析并录入数据库中，并根据错误信息对任务进行评分，把最终评分记录到任务信息中。

2.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：步骤S2中对质检规则进行分类，具体分为拓扑规则和属性检查两类。

3.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：质检调度子线程、监控子线程、质检结果入库子线程相互独立运行。

4.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：所述步骤S5具体如下：

S51、开启一个exe质检进程；

S52、获取规则的配置信息和成果包的信息；

S53、获取规则对应的质检算子；

S54、调用算子对指定的数据进行分析与计算；

S55、将计算结果记录到当前计算机本指定的目录中，生成一个本地文件；

S56、质检结束，结束进程。

5.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：步骤S6具体如下：

S61、开启一个定时器，定时器的作用是每隔一段时间，执行一次定时任务，定时任务即步骤S63；

S62、监控子线程从主线程中获取一个质检进程开始的通知，监控子线程将进程和规则信息记录到一个队列里，并记录进程开启的时间；

S63、监控子线程从队列中循环获取质检进程信息，根据当前时间计算进程已执行的时长，判断是否超时，如果是，则查询该进程最近三次记录的内存占用量和CPU使用率是否无任何变化，如果是则强制结束该质检进程，并从队列删除该进程信息，否则不做任何处理；

S64、监控子线程从主线程中获取一个质检进程结束的通知，从记录的队列中将该质检进程删除；

S65、监控子线程从主线程获取全部规则检查结束的通知，监控子线程停止计时器，监控子线程结束。

6.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：步骤S7具体如下：

S71、质检结果入库子线程开启一个定时器，定时器的作用是每隔一段时间，执行一次定时任务，定时任务即步骤S73～步骤S75；

S72、质检结果入库子线程从主线程中获取一个质检进程结束的通知，将已执行完成的质检规则记录到一个队列中；

S73、质检结果入库子线程从队列中读取一个规则，根据规则信息，读取该规则的质检进程在质检过程中记录在本地的文件；

S74、解析文件内容，获取到质检的错误信息，将错误信息记录到数据库中；

S75、根据规则的级别和错误的数量，对任务分数进行计算；

S76、全部规则的结果信息录入数据库完成，评分完成并记录到对应任务信息中，停止定时器，质检结果入库子线程结束。

7.一种存储介质，其特征在于：所述存储介质存储指令及数据用于被处理器执行以实现权利要求1~6任一项所述的一种智能调度和趋势监控方法。

8.一种智能调度和趋势监控设备，其特征在于：包括：处理器及存储介质；所述处理器加载并执行存储介质中的指令及数据用于实现权利要求1~6任一项所述的一种智能调度和趋势监控方法。