CN109978511A - 基于网页爬取的项目管理检查系统及方法 - Google Patents
基于网页爬取的项目管理检查系统及方法 Download PDFInfo
- Publication number
- CN109978511A CN109978511A CN201910280252.7A CN201910280252A CN109978511A CN 109978511 A CN109978511 A CN 109978511A CN 201910280252 A CN201910280252 A CN 201910280252A CN 109978511 A CN109978511 A CN 109978511A
- Authority
- CN
- China
- Prior art keywords
- task
- analysis
- inspection
- web page
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012552 review Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 125
- 238000007726 management method Methods 0.000 claims abstract description 65
- 239000000284 extract Substances 0.000 claims abstract description 53
- 238000007689 inspection Methods 0.000 claims abstract description 52
- 238000012550 audit Methods 0.000 claims abstract description 30
- 238000013075 data extraction Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000007405 data analysis Methods 0.000 claims abstract description 6
- 238000005211 surface analysis Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 229910052711 selenium Inorganic materials 0.000 claims description 2
- 239000011669 selenium Substances 0.000 claims description 2
- 230000032696 parturition Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 5
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000004913 activation Effects 0.000 description 3
- 241000239290 Araneae Species 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063118—Staff planning in a project environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例公开了一种基于网页爬取的项目管理检查系统及方法，所述检查系统包括智能数据提取和分析系统及任务自动化系统，智能数据提取和分析系统通过项目管理系统的Web页面爬取数据并进行处理分析，再生成检查报告；智能数据提取和分析系统包括网页爬取框架、登录模块、数据提取模块、智能分析模块、智能分析规则集及报告生成模块；任务自动化系统用于自动化执行任务，包括定时器、任务队列、系统调用模块及通知服务模块。本发明能够适配于多种基于Web的项目管理系统，且无需关注项目管理系统内部错综复杂的设计，保证了项目管理系统用户输入的完整性和正确性，提高了适用性，大大降低了对项目管理系统的理解和维护成本。
Description
技术领域
本发明涉及计算机软件应用技术领域，尤其涉及一种基于网页爬取的项目管理检查系统及方法。
背景技术
项目管理具有较长的历史，其目的是将知识、技能、工具与技术应用于项目活动，以满足项目的要求。作为项目管理的一个重要部分，良好设计的项目管理系统可以极大地提高项目管理的效率。然而用户在使用项目管理系统时可能会因为粗心大意或故意漏填、错填信息，导致项目管理形同虚设。当前的项目管理系统多专注于对项目数据的组织和展现，缺少能灵活配置的自动化检查功能，从而无法保证项目管理系统用户输入的完整性和正确性。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于网页爬取的项目管理检查系统及方法，以使能够适配于多种基于Web的项目管理系统，降低对项目管理系统的理解和维护成本。
为了解决上述技术问题，本发明实施例提出了一种基于网页爬取的项目管理检查系统，包括智能数据提取和分析系统及任务自动化系统，其中，
智能数据提取和分析系统通过项目管理系统的Web页面爬取数据并进行处理分析，再生成检查报告；智能数据提取和分析系统包括网页爬取框架、登录模块、数据提取模块、智能分析模块、智能分析规则集及报告生成模块；其中，网页爬取框架用于支持登录模块和数据提取模块的实现；登录模块用于登录项目管理系统；数据提取模块用于提取项目管理系统Web页面里的数据；智能分析模块用于将提取的数据依照智能分析规则集进行处理分析；智能分析规则集用于存储数据处理分析的规则；报告生成模块依据处理分析结果生成检查报告；
任务自动化系统用于自动化执行任务，包括定时器、任务队列、系统调用模块及通知服务模块；其中：定时器按照配置在特定时间触发任务队列；任务队列按照顺序执行系统调用及通知服务任务；系统调用模块用于调用智能数据提取和分析系统；通知服务模块用于生成通知的信息，将通知信息和智能数据提取和分析系统生成的检查报告发送至管理人员。
相应地，本发明实施例还提供了一种基于网页爬取的项目管理检查方法，应用于上述的基于网页爬取的项目管理检查系统中，包括：
步骤1：定时启动任务队列；
步骤2：任务队列调用智能数据提取和分析系统登录项目管理系统；
步骤3：智能数据提取和分析系统访问项目管理系统的指定页面；
步骤4：智能数据提取和分析系统爬取所述页面的所有数据；
步骤5：智能数据提取和分析系统根据规则集逐条分析数据，并记录分析结果及原因；
步骤6：智能数据提取和分析系统分析出需要进一步访问的URL信息；
步骤7：智能数据提取和分析系统访问其中一个未访问过且需要进一步访问的特定页面；
步骤8：重复执行步骤4～步骤7，直到所有需要进一步访问的特定页面均被访问和分析；
步骤9：智能数据提取和分析系统生成检查报告，并通知任务队列；
步骤10：任务队列启动通知服务模块；
步骤11：通知服务模块生成通知信息，并将生成的通知信息及检查报告发送给管理人员。
本发明的有益效果为：能够适配于多种基于Web的项目管理系统，且无需关注项目管理系统内部错综复杂的设计(如程序模块设计、数据关系设计)，保证了项目管理系统用户输入的完整性和正确性，提高了适用性，大大降低了对项目管理系统的理解和维护成本。
附图说明
图1是本发明实施例的基于网页爬取的项目管理检查系统的结构示意图。
图2是本发明实施例的基于网页爬取的项目管理检查方法的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例中若有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中若涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
请参照图1，本发明实施例的基于网页爬取的项目管理检查系统包括智能数据提取和分析系统及任务自动化系统。
智能数据提取和分析系统通过项目管理系统的Web页面爬取数据并进行处理分析，再生成检查报告。智能数据提取和分析系统包括网页爬取框架、登录模块、数据提取模块、智能分析模块、智能分析规则集及报告生成模块。网页爬取框架用于支持登录模块和数据提取模块的实现；登录模块用于登录项目管理系统；数据提取模块用于提取项目管理系统Web页面里的数据；智能分析模块用于将提取的数据依照智能分析规则集进行处理分析；智能分析规则集用于存储数据处理分析的规则；报告生成模块依据处理分析结果生成检查报告。
作为一种实施方式，智能数据提取和分析系统部署于企业内部服务器上，通过企业局域网访问。
优选地，网页爬取框架采用Scrapy(Scrapy是一个为遍历爬行网站、分解获取数据而设计的应用程序框架，它可以应用在广泛领域：数据挖掘、信息处理和或者历史记录打包等等，)实现。
特别地，网页爬取框架还可以采用Selenium实现。
作为一种实施方式，智能分析规则集由按照访问层级或按照重要程度分解而成的多个子规则集组成。一种分解方式为按照访问层级，如项目任务主页面分析子规则集，项目任务详情分析子规则集，项目BUG页面分析子规则集；另一种分解方式按照重要程度，如禁止事项子规则集，警告事项子规则集。
作为一种实施方式，智能分析规则集可以灵活配置，以增加或者减少规则(集)。
作为一种实施方式，按照访问层级分解的智能分析子规则集应包含以下规则：
项目任务主页面分析子规则集：
{#如果任务状态为已完成，是否指派给了指定人员的检查。
#任务是否有指派人的检查。
#任务是否有预计时间的检查。
#任务是否有截止时间的检查。
#任务是否超过截止时间的检查。
#如果某特定任务预计超过预设小时(如8小时)，则必须分解为子任务的检查。}
项目任务详情分析子规则集：
{#已完成任务是否有备注的检查。
#已取消任务是否有备注的检查。
#预计时间是否小于实际消耗的预设倍(如3倍)的检查。}
项目BUG页面分析子规则集：
{#已解决但未关闭的BUG(包括当前状态为激活，但曾经被标记为已解决)是否有备注原因和解决方案的检查。}
优选地，生成的报告可以被管理人员直接阅读理解。
任务自动化系统用于自动化执行任务，包括但不限于定时器、任务队列、系统调用模块及通知服务模块等。定时器按照配置在特定时间触发任务队列；任务队列按照顺序执行系统调用及通知服务任务；系统调用模块用于调用智能数据提取和分析系统；通知服务模块用于生成通知的信息，将通知信息和智能数据提取和分析系统生成的检查报告发送至管理人员。
优选地，任务自动化系统部署于企业内部服务器上，通过内网访问。
特别地，任务自动化系统的实现可基于Jenkins或Windows任务计划程序等工具。
优选地，通知服务模块可使用电子邮件通知管理人员。
请参照图2，本发明实施例的基于网页爬取的项目管理检查方法，应用于基于网页爬取的项目管理检查系统中，包括：
步骤1：定时启动任务队列；
步骤2：任务队列调用智能数据提取和分析系统登录项目管理系统；
步骤3：智能数据提取和分析系统访问项目管理系统的指定页面；
步骤4：智能数据提取和分析系统爬取所述页面的所有数据；
步骤5：智能数据提取和分析系统根据规则集逐条分析数据，并记录分析结果及原因；
步骤6：智能数据提取和分析系统分析出需要进一步访问的URL信息；
步骤7：智能数据提取和分析系统访问其中一个未访问过且需要进一步访问的特定页面；
步骤8：重复执行步骤4～步骤7，直到所有需要进一步访问的特定页面均被访问和分析；
步骤9：智能数据提取和分析系统生成检查报告，并通知任务队列；
步骤10：任务队列启动通知服务模块；
步骤11：通知服务模块生成通知信息，并将生成的通知信息及检查报告发送给管理人员。
作为一种实施方式，步骤1之前还包括配置步骤：配置智能数据提取和分析系统的登录模块；配置智能数据提取和分析系统的智能分析规则集；配置任务自动化系统的定时器；配置任务自动化系统的系统调用模块；配置任务自动化系统的通知服务模块。
作为一种实施方式，步骤9中智能数据提取和分析系统还对检查报告进行分类(如按规则集、部门、项目)。
作为一种实施方式，规则集包含项目任务主页面分析子规则集、项目任务详情分析子规则集、项目BUG页面分析子规则集。
作为一种实施方式，项目任务主页面分析子规则集包括：
{#如果任务状态为已完成，是否指派给了指定人员的检查。
#任务是否有指派人的检查。
#任务是否有预计时间的检查。
#任务是否有截止时间的检查。
#任务是否超过截止时间的检查。
#如果某特定任务预计超过预设小时(如8小时)，则必须分解为子任务的检查。}
项目任务详情分析子规则集包括：
{#已完成任务是否有备注的检查。
#已取消任务是否有备注的检查。
#预计时间是否小于实际消耗的预设倍(如3倍)的检查。}
项目BUG页面分析子规则集包括：
{#已解决但未关闭的BUG(包括当前状态为激活，但曾经被标记为已解决)是否有备注原因和解决方案的检查。}
实施例：选用禅道作为项目管理系统，Jenkins作为任务自动化系统及使用Scrapy作为智能数据提取和分析系统的网页爬取框架。采用邮件的方式推送检查报告到管理人员。
配置实施例描述如下：
(1)配置scrapy的登录信息。
(2)编写智能分析规则集。特别地，可使用已有规则集。
(3)登录Jenkins新建任务。特别地，选择构建一个自由风格的软件项目。
(4)配置定时器，如每天12点执行：0 12***。
(5)配置Windows批处理命令以自动化启动智能数据提取和分析系统，例如，其代码为：
“echo首先删除上一次的检查结果。
cd E:\zentaoManagement\zentaoManagement\spiders
e:
for/r.％％a in(.)do@if exist"％％a\.xml"@echo"％％a\.xml"
@for/r.％％a in(.)do@if exist"％％a\.xml"rd/s/q"％％a\.xml"
echo执行程序，并生成xml文件
scrapy crawl zentao_task_spider-o zentaoReport-part1.xml
scrapy crawl zentao_task_details_spider-o zentaoReport-part2.xml
scrapy crawl zentao_bug_spider-o zentaoReport-part3.xml
echo将结果拷贝至Jenkins禅道日常检查项目的目录下
xcopy/y E:\zentaoManagement\zentaoManagement\spiders\zentaoReport*.*D:\Jenkins\Workspace\禅道日常检查\”。
(6)配置邮件信息，其正文如下所述：
“各位好，
附件是禅道检查报告(zentaoReport-part1.xml、zentaoReport-part2.xml、zentaoReport-part3.xml)和日志(build.log，包含时间信息)。
目前包括以下规则：
#如果任务状态为已完成，是否指派给了张三或李四的检查。
#任务是否有指派人的检查。
#任务是否有预计时间的检查。
#任务是否有截止时间的检查。
#任务是否超过截止时间的检查。
#如果某特定任务预计超过8小时，则必须分解为子任务的检查。
以上规则的检查报告为：zentaoReport-part1.xml
#已完成任务是否有备注的检查。
#已取消任务是否有备注的检查。
#预计时间是否小于实际消耗的x倍(暂定3倍)的检查。
以上规则的检查报告为：zentaoReport-part2.xml
#已解决但未关闭的Bug(包括当前状态为激活，但曾经被标记为已解决)是否有备注原因和解决方案的检查。
以上规则的检查报告为：zentaoReport-part3.xml
祝好，
基于网页爬取的项目管理检查系统”。
本发明根据项目任务主页面分析子规则集分析的实施例步骤如下：
(1)Jenkins定时自动启动任务队列。
(2)任务队列调用智能数据提取和分析系统登录项目管理系统。
(3)智能数据提取和分析系统访问项目管理系统的项目主页。
(4)智能数据提取和分析系统爬取该页面的所有信息。
(5)智能数据提取和分析系统分析出所有在研项目的URL信息。
(6)智能数据提取和分析系统访问其中一个未访问过的在研项目URL指向的项目页面。
(7)智能数据提取和分析系统爬取该页面的所有信息。
(8)智能数据提取和分析系统根据规则分析所有项目任务，并加以判断。
(9)若当前项目任务不符合特定规则，则记录任务信息以及不符合的原因。
(10)继续判断下一条任务，直到所有任务都判断完成。
(11)重复执行(6)～(10)，直到所有URL指向的项目页面均被访问和分析。
(12)智能数据提取和分析系统生成XML格式的检查报告。
(13)Jenkins自动获取XML格式的检查报告。
(14)Jenkins通过预先配置好的邮件系统将检查报告发送至管理人员。
本发明根据项目任务详情分析子规则集分析的实施例步骤如下：
(1)Jenkins定时自动启动任务队列。
(2)任务队列调用智能数据提取和分析系统登录项目管理系统。
(3)智能数据提取和分析系统访问项目管理系统的项目主页。
(4)智能数据提取和分析系统爬取该页面的所有信息。
(5)智能数据提取和分析系统分析出所有在研项目的URL信息。
(6)智能数据提取和分析系统访问其中一个未访问过的在研项目URL指向的项目页面。
(7)智能数据提取和分析系统爬取该页面的所有信息。
(8)智能数据提取和分析系统分析出所有任务详情的URL信息。
(9)智能数据提取和分析系统访问其中一个未访问过的任务URL指向的任务详情页面。
(10)智能数据提取和分析系统根据规则分析任务的相关信息，并加以判断。
(11)若当前项目任务不符合规则，则记录任务信息以及不符合的原因。
(12)重复执行(9)～(11)，直到某特定项目所有的任务详情页面均被访问和分析。
(13)重复执行(6)～(12)，直到所有项目的所有任务详情页面均被访问和分析。
(14)智能数据提取和分析系统生成XML格式的检查报告。
(15)Jenkins自动获取XML格式的检查报告。
(16)Jenkins通过预先配置好的邮件系统将检查报告发送至管理人员。
本发明根据项目BUG页面分析子规则集分析的实施例步骤如下：
(1)Jenkins定时自动启动任务队列。
(2)任务队列调用智能数据提取和分析系统登录项目管理系统。
(3)智能数据提取和分析系统访问项目管理系统测试模块下的Bug主页。
(4)智能数据提取和分析系统爬取该页面的所有信息。
(5)智能数据提取和分析系统分析出所有进行中项目Bug的URL信息。
(6)智能数据提取和分析系统访问其中一个未访问过的项目Bug URL指向的项目Bug页面。
(7)智能数据提取和分析系统爬取该页面的所有信息。
(8)智能数据提取和分析系统分析出所有Bug详情的URL信息。
(9)智能数据提取和分析系统访问其中一个未访问过的Bug URL指向的Bug详情页面。
(10)智能数据提取和分析系统根据规则分析Bug的相关信息，并加以判断。
(11)若当前项目Bug不符合规则，则记录Bug信息以及不符合的原因。
(12)重复执行(9)～(11)，直到某特定项目所有的Bug详情页面均被访问和分析。
(13)重复执行(6)～(12)，直到所有项目的所有Bug详情页面均被访问和分析。
(14)智能数据提取和分析系统生成XML格式的检查报告。
(15)Jenkins自动获取XML格式的检查报告。
(16)Jenkins通过预先配置好的邮件系统将检查报告发送至管理人员。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。
Claims (10)
1.一种基于网页爬取的项目管理检查系统，其特征在于，包括智能数据提取和分析系统及任务自动化系统，其中，
智能数据提取和分析系统通过项目管理系统的Web页面爬取数据并进行处理分析，再生成检查报告；智能数据提取和分析系统包括网页爬取框架、登录模块、数据提取模块、智能分析模块、智能分析规则集及报告生成模块；其中，网页爬取框架用于支持登录模块和数据提取模块的实现；登录模块用于登录项目管理系统；数据提取模块用于提取项目管理系统Web页面里的数据；智能分析模块用于将提取的数据依照智能分析规则集进行处理分析；智能分析规则集用于存储数据处理分析的规则；报告生成模块依据处理分析结果生成检查报告；
任务自动化系统用于自动化执行任务，包括定时器、任务队列、系统调用模块及通知服务模块；其中：定时器按照配置在特定时间触发任务队列；任务队列按照顺序执行系统调用及通知服务任务；系统调用模块用于调用智能数据提取和分析系统；通知服务模块用于生成通知的信息，将通知信息和智能数据提取和分析系统生成的检查报告发送至管理人员。
2.如权利要求1所述的基于网页爬取的项目管理检查系统，其特征在于，所述网页爬取框架采用Scrapy或Selenium实现。
3.如权利要求1所述的基于网页爬取的项目管理检查系统，其特征在于，所述智能分析规则集由按照访问层级或按照重要程度分解而成的多个子规则集组成。
4.如权利要求3所述的基于网页爬取的项目管理检查系统，其特征在于，按照访问层级分解的智能分析子规则集包含项目任务主页面分析子规则集、项目任务详情分析子规则集、项目BUG页面分析子规则集，其中，项目任务主页面分析子规则集包括：
如果任务状态为已完成，是否指派给了指定人员的检查；
任务是否有指派人的检查；
任务是否有预计时间的检查；
任务是否有截止时间的检查；
任务是否超过截止时间的检查；及
如果某特定任务预计超过预设小时，则分解为子任务的检查；
项目任务详情分析子规则集包括：
已完成任务是否有备注的检查；
已取消任务是否有备注的检查；及
预计时间是否小于实际消耗的预设倍的检查；
项目BUG页面分析子规则集包括：已解决但未关闭的BUG是否有备注原因和解决方案的检查。
5.如权利要求1所述的基于网页爬取的项目管理检查系统，其特征在于，任务自动化系统采用Jenkins或Windows任务计划程序来实现。
6.一种基于网页爬取的项目管理检查方法，其特征在于，应用于如权利要求1-5中任一项所述的基于网页爬取的项目管理检查系统中，包括：
步骤1：定时启动任务队列；
步骤2：任务队列调用智能数据提取和分析系统登录项目管理系统；
步骤3：智能数据提取和分析系统访问项目管理系统的指定页面；
步骤4：智能数据提取和分析系统爬取所述页面的所有数据；
步骤5：智能数据提取和分析系统根据规则集逐条分析数据，并记录分析结果及原因；
步骤6：智能数据提取和分析系统分析出需要进一步访问的URL信息；
步骤7：智能数据提取和分析系统访问其中一个未访问过且需要进一步访问的特定页面；
步骤8：重复执行步骤4~步骤7，直到所有需要进一步访问的特定页面均被访问和分析；
步骤9：智能数据提取和分析系统生成检查报告，并通知任务队列；
步骤10：任务队列启动通知服务模块；
步骤11：通知服务模块生成通知信息，并将生成的通知信息及检查报告发送给管理人员。
7.如权利要求6所述的基于网页爬取的项目管理检查方法，其特征在于，所述步骤1之前还包括配置步骤：配置智能数据提取和分析系统的登录模块；配置智能数据提取和分析系统的智能分析规则集；配置任务自动化系统的定时器；配置任务自动化系统的系统调用模块；配置任务自动化系统的通知服务模块。
8.如权利要求6所述的基于网页爬取的项目管理检查方法，其特征在于，所述步骤9中智能数据提取和分析系统还对检查报告进行分类。
9.如权利要求6所述的基于网页爬取的项目管理检查方法，其特征在于，所述规则集包含项目任务主页面分析子规则集、项目任务详情分析子规则集、项目BUG页面分析子规则集。
10.如权利要求9所述的基于网页爬取的项目管理检查方法，其特征在于，所述项目任务主页面分析子规则集包括：
如果任务状态为已完成，是否指派给了指定人员的检查；
任务是否有指派人的检查；
任务是否有预计时间的检查；
任务是否有截止时间的检查；
任务是否超过截止时间的检查；及
如果某特定任务预计超过预设小时，则分解为子任务的检查；
项目任务详情分析子规则集包括：
已完成任务是否有备注的检查；
已取消任务是否有备注的检查；及
预计时间是否小于实际消耗的预设倍的检查；
项目BUG页面分析子规则集包括：已解决但未关闭的BUG是否有备注原因和解决方案的检查。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910280252.7A CN109978511A (zh) | 2019-04-09 | 2019-04-09 | 基于网页爬取的项目管理检查系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910280252.7A CN109978511A (zh) | 2019-04-09 | 2019-04-09 | 基于网页爬取的项目管理检查系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109978511A true CN109978511A (zh) | 2019-07-05 |
Family
ID=67083653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910280252.7A Pending CN109978511A (zh) | 2019-04-09 | 2019-04-09 | 基于网页爬取的项目管理检查系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978511A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112527640A (zh) * | 2020-12-04 | 2021-03-19 | 山东中创软件商用中间件股份有限公司 | 缺陷数据可视化处理方法、系统、装置及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706771A (zh) * | 2009-11-06 | 2010-05-12 | 北京理工大学 | 一种基于模板的针对Word文档的智能格式检查方法 |
| CN102254027A (zh) * | 2011-07-29 | 2011-11-23 | 四川长虹电器股份有限公司 | 批量获取网页内容的方法 |
| CN104731971A (zh) * | 2015-04-11 | 2015-06-24 | 淮阴工学院 | 一种校园个性化掌上服务及用户行为习惯分析的实现方法 |
| CN106327039A (zh) * | 2015-06-25 | 2017-01-11 | 中兴通讯股份有限公司 | 周报信息处理方法及装置 |
| CN106897357A (zh) * | 2017-01-04 | 2017-06-27 | 北京京拍档科技股份有限公司 | 一种用于带验证分布式智能爬取网络信息的方法 |
| CN108334629A (zh) * | 2018-02-24 | 2018-07-27 | 电子科技大学 | 一种基于自动化测试框架的电网设备状态数据获取系统 |
-
2019
- 2019-04-09 CN CN201910280252.7A patent/CN109978511A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706771A (zh) * | 2009-11-06 | 2010-05-12 | 北京理工大学 | 一种基于模板的针对Word文档的智能格式检查方法 |
| CN102254027A (zh) * | 2011-07-29 | 2011-11-23 | 四川长虹电器股份有限公司 | 批量获取网页内容的方法 |
| CN104731971A (zh) * | 2015-04-11 | 2015-06-24 | 淮阴工学院 | 一种校园个性化掌上服务及用户行为习惯分析的实现方法 |
| CN106327039A (zh) * | 2015-06-25 | 2017-01-11 | 中兴通讯股份有限公司 | 周报信息处理方法及装置 |
| CN106897357A (zh) * | 2017-01-04 | 2017-06-27 | 北京京拍档科技股份有限公司 | 一种用于带验证分布式智能爬取网络信息的方法 |
| CN108334629A (zh) * | 2018-02-24 | 2018-07-27 | 电子科技大学 | 一种基于自动化测试框架的电网设备状态数据获取系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112527640A (zh) * | 2020-12-04 | 2021-03-19 | 山东中创软件商用中间件股份有限公司 | 缺陷数据可视化处理方法、系统、装置及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10019677B2 (en) | Active policy enforcement | |
| US9105000B1 (en) | Aggregating data from a plurality of data sources | |
| US8601323B2 (en) | Advanced management of runtime errors | |
| US8271949B2 (en) | Self-healing factory processes in a software factory | |
| US20150281287A1 (en) | Policy/rule engine, multi-compliance framework and risk remediation | |
| CN110457556B (zh) | 分布式爬虫系统架构、爬取数据的方法和计算机设备 | |
| US10043156B2 (en) | System and method for cross enterprise collaboration | |
| WO2011063269A1 (en) | Method and apparatus for risk visualization and remediation | |
| EP4124956A1 (en) | Automated system and method for detection and remediation of anomalies in robotic process automation environment | |
| Amirian et al. | Using big data analytics to extract disease surveillance information from point of care diagnostic machines | |
| US9639411B2 (en) | Impact notification system | |
| CN110555074A (zh) | 定时抽取和加工数据的方法、终端及计算机可读存储介质 | |
| CN109636307A (zh) | 河长app的系统结构 | |
| CN115841310A (zh) | 预案流程模型的构建方法、事件处理方法和装置 | |
| US8601010B1 (en) | Application management database with personnel assignment and automated configuration | |
| Paradkar | Mastering non-functional requirements | |
| CN109978511A (zh) | 基于网页爬取的项目管理检查系统及方法 | |
| US20220036286A1 (en) | Scheduled Log Instantiation | |
| CN113791943A (zh) | 网站实时监控方法、系统、设备及存储介质 | |
| CN103414717A (zh) | 一种关于c/s结构业务系统的仿真监控方法和系统 | |
| CN116010066A (zh) | 一种rpa机器人及实现方法 | |
| CN115775132A (zh) | 离职待办事项的自动生成系统、方法、装置和存储介质 | |
| CN114723397A (zh) | 一种流程执行方法及装置 | |
| JP7359544B2 (ja) | 作業自動指示システム、方法及びプログラム | |
| CN114816943A (zh) | 企业智能云运维系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190705 |
|
| RJ01 | Rejection of invention patent application after publication |