CN110109696A - 一种数据收集的方法 - Google Patents
一种数据收集的方法 Download PDFInfo
- Publication number
- CN110109696A CN110109696A CN201910390614.8A CN201910390614A CN110109696A CN 110109696 A CN110109696 A CN 110109696A CN 201910390614 A CN201910390614 A CN 201910390614A CN 110109696 A CN110109696 A CN 110109696A
- Authority
- CN
- China
- Prior art keywords
- project
- information
- frame
- data collection
- collected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据收集的方法，该方法包括以下步骤：S1：设置研发项目资产收集引擎；S2：将项目资产收集引擎嵌入到项目发布流程中；S3：当项目发布时触发资产收集引擎；S4：资产收集引擎将识别出来的项目数据存储到资产数据库中；S5：设置项目信息搜索页面搜索资产数据库，快速定位所有项目。本发明能够实现快速定位项目，提高数据收集和处理的效率，减少工作量，缩短修复周期，避免出现遗漏。
Description
技术领域
本发明属于计算机技术领域，特别地，涉及一种用于项目资产的数据收集的方法。
背景技术
随着企业的发展壮大，维护成本会随着项目的增加而增加，单个项目的资产数据也会也来越多，当项目中框架、组件、路由地址存在安全漏洞时，往往需要很长时间才能确定存在问题的项目，导致安全漏洞不能快速得到修复，扩大了漏洞影响。项目资产也难以得到统计和评估，目前行业中主要采用的方法为人工排查，这种方式排查工作量大，容易出现遗漏，使修复周期增长。因此，需要一种用于项目资产的数据收集方法。
发明内容
针对现有技术中的不足，本发明提供一种数据收集的方法，主要解决发现框架、组件、路由存在安全漏洞时，无法快速定位项目、遗漏项目、增加修复周期的问题。
为达到上述目的，本发明提供如下技术方案：
一种项目资产数据收集的方法，该方法包括以下步骤：
S1，设置项目资产收集引擎；
S2，将所述项目资产收集引擎嵌入到项目发布流程中；
S3，当项目发布时，触发所述资产收集引擎；
S4，所述资产收集引擎识别出项目数据，并将识别出来的项目数据存储到资产数据库中；
S5，设置项目信息搜索页面，用于搜索所述资产数据库，实现所有项目的定位。
进一步，所述项目资产收集引擎用于实现组件信息收集、框架信息收集和路由信息收集。
进一步，所述组件信息收集是收集组件名称和组件版本。
进一步，所述组件信息收集的方法为：
方法一：通过打包项目获取组件信息；或方法二：通过读取依赖配置文件，用正则的方式将组件的依赖信息匹配出来。
进一步，所述方法一包括：JAVA项目执行mvn package，执行成功后，所有的组件会被放到项目的特定目录中，此时只需要读取这些组件就完成组件信息的收集。
进一步，所述框架信息收集是收集框架名称和框架版本。
进一步，所述框架分为自行研发框架和第三方研发框架。
进一步，所述框架信息收集为：将框架引入到项目中才能正常使用，通过正则匹配或是核心组件识别完成信息收集。
进一步，所述路由信息收集是收集路由地址和请求方法。
进一步，所述路由信息收集的方法为正则匹配。
本发明的有益效果体现在：本发明通过对属于项目资产数据的快速收集和处理，能够实现快速定位项目，同时减少工作量，缩短修复周期，更重要的是，不会出现遗漏。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为根据本发明的数据收集方法的示例性流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，为一种项目资产数据收集的方法，该方法包括以下步骤：
S1：设置一套项目资产收集引擎；
S2：将项目资产收集引擎嵌入到项目发布流程中；
S3：当项目发布时触发资产收集引擎；
S4：资产收集引擎将识别出来的项目数据存储到资产数据库中；
S5：设置一个项目信息搜索页面搜索资产数据库则能够快速定位所有项目。
在具体应用场景中，首先我们需要研发一套项目资产收集引擎，资产搜集引擎主要实现组件信息收集、框架信息收集、路由信息收集三大功能。
在一些实施例中，组件信息收集主要有两种方法。
第一种是通过打包项目获取组件信息，比如JAVA项目执行mvn package，执行成功后，所有的组件会被放到项目的特定目录中，此时只需要读取这些组件就可以完成组件信息的收集。
在一个实施例中，所述通过打包项目获取组件信息包括：JAVA项目执行mvnpackage，执行成功后，所有的组件被放到项目的特定目录中，读取这些组件完成组件信息的收集。
在一些实施例中，项目打包优选代码：
第二种是通过读取依赖配置文件，用正则的方式将组件的依赖信息匹配出来。组件信息主要收集组件名称和组件版本。
在一些实施例中，组件信息收集优选代码：
在一些实施例中，所述框架信息收集包括收集框架名称和框架版本。所述框架包括自行研发框架和第三方研发框架。其中，所述框架信息收集包括：将框架引入到项目中，通过正则匹配和/或核心组件识别完成信息收集。
框架信息收集方法相对简洁，框架分为自行研发和第三方研发，不管是自己研发还是第三研发，都需要将框架引入到项目中才能正常使用，可以通过正则匹配或是核心组件识别完成信息收集，框架信息主要收集框架名称和框架版本等数据。
在一些实施例中，所述路由信息收集包括收集路由地址和请求方法。所述路由信息收集包括通过正则匹配收集路由信息。
路由信息的收集方法主要依赖于正则匹配，中间主要的难点在于互联网上存在各种各样的框架，每一种框架路由的写法不同，通过正则匹配需要写许多的正则。但可以换种思路解决这种问题，企业对于项目的研发往往会统一使用框架，所以正则只需支持这些框架即可。将研发好项目资产收集引擎嵌入到项目发布流程中，这样可以100％覆盖所有项目。
当项目发布时，触发资产收集引擎，资产引擎对组件信息、路由信息、框架信息进行收集，然后将项目基础信息(如：项目名称，项目地址等)和资产引擎识别出来的所有数据存储到资产数据库中。
最后开发一个搜索页面，支持搜索项目名称、项目地址、语言、组件、路由等信息，即可快速实现项目定位。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的项目资产数据收集的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
需要说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种数据收集的方法，其特征在于，包括以下步骤：
S1，设置项目资产收集引擎；
S2，将所述项目资产收集引擎嵌入到项目发布流程中；
S3，当项目发布时，自动触发所述资产收集引擎；
S4，所述资产收集引擎识别出项目数据，并将识别出来的项目数据存储到资产数据库中；
S5，设置项目信息搜索页面，所述项目信息搜索页面用于搜索所述资产数据库，从而实现项目的定位。
2.根据权利要求1所述的数据收集的方法，其中，所述项目资产收集引擎用于实现组件信息收集、框架信息收集和/或路由信息收集中的一个或多个。
3.根据权利要求2所述的数据收集的方法，其中，所述组件信息收集包括收集组件名称和组件版本。
4.根据权利要求2所述的数据收集的方法，其中，所述组件信息收集的方法为：通过打包项目获取组件信息；
和/或通过读取依赖配置文件，用正则的方式将组件的依赖信息匹配出来。
5.根据权利要求4所述的数据收集的方法，其中，所述通过打包项目获取组件信息包括：JAVA项目执行mvn package，执行成功后，所有的组件被放到项目的特定目录中，读取这些组件完成组件信息的收集。
6.根据权利要求2所述的数据收集的方法，其中，所述框架信息收集包括收集框架名称和框架版本。
7.根据权利要求2所述的数据收集的方法，其中，所述框架包括自行研发框架和第三方研发框架。
8.根据权利要求2所述的数据收集的方法，其中，所述框架信息收集包括：将框架引入到项目中，通过正则匹配和/或核心组件识别完成信息收集。
9.根据权利要求2所述的数据收集的方法，其中，所述路由信息收集包括收集路由地址和请求方法。
10.根据权利要求2所述的数据收集的方法，其中，所述路由信息收集包括通过正则匹配收集路由信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910390614.8A CN110109696A (zh) | 2019-05-10 | 2019-05-10 | 一种数据收集的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910390614.8A CN110109696A (zh) | 2019-05-10 | 2019-05-10 | 一种数据收集的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110109696A true CN110109696A (zh) | 2019-08-09 |
Family
ID=67489468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910390614.8A Pending CN110109696A (zh) | 2019-05-10 | 2019-05-10 | 一种数据收集的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110109696A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040260947A1 (en) * | 2002-10-21 | 2004-12-23 | Brady Gerard Anthony | Methods and systems for analyzing security events |
| CN105871845A (zh) * | 2016-03-31 | 2016-08-17 | 深圳市深信服电子科技有限公司 | Web漏洞扫描行为的检测方法及装置 |
| CN106446691A (zh) * | 2016-11-24 | 2017-02-22 | 工业和信息化部电信研究院 | 检测软件中集成或定制的开源项目漏洞的方法和装置 |
| CN107426191A (zh) * | 2017-06-29 | 2017-12-01 | 上海凯岸信息科技有限公司 | 一种漏洞预警及应急响应自动告警系统 |
| CN108183895A (zh) * | 2017-12-26 | 2018-06-19 | 广东电网有限责任公司信息中心 | 一种网络资产信息采集系统 |
| CN108712396A (zh) * | 2018-04-27 | 2018-10-26 | 广东省信息安全测评中心 | 网络资产管理与漏洞治理系统 |
-
2019
- 2019-05-10 CN CN201910390614.8A patent/CN110109696A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040260947A1 (en) * | 2002-10-21 | 2004-12-23 | Brady Gerard Anthony | Methods and systems for analyzing security events |
| CN105871845A (zh) * | 2016-03-31 | 2016-08-17 | 深圳市深信服电子科技有限公司 | Web漏洞扫描行为的检测方法及装置 |
| CN106446691A (zh) * | 2016-11-24 | 2017-02-22 | 工业和信息化部电信研究院 | 检测软件中集成或定制的开源项目漏洞的方法和装置 |
| CN107426191A (zh) * | 2017-06-29 | 2017-12-01 | 上海凯岸信息科技有限公司 | 一种漏洞预警及应急响应自动告警系统 |
| CN108183895A (zh) * | 2017-12-26 | 2018-06-19 | 广东电网有限责任公司信息中心 | 一种网络资产信息采集系统 |
| CN108712396A (zh) * | 2018-04-27 | 2018-10-26 | 广东省信息安全测评中心 | 网络资产管理与漏洞治理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10289541B2 (en) | Source code flow analysis using information retrieval | |
| CN109359939A (zh) | 业务数据校验方法、装置、计算机设备和存储介质 | |
| CN110287097A (zh) | 批量测试方法、装置及计算机可读存储介质 | |
| CN107644286A (zh) | 工作流处理方法及装置 | |
| US10404526B2 (en) | Method and system for generating recommendations associated with client process execution in an organization | |
| CN111176867A (zh) | 数据共享交换及开放应用平台 | |
| CN111191228A (zh) | 一种业务处理方法及装置、设备、存储介质 | |
| CN111881105B (zh) | 业务数据的标注模型及其模型训练方法 | |
| CN116245670B (zh) | 基于双标签模型处理财税数据的方法、装置、介质和设备 | |
| JP4848128B2 (ja) | データベース・システム、データベース・システムのためのコンピュータ実行可能な方法、プログラムおよびデータベース・システムにおける索引テーブルをアップデートする方法 | |
| Mannhardt et al. | Extending process logs with events from supplementary sources | |
| US20100251207A1 (en) | Framework for variation oriented analysis for service-oriented architecture | |
| CN102385511B (zh) | 跨动态边界的运行时分析的可视化 | |
| Farwick et al. | On enterprise architecture change events | |
| Xiong et al. | ShenZhen transportation system (SZTS): a novel big data benchmark suite | |
| CN112579655A (zh) | 一种整合客户画像指标的方法、装置及设备 | |
| CN106708869B (zh) | 一种群组数据处理的方法及装置 | |
| CN110109696A (zh) | 一种数据收集的方法 | |
| US11651281B2 (en) | Feature catalog enhancement through automated feature correlation | |
| Mihon et al. | Ogc compliant services for remote sensing processing over the grid infrastructure | |
| Peña et al. | Reusing legacy systems in a service-oriented architecture: a model-based analysis | |
| CN112288133A (zh) | 一种算法服务处理方法和装置 | |
| CN110175886A (zh) | 一种订单信息关联方法、系统、装置和存储介质 | |
| US20220342903A1 (en) | A data extraction method | |
| Xu et al. | A task scenario oriented test requirement modeling method for complex SOA-based system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190809 |