CN112235358A - 数据的采集方法、装置、电子设备及计算机可读存储介质 - Google Patents

数据的采集方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112235358A
CN112235358A CN202011011875.3A CN202011011875A CN112235358A CN 112235358 A CN112235358 A CN 112235358A CN 202011011875 A CN202011011875 A CN 202011011875A CN 112235358 A CN112235358 A CN 112235358A
Authority
CN
China
Prior art keywords
data
target data
acquisition
target
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011011875.3A
Other languages
English (en)
Inventor
仝宗健
李登宇
张同虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202011011875.3A priority Critical patent/CN112235358A/zh
Publication of CN112235358A publication Critical patent/CN112235358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供了一种数据的采集方法、装置、电子设备及计算机可读存储介质。该方法包括：在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。

Description

数据的采集方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机技术领域，具体而言，本申请涉及一种数据的采集方法、装置、电子设备及计算机可读存储介质。
背景技术
在移动互联网和互联网金融高速发展的当前，金融行业的各项主要业务均完成了在线化、移动化，金融科技、智慧金融体系等概念应运而生。与其他同样被高频使用的互联网服务不同，金融行业的特殊性使得其互联网/信息技术系统对质量管理的要求非常高，高标准的质量管理是建设智慧金融体系的最有效保障手段。
质量管理工作的最重要部分之一是建立面向软件全生命周期的质量管理体系，而软件全生命周期中的需求分析、设计、开发、各类测试等不同环节的工作性质不同，如果将质量管理工作下沉到每个具体的环节，需要各个环节的工作人员进行数据采集和指标分析，并提交质量报告，在实际的工作流程中这样的方式会加重各环节工作人员的负担，无法保证数据的时效性，并且在需要结合不同环节质量数据进行质量管理分析时多有不便。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：
第一方面，本申请实施例提供了一种数据的采集方法，该方法包括：
在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；
基于采集策略采集目标数据。
可选地，数据源包括HTTP数据源，基于采集策略采集目标数据，包括：
将目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。
可选地，数据源包括本地报表文件，基于采集策略采集目标数据，包括：
当检测到用户上传的本地报表文件时，对本地报表文件进行文件数据解析，得到目标数据。
可选地，数据源包括在线报表文件系统，基于采集策略采集目标数据，包括：
将目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；
对目标报表文件进行文件数据解析，得到目标数据。
可选地，数据源包括数据库，基于采集策略采集目标数据，包括：
通过SQL语句从数据库获取目标数据。
可选地，在采集目标数据之前，方法还包括：
对已采集数据进行前置处理。
可选地，前置处理包括以下至少一项：
对已采集数据进行标记；
对已采集数据进行清理。
可选地，在采集目标数据之后，上述方法还包括：
基于已采集数据以及目标数据，确定比对数据。
可选地，上述方法还包括：
对目标数据和\或比对数据进行可视化展示。
第二方面，本申请实施例提供了一种数据的采集装置，该装置包括：
采集策略确定模块，用于在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；
数据采集模块，用于基于采集策略采集目标数据。
可选地，数据源包括HTTP数据源，采集策略确定模块在基于采集策略采集目标数据时，具体用于：
将目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。
可选地，数据源包括本地报表文件，采集策略确定模块在基于采集策略采集目标数据时，具体用于：
当检测到用户上传的本地报表文件时，对本地报表文件进行文件数据解析，得到目标数据。
可选地，数据源包括在线报表文件系统，采集策略确定模块在基于采集策略采集目标数据时，具体用于：
将目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；
对目标报表文件进行文件数据解析，得到目标数据。
可选地，数据源包括数据库，采集策略确定模块在基于采集策略采集目标数据时，具体用于：
通过SQL语句从数据库获取目标数据。
可选地，上述装置还包括：
前置处理模块，用于在采集目标数据之前，对已采集数据进行前置处理。
可选地，前置处理包括以下至少一项：
对已采集数据进行标记；
对已采集数据进行清理。
可选地，上述装置还包括：
数据比对模块，用于在采集目标数据之后，基于已采集数据以及目标数据，确定比对数据。
可选地，上述装置还包括：
可视化模块，用于对目标数据和\或比对数据进行可视化展示。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行如本申请的第一方面的任一实施方式中所示的数据的采集方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请的第一方面的任一实施方式中所示的数据的采集方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请实例提供的方案，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种数据的采集方法的流程示意图；
图2为本申请实施例提供的一种数据采集方法的具体实施方式的流程示意图；
图3为本申请实施例提供的一种数据的采集装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1示出了本申请实施例提供的一种数据的采集方法的流程示意图，如图1所示，该方法主要可以包括：
步骤S110：在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；
步骤S120：基于采集策略采集目标数据。
本申请实施例中，为展示软件全生命周期中的各个阶段的质量管理情况，需要将软件全生命周期中各个阶段相应的质量管理数据作为量化的基础，而不同阶段的数据来源往往也各不相同，基于数据来源的多样性，本申请实施例中的数据源可以包括：HTTP(HyperText Transfer Protocol，超文本传输协议)数据源，本地报表文件，在线报表文件系统以及数据库。
本申请实施例中，可以在软件全生命周期中设置指定阶段，并从指定阶段的数据源中采集目标数据，以便通过各指定阶段的目标数据实现对软件全生命周期的质量管理。由于各数据源中目标数据的采集方式并不相同，因此可以针对不同的指定阶段，分别配置采集策略，以便获取不同指定阶段的目标数据。
本申请实例提供的方法，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同指定阶段采集到的数据进行质量管理分析。
本申请实施例的一种可选方式中，数据源包括超HTTP数据源，基于采集策略采集目标数据，包括：
将目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。
本申请实施例中，可以通过HTTP请求获取JSON格式数据的数据源，并通过代理接口获取。HTTP数据源的定义可以包含请求地址、请求类型、请求头、请求体、登录授权、响应数据获取路径、数据落库对照表、数据存储表结构等。其中，请求地址、请求类型、请求头以及请求体可以用于定义第一HTTP请求，登录授权用于完成登录以及权限验证，响应数据获取路径、数据落库对照表以及数据存储表结构用于获取目标数据。
本申请实施例的一种可选方式中，数据源包括本地报表文件，基于采集策略采集目标数据，包括：
当检测到用户上传的本地报表文件时，对本地报表文件进行文件数据解析，得到目标数据。
本申请实施例中，用户可以手动上传本地报表文件，从而通过本地报表文件进行文件数据解析，得到目标数据。
在实际使用中，本地报表文件可以为EXCEL格式的报表文件。
本申请实施例的一种可选方式中，数据源包括在线报表文件系统，基于采集策略采集目标数据，包括：
将目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；
对目标报表文件进行文件数据解析，得到目标数据。
本申请实施例中，在线报表文件系统可以为IT管理系统等。可以通过HTTP请求的形式获取对目标报表文件进行数据采集和处理。在实际使用中，目标报表文件可以为EXCEL格式的报表文件。
网络EXCEL数据源的定义包含请求地址、请求类型、请求头、请求体、登录授权、EXCEL表头解析选择信息、数据存储表结构等。
本申请实施例的一种可选方式中，数据源包括数据库，基于采集策略采集目标数据，包括：
通过SQL语句从数据库获取目标数据。
本申请实施例中，还可以通过SQL语句直连相应数据库并选择数据的方式进行数据抽取和处理。数据库的数据源的定义可以包含数据库连接串、数据选择SQL语句、数据存储表结构等。
本申请实施例的一种可选方式中，在采集目标数据之前，方法还包括：
对已采集数据进行前置处理。
本申请实施例中，已采集数据可以为已经采集并存储的目标数据。可以在采集目标数据之前，对已采集数据进行前置处理。具体而言，前置处理可以包括对已采集数据进行标记，以及对已采集数据进行清理。
本申请实施例的一种可选方式中，在采集目标数据之后，方法还包括：
基于已采集数据以及目标数据，确定比对数据。
本申请实施例中，采集目标数据之后，可以基于已采集数据以及目标数据，确定比对数据。例如，比对数据可以为根据已采集数据与目标数据进行预定计算，得到比对数据。
本申请实施例的一种可选方式中，上述方法还包括：
对目标数据和\或比对数据进行可视化展示。
本申请实施例中，在完成目标数据的采集之后，可以进行可视化处理，生成相应的页面和图标，本申请实施例中，可以根据采集到的数据存储的数据表结构，自动生成相应数据表展示前端页面和后端数据提供接口的代码，快速完成数据的基础展示。另外，也可通过灵活的配置，在已采集到的数据中筛选部分数据项，选择Echarts提供的图表样式作为可视化形式，生成相应的可视化图表展示前端页面和后端数据提供接口的代码，快速完成质量管理数据的可视化展示。
图2中示出了本申请实施例提供的一种数据采集方法的具体实施方式的流程示意图。
如图2中所示，网络EXCLE数据源，即在线报表文件系统。DB数据源，即数据库。EXCLE数据源，即本地报表文件。
可以对HTTP数据源以及在线报表文件系统进行一次或者多次的数据采集，具体而言，可以定时或者循环采集数据。循环执行，即从数据库或http接口中获取一系列循环参数数据，循环调用，每份参数数据对应一次循环执行，从而一次性采集大量数据，循环执行过程可以定义在单次执行中遇到错误时，是否自动跳过该次执行继续之后的循环。
登录/代理，其中，登录即进行登录验证：定义并保存登录信息。在使用HTTP数据源和网络EXCEL数据源获取数据均要发送HTTP请求，定义数据源时可以从已保存的登录信息中选择合适的完成登录和权限验证。代理，即定义并保存代理信息，部分HTTP数据源和网络EXCEL数据源获取数据发送HTTP请求时需要经由代理。
参数传递，即在执行数据获取时将定义好的参数传递给数据源。与此同时一个数据源获取最终数据往往不是发送一次HTTP请求就能够完成的，而发送的多次HTTP请求间需要一些参数作为桥梁，参数传递功能也提供了不同步骤之间的参数传递。
连接数据库，即定义数据库连接，用于DB数据源使用SQL获取数据前的登录验证。
可以定时建立任务，通过数据源建立定时任务，同时定义执行数据源时使用的参数，可以支持循环执行和分步执行。
定时任务执行，即以CRON表达式定义任务执行的时间和频次，自动采集已经完成定义的质量管理数据，按定义好的数据表结构存储到数据库中。例如，在异常管理方面每2小时扫描一次之前2小时内执行失败的任务，默认重新执行一次，再次失败即发送邮件通知任务负责人进行排查。
本发明提出了一种装置，能将金融领域软件全生命周期中的各个阶段、各个技术指标数据进行统一的采集和处理、通过不同的维度可视化展示出来，从而建立一个灵活、透明、可回溯、可审计的质量控制管理平台，在不增加各环节开发测试人员工作负担的情况下，对整个系统的质量管理状况进行量化、整合和展示，令全方位的把控整个系统的质量管理情况成为可能。
基于与图1中所示的方法相同的原理，图3示出了本申请实施例提供的一种数据的采集装置的结构示意图，如图3所示，该数据的采集装置20可以包括：
采集策略确定模块210，用于在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；
数据采集模块220，用于基于采集策略采集目标数据。
本申请实例提供的装置，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。
可选地，数据源包括HTTP数据源，采集策略确定模块在基于采集策略采集目标数据时，具体用于：
将目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。
可选地，数据源包括本地报表文件，采集策略确定模块在基于采集策略采集目标数据时，具体用于：
当检测到用户上传的本地报表文件时，对本地报表文件进行文件数据解析，得到目标数据。
可选地，数据源包括在线报表文件系统，采集策略确定模块在基于采集策略采集目标数据时，具体用于：
将目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；
对目标报表文件进行文件数据解析，得到目标数据。
可选地，数据源包括数据库，采集策略确定模块在基于采集策略采集目标数据时，具体用于：
通过SQL语句从数据库获取目标数据。
可选地，上述装置还包括：
前置处理模块，用于在采集目标数据之前，对已采集数据进行前置处理。
可选地，前置处理包括以下至少一项：
对已采集数据进行标记；
对已采集数据进行清理。
可选地，上述装置还包括：
数据比对模块，用于在采集目标数据之后，基于已采集数据以及目标数据，确定比对数据。
可选地，上述装置还包括：
可视化模块，用于对目标数据和\或比对数据进行可视化展示。
可以理解的是，本实施例中的数据的采集装置的上述各模块具有实现图1中所示的实施例中的数据的采集方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述数据的采集装置的各模块的功能描述具体可以参见图1中所示实施例中的数据的采集方法的对应描述，在此不再赘述。
本申请实施例提供了一种电子设备，包括处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行本申请任一实施方式中所提供的数据的采集方法。
作为一个示例，图4示出了本申请实施例所适用的一种电子设备的结构示意图，如图4所示，该电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选的，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。
其中，处理器2001应用于本申请实施例中，用于实现上述方法实施例所示的方法。收发器2004可以包括接收机和发射机，收发器2004应用于本申请实施例中，用于执行时实现本申请实施例的电子设备与其他设备通信的功能。
处理器2001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现本申请任一实施方式中所提供的数据的采集方法。
本申请实施例提供的电子设备，适用于上述方法任一实施例，在此不再赘述。
本申请实施例提供了一种电子设备，与现有技术相比，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述方法实施例所示的数据的采集方法。
本申请实施例提供的计算机可读存储介质，适用于上述方法任一实施例，在此不再赘述。
本申请实施例提供了一种计算机可读存储介质，与现有技术相比，在对软件生命周期中指定阶段的目标数据进行采集时，基于目标数据的数据源确定采集策略；基于采集策略采集目标数据。基于本方案，通过对在软件全生命周期中的各指定阶段分别设置采集策略，从而根据采集策略分别采集各指定阶段的目标数据，以便基于各指定阶段的目标数据实现对软件全生命周期的质量管理，能够实现对数据的自动采集，避免人工进行数据采集造成的工作人员的负担，能够保证数据采集的时效性，同时有利于结合不同阶段采集到的数据进行质量管理分析。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种数据的采集方法，其特征在于，包括：
在对软件生命周期中指定阶段的目标数据进行采集时，基于所述目标数据的数据源确定采集策略；
基于所述采集策略采集所述目标数据。
2.根据权利要求1所述的方法，其特征在于，所述数据源包括超文本传输协议HTTP数据源，所述基于所述采集策略采集所述目标数据，包括：
将所述目标数据的第一HTTP请求发送至第一代理接口，并接收第一代理接口返回的目标数据。
3.根据权利要求1所述的方法，其特征在于，所述数据源包括本地报表文件，所述基于所述采集策略采集所述目标数据，包括：
当检测到用户上传的本地报表文件时，对所述本地报表文件进行文件数据解析，得到所述目标数据。
4.根据权利要求1所述的方法，其特征在于，所述数据源包括在线报表文件系统，所述基于所述采集策略采集所述目标数据，包括：
将所述目标数据的第二HTTP请求发送至第二代理接口，并接收第二代理接口返回的目标报表文件；
对所述目标报表文件进行文件数据解析，得到所述目标数据。
5.根据权利要求1所述的方法，其特征在于，所述数据源包括数据库，所述基于所述采集策略采集所述目标数据，包括：
通过SQL语句从所述数据库获取所述目标数据。
6.根据权利要求1-5中任一项所述的方法，其特征在于，在采集所述目标数据之前，所述方法还包括：
对已采集数据进行前置处理。
7.根据权利要求6所述的方法，其特征在于，所述前置处理包括以下至少一项：
对所述已采集数据进行标记；
对所述已采集数据进行清理。
8.根据权利要求1-5中任一项所述的方法，其特征在于，在采集所述目标数据之后，所述方法还包括：
基于已采集数据以及所述目标数据，确定比对数据。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对所述目标数据和\或所述比对数据进行可视化展示。
10.一种数据的采集装置，其特征在于，包括：
采集策略确定模块，用于在对软件生命周期中指定阶段的目标数据进行采集时，基于所述目标数据的数据源确定采集策略；
数据采集模块，用于基于所述采集策略采集所述目标数据。
11.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的方法。
CN202011011875.3A 2020-09-23 2020-09-23 数据的采集方法、装置、电子设备及计算机可读存储介质 Pending CN112235358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011011875.3A CN112235358A (zh) 2020-09-23 2020-09-23 数据的采集方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011011875.3A CN112235358A (zh) 2020-09-23 2020-09-23 数据的采集方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112235358A true CN112235358A (zh) 2021-01-15

Family

ID=74107691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011011875.3A Pending CN112235358A (zh) 2020-09-23 2020-09-23 数据的采集方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112235358A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597062A (zh) * 2021-02-04 2021-04-02 北京关键科技股份有限公司 军用软件结构化质量数据抽取方法、装置及软件测试装置
CN112948216A (zh) * 2021-03-16 2021-06-11 广州虎牙科技有限公司 数据采集方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174208A (zh) * 2007-11-28 2008-05-07 山东浪潮齐鲁软件产业股份有限公司 一种软件生产线平台的实现方法
CN104572122A (zh) * 2015-01-28 2015-04-29 中国工商银行股份有限公司 一种软件应用数据的生成装置及方法
US10110635B1 (en) * 2016-09-28 2018-10-23 Amazon Technologies, Inc. Device policy composition and management system
CN109240929A (zh) * 2018-09-18 2019-01-18 百度在线网络技术（北京）有限公司 软件质量预测方法、装置、终端和计算机可读存储介质
US10353619B1 (en) * 2012-06-11 2019-07-16 Veritas Technologies Llc Systems and methods for applying storage lifecycle policies to backups
CN110276457A (zh) * 2019-05-30 2019-09-24 深圳华远云联数据科技有限公司 设备的全生命周期数据处理方法及系统
CN111273890A (zh) * 2020-01-20 2020-06-12 广东金赋科技股份有限公司 一种软件开发过程的质量监控方法、平台及存储介质
CN111447170A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统及计算机可读介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174208A (zh) * 2007-11-28 2008-05-07 山东浪潮齐鲁软件产业股份有限公司 一种软件生产线平台的实现方法
US10353619B1 (en) * 2012-06-11 2019-07-16 Veritas Technologies Llc Systems and methods for applying storage lifecycle policies to backups
CN104572122A (zh) * 2015-01-28 2015-04-29 中国工商银行股份有限公司 一种软件应用数据的生成装置及方法
US10110635B1 (en) * 2016-09-28 2018-10-23 Amazon Technologies, Inc. Device policy composition and management system
CN109240929A (zh) * 2018-09-18 2019-01-18 百度在线网络技术（北京）有限公司 软件质量预测方法、装置、终端和计算机可读存储介质
CN111447170A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统及计算机可读介质
CN110276457A (zh) * 2019-05-30 2019-09-24 深圳华远云联数据科技有限公司 设备的全生命周期数据处理方法及系统
CN111273890A (zh) * 2020-01-20 2020-06-12 广东金赋科技股份有限公司 一种软件开发过程的质量监控方法、平台及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597062A (zh) * 2021-02-04 2021-04-02 北京关键科技股份有限公司 军用软件结构化质量数据抽取方法、装置及软件测试装置
CN112948216A (zh) * 2021-03-16 2021-06-11 广州虎牙科技有限公司 数据采集方法、装置、设备及存储介质
CN112948216B (zh) * 2021-03-16 2023-01-06 广州虎牙科技有限公司 数据采集方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109408337B (zh) 一种接口运维的方法及装置
CN108628748B (zh) 自动化测试管理方法和自动化测试管理系统
CN111522728A (zh) 自动化测试用例的生成方法、电子设备及可读存储介质
CN106293891B (zh) 多维投资指标监督方法
US9311345B2 (en) Template based database analyzer
CN112235358A (zh) 数据的采集方法、装置、电子设备及计算机可读存储介质
CN112286806A (zh) 自动化测试方法、装置、存储介质及电子设备
CN112380255A (zh) 一种业务处理方法、装置、设备和存储介质
CN110955715A (zh) Erp系统和目标平台的数据转换方法、装置以及电子设备
CN109871368B (zh) 数据库检测方法、装置、计算机装置及存储介质
CN111190827A (zh) 接口自动化测试方法、装置、存储介质及电子设备
CN110740071A (zh) 一种网络接口监控的方法、装置及系统
CN107133233B (zh) 一种配置数据查询的处理方法及装置
CN111367754A (zh) 数据监控方法、装置、计算机设备及存储介质
CN106648722B (zh) 基于大数据的Flume接收端数据处理方法和装置
CN111309743A (zh) 报表推送方法及装置
CN114185871A (zh) 数据迁移方法、数据迁移装置、介质及电子设备
CN110134583B (zh) 软件测试及数据处理方法及装置
CN117561518A (zh) 用于检测和解释异常的方法和设备
CN117609315B (zh) 一种数据处理方法、装置、设备及可读存储介质
WO2018134680A1 (en) System and method for integrating disparate computer systems and applications
CN114826909B (zh) 服务器生产指令信息维护系统、方法、装置及存储介质
CN113448820B (zh) 网页测试方法及装置
CN116627787A (zh) 一种sql语句的性能分析方法、装置、计算机设备和介质
CN115185824A (zh) 接口测试脚本开发方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination