CN113535835A - 内核数据处理软件的数据采集方法、装置、介质及设备 - Google Patents

内核数据处理软件的数据采集方法、装置、介质及设备 Download PDF

Info

Publication number
CN113535835A
CN113535835A CN202110784124.3A CN202110784124A CN113535835A CN 113535835 A CN113535835 A CN 113535835A CN 202110784124 A CN202110784124 A CN 202110784124A CN 113535835 A CN113535835 A CN 113535835A
Authority
CN
China
Prior art keywords
data
target data
data processing
program
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110784124.3A
Other languages
English (en)
Inventor
顾安乐
潘子阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202110784124.3A priority Critical patent/CN113535835A/zh
Publication of CN113535835A publication Critical patent/CN113535835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Stored Programmes (AREA)

Abstract

本申请实施例公开了一种内核数据处理软件的数据采集方法、装置、介质及设备。该方法包括：通过前置扫描器对至少一个端口进行数据接收行为的扫描；如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将目标数据传输至前置采集模块进行处理；通过前置采集模块识别目标数据对应的作业流程，并根据作业流程的配置信息运行作业流程对应的数据处理程序；在数据处理程序的运行过程中，调用内核数据处理软件，对目标数据进行处理，以产生目标数据文件；将目标数据文件进行存储。本技术方案，提供了更加便捷的操作接口，提高了跨系统数据的采集效率以及实现了目标数据的统一归档管理。

Description

内核数据处理软件的数据采集方法、装置、介质及设备
技术领域
本申请实施例涉及金融数据采集技术领域，尤其涉及内核数据处理软件的数据采集方法、装置、介质及设备。
背景技术
随着银行金融系统的迅速发展，对接的外部系统也越来越多，每个系统提供的接口文件种类、数据格式十分繁杂。
传统托管系统虽然可以通过数据采集系统自动将文件数据保存至数据库，但由于对接系统过多，每个接口都需要进行代码的开发。
对于每个接口都需要开发一套解析代码，代码的可读性低，跨系统数据采集效率低。
发明内容
本申请实施例提供了一种内核数据处理软件的数据采集方法、装置、介质及设备，以提高了跨系统数据的采集效率。
第一方面，本申请实施例提供了内核数据处理软件的数据采集方法，该方法包括：
通过前置扫描器对至少一个端口进行数据接收行为的扫描；
如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
将所述目标数据文件进行存储。
第二方面，本申请实施例提供了内核数据处理软件的数据采集装置，该装置包括：
扫描单元，用于通过前置扫描器对至少一个端口进行数据接收行为的扫描；
目标数据获取单元，用于如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
作业流程识别单元，用于通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
目标数据处理单元，用于在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
目标数据文件存储单元，用于将所述目标数据文件进行存储。
第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的内核数据处理软件的数据采集方法。
第四方面，本申请实施例提供了一种设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的内核数据处理软件的数据采集方法。
本申请实施例所提供的技术方案，通过前置扫描器对至少一个端口进行数据接收行为的扫描，如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将目标数据传输至前置采集模块进行处理，通过前置采集模块识别目标数据对应的作业流程，并根据作业流程的配置信息运行作业流程对应的数据处理程序，在数据处理程序的运行过程中，调用内核数据处理软件，对目标数据进行处理，以产生目标数据文件；将目标数据文件进行存储。本技术方案，可以基于前置采集模块调用内核数据处理软件对目标数据进行处理，提供了更加便捷的操作接口，提高了跨系统数据的采集效率。
附图说明
图1是本申请实施例一提供的内核数据处理软件的数据采集方法的流程图；
图2是本申请实施例一提供的内核数据处理软件的数据采集处理的示意图；
图3是本申请实施例一提供的作业流程开发的示意图；
图4是本申请实施例二提供的内核数据处理软件的数据采集装置的结构示意图；
图5是本申请实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本申请实施例一提供的内核数据处理软件的数据采集方法的流程图，本实施例可适用于对复杂业务场景下繁杂多样数据进行采集处理的情况，例如，金融系统通常涉及的业务多，数据多样。该方法可以由本申请实施例所提供的内核数据处理软件的数据采集装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于数据处理的服务器或集群平台等设备中，例如数据采集平台。
如图1所示，所述内核数据处理软件的数据采集方法包括：
S110、通过前置扫描器对至少一个端口进行数据接收行为的扫描；
其中，端口可以是指外部服务器端口，用于数据采集平台与外界业务服务器通讯交流。端口可以是物理端口，也可以是虚拟端口。例如，端口可以是http协议端口、文件目录端口等。优选的，端口可以是文件目录端口。
在本方案中，数据接收行为可以是指外部服务器端口接收到数据的动作。
在本实施例中，前置扫描器可以是扫描小程序，安装在外部服务器的端口，用于定时监测端口的数据接收行为。
S120、如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
在本方案中，目标数据可以是指金融系统存储的不同类型的数据。例如，目标数据可以是贷款数据、养老金数据以及职业年金数据等。其中，目标数据的格式类型可以是文本格式数据或Excel格式数据。目标数据可以包括业务名称、业务ID、业务值以及业务时间等内容。相同类型的目标数据的内容也可能不同。例如，目标数据包括业务名称、业务ID以及业务值，目标数据的内容可以是业务名称-业务ID-业务值、业务ID()业务名称()业务值()或者业务名称业务值业务ID，即以“-”、“()”或空格来间隔。
在本实施例中，前置扫描器定时扫描外部服务器端口，若监测到外部服务器的端口的数据接收行为，则获取外部服务器端口接收到的目标数据，将目标数据存储到服务器共享盘中，并通知前置采集模块基于服务器共享盘获取目标数据。
S130、通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
在本实施例中，作业流程可以是指对目标数据进行处理的流程。例如，作业流程可以包括导出目标数据、识别目标数据、清洗目标数据、转换目标数据以及输出目标数据等流程。其中，目标数据的作业流程是预先配置的。不同目标数据对应的作业流程不同。
其中，作业流程的配置信息可以是指对目标数据进行作业处理的环节、顺序等信息。不同作业流程的配置信息不同，具体配置信息可以根据目标数据进行预先设置。
S140、在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件。
在本实施例中，内核数据处理软件可以是预先配置在前置采集模块用于对目标数据进行处理的软件。
其中，目标数据文件可以是指后缀名为.job格式的数据文件。
在本方案中，可以利用内核数据处理软件对目标数据进行导出、识别、清洗或者转换等处理，将目标数据处理成统一格式的目标数据文件。
在本技术方案中，可选的，所述内核数据处理软件为开源ETL程序，例如所述开源ETL程序为kettle程序；
相应的，在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件包括：
在所述数据处理程序的运行过程中，调用所述开源ETL程序的至少一个数据处理子程序，对所述目标数据进行处理，以产生目标数据文件；其中，所述数据处理子程序包括下述至少一个：加密子程序、鉴权子程序、导出子程序、识别子程序、清洗子程序、转换子程序、归档管理子程序以及输出子程序。
其中，开源ETL(Extraction-Transformation-Loading，数据抽取、转换、加载)程序可以用于将数据抽取到临时中间层进行清洗、转换以及集成。Kettle(KDE Extraction,Transportation,Transformation and Loading Environmen)最早是一个开源的ETL工具，支持跨平台运行。
在本实施例中，加密子程序可以是用于对目标数据进行加密处理的程序；鉴权子程序可以是用于对目标数据权限进行鉴别的程序；导出子程序可以是用于将目标数据从前置采集系统导出到内核数据处理软件中的程序；识别子程序可以是用于识别目标数据的特征信息的程序；清洗子程序可以是用于对目标数据中的异常数据进行处理的程序；转换子程序可以是指用于对目标数据的内容格式进行转换的程序；归档子程序可以是用于将目标数据进行统一归档处理；输出子程序可以是用于将目标数据输出到数据库中的程序。
图2是本申请实施例一提供的内核数据处理软件的数据采集处理的示意图。如图2所示，前置扫描器获取外部服务器端口接收到的目标数据，将目标数据存储到服务器共享盘中，并通知前置采集模块基于服务器共享盘获取目标数据，并调用内核数据处理软件，对目标数据进行加密、导出、识别、清洗、转换、归档或者输出等处理，产生目标数据文件。
通过调用开源ETL程序的数据处理子程序，对目标数据进行处理，可以将目标数据转换成统一格式的目标数据文件，不需要额外进行代码的开发，降低了开发成本，实现了目标数据的统一归档管理。
在本技术方案中，可选的，各所述作业流程包括一个或多个作业环节，所述作业环节由所述开源ETL程序的数据处理子程序实现，或由所述前置采集模块中的自定义作业环节代码实现。
在本实施例中，作业环节可以是指作业流程的子过程。例如，作业环节可以包括加密、导出、识别、清洗、转换、归档以及输出等环节。不同作业流程包括的作业环节不同。例如，作业流程1包括作业环节a和作业环节b，作业流程2包括作业环节a。
通过调用开源ETL程序的数据处理子程序，对目标数据进行处理，可以将目标数据转换成统一格式的目标数据文件，不需要额外进行代码的开发，降低了开发成本。
在本技术方案中，可选的，所述作业环节包括下述至少一个：加密、鉴权、导出、识别、清洗、转换以及输出。
其中，加密和鉴权作业环节可以基于前置采集模块中的自定义作业环节代码实现。导出、识别、清洗、转换、归档以及输出作业环节可以基于开源ETL程序的数据处理子程序实现。
示例性的，图3是本申请实施例一提供的作业流程开发的示意图。如图3所示，以Kettle中的作业为基础，根据不同的作业流程在Kettle中配置对应作业环节对目标数据进行处理，可以得到.job格式的目标数据文件，并将.job文件通过前置采集模块导入至Kettle资源库。
在本方案中，获得目标数据后，由前置采集模块识别该目标数据对应的作业流程，并运行该作业流程对应的数据处理程序对目标数据进行处理。在本技术方案中，可选的，预置的作业流程包括下述至少一个：
贷款数据作业流程；
养老金数据作业流程；
职业年金作业流程。
在本实施例中，贷款数据作业流程可以是指用于对贷款数据进行处理的流程。养老金数据作业流程可以是指用于对养老金数据进行处理的流程。职业年金作业流程可以是指用于对职业年金数据进行处理的流程。
通过预先配置作业流程，可以基于作业流程对目标数据进行处理，提升了金融数据的统一性。
在本技术方案中，可选的，通过所述前置采集模块识别所述目标数据对应的作业流程包括：
通过所述前置采集模块，根据所述目标数据的特征信息识别对应的作业流程；其中，所述特征信息包括下述至少一个：接收端口、接收端口所对应的外部业务系统、所述目标数据的格式类型、所述目标数据的数据名称。
其中，接收端口可以是指获取目标数据的端口。例如，接收端口可以是贷款端口、养老金端口或者职业年金端口等。
通过根据目标数据的特征信息识别目标数据对应的作业流程，可以基于预先设置的作业流程对目标数据进行处理，提高了目标数据的处理效率。
在本技术方案中，可选的，所述作业流程的配置信息包括下述至少一项：作业流程所包括的作业环节、作业环节的顺序、以及作业环节的处理参数。
其中，作业环节的顺序可以是指作业环节的排序。例如，作业流程包括作业环节a和作业环节b，则作业环节的顺序可以是作业环节a-作业环节b，或者作业环节b-作业环节a。
在本方案中，作业环节的处理参数可以是指配置作业环节的参数。例如，处理参数可以是步骤名称、数据库连接、目标表、提交记录数据量等参数。
通过对作业流程的配置信息进行确定，可以根据作业流程的配置信息运行作业流程对应的数据处理程序，实现目标数据的处理，提升了金融数据的统一性。
S150、将所述目标数据文件进行存储。
在本方案中，将目标数据文件通过前置采集模块导入到数据库中进行存储。
在本技术方案中，可选的，所述方法还包括：
在所述数据处理程序的运行过程中，通过日志处理模块采集所述数据处理程序和内核数据处理软件的处理过程参数，以形成采集日志；
其中，所述采集日志的内容包括下述至少一项：数据名称、数据ID、数据作业时间和数据作业环节。
在本方案中，可以将预先确定的日志组件替换内核数据处理软件中的日志组件，在前置采集模块中建立作业监控页面，将通过日志处理模块采集的数据处理程序和内核数据处理软件的处理过程参数在作业监控页面上进行显示。
通过构建采集日志，可以优化内核数据处理软件的日志管理，且可以方便查看内核数据处理软件执行的过程。
本申请实施例所提供的技术方案，通过前置扫描器对至少一个端口进行数据接收行为的扫描，如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将目标数据传输至前置采集模块进行处理，通过前置采集模块识别目标数据对应的作业流程，并根据作业流程的配置信息运行作业流程对应的数据处理程序，在数据处理程序的运行过程中，调用内核数据处理软件，对目标数据进行处理，以产生目标数据文件；将目标数据文件进行存储。本技术方案，可以基于前置采集模块调用内核数据处理软件对目标数据进行处理，提供了更加便捷的操作接口，提高了跨系统数据的采集效率，实现了目标数据的统一归档管理。
实施例二
图4是本申请实施例提供的内核数据处理软件的数据采集装置的结构示意图，如图4所示，内核数据处理软件的数据采集装置包括：
扫描单元410，用于通过前置扫描器对至少一个端口进行数据接收行为的扫描；
目标数据获取单元420，用于如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
作业流程识别单元430，用于通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
目标数据处理单元440，用于在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
目标数据文件存储单元450，用于将所述目标数据文件进行存储。
在本技术方案中，可选的，所述内核数据处理软件为开源ETL程序，所述开源ETL程序为kettle程序；
目标数据处理单元440，具体用于：
在所述数据处理程序的运行过程中，调用所述开源ETL程序的至少一个数据处理子程序，对所述目标数据进行处理，以产生目标数据文件；其中，所述数据处理子程序包括下述至少一个：加密子程序、鉴权子程序、导出子程序、识别子程序、清洗子程序、转换子程序以及输出子程序。
在本技术方案中，可选的，各所述作业流程包括一个或多个作业环节，所述作业环节由所述开源ETL程序的数据处理子程序实现，或由所述前置采集模块中的自定义作业环节代码实现。
在本技术方案中，可选的，所述作业环节包括下述至少一个：加密、鉴权、导出、识别、清洗、转换以及输出。
在本技术方案中，可选的，预置的作业流程包括下述至少一个：
贷款数据作业流程；
养老金数据作业流程；
职业年金作业流程。
在本技术方案中，可选的，作业流程识别单元430，具体用于：
通过所述前置采集模块，根据所述目标数据的特征信息识别对应的作业流程；其中，所述特征信息包括下述至少一个：接收端口、接收端口所对应的外部业务系统、所述目标数据的格式类型、所述目标数据的数据名称。
在本技术方案中，可选的，所述作业流程的配置信息包括下述至少一项：作业流程所包括的作业环节、作业环节的顺序、以及作业环节的处理参数。
在本技术方案中，可选的，所述装置还包括：
采集日志形成单元，用于在所述数据处理程序的运行过程中，通过日志处理模块采集所述数据处理程序和内核数据处理软件的处理过程参数，以形成采集日志；
其中，所述采集日志的内容包括下述至少一项：数据名称、数据ID、数据作业时间和数据作业环节。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三
本申请实施例还提供一种包含计算机可执行指令的介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种内核数据处理软件的数据采集方法，该方法包括：
通过前置扫描器对至少一个端口进行数据接收行为的扫描；
如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
将所述目标数据文件进行存储。
介质——任何的各种类型的存储器设备或存储设备。术语“介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。介质可以还包括其它类型的存储器或其组合。另外，介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多介质。介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的介质，其计算机可执行指令不限于如上所述的内核数据处理软件的数据采集操作，还可以执行本申请任意实施例所提供的内核数据处理软件的数据采集方法中的相关操作。
实施例四
本申请实施例提供了一种设备，该设备中可集成本申请实施例提供的内核数据处理软件的数据采集装置。图5是本申请实施例四提供的一种设备的结构示意图。如图5所示，本实施例提供了一种设备500，其包括：一个或多个处理器520；存储装置510，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器520执行，使得所述一个或多个处理器520实现本申请实施例所提供的内核数据处理软件的数据采集方法，该方法包括：
通过前置扫描器对至少一个端口进行数据接收行为的扫描；
如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
将所述目标数据文件进行存储。
当然，本领域技术人员可以理解，处理器520还实现本申请任意实施例所提供的内核数据处理软件的数据采集方法的技术方案。
图5显示的设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，该设备500包括处理器520、存储装置510、输入装置530和输出装置540；设备中处理器520的数量可以是一个或多个，图5中以一个处理器520为例；设备中的处理器520、存储装置510、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线550连接为例。
存储装置510作为一种计算机可读介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的内核数据处理软件的数据采集方法对应的程序指令。
存储装置510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字、字符信息或语音信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏、扬声器等设备。
本申请实施例提供的设备，可以达到基于前置采集模块调用内核数据处理软件对目标数据进行处理，提供更加便捷的操作接口，提高跨系统数据的采集效率的目的。
上述实施例中提供的内核数据处理软件的数据采集装置、介质及设备可执行本申请任意实施例所提供的内核数据处理软件的数据采集方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的内核数据处理软件的数据采集方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (11)

1.内核数据处理软件的数据采集方法，其特征在于，包括：
通过前置扫描器对至少一个端口进行数据接收行为的扫描；
如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
将所述目标数据文件进行存储。
2.根据权利要求1所述的方法，其特征在于，所述内核数据处理软件为开源ETL程序，所述开源ETL程序为kettle程序；
相应的，在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件包括：
在所述数据处理程序的运行过程中，调用所述开源ETL程序的至少一个数据处理子程序，对所述目标数据进行处理，以产生目标数据文件；其中，所述数据处理子程序包括下述至少一个：加密子程序、鉴权子程序、导出子程序、识别子程序、清洗子程序、转换子程序、归档子程序以及输出子程序。
3.根据权利要求2所述的方法，其特征在于，各所述作业流程包括一个或多个作业环节，所述作业环节由所述开源ETL程序的数据处理子程序实现，或由所述前置采集模块中的自定义作业环节代码实现。
4.根据权利要求3所述的方法，其特征在于，所述作业环节包括下述至少一个：加密、鉴权、导出、识别、清洗、转换、归档以及输出。
5.根据权利要求1所述的方法，其特征在于，预置的作业流程包括下述至少一个：
贷款数据作业流程；
养老金数据作业流程；
职业年金作业流程。
6.根据权利要求1所述的方法，其特征在于，通过所述前置采集模块识别所述目标数据对应的作业流程包括：
通过所述前置采集模块，根据所述目标数据的特征信息识别对应的作业流程；其中，所述特征信息包括下述至少一个：接收端口、接收端口所对应的外部业务系统、所述目标数据的格式类型、所述目标数据的数据名称。
7.根据权利要求1所述的方法，其特征在于，所述作业流程的配置信息包括下述至少一项：作业流程所包括的作业环节、作业环节的顺序、以及作业环节的处理参数。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述数据处理程序的运行过程中，通过日志处理模块采集所述数据处理程序和内核数据处理软件的处理过程参数，以形成采集日志；
其中，所述采集日志的内容包括下述至少一项：数据名称、数据ID、数据作业时间和数据作业环节。
9.一种内核数据处理软件的数据采集装置，其特征在于，包括：
扫描单元，用于通过前置扫描器对至少一个端口进行数据接收行为的扫描；
目标数据获取单元，用于如果扫描到数据接收行为，则通过前置扫描器获取接收到的目标数据，并将所述目标数据传输至前置采集模块进行处理；
作业流程识别单元，用于通过所述前置采集模块识别所述目标数据对应的作业流程，并根据所述作业流程的配置信息运行所述作业流程对应的数据处理程序；
目标数据处理单元，用于在所述数据处理程序的运行过程中，调用内核数据处理软件，对所述目标数据进行处理，以产生目标数据文件；
目标数据文件存储单元，用于将所述目标数据文件进行存储。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的内核数据处理软件的数据采集方法。
11.一种设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的内核数据处理软件的数据采集方法。
CN202110784124.3A 2021-07-12 2021-07-12 内核数据处理软件的数据采集方法、装置、介质及设备 Pending CN113535835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110784124.3A CN113535835A (zh) 2021-07-12 2021-07-12 内核数据处理软件的数据采集方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110784124.3A CN113535835A (zh) 2021-07-12 2021-07-12 内核数据处理软件的数据采集方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN113535835A true CN113535835A (zh) 2021-10-22

Family

ID=78127446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110784124.3A Pending CN113535835A (zh) 2021-07-12 2021-07-12 内核数据处理软件的数据采集方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN113535835A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504010A (zh) * 2014-12-11 2015-04-08 国云科技股份有限公司 一种多对多的数据采集系统及其采集方法
CN107515927A (zh) * 2017-08-24 2017-12-26 深圳市云房网络科技有限公司 一种房地产用户行为分析平台
CN107949868A (zh) * 2015-09-07 2018-04-20 西门子产品生命周期管理软件公司 建模方法和系统
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及系统
CN108984725A (zh) * 2018-07-11 2018-12-11 浪潮软件股份有限公司 一种跨网闸数据同步方法
CN109344148A (zh) * 2018-10-16 2019-02-15 万达信息股份有限公司 一种数据采集管理系统及方法
CN109492991A (zh) * 2018-10-18 2019-03-19 华南理工大学 配电工程建设智能化综合管理系统
CN111949680A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 数据处理方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504010A (zh) * 2014-12-11 2015-04-08 国云科技股份有限公司 一种多对多的数据采集系统及其采集方法
CN107949868A (zh) * 2015-09-07 2018-04-20 西门子产品生命周期管理软件公司 建模方法和系统
CN107515927A (zh) * 2017-08-24 2017-12-26 深圳市云房网络科技有限公司 一种房地产用户行为分析平台
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及系统
CN108984725A (zh) * 2018-07-11 2018-12-11 浪潮软件股份有限公司 一种跨网闸数据同步方法
CN109344148A (zh) * 2018-10-16 2019-02-15 万达信息股份有限公司 一种数据采集管理系统及方法
CN109492991A (zh) * 2018-10-18 2019-03-19 华南理工大学 配电工程建设智能化综合管理系统
CN111949680A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 数据处理方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
WO2020259003A1 (zh) 一种链路追踪方法及装置
CN110430280B (zh) 账号自动登录方法及系统、存储介质及云桌面服务器
CN112801800A (zh) 行为资金分析系统、方法、计算机设备及存储介质
CN111381940B (zh) 分布式数据处理方法及装置
CN110750453B (zh) 基于html5的智能移动端测试方法、系统、服务器及存储介质
CN111047434A (zh) 一种操作记录生成方法、装置、计算机设备和存储介质
CN111090666A (zh) 一种数据处理方法、装置、系统及计算机可读存储介质
CN114239026A (zh) 信息脱敏转换处理方法、装置、计算机设备和存储介质
CN112818016A (zh) 基于api的实时、离线数据查询方法及系统
CN110287070B (zh) Esb专用协议接口测试方法、服务器及计算机可读存储介质
CN109656922B (zh) 数据处理方法及装置
CN113535835A (zh) 内核数据处理软件的数据采集方法、装置、介质及设备
CN110941658A (zh) 一种数据导出方法、装置、服务器及存储介质
CN111176891A (zh) 一种基板管理控制器配置信息的恢复方法、装置及设备
CN107451435B (zh) 一种硬件加密机的管控方法、管控机及管控系统
CN114171107A (zh) 固态硬盘vpd信息的检测方法、装置、设备及存储介质
CN110517010B (zh) 一种数据处理方法、系统及存储介质
CN109241180B (zh) 一种基于日志的数据同步的方法及装置
CN114513329A (zh) 一种工业互联网信息安全评估方法及装置
CN113254399A (zh) 日志查询方法、装置、电子设备及介质
CN114371866A (zh) 业务系统的版本重构测试方法、装置和设备
CN112799744A (zh) 工业app的调用方法、装置、计算机可读介质及电子设备
US20240104085A1 (en) Computer system and method for evaluating integrity and parsing of a file system and parsing implementation
CN117528431B (zh) 一种通信平台的数据监控方法、装置和终端设备
US11520688B1 (en) Systems and methods for automated test data microservices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022

RJ01 Rejection of invention patent application after publication