CN116264649A - 数据采集方法、数据管理系统、数据采集装置及算机设备 - Google Patents
数据采集方法、数据管理系统、数据采集装置及算机设备 Download PDFInfo
- Publication number
- CN116264649A CN116264649A CN202211531068.3A CN202211531068A CN116264649A CN 116264649 A CN116264649 A CN 116264649A CN 202211531068 A CN202211531068 A CN 202211531068A CN 116264649 A CN116264649 A CN 116264649A
- Authority
- CN
- China
- Prior art keywords
- data source
- data
- encrypted
- source information
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及数据处理技术领域，公开了一种数据采集方法，该方法包括：接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；根据所述解密后的数据源信息，进行数据采集。通过上述方式，本发明实施例实现了对数据采集过程中的数据源信息的有效保护。
Description
技术领域
本发明实施例涉及数据处理领域，具体涉及一种数据采集方法、数据管理系统、数据采集装置、计算机设备及计算机可读存储介质。
背景技术
通信领域针对无线网/传输网/承载网/核心网等网络的管理一般基于设备厂商配套的网元OMC实现单厂商域内管理、基于故障管理/性能管理/资管管理/配置管理等网管系统实现跨厂商的端到端管理，网管系统需要从各厂商的OMC通过FTP/Socket/Corba/数据库等各种接口形式采集资源、性能、告警等数据，基于所采集的这些数据加工处理实现告警监控、性能分析/优化、资源生命周期管理、配置核查等网管功能。
然而，发明人在实施本发明实施例的过程中发现，目前采集数据的方案中，普遍忽视了OMC数据源信息(名称、IP、账号密码等)的信息安全问题，整个过程中存在大量的敏感信息泄露风险。
发明内容
鉴于上述问题，本发明实施例提供了一种数据采集方法、数据管理系统、数据采集装置、计算机设备及计算机可读存储介质，用于解决现有技术中存在的数据采集过程中敏感信息容易泄露的技术问题。
根据本发明实施例的一个方面，提供了一种数据采集方法，所述方法包括：
接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；
根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；
根据所述解密后的数据源信息，进行数据采集。
在一种可选的方式中，所述根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息之前，所述方法还包括：预先从所述数据源存储管理系统中获取代理客户端软件工具开发包，并集成在代码中；通过所述代理客户端和访问凭证，建立与所述数据源存储管理系统的数据连接，所述访问凭证包括身份标识键和密钥键。
在一种可选的方式中，所述根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息，包括：根据所述数据源ID向所述数据源存储管理系统发起数据源获取请求；所述数据源获取请求包括所述数据源ID；数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥；通过所述代理客户端使用所述密钥键进行解密获得私钥，并根据所述私钥对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息；所述加密后的所述数据源信息为采用公钥加密的数据源信息。
在一种可选的方式中，所述数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥，包括：所述代理客户端根据所述密钥键，计算所述数据源获取请求的数据签名；所述代理客户端将所述数据源ID、所述数据签名及所述访问凭证发送到所述数据源存储系统，以使所述数据源存储系统对所述访问凭证及所述数据签名进行验证，返回所述加密后的数据源信息及采用密钥键进行加密后的私钥。
根据本发明实施例的另一方面，提供了一种数据采集方法，所述方法包括：
接收数据源报备系统发送的加密后的数据源信息及对应的数据源ID；
存储所述加密后的数据源信息及对应的数据源ID；
接收数据采集系统发送的数据源获取请求并验证；所述数据源获取请求包括所述数据源ID；
当验证通过时，发送加密后的所述数据源信息及采用密钥键加密后的私钥给所述数据采集系统，以使所述数据采集系统对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息，并根据解密后的数据源信息进行数据采集。
根据本发明实施例的另一方面，提供了一种数据管理系统，所述数据管理系统包括数据源报备系统、数据采集系统及数据源存储管理系统；
所述数据源报备系统，用于获取用户输入的数据源信息，并生成对应的数据源ID及事件通告；还用于将所述数据源信息及所述数据源ID采用公钥加密后发送至所述数据源存储管理系统；
所述数据源存储管理系统，用于接收所述数据源报备系统发送的加密后的所述数据源信息及所述数据源ID，并进行存储；
所述数据源报备系统，还用于发送数据源采集事件通告给所述数据采集系统，所述数据源采集事件通告携带有数据源ID；
所述数据采集系统，用于根据所述数据源采集事件通告从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；还用于根据所述解密后的数据源信息，进行数据采集。
在一种可选的方式中，所述数据源报备系统，还用于发送数据源采集事件通告给所述数据采集系统，所述数据源采集事件通告携带有数据源ID，包括：根据所述数据源ID向所述数据源存储管理系统发起数据源获取请求；所述数据源获取请求包括所述数据源ID；数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥；通过所述代理客户端使用所述密钥键进行解密获得私钥，并根据所述私钥对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息；所述加密后的所述数据源信息为采用公钥加密的数据源信息。
根据本发明实施例的另一方面，提供了一种数据采集装置，包括：
接收模块，用于接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；
解密模块，用于根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；
采集模块，用于根据所述解密后的数据源信息，进行数据采集。
根据本发明实施例的另一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述的数据采集方法的操作。
根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算机设备上运行时，使得计算机设备执行所述的数据采集方法的操作。
本发明实施例通过接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；根据所述解密后的数据源信息，进行数据采集，能够有效保障数据源信息不被泄露，保障数据采集过程中的数据安全性。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的数据管理系统的流程示意图；
图2示出了本发明实施例提供的数据管理系统中数据源报备系统的工作流程图；
图3示出了本发明实施例提供的数据管理系统中代理客户端的API接口示意图；
图4示出了本发明实施例提供的数据管理系统中数据采集系统的工作流程图；
图5示出了本发明实施例提供的数据采集方法的流程示意图；
图6示出了本发明另一实施例提供的数据采集方法的流程示意图；
图7示出了本发明实施例提供的数据采集装置的结构示意图；
图8示出了本发明实施例提供的计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
首先，对现有技术进行进一步的详细介绍：
通信领域针对无线网/传输网/承载网/核心网等网络的管理一般基于设备厂商配套的网元OMC实现单厂商域内管理、基于故障管理/性能管理/资管管理/配置管理等网管系统实现跨厂商的端到端管理，网管系统需要从各厂商的OMC通过FTP/Socket/Corba/数据库等各种接口形式采集资源、性能、告警数据，基于数据加工处理实现告警监控、性能分析/优化、资源生命周期管理、配置核查等网管功能。
一般考虑到通信网络的安全，网元OMC与无线网/传输网/承载网/核心网等通信网络会划分专业统一管理维护，并按信息安全管理要求定期更换OMC账号密码。各类网管系统首次与OMC对接、或者OMC更换账号密码后网管系统发现采集任务失败时，一般由网管系统建设人员/运营人员线下联系各专业管理员通过邮件、微信、电话的方式索取账号密码后导入网管系统中配置采集任务，并自行在自己的办公电脑、网管服务器上明文保存备份。
现有的网管系统与设备厂商OMC对接采集数据的方案中，大家普遍忽视了OMC数据源信息(名称、IP、账号密码等)的信息安全问题，整个过程中存在大量的敏感信息泄露风险：
1.网管开发人员、运营人员、维护人员、外协厂商等诸多角色知悉并明文保存了数据源信息；
2.不同专业的维护人员可能知悉了非本专业权限范围内的其他专业OMC数据源信息；
3.数据源信息在邮件、微信等各类通讯渠道中明文发送，在本地电脑及网管服务器中明文保存备份，如果被截获则会导致大量数据源信息泄露。
本申请的发明人发现，在通信领域的数据采集或者其他行业数据采集过程中，大家目前普遍关注到的是被采集的数据内容在采集、传输、存储、消费过程中的信息安全以及采集方与被采集方的安全认证，对于数据源信息的安全管理缺少关注。
因此，针对数据采集过程中数据源信息存在泄露风险的问题，本发明实施例基于信息安全责任分离的思想提出了一种数据源信息加密的采集系统。
接下来，对本发明实施例的数据管理系统进行介绍。如图1所示，本发明实施例的数据管理系统包括数据源报备系统、数据采集系统及数据源存储管理系统。
其中，所述数据源报备系统，用于获取用户输入的数据源信息，并生成对应的数据源ID及事件通告；还用于将所述数据源信息及所述数据源ID采用公钥加密后发送至所述数据源存储管理系统。其中，所述数据源报备系统，还用于发送数据源采集事件通告给所述数据采集系统，所述数据源采集事件通告携带有数据源ID。
具体地，数据源报备系统仅向具有数据源所有者(用户，如核心网/无线网/传输网/承载网等专业的OMC管理员)开放，数据源所有者(用户)在数据源报备系统中输入的数据源信息，如主动填报自己新增、更新的数据源信息，数据源报备系统获取该数据源信息，通过公钥进行数据源信息加密后，发送到数据源存储管理系统保存。具体地，如图2所示，数据源报备系统执行数据源信息报备的过程包括：S101：数据源所有者(OMC管理员)在待采集的OMC数据源上为数据采集系统配置账号、密码、权限。S102：数据源所有者登录数据源报备系统，选择数据源新增、数据源变更相应流程输入的数据源信息，以发起报备。其中，数据源信息包括数据源的省份、专业、厂商、名称、IP、账号、密码、路径等信息，数据源所有者可以主动填报省份、专业、厂商、名称、IP、账号、密码、路径等这些数据源信息。S103：数据源报备系统获取用户输入的数据源信息，验证用户权限，并根据预设规则校验数据源相关信息的准确性及合规性，如存在错误信息、不合规信息、冲突信息提醒用户修改。S104：如校验通过，对于校验通过的数据源信息，报备系统对每个数据源生成唯一ID编号、并采用公钥对数据源信息中的敏感信息进行加密处理，得到加密后的数据源信息。其中，该公钥为基于数据源存储管理系统预先分发的公钥。S105：数据源报备系统将加密后的数据源信息提交至数据源存储管理系统统一保存。S106：数据源报备系统将数据源ID及事件通告发送至数据采集系统，该事件通告包括新增/变更事件消息通告，其不含数据源敏感信息，数据采集系统基于事件通告检查数据源任务配置情况，自动添加/修改采集任务信息。S107：数据源报备系统完成数据源报备、保存、通告，提醒用户流程结束。
其中，所述数据源存储管理系统，用于接收所述数据源报备系统发送的加密后的所述数据源信息及所述数据源ID，并进行存储。
具体地，数据源存储管理系统实现数据源敏感信息的加密存储及管理，按照信息安全责任分离的思想，该数据源存储管理系统与数据源报备系统及数据采集系统相互独立，确保数据源敏感信息不泄露。数据源存储管理系统包括秘钥管理模块、用户权限管理模块、数据源信息访问/更新API、数据源信息加密存储模块、日志审计模块及代理客户端client。其中，秘钥管理模块，用于生成秘钥对，并将秘钥对中的公钥发送给数据源报备系统，将秘钥对中的私钥发送给数据采集系统。具体地，可以按照省份、数据源类型生成秘钥对，并可以API接口的形式供数据源报备系统获取公钥、供数据采集系统中各类接口代理client获取私钥。其中，用户权限管理模块，用于对用户账号进行数据源权限管控，对用户账号与数据源之间的对应关系进行管控，确保数据源报备系统中用户操作的是权限内的数据源。其中，数据源信息加密存储模块，用于将数据源报备系统发送的加密后的所述数据源信息及所述数据源ID进行存储，使得采集系统基于独立的数据库保存加密后的数据源信息，确保数据源信息与其他数据分离，并只向数据源信息访问/更新API模块开放访问权限。其中，数据源信息访问/更新API模块，用于分别与数据源报备系统及数据采集系统交互，一方面支撑数据源报备系统的数据源新增/变更操作，另一方面与代理客户端client配合支撑与数据采集的数据交互。其中，代理客户端client，用于建立数据源存储管理系统与数据采集系统之间的数据传输。数据源存储管理系统以sdk的方式提供了针对FTP/sftp/jdbc等各种数据源类型的代理client。采集系统通过调用代理client中获取数据源连接的接口访问数据源、采集数据。如图3所示，代理客户端client基于外观模式设计，对外暴露一个统一的接口，内部根据不同的数据源类型实现针对不同协议类型的API接口。
其中，所述数据采集系统，用于根据所述数据源采集事件通告从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；还用于根据所述解密后的数据源信息，进行数据采集。其中，所述数据源报备系统，还用于根据所述数据源ID向所述数据源存储管理系统发起数据源获取请求；所述数据源获取请求包括所述数据源ID；数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥；通过所述代理客户端使用所述密钥键进行解密获得私钥，并根据所述私钥对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息；所述加密后的所述数据源信息为采用公钥加密的数据源信息。
具体地，本发明实施例中为确保数采集程序及数据采集运营运维人员在采集过程中不接触数据源敏感信息，数据采集系统不直接调用原生的FTP/jdbc等接口的客户端连接数据源，而是经由数据存储管理系统提供的代理客户端client获取数据源连接。因此，数据采集系统在获取数据源信息之前，需要预先完成如下两步操作：1、预先下载代理软件工具包client sdk。采集系统若想要连接数据源、采集数据，需要从数据源存储管理系统下载代理代理软件工具包client sdk，并集成到采集应用代码中。2、预先从数据源存储管理系统中获取访问凭证。其中，访问凭证包含身份标识键(IdentificationKey)和密钥键(SecretKey)。其中，身份标识键用于确定访问者的身份，验证访问者是否具有访问相关数据源的权限。密钥键一方面用于请求数据的签名，防止发送的请求在传输过程中被篡改；另一方面作为私钥的加密私钥。因为存储在数据源管理系统中的数据源信息使用公钥做了加密的，代理客户端client在获取到加密后的数据源信息后，需要使用该预先获取到的私钥进行解密，因此该私钥的传递必须确保安全。访问凭证需要登录数据源存储管理系统界面获取，存储管理系统会根据登录账户的相关权限，返回对应的访问凭证。
如图4所示，在完成上述两步操作之后，数据采集系统与数据源报备系统及数据源存储管理系统交互，来获取数据源连接、执行采集任务的具体过程为：(1)数据采集系统调用代理客户端client的相关接口获取数据源连接。在调用接口时，需要传入数据源获取请求。(2)代理客户端client根据数据源获取请求中的参数信息与数据源存储管理系统交互，获取数据源信息和数据源加密私钥，在本地进行数据源信息解密之后，创建数据源连接。代理Client与数据源存储管理系统之间的交互基于HTTP协议，采用请求数据签名和消息加密的数据传输机制，实现了数据传输的安全性。具体的步骤为：a.计算数据源获取请求的数据签名。代理客户端client使用hash算法计算数据源获取请求中数据(包括请求头+请求正文)的hash值。使用密钥键SecretKey对计算的hash值进行加密，获得数据源获取请求的数据签名。b.请求数据源信息和数据源加密私钥。将计算的数据签名、IdentificationKey随同数据源获取请求一起发送到数据源存储管理系统。c.数据源存储管理系统进行签名和访问者身份认证。数据源存储系统在接收到请求之后，以相同的处理方式对请求数据进行签名计算，并与数据源获取请求中的数据签名进行比对，以确认请求数据是否被篡改。通过IdentificationKey校验发送请求者的身份和权限，识别请求者是否具有访问指定数据源ID的数据源信息权限。如果身份验证通过，则返回加密后的数据源信息以及使用密钥键secretKey进行加密的私钥。d.代理client在收到回复信息之后，使用密钥键secretKey进行解密获得私钥，然后使用私钥对加密的数据源信息进行解密后的明文的数据源信息。e.根据数据源信息中指定的数据源类型，调用对应的API方法，创建数据源连接。(3)根据解密后的数据源信息进行数据采集数据，根据返回的数据源连接，数据采集系统根据任务配置情况执行数据的采集。
本发明实施例中，数据存储管理系统由独立的数据安全管理员负责管理维护(可由数据安全管理类系统提供相关功能)，数据存储管理系统基于非对称加密RSA算法实现向数据源报备系统提供公钥支撑其加密、数据源敏感信息的加密存储，并向数据采集系统提供FTP/sftp/jdbc等数据源访问的代理client支撑数据采集系统不接触数据源明文信息的情况下连接数据源。数据采集系统收到数据源事件消息通知后新增或更新采集任务、调用数据源存储管理系统提供的代理client访问数据源建立连接采集数据，若采集遇到问题可反向通知报备模块问题详情、由报备模块通知数据源所有者检查处理，网管系统数据采集运营、维护人员也可以基于方案实现不接触数据源账号密码明文信息的情况下检查采集任务运行情况、验证数据源连通性。整个过程中只有数据源所有者接触到明文的数据源信息，数据采集系统、数据采集运营运维人员都被屏蔽，从而有效消除了数据源敏感信息的泄露风险。
图5示出了本发明实施例提供的数据采集方法的流程图，该方法由上述实施例的数据管理系统中的数据采集系统执行。如5所示，该方法包括以下步骤：
步骤110：接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID。
其中，数据源报备系统在获取到用户输入的数据源信息后，生成对应的数据源ID及事件通告，将所述数据源信息及所述数据源ID采用公钥加密后发送至所述数据源存储管理系统。其中，该公钥为数据源存储管理系统预先发送给数据源报备系统的，该公钥可以根据数据源类型及地点等进行相应配置。在数据源报备系统收到加密后的数据源信息及所述数据源ID后，对该加密后的数据源信息及其数据源ID进行存储。数据源报备系统还在数据源存储管理系统存储完成该加密后的数据源信息及其数据源ID后，发送事件通告及数据源ID给所述数据采集系统。
步骤120：根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到。
本发明实施例中，还预先从所述数据源存储管理系统中获取代理客户端软件工具开发包，并集成在代码中；并通过所述代理客户端和访问凭证，建立与所述数据源存储管理系统的数据连接，所述访问凭证包括身份标识键和密钥键。其中，该身份标识键用于对数据采集系统的身份进行验证，该密钥键用于用于请求数据的签名，以及作为私钥的加密私钥，可以防止发送的请求在传输过程中被篡改，还可以有效保护私钥不会在传输过程中被泄露。
其中，根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息的具体过程包括：根据所述数据源ID向所述数据源存储管理系统发起数据源获取请求；所述数据源获取请求包括所述数据源ID；通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥；通过所述代理客户端使用所述密钥键进行解密获得私钥，并根据所述私钥对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息；所述加密后的所述数据源信息为采用公钥加密的数据源信息。具体地，通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥的过程为：所述代理客户端根据所述密钥键，计算所述数据源获取请求的数据签名；所述代理客户端将所述数据源ID、所述数据签名及所述访问凭证发送到所述数据源存储系统，以使所述数据源存储系统对所述访问凭证及所述数据签名进行验证，返回所述加密后的数据源信息及采用密钥键进行加密后的私钥。
步骤130：根据所述解密后的数据源信息，进行数据采集。
其中，在得到该解密后的数据源信息后，可根据采集配置任务进行相应地数据采集，以获得采集后的数据。
本发明实施例通过接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；根据所述解密后的数据源信息，进行数据采集，能够有效保障数据源信息不被泄露，保障数据采集过程中的数据安全性。
图6示出了本发明另一实施例提供的数据采集方法的流程图，该方法由上述实施例的数据管理系统中的数据源存储管理系统执行。如图6所示，该方法包括以下步骤：
步骤210：接收数据源报备系统发送的加密后的数据源信息及对应的数据源ID。其中，该加密后的数据源信息为数据源报备系统根据数据源存储管理系统预先发送给数据源报备系统的公钥进行加密得到。
步骤220：存储所述加密后的数据源信息及对应的数据源ID。
步骤230：接收数据采集系统发送的数据源获取请求并验证；所述数据源获取请求包括所述数据源ID。
其中，对数据采集系统发送的数据源获取请求进行验证的过程为：
通过代理客户端获取该数据源获取请求，该数据源获取请求携带有采用密钥键加密后的数据签名以及访问凭证。对该采用密钥键加密后的数据签名进行验证，并根据访问凭证验证数据采集系统是否具有该数据源信息的获取权限。
步骤240：当验证通过时，发送加密后的所述数据源信息及采用密钥键加密后的私钥给所述数据采集系统，以使所述数据采集系统对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息，并根据解密后的数据源信息进行数据采集。
其中，当验证通过时，发送加密后的数据源信息以及采用密钥键加密后后的私钥给所述数据采集系统，以使数据采集系统对采用密钥键进行加密后的私钥进行解密，得到该私钥，并利用该私钥对加密后的数据源信息进行解密，得到解密后的数据源信息，根据解密后的数据源信息进行数据采集。其中该加密后的数据源信息为采用公钥进行加密得到的，利用私钥进行解密，进一步保证了数据源信息的安全性。
本发明实施例通过接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；根据所述解密后的数据源信息，进行数据采集，能够有效保障数据源信息不被泄露，保障数据采集过程中的数据安全性。
图7示出了本发明实施例提供的数据采集装置的结构示意图。如图7所示，该装置300包括：接收模块310、解密模块320和采集模块330。
接收模块310，用于接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；
解密模块320，用于根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；
采集模块330，用于根据所述解密后的数据源信息，进行数据采集。
本发明实施例的数据采集装置的具体工作过程与上述数据管理系统中的数据采集系统的具体工作方式大体一致，此处不再赘述。
本发明实施例通过接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；根据所述解密后的数据源信息，进行数据采集，能够有效保障数据源信息不被泄露，保障数据采集过程中的数据安全性。
图8示出了本发明实施例提供的计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。
如图8所示，该计算机设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。处理器402，用于执行程序410，具体可以执行上述用于数据采集方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机可执行指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以被处理器402调用使计算机设备执行以下操作：
可执行指令具体可以用于使得计算机设备执行以下操作：
接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；
根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；
根据所述解密后的数据源信息，进行数据采集；
或者，
接收数据源报备系统发送的加密后的数据源信息及对应的数据源ID；
存储所述加密后的数据源信息及对应的数据源ID；
接收数据采集系统发送的数据源获取请求并验证；所述数据源获取请求包括所述数据源ID；
当验证通过时，发送加密后的所述数据源信息及采用密钥键加密后的私钥给所述数据采集系统，以使所述数据采集系统对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息，并根据解密后的数据源信息进行数据采集。
在一种可选的方式中，所述根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息之前，所述方法还包括：预先从所述数据源存储管理系统中获取代理客户端软件工具开发包，并集成在代码中；通过所述代理客户端和访问凭证，建立与所述数据源存储管理系统的数据连接，所述访问凭证包括身份标识键和密钥键。
在一种可选的方式中，所述根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息，包括：根据所述数据源ID向所述数据源存储管理系统发起数据源获取请求；所述数据源获取请求包括所述数据源ID；数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥；通过所述代理客户端使用所述密钥键进行解密获得私钥，并根据所述私钥对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息；所述加密后的所述数据源信息为采用公钥加密的数据源信息。
在一种可选的方式中，所述数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥，包括：所述代理客户端根据所述密钥键，计算所述数据源获取请求的数据签名；所述代理客户端将所述数据源ID、所述数据签名及所述访问凭证发送到所述数据源存储系统，以使所述数据源存储系统对所述访问凭证及所述数据签名进行验证，返回所述加密后的数据源信息及采用密钥键进行加密后的私钥。
本发明实施例通过接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；根据所述解密后的数据源信息，进行数据采集，能够有效保障数据源信息不被泄露，保障数据采集过程中的数据安全性。
本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在计算机设备上运行时，使得所述计算机设备执行上述任意方法实施例中的数据采集方法。
可执行指令具体可以用于使得计算机设备执行以下操作：
接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；
根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；
根据所述解密后的数据源信息，进行数据采集；
或者，
接收数据源报备系统发送的加密后的数据源信息及对应的数据源ID；
存储所述加密后的数据源信息及对应的数据源ID；
接收数据采集系统发送的数据源获取请求并验证；所述数据源获取请求包括所述数据源ID；
当验证通过时，发送加密后的所述数据源信息及采用密钥键加密后的私钥给所述数据采集系统，以使所述数据采集系统对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息，并根据解密后的数据源信息进行数据采集。
在一种可选的方式中，所述根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息之前，所述方法还包括：预先从所述数据源存储管理系统中获取代理客户端软件工具开发包，并集成在代码中；通过所述代理客户端和访问凭证，建立与所述数据源存储管理系统的数据连接，所述访问凭证包括身份标识键和密钥键。
在一种可选的方式中，所述根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息，包括：根据所述数据源ID向所述数据源存储管理系统发起数据源获取请求；所述数据源获取请求包括所述数据源ID；数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥；通过所述代理客户端使用所述密钥键进行解密获得私钥，并根据所述私钥对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息；所述加密后的所述数据源信息为采用公钥加密的数据源信息。
在一种可选的方式中，所述数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥，包括：所述代理客户端根据所述密钥键，计算所述数据源获取请求的数据签名；所述代理客户端将所述数据源ID、所述数据签名及所述访问凭证发送到所述数据源存储系统，以使所述数据源存储系统对所述访问凭证及所述数据签名进行验证，返回所述加密后的数据源信息及采用密钥键进行加密后的私钥。
本发明实施例通过接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；根据所述解密后的数据源信息，进行数据采集，能够有效保障数据源信息不被泄露，保障数据采集过程中的数据安全性。
本发明实施例提供一种数据采集装置，用于执行上述数据采集方法。
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使计算机设备执行上述任意方法实施例中的数据采集方法。
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的数据采集方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
Claims (10)
1.一种数据采集方法，其特征在于，所述方法包括：
接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；
根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；
根据所述解密后的数据源信息，进行数据采集。
2.根据权利要求1所述的方法，其特征在于，所述根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息之前，所述方法还包括：
预先从所述数据源存储管理系统中获取代理客户端软件工具开发包，并集成在代码中；
通过所述代理客户端和访问凭证，建立与所述数据源存储管理系统的数据连接，所述访问凭证包括身份标识键和密钥键。
3.根据权利要求2所述的方法，其特征在于，所述根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息，包括：
根据所述数据源ID向所述数据源存储管理系统发起数据源获取请求；所述数据源获取请求包括所述数据源ID；
数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥；
通过所述代理客户端使用所述密钥键进行解密获得私钥，并根据所述私钥对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息；所述加密后的所述数据源信息为采用公钥加密的数据源信息。
4.根据权利要求3所述的方法，其特征在于，所述数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥，包括：
所述代理客户端根据所述密钥键，计算所述数据源获取请求的数据签名；
所述代理客户端将所述数据源ID、所述数据签名及所述访问凭证发送到所述数据源存储系统，以使所述数据源存储系统对所述访问凭证及所述数据签名进行验证，返回所述加密后的数据源信息及采用密钥键进行加密后的私钥。
5.一种数据采集方法，其特征在于，所述方法包括：
接收数据源报备系统发送的加密后的数据源信息及对应的数据源ID；
存储所述加密后的数据源信息及对应的数据源ID；
接收数据采集系统发送的数据源获取请求并验证；所述数据源获取请求包括所述数据源ID；
当验证通过时，发送加密后的所述数据源信息及采用密钥键加密后的私钥给所述数据采集系统，以使所述数据采集系统对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息，并根据解密后的数据源信息进行数据采集。
6.一种数据管理系统，其特征在于，所述数据管理系统包括数据源报备系统、数据采集系统及数据源存储管理系统；
所述数据源报备系统，用于获取用户输入的数据源信息，并生成对应的数据源ID及事件通告；还用于将所述数据源信息及所述数据源ID采用公钥加密后发送至所述数据源存储管理系统；
所述数据源存储管理系统，用于接收所述数据源报备系统发送的加密后的所述数据源信息及所述数据源ID，并进行存储；
所述数据源报备系统，还用于发送数据源采集事件通告给所述数据采集系统，所述数据源采集事件通告携带有数据源ID；
所述数据采集系统，用于根据所述数据源采集事件通告从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；还用于根据所述解密后的数据源信息，进行数据采集。
7.根据权利要求6所述的采集系统，其特征在于，所述数据源报备系统，还用于发送数据源采集事件通告给所述数据采集系统，所述数据源采集事件通告携带有数据源ID，包括：
根据所述数据源ID向所述数据源存储管理系统发起数据源获取请求；所述数据源获取请求包括所述数据源ID；
数据源存储管理系统通过代理客户端根据所述数据源获取请求，从数据源存储管理系统获取加密后的所述数据源信息以及采用密钥键进行加密后的私钥；
通过所述代理客户端使用所述密钥键进行解密获得私钥，并根据所述私钥对所述加密后的所述数据源信息进行解密，得到解密后的数据源信息；所述加密后的所述数据源信息为采用公钥加密的数据源信息。
8.一种数据采集装置，其特征在于，包括：
接收模块，用于接收数据源报备系统发送的数据源采集事件通告，所述数据源采集事件通告携带有数据源ID；
解密模块，用于根据所述数据源ID从数据源存储管理系统获取加密后的所述数据源信息并解密，得到解密后的数据源信息；所述加密后的所述数据源信息为所述数据源存储管理系统预先根据所述数据源报备系统发送的数据源信息及数据源ID进行加密处理得到；
采集模块，用于根据所述解密后的数据源信息，进行数据采集。
9.一种计算机设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5任意一项所述的数据采集方法的操作。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算机设备上运行时，使得计算机设备执行如权利要求1-5任意一项所述的数据采集方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211531068.3A CN116264649A (zh) | 2022-12-01 | 2022-12-01 | 数据采集方法、数据管理系统、数据采集装置及算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211531068.3A CN116264649A (zh) | 2022-12-01 | 2022-12-01 | 数据采集方法、数据管理系统、数据采集装置及算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116264649A true CN116264649A (zh) | 2023-06-16 |
Family
ID=86722949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211531068.3A Pending CN116264649A (zh) | 2022-12-01 | 2022-12-01 | 数据采集方法、数据管理系统、数据采集装置及算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116264649A (zh) |
-
2022
- 2022-12-01 CN CN202211531068.3A patent/CN116264649A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11483143B2 (en) | Enhanced monitoring and protection of enterprise data | |
| CN105027493B (zh) | 安全移动应用连接总线 | |
| CN101873331B (zh) | 一种安全认证方法和系统 | |
| EP2963958B1 (en) | Network device, terminal device and information security improving method | |
| US8443416B2 (en) | Techniques for secure channel messaging | |
| CN111740966B (zh) | 一种基于区块链网络的数据处理方法及相关设备 | |
| CN110933092A (zh) | 一种基于jwt的单点登录实现方法及装置 | |
| CN113872940B (zh) | 基于NC-Link的访问控制方法、装置及设备 | |
| CN111131416A (zh) | 业务服务的提供方法和装置、存储介质、电子装置 | |
| US10348485B2 (en) | Linking encryption key management with granular policy | |
| de Ruiter | A tale of the OpenSSL state machine: A large-scale black-box analysis | |
| CN115002203A (zh) | 数据包抓取方法、装置、设备及计算机可读介质 | |
| US11017072B2 (en) | Scalable authentication between heterogeneous services | |
| CN105577657A (zh) | 一种ssl/tls算法套件的扩展方法 | |
| CN109587134B (zh) | 接口总线的安全认证的方法、装置、设备和介质 | |
| Brooks et al. | Conceptualizing a secure wireless cloud | |
| CN116264649A (zh) | 数据采集方法、数据管理系统、数据采集装置及算机设备 | |
| CN111181831B (zh) | 通信数据处理方法和装置、存储介质及电子装置 | |
| CN113992734A (zh) | 会话连接方法及装置、设备 | |
| US10530635B2 (en) | Pluggable control system for fallback website access | |
| Merzdovnik et al. | Notary-assisted certificate pinning for improved security of android apps | |
| CN115391795A (zh) | 数据处理方法、相关设备及介质 | |
| CN113329033A (zh) | 局域网之间建立通信连接的方法、用户端设备及网关设备 | |
| CN111404901A (zh) | 信息验证方法及装置 | |
| Pallavi et al. | Study of security algorithms to secure IOT data in middleware |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |