CN117909989A - 一种基于大数据的数据安全采集方法及系统 - Google Patents

Abstract

本发明提出了一种基于大数据的数据安全采集方法及系统，通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表，建立数据链，获取数据链节点安全信息，计算数据安全值；根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，计算采集频率调节值；对数据采集频率进行调节，在调节完成后，进行安全值是否合格的判断，本发明可以实现大数据安全监测与控制，确保数据的完整性和安全性。

Description

一种基于大数据的数据安全采集方法及系统

技术领域

本发明提出了一种基于大数据的数据安全采集方法及系统，涉及数据采集技术领域，具体涉及基于大数据的数据安全采集技术领域。

背景技术

传统的数据采集安全技术面临许多难题。首先，数据源的多样性使得数据格式、类型和结构都存在差异，给数据采集和整合带来挑战。其次，数据处理过程中，采集数据的安全性难以计算和保证，新增采集数据容易受现有数据安全性的影响，数据采集频率可能会影响数据安全性。此外，传统方法通常缺乏对数据安全性的整体监控和管理，难以发现和应对潜在的安全威胁。

发明内容

本发明提供了一种基于大数据的数据安全采集方法及系统，用以解决采集数据的安全性难以计算和保证，新增采集数据容易受现有数据安全性的影响，数据采集频率可能会影响数据安全性。此外，传统方法通常缺乏对数据安全性的整体监控和管理，难以发现和应对潜在的安全威胁等问题：

本发明提出的一种基于大数据的数据安全采集方法及系统，所述方法包括：

S1、通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表；

S2、根据数据安全监测表建立数据链，获取数据链节点安全信息，根据所述数据链节点安全信息计算数据安全值，获得第一安全值；

S3、根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，通过对增量数据链节点进行分析，根据采集数据结合第一安全值计算采集频率调节值；

S4、对数据采集频率进行调节，在调节完成后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值，进行安全值是否合格的判断。

进一步地，所述S1包括：

S101、通过大数据方法从数据源获取数据信息，对数据信息进行预处理后，进行数据源、采集时间和数据类型的标注，获得处理完成数据；

S102、对处理完成数据的每种类型数据按照数据采集时间顺序进行分别排序，形成数据安全监测表，并将每种数据进行分别存储和加密。

进一步地，所述S2包括：

S201、对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；

S202、根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值。

进一步地，所述S3包括：

S301、将每个数据链节点的第一安全值与预设安全阈值进行比较，当第一安全值小于等于预设安全阈值时，对数据链第一安全值对应数据链节点进行风险标注，利用曲线将每个数据链具有风险标注的数据链节点进行连接，获得数据危险轨迹；

S302、当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半，当原数据链的数据危险轨迹长度超过原数据链长度的一半时，将增量数据链节点另起一个数据链进行存储，当原数据链的数据危险轨迹长度未超过原数据链长度的一半时，将增量数据链节点继续存储于原数据链上，将增量数据链节点与增量阈值进行比较，当增量数据链节点的增量大于增量阈值时，根据采集数据结合第一安全值计算采集频率调节值。

进一步地，所述S4包括：

S401、根据采集频率调节值对数据采集频率进行调节，在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值；

S402、通过将第二安全值与第一安全值进行对比，根据对比结果，对采集频率进行重调节。

进一步地，所述系统包括：

采集处理模块，用于通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表；

安全计算模块，用于根据数据安全监测表建立数据链，获取数据链节点安全信息，根据所述数据链节点安全信息计算数据安全值，获得第一安全值；

增量调节模块，用于根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，通过对增量数据链节点进行分析，根据采集数据结合第一安全值计算采集频率调节值；

调节判断模块，用于对数据采集频率进行调节，在调节完成后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值，进行安全值是否合格的判断。

进一步地，所述采集处理模块包括：

标注模块，用于通过大数据方法从数据源获取数据信息，对数据信息进行预处理后，进行数据源、采集时间和数据类型的标注，获得处理完成数据；

表图监测模块，用于对处理完成数据的每种类型数据按照数据采集时间顺序进行分别排序，形成数据安全监测表，并将每种数据进行分别存储和加密。

进一步地，所述安全计算模块包括：

节点获取模块，用于对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；

第一计算模块，用于根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值。

进一步地，所述增量调节模块包括：

轨迹获取模块，用于将每个数据链节点的第一安全值与预设安全阈值进行比较，当第一安全值小于等于预设安全阈值时，对数据链第一安全值对应数据链节点进行风险标注，利用曲线将每个数据链具有风险标注的数据链节点进行连接，获得数据危险轨迹；

调节计算模块，用于当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半，当原数据链的数据危险轨迹长度超过原数据链长度的一半时，将增量数据链节点另起一个数据链进行存储，当原数据链的数据危险轨迹长度未超过原数据链长度的一半时，将增量数据链节点继续存储于原数据链上，将增量数据链节点与增量阈值进行比较，当增量数据链节点的增量大于增量阈值时，根据采集数据结合第一安全值计算采集频率调节值。

进一步地，所述调节判断模块包括：

第二计算模块，用于根据采集频率调节值对数据采集频率进行调节，在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值；

重调节模块，用于通过将第二安全值与第一安全值进行对比，根据对比结果，对采集频率进行重调节。

本发明有益效果：

本发明提出了一种基于大数据的数据安全采集方法及系统，通过大数据方法从各种数据源中获取数据信息，并对其进行初步处理，为后续的安全监测提供基础数据。对初步处理后的数据信息进行进一步的分析和处理，建立一个数据安全监测表，用于记录和分析数据的安全性。根据数据安全监测表，建立数据链，用于描述数据之间的关联关系，为后续的数据安全分析提供依据。通过分析数据链，获取各个节点(即数据)的安全信息，为后续的安全值计算提供基础。根据数据链节点安全信息，计算数据的安全值，用于评估数据的危险程度。通过上述计算，获得第一安全值，为后续的数据危险轨迹分析提供依据。根据第一安全值，分析数据的危险轨迹，了解数据的流动和变化情况，为后续的数据存储位置分配提供依据。根据数据危险轨迹，分配增量数据链节点的存储位置，确保数据的安全性和可靠性。通过对增量数据链节点进行分析，结合第一安全值，计算采集频率调节值，用于调节数据采集的频率。根据采集频率调节值，对数据采集频率进行调节，确保数据的及时性和有效性。在调节完成后，再次根据数据链节点安全信息计算数据的安全值，获得第二安全值。根据第二安全值，判断数据的安全性是否合格，如果不合格，则需要进行相应的调整和处理。本技术方案可以实现大数据安全监测与控制，确保数据的完整性和安全性。

附图说明

图1为一种基于大数据的数据安全采集方法。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明的一个实施例，本发明提出的一种基于大数据的数据安全采集方法及系统，所述方法包括：

S1、通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表；

S2、根据数据安全监测表建立数据链，获取数据链节点安全信息，根据所述数据链节点安全信息计算数据安全值，获得第一安全值；

S3、根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，通过对增量数据链节点进行分析，根据采集数据结合第一安全值计算采集频率调节值；

S4、对数据采集频率进行调节，在调节完成后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值，进行安全值是否合格的判断。

上述技术方案的工作原理为：首先，通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表；然后，根据数据安全监测表建立数据链，获取数据链节点安全信息，根据所述数据链节点安全信息计算数据安全值，获得第一安全值；根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，通过对增量数据链节点进行分析，根据采集数据结合第一安全值计算采集频率调节值；最后，对数据采集频率进行调节，在调节完成后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值，进行安全值是否合格的判断。

上述技术方案的技术效果为：通过大数据方法从各种数据源中获取数据信息，并对其进行初步处理，为后续的安全监测提供基础数据。对初步处理后的数据信息进行进一步的分析和处理，建立一个数据安全监测表，用于记录和分析数据的安全性。根据数据安全监测表，建立数据链，用于描述数据之间的关联关系，为后续的数据安全分析提供依据。通过分析数据链，获取各个节点(即数据)的安全信息，为后续的安全值计算提供基础。根据数据链节点安全信息，计算数据的安全值，用于评估数据的危险程度。通过上述计算，获得第一安全值，为后续的数据危险轨迹分析提供依据。根据第一安全值，分析数据的危险轨迹，了解数据的流动和变化情况，为后续的数据存储位置分配提供依据。根据数据危险轨迹，分配增量数据链节点的存储位置，确保数据的安全性和可靠性。通过对增量数据链节点进行分析，结合第一安全值，计算采集频率调节值，用于调节数据采集的频率。根据采集频率调节值，对数据采集频率进行调节，确保数据的及时性和有效性。在调节完成后，再次根据数据链节点安全信息计算数据的安全值，获得第二安全值。根据第二安全值，判断数据的安全性是否合格，如果不合格，则需要进行相应的调整和处理。本技术方案可以实现大数据安全监测与控制，确保数据的完整性和安全性。

本发明的一个实施例，所述S1包括：

S101、通过大数据方法从数据源获取数据信息，对数据信息进行预处理后，进行数据源、采集时间和数据类型的标注，获得处理完成数据；

S102、对处理完成数据的每种类型数据按照数据采集时间顺序进行分别排序，形成数据安全监测表，并将每种数据进行分别存储和加密。

上述技术方案的工作原理为：通过大数据方法从数据源获取数据信息，对数据信息进行预处理后，进行数据源、采集时间和数据类型的标注，获得处理完成数据；对处理完成数据的每种类型数据按照数据采集时间顺序进行分别排序，形成数据安全监测表，并将每种数据进行分别存储和加密。

上述技术方案的技术效果为：通过大数据方法从各种数据源中获取数据信息，并对其进行预处理，包括数据的清洗、去重、标准化等操作，提高数据的准确性和可用性。对预处理后的数据进行数据源的标注，即记录数据来源于哪个数据源，为后续的数据分析和处理提供参考。对预处理后的数据进行采集时间的标注，即记录数据的采集时间，为后续的数据排序和监测提供依据。对预处理后的数据进行数据类型的标注，即分辨出数据属于哪种类型，如文本、数值、图像等，为后续的数据分类和处理提供帮助。对标注完成的数据，按照数据类型进行分别排序，形成数据安全监测表，用于记录和分析各种类型数据的安全性。为了确保数据的安全性，将每种类型的数据分别进行存储和加密，避免数据的泄露和非法访问。根据数据安全监测表，对各种类型的数据进行分类和处理，如异常检测、趋势分析等，为后续的数据分析和决策提供支持。将处理后的数据进行可视化展示，生成相应的数据报告，便于用户理解和分析数据。通过实时监测数据的异常变化和趋势，及时发现和处理安全问题，确保数据的完整性和安全性。通过上述技术效果，可以实现大数据的安全处理与存储，提高数据的可用性和安全性，为后续的数据分析和决策提供可靠的保障。

本发明的一个实施例，所述S2包括：

S201、对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；

S202、根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值；

所述第一安全值的计算公式为:

其中，A_qz为第一安全值，F_bj为被访问数据链节点个数，J₁为数据链总节点个数，B_fci为数据链中第i个数据链节点的被动访问次数，Z_fci为数据链中第i个数据链节点的所有访问次数，ΔD为同一数据链两次采集数据时间之间的的数据减少量，ΔZ为同一数据链两次采集数据之间的数据增加量。

上述技术方案的工作原理为：对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值。当ΔZ为0时，设其为1。

上述技术方案的技术效果为：对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值。通过第一安全值计算公式中的可以计算出异常节点个数在总结点个数中的占比，通过/>可以计算出异常被访问次数在总访问次数中的占比，通过/>可以计算出数据变化对安全值的影响系数，通过整体计算公式可以计算出初步的数据安全值，通过按照存储时间进行关联性连接，可以将不同类型的数据进行关联，形成数据链。这种关联性可以增强数据的完整性和一致性，提高数据分析的准确性和可靠性。通过获取每个数据链的多个数据链节点安全信息，可以对每个数据节点的安全性进行评估。这种评估可以基于数据的完整性、一致性、准确性等方面，为后续的数据分析和决策提供更加准确和全面的信息。根据每个数据链节点的安全信息，可以计算其安全值。这种安全值可以反映该节点的数据安全性，为后续的数据安全性控制提供依据。同时，通过对安全值的评估，可以判断数据的危险程度，及时发现和处理潜在的安全威胁。通过对数据的安全性进行评估和控制，可以采取相应的措施来确保数据的安全性。例如，对于安全性不合格的数据节点，可以进行加密存储、限制访问等操作，以防止数据的泄露和非法访问。同时，根据数据的实时监测结果，可以对数据采集频率、存储位置等进行动态调整，以实现更优的数据安全性控制。将处理后的数据通过可视化方式展示，并生成相应的数据报告，便于用户理解和分析数据安全性状况。这种可视化展示可以提供更加直观和清晰的数据分析结果，使得用户能够更加快速地了解数据安全性状况。综上所述，通过对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，并对每个数据链的多个数据链节点安全信息进行评估和计算安全值，可以实现大数据的安全监测与控制。这种技术效果可以提高数据的完整性和安全性，为后续的数据分析和决策提供可靠的保障。

本发明的一个实施例，所述S3包括：

S301、将每个数据链节点的第一安全值与预设安全阈值进行比较，当所述第一安全值大于预设安全阈值时，不进行安全标注，当第一安全值小于等于预设安全阈值时，对数据链第一安全值对应数据链节点进行风险标注，利用曲线将每个数据链具有风险标注的数据链节点进行连接，获得数据危险轨迹；

S302、当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半，当原数据链的数据危险轨迹长度超过原数据链长度的一半时，将增量数据链节点另起一个数据链进行存储，当原数据链的数据危险轨迹长度未超过原数据链长度的一半时，将增量数据链节点继续存储于原数据链上，将增量数据链节点与增量阈值进行比较，当增量数据链节点的增量大于增量阈值时，根据采集数据结合第一安全值计算采集频率调节值；

所述采集频率调节值的计算公式为:

其中，T_cpz为采集频率调节值，P_ccp为初始预设数据采集频率，A_qz为第一安全值，Z_ccp为增量数据链节点的数据采集频率，Z₁为增量数据链节点的个数，J₁为数据链总节点个数，B_fcn为数据链的第n个增量数据链节点的被动访问次数，B_fci为数据链中第i个数据链节点的被动访问次数。

上述技术方案的工作原理为：将每个数据链节点的第一安全值与预设安全阈值进行比较，当所述第一安全值大于预设安全阈值时，不进行安全标注，当第一安全值小于等于预设安全阈值时，对数据链第一安全值对应数据链节点进行风险标注，利用曲线将每个数据链具有风险标注的数据链节点进行连接，获得数据危险轨迹；当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半，当原数据链的数据危险轨迹长度超过原数据链长度的一半时，将增量数据链节点另起一个数据链进行存储，当原数据链的数据危险轨迹长度未超过原数据链长度的一半时，将增量数据链节点继续存储于原数据链上，将增量数据链节点与增量阈值进行比较，当增量数据链节点的增量大于增量阈值时，根据采集数据结合第一安全值计算采集频率调节值，通过计算公式中的可以计算出增量数据链节点的安全值系数，通过可以计算出增量数据链节点相比于原有数据链节点的安全值系数。增量数据链节点为同一类型数据的新增采集数据的节点，数据危险轨迹长度为同一数据链中标注为风险标注的数据链节点的所占长度。

上述技术方案的技术效果为：将每个数据链节点的第一安全值与预设的安全阈值进行比较。当第一安全值大于预设安全阈值时，认为该数据链节点的安全性较高，不进行安全标注；当第一安全值小于等于预设安全阈值时，认为该数据链节点的安全性较低，需要进行风险标注。对数据链中第一安全值小于等于预设安全阈值的数据链节点进行风险标注。利用曲线将每个具有风险标注的数据链节点进行连接，形成数据危险轨迹。数据危险轨迹可以反映数据链的危险情况，为后续的数据存储和调整提供依据。当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半。如果原数据链的数据危险轨迹长度超过原数据链长度的一半，说明原数据链的安全性较低，需要将增量数据链节点另起一个数据链进行存储，以避免对原数据链的干扰和影响。如果原数据链的数据危险轨迹长度未超过原数据链长度的一半，说明原数据链的安全性较高，可以将增量数据链节点继续存储于原数据链上。将增量数据链节点的增量与增量阈值进行比较。当增量大于增量阈值时，说明该增量数据链节点的变化较大，需要结合采集数据和第一安全值计算采集频率调节值。这个调节值可以用于调节数据采集的频率，确保数据的及时性和有效性。通过实时监测数据的异常变化和趋势，及时发现和处理安全问题，确保数据的完整性和安全性。同时，通过对数据危险轨迹的分析和处理，可以了解数据的流动和变化情况，为后续的数据分析和决策提供更加准确和全面的信息。将处理后的数据进行可视化展示，并生成相应的数据报告，便于用户理解和分析数据安全性状况。这种可视化展示可以提供更加直观和清晰的数据分析结果，使得用户能够更加快速地了解数据安全性状况。综上所述，通过对每个数据链节点的第一安全值与预设安全阈值进行比较、风险标注与数据危险轨迹生成、增量数据链节点的存储策略、增量阈值比较与采集频率调节等技术手段，可以实现大数据的安全监测与控制。这种技术效果可以提高数据的完整性和安全性，为后续的数据分析和决策提供可靠的保障。同时，通过数据可视化展示和报告生成等技术手段，使得用户可以更加直观地了解数据安全性状况。

本发明的一个实施例，所述S4包括：

S401、根据采集频率调节值对数据采集频率进行调节，在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值；

S402、通过将第二安全值与第一安全值进行对比，根据对比结果，对采集频率进行重调节。

上述技术方案的工作原理为：根据采集频率调节值对数据采集频率进行调节，将采集频率调节至采集频率调节值，在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值；通过将第二安全值与第一安全值进行对比，根据对比结果，对采集频率进行重调节。判断第二安全值是否大于第一安全值的2倍，当第二安全值是否大于第一安全值的2倍时，停止采集频率的调节，当第二安全值小于等于第一安全值的2倍，根据采集数据结合第二安全值对采集频率进行重计算，和采集频率的重调节，直至最后计算的安全值大于第一安全值的2倍。安全值的计算均通过第一安全值计算公式进行计算。

上述技术方案的技术效果为：根据采集频率调节值对数据采集频率进行调节。通过调整数据采集的频率，可以确保数据的及时性和有效性，同时避免对数据链的干扰和影响。在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值。这个第二安全值可以反映经过调整后的数据链节点的安全性。通过将第二安全值与第一安全值进行对比，根据对比结果对采集频率进行重调节。如果第二安全值大于第一安全值的2倍，说明经过调整后的数据链节点安全性较高，可以停止采集频率的调节。如果第二安全值小于等于第一安全值的2倍，说明经过调整后的数据链节点安全性仍然较低，需要继续根据采集数据结合第二安全值对采集频率进行重计算和重调节。在重调节过程中，如果计算的安全值仍然小于第一安全值的2倍，需要继续重复上述步骤，直到计算的安全值大于第一安全值的2倍为止。这种循环重调节可以确保数据的完整性和安全性，同时避免对数据链的干扰和影响。综上所述，通过对采集频率的调节、安全值的计算与对比、重调节等步骤，可以实现大数据的安全监测与控制。这种技术效果可以提高数据的完整性和安全性，为后续的数据分析和决策提供可靠的保障。同时，通过数据可视化展示和报告生成等技术手段，使得用户可以更加直观地了解数据安全性状况。

本发明的一个实施例，所述系统包括：

采集处理模块，用于通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表；

安全计算模块，用于根据数据安全监测表建立数据链，获取数据链节点安全信息，根据所述数据链节点安全信息计算数据安全值，获得第一安全值；

增量调节模块，用于根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，通过对增量数据链节点进行分析，根据采集数据结合第一安全值计算采集频率调节值；

调节判断模块，用于对数据采集频率进行调节，在调节完成后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值，进行安全值是否合格的判断。

上述技术方案的工作原理为：采集处理模块用于通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表；安全计算模块用于根据数据安全监测表建立数据链，获取数据链节点安全信息，根据所述数据链节点安全信息计算数据安全值，获得第一安全值；增量调节模块用于根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，通过对增量数据链节点进行分析，根据采集数据结合第一安全值计算采集频率调节值；调节判断模块用于对数据采集频率进行调节，在调节完成后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值，进行安全值是否合格的判断。

上述技术方案的技术效果为：通过大数据方法从各种数据源中获取数据信息，并对其进行初步处理，为后续的安全监测提供基础数据。对初步处理后的数据信息进行进一步的分析和处理，建立一个数据安全监测表，用于记录和分析数据的安全性。根据数据安全监测表，建立数据链，用于描述数据之间的关联关系，为后续的数据安全分析提供依据。通过分析数据链，获取各个节点(即数据)的安全信息，为后续的安全值计算提供基础。根据数据链节点安全信息，计算数据的安全值，用于评估数据的危险程度。通过上述计算，获得第一安全值，为后续的数据危险轨迹分析提供依据。根据第一安全值，分析数据的危险轨迹，了解数据的流动和变化情况，为后续的数据存储位置分配提供依据。根据数据危险轨迹，分配增量数据链节点的存储位置，确保数据的安全性和可靠性。通过对增量数据链节点进行分析，结合第一安全值，计算采集频率调节值，用于调节数据采集的频率。根据采集频率调节值，对数据采集频率进行调节，确保数据的及时性和有效性。在调节完成后，再次根据数据链节点安全信息计算数据的安全值，获得第二安全值。根据第二安全值，判断数据的安全性是否合格，如果不合格，则需要进行相应的调整和处理。本技术方案可以实现大数据安全监测与控制，确保数据的完整性和安全性。

本发明的一个实施例，所述采集处理模块包括：

标注模块，用于通过大数据方法从数据源获取数据信息，对数据信息进行预处理后，进行数据源、采集时间和数据类型的标注，获得处理完成数据；

表图监测模块，用于对处理完成数据的每种类型数据按照数据采集时间顺序进行分别排序，形成数据安全监测表，并将每种数据进行分别存储和加密。

上述技术方案的工作原理为：标注模块用于通过大数据方法从数据源获取数据信息，对数据信息进行预处理后，进行数据源、采集时间和数据类型的标注，获得处理完成数据；表图监测模块用于对处理完成数据的每种类型数据按照数据采集时间顺序进行分别排序，形成数据安全监测表，并将每种数据进行分别存储和加密。

上述技术方案的技术效果为：通过大数据方法从各种数据源中获取数据信息，并对其进行预处理，包括数据的清洗、去重、标准化等操作，提高数据的准确性和可用性。对预处理后的数据进行数据源的标注，即记录数据来源于哪个数据源，为后续的数据分析和处理提供参考。对预处理后的数据进行采集时间的标注，即记录数据的采集时间，为后续的数据排序和监测提供依据。对预处理后的数据进行数据类型的标注，即分辨出数据属于哪种类型，如文本、数值、图像等，为后续的数据分类和处理提供帮助。对标注完成的数据，按照数据类型进行分别排序，形成数据安全监测表，用于记录和分析各种类型数据的安全性。为了确保数据的安全性，将每种类型的数据分别进行存储和加密，避免数据的泄露和非法访问。根据数据安全监测表，对各种类型的数据进行分类和处理，如异常检测、趋势分析等，为后续的数据分析和决策提供支持。将处理后的数据进行可视化展示，生成相应的数据报告，便于用户理解和分析数据。通过实时监测数据的异常变化和趋势，及时发现和处理安全问题，确保数据的完整性和安全性。通过上述技术效果，可以实现大数据的安全处理与存储，提高数据的可用性和安全性，为后续的数据分析和决策提供可靠的保障。

本发明的一个实施例，所述安全计算模块包括：

节点获取模块，用于对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；

第一计算模块，用于根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值；

所述第一安全值的计算公式为:

其中，A_qz为第一安全值，F_bj为被访问数据链节点个数，J₁为数据链总节点个数，B_fci为第i个数据链节点的被动访问次数，Z_fci为第i个数据连接点的所有访问次数，ΔD为同一数据链两次采集数据时间之间的的数据减少量，ΔZ为同一数据链两次采集数据之间的数据增加量。

上述技术方案的工作原理为：节点获取模块用于对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；第一计算模块用于根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值。

上述技术方案的技术效果为：对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值。通过按照存储时间进行关联性连接，可以将不同类型的数据进行关联，形成数据链。这种关联性可以增强数据的完整性和一致性，提高数据分析的准确性和可靠性。通过获取每个数据链的多个数据链节点安全信息，可以对每个数据节点的安全性进行评估。这种评估可以基于数据的完整性、一致性、准确性等方面，为后续的数据分析和决策提供更加准确和全面的信息。根据每个数据链节点的安全信息，可以计算其安全值。这种安全值可以反映该节点的数据安全性，为后续的数据安全性控制提供依据。同时，通过对安全值的评估，可以判断数据的危险程度，及时发现和处理潜在的安全威胁。通过对数据的安全性进行评估和控制，可以采取相应的措施来确保数据的安全性。例如，对于安全性不合格的数据节点，可以进行加密存储、限制访问等操作，以防止数据的泄露和非法访问。同时，根据数据的实时监测结果，可以对数据采集频率、存储位置等进行动态调整，以实现更优的数据安全性控制。将处理后的数据通过可视化方式展示，并生成相应的数据报告，便于用户理解和分析数据安全性状况。这种可视化展示可以提供更加直观和清晰的数据分析结果，使得用户能够更加快速地了解数据安全性状况。综上所述，通过对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，并对每个数据链的多个数据链节点安全信息进行评估和计算安全值，可以实现大数据的安全监测与控制。这种技术效果可以提高数据的完整性和安全性，为后续的数据分析和决策提供可靠的保障。

本发明的一个实施例，所述增量调节模块包括：

轨迹获取模块，用于将每个数据链节点的第一安全值与预设安全阈值进行比较，当所述第一安全值大于预设安全阈值时，不进行安全标注，当第一安全值小于等于预设安全阈值时，对数据链第一安全值对应数据链节点进行风险标注，利用曲线将每个数据链具有风险标注的数据链节点进行连接，获得数据危险轨迹；

调节计算模块，用于当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半，当原数据链的数据危险轨迹长度超过原数据链长度的一半时，将增量数据链节点另起一个数据链进行存储，当原数据链的数据危险轨迹长度未超过原数据链长度的一半时，将增量数据链节点继续存储于原数据链上，将增量数据链节点与增量阈值进行比较，当增量数据链节点的增量大于增量阈值时，根据采集数据结合第一安全值计算采集频率调节值；

所述采集频率调节值的计算公式为:

其中，T_cpz为采集频率调节值，P_ccp为初始预设数据采集频率，A_qz为第一安全值，Z_ccp为增量数据链节点的数据采集频率，Z₁为增量数据链节点的个数，J₁为数据链总节点个数，B_fcn为数据链的第n个增量数据链节点的被动访问次数，B_fci为数据链中第i个数据链节点的被动访问次数。

上述技术方案的工作原理为：轨迹获取模块用于将每个数据链节点的第一安全值与预设安全阈值进行比较，当所述第一安全值大于预设安全阈值时，不进行安全标注，当第一安全值小于等于预设安全阈值时，对数据链第一安全值对应数据链节点进行风险标注，利用曲线将每个数据链具有风险标注的数据链节点进行连接，获得数据危险轨迹；调节计算模块用于当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半，当原数据链的数据危险轨迹长度超过原数据链长度的一半时，将增量数据链节点另起一个数据链进行存储，当原数据链的数据危险轨迹长度未超过原数据链长度的一半时，将增量数据链节点继续存储于原数据链上，将增量数据链节点与增量阈值进行比较，当增量数据链节点的增量大于增量阈值时，根据采集数据结合第一安全值计算采集频率调节值。

上述技术方案的技术效果为：将每个数据链节点的第一安全值与预设的安全阈值进行比较。当第一安全值大于预设安全阈值时，认为该数据链节点的安全性较高，不进行安全标注；当第一安全值小于等于预设安全阈值时，认为该数据链节点的安全性较低，需要进行风险标注。对数据链中第一安全值小于等于预设安全阈值的数据链节点进行风险标注。利用曲线将每个具有风险标注的数据链节点进行连接，形成数据危险轨迹。数据危险轨迹可以反映数据链的危险情况，为后续的数据存储和调整提供依据。当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半。如果原数据链的数据危险轨迹长度超过原数据链长度的一半，说明原数据链的安全性较低，需要将增量数据链节点另起一个数据链进行存储，以避免对原数据链的干扰和影响。如果原数据链的数据危险轨迹长度未超过原数据链长度的一半，说明原数据链的安全性较高，可以将增量数据链节点继续存储于原数据链上。将增量数据链节点的增量与增量阈值进行比较。当增量大于增量阈值时，说明该增量数据链节点的变化较大，需要结合采集数据和第一安全值计算采集频率调节值。这个调节值可以用于调节数据采集的频率，确保数据的及时性和有效性。通过实时监测数据的异常变化和趋势，及时发现和处理安全问题，确保数据的完整性和安全性。同时，通过对数据危险轨迹的分析和处理，可以了解数据的流动和变化情况，为后续的数据分析和决策提供更加准确和全面的信息。将处理后的数据进行可视化展示，并生成相应的数据报告，便于用户理解和分析数据安全性状况。这种可视化展示可以提供更加直观和清晰的数据分析结果，使得用户能够更加快速地了解数据安全性状况。综上所述，通过对每个数据链节点的第一安全值与预设安全阈值进行比较、风险标注与数据危险轨迹生成、增量数据链节点的存储策略、增量阈值比较与采集频率调节等技术手段，可以实现大数据的安全监测与控制。这种技术效果可以提高数据的完整性和安全性，为后续的数据分析和决策提供可靠的保障。同时，通过数据可视化展示和报告生成等技术手段，使得用户可以更加直观地了解数据安全性状况。

本发明的一个实施例，所述调节判断模块包括：

第二计算模块，用于根据采集频率调节值对数据采集频率进行调节，在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值；

重调节模块，用于通过将第二安全值与第一安全值进行对比，根据对比结果，对采集频率进行重调节。

上述技术方案的工作原理为：第二计算模块用于根据采集频率调节值对数据采集频率进行调节，在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值；重调节模块用于通过将第二安全值与第一安全值进行对比，根据对比结果，对采集频率进行重调节。判断第二安全值是否大于第一安全值的2倍，当第二安全值是否大于第一安全值的2倍时，停止采集频率的调节，当第二安全值小于等于第一安全值的2倍，根据采集数据结合第二安全值对采集频率进行重计算，和采集频率的重调节，直至最后计算的安全值大于第一安全值的2倍。

上述技术方案的技术效果为：根据采集频率调节值对数据采集频率进行调节。通过调整数据采集的频率，可以确保数据的及时性和有效性，同时避免对数据链的干扰和影响。在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值。这个第二安全值可以反映经过调整后的数据链节点的安全性。通过将第二安全值与第一安全值进行对比，根据对比结果对采集频率进行重调节。如果第二安全值大于第一安全值的2倍，说明经过调整后的数据链节点安全性较高，可以停止采集频率的调节。如果第二安全值小于等于第一安全值的2倍，说明经过调整后的数据链节点安全性仍然较低，需要继续根据采集数据结合第二安全值对采集频率进行重计算和重调节。在重调节过程中，如果计算的安全值仍然小于第一安全值的2倍，需要继续重复上述步骤，直到计算的安全值大于第一安全值的2倍为止。这种循环重调节可以确保数据的完整性和安全性，同时避免对数据链的干扰和影响。综上所述，通过对采集频率的调节、安全值的计算与对比、重调节等步骤，可以实现大数据的安全监测与控制。这种技术效果可以提高数据的完整性和安全性，为后续的数据分析和决策提供可靠的保障。同时，通过数据可视化展示和报告生成等技术手段，使得用户可以更加直观地了解数据安全性状况。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于大数据的数据安全采集方法，其特征在于，所述方法包括：

S1、通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表；

S2、根据数据安全监测表建立数据链，获取数据链节点安全信息，根据所述数据链节点安全信息计算数据安全值，获得第一安全值；

S3、根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，通过对增量数据链节点进行分析，根据采集数据结合第一安全值计算采集频率调节值；

S4、对数据采集频率进行调节，在调节完成后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值，进行安全值是否合格的判断。

2.根据权利要求1所述一种基于大数据的数据安全采集方法，其特征在于，所述S1包括：

S101、通过大数据方法从数据源获取数据信息，对数据信息进行预处理后，进行数据源、采集时间和数据类型的标注，获得处理完成数据；

S102、对处理完成数据的每种类型数据按照数据采集时间顺序进行分别排序，形成数据安全监测表，并将每种数据进行分别存储和加密。

3.根据权利要求1所述一种基于大数据的数据安全采集方法，其特征在于，所述S2包括：

S201、对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；

S202、根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值。

4.根据权利要求1所述一种基于大数据的数据安全采集方法，其特征在于，所述S3包括：

S301、将每个数据链节点的第一安全值与预设安全阈值进行比较，当第一安全值小于等于预设安全阈值时，对数据链第一安全值对应数据链节点进行风险标注，利用曲线将每个数据链具有风险标注的数据链节点进行连接，获得数据危险轨迹；

S302、当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半，当原数据链的数据危险轨迹长度超过原数据链长度的一半时，将增量数据链节点另起一个数据链进行存储，当原数据链的数据危险轨迹长度未超过原数据链长度的一半时，将增量数据链节点继续存储于原数据链上，将增量数据链节点与增量阈值进行比较，当增量数据链节点的增量大于增量阈值时，根据采集数据结合第一安全值计算采集频率调节值。

5.根据权利要求1所述一种基于大数据的数据安全采集方法，其特征在于，所述S4包括：

S401、根据采集频率调节值对数据采集频率进行调节，在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值；

S402、通过将第二安全值与第一安全值进行对比，根据对比结果，对采集频率进行重调节。

6.一种基于大数据的数据安全采集系统，其特征在于，所述系统包括：

采集处理模块，用于通过大数据方法从数据源中获取数据信息，对数据信息进行初步处理，建立数据安全监测表；

安全计算模块，用于根据数据安全监测表建立数据链，获取数据链节点安全信息，根据所述数据链节点安全信息计算数据安全值，获得第一安全值；

增量调节模块，用于根据第一安全值分析获取数据危险轨迹，根据数据危险轨迹分配采集的增量数据链节点的存储位置，通过对增量数据链节点进行分析，根据采集数据结合第一安全值计算采集频率调节值；

调节判断模块，用于对数据采集频率进行调节，在调节完成后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值，进行安全值是否合格的判断。

7.根据权利要求6所述一种基于大数据的数据安全采集系统，其特征在于，所述采集处理模块包括：

标注模块，用于通过大数据方法从数据源获取数据信息，对数据信息进行预处理后，进行数据源、采集时间和数据类型的标注，获得处理完成数据；

表图监测模块，用于对处理完成数据的每种类型数据按照数据采集时间顺序进行分别排序，形成数据安全监测表，并将每种数据进行分别存储和加密。

8.根据权利要求6所述一种基于大数据的数据安全采集系统，其特征在于，所述安全计算模块包括：

节点获取模块，用于对数据安全监测表中的每种类型数据按照存储时间进行关联性连接，获得每种类型数据的数据链，数据链中每个存储时间对应的数据信息为一个数据链节点，获取每个数据链的多个数据链节点安全信息；

第一计算模块，用于根据所述数据链节点安全信息计算每个数据链节点信息得安全值，获得第一安全值。

9.根据权利要求6所述一种基于大数据的数据安全采集系统，其特征在于，所述增量调节模块包括：

轨迹获取模块，用于将每个数据链节点的第一安全值与预设安全阈值进行比较，当第一安全值小于等于预设安全阈值时，对数据链第一安全值对应数据链节点进行风险标注，利用曲线将每个数据链具有风险标注的数据链节点进行连接，获得数据危险轨迹；

调节计算模块，用于当数据链存在增量数据链节点时，监测原数据链的数据危险轨迹长度是否超过原数据链长度的一半，当原数据链的数据危险轨迹长度超过原数据链长度的一半时，将增量数据链节点另起一个数据链进行存储，当原数据链的数据危险轨迹长度未超过原数据链长度的一半时，将增量数据链节点继续存储于原数据链上，将增量数据链节点与增量阈值进行比较，当增量数据链节点的增量大于增量阈值时，根据采集数据结合第一安全值计算采集频率调节值。

10.根据权利要求6所述一种基于大数据的数据安全采集系统，其特征在于，所述调节判断模块包括：

第二计算模块，用于根据采集频率调节值对数据采集频率进行调节，在调节完成之后，再次根据数据链节点安全信息计算数据安全值，获得第二安全值；

重调节模块，用于通过将第二安全值与第一安全值进行对比，根据对比结果，对采集频率进行重调节。