CN115878505B - 一种基于芯片实现的数据缓存方法及系统 - Google Patents

Abstract

本发明提供了一种基于芯片实现的数据缓存方法及系统，涉及数据缓存的技术领域，其方法包括：获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中；利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型；据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度；根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号；根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析。能够解决芯片对数据的处理失误，可能会导致数据缓存不完整，亦或者是在数据本身存在字符缺失的情况下，所导致的缓存不完整的问题。

Description

一种基于芯片实现的数据缓存方法及系统

技术领域

本发明涉及数据缓存的技术领域，特别涉及一种基于芯片实现的数据缓存方法及系统。

背景技术

目前，现有的计算引擎，例如Spark，每次缓存数据时通常是对一项业务的所有数据进行整体缓存，且缓存工作可以是基于芯片实现的，但是在基于芯片对数据进行缓存的过程中，由于芯片对数据的处理失误，可能会导致数据缓存不完整，亦或者是在数据本身存在字符缺失的情况下，所导致的缓存不完整，进而影响缓存效率。

因此，本发明提出一种基于芯片实现的数据缓存方法及系统。

发明内容

本发明提供一种基于芯片实现的数据缓存方法及系统，通过将待缓存数据划分为多个数据块，利用芯片的数据处理窗口确定每个数据块中的数据量和边缘数据类型，以此来确定两个相邻数据块之间的衔接度，生成唯一缓存符号，对待缓存数据进行缓存完整性分析，有效避免因数据缓存不完整导致的缓存效率低下的问题。

本发明提出一种基于芯片实现的数据缓存方法，包括：

步骤1：获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中；

步骤2：利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型；

步骤3：根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度；

步骤4：根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号；

步骤5：根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析。

优选的，获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中，包括：

判断待缓存数据包含的数据类型以及待缓存数据的数据结构；

根据所述数据类型和数据结构，从规则数据库中选择适配的数据块划分规则；

根据适配的数据块划分规则，确定已知划分块的内存阈值，并将所述待缓存数据进行划分，分别缓存到匹配的数据块中，其中，已知划分块存放对应数据块中的数据内容。

优选的，利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型，包括：

基于芯片的数据处理窗口获取每个数据块的每个数据单元对应的数据量；

根据芯片的数据处理窗口的预设边缘层规则，确定每个数据块中每个数据单元的边缘数据类型，其中，所述边缘数据类型包括：对应数据单元中的左侧数据类型以及右侧数据类型。

优选的，根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度，包括：

确定两个相邻数据块中第一数据块中每两个相邻数据单元的边缘数据类型以及数据量，并构建第一边缘类型数组集合以及第一数据量数组集合，同时，确定第二数据块中每两个相邻数据单元的边缘数据类型以及数据量，并构建第二边缘类型数组集合以及第二数据量数组集合；

将所述第一边缘类型数组集合、第一数据量数组集合、第二边缘类型数组集合、第二数据量数组集合与衔接数据库进行匹配，获取得到第一衔接因子；

根据第一数据块中的最右侧数据单元的边缘数据类型以及第二数据块中最左侧数据单元的边缘数据类型，确定第二衔接因子；

根据所述第一衔接因子以及第二衔接因子，确定两个相邻数据块之间的衔接度X；

其中，y(d1)表示基于第一衔接因子d1的衔接函数；表示基于第二衔接因子d2的微调函数。

优选的，根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号，包括：

判断两个相邻数据块之间的衔接度是否大于等于第一预设阈值，若是，确定两个相邻数据块的数据缓存可行，若否，确定两个相邻数据块的数据缓存不可行；

确定每个数据块中每个数据单元中存储数据的当前数据类型，根据所述当前数据类型将同类型数据的数据单元进行分类，获取第一分类结果，其中，所述第一分类结果包括：分类数量、每个分类中的单元数量、每个分类中每个数据单元的排布位置以及每个分类中每个数据单元中的数据的缓存进度；

根据第一分类结果，构建得到对应数据块的唯一缓存符号。

优选的，根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析，包括：

基于符号生成模型，获取所述待缓存数据的标准缓存符号集合，并从所述标准缓存符号集合中调取与对应数据块的块属性一致的标准缓存符号，来与匹配的唯一缓存符号进行对比分析，确定符号缺失项；

基于符号缺失项判定待缓存数据存在缓存缺陷；

确定符号缺失项对应的符号类型，根据符号类型确定缓存缺陷的缺陷类型。

优选的，根据所述数据类型和数据结构，从规则数据库中选择适配的数据块划分规则，包括：

根据所述数据结构、待缓存数据中同类型数据的分布及聚类情况，为所述待缓存数据设置数据划分标签；

从规则数据库中选择所述数据划分标签对应的目标数据块划分规则作为适配的数据块划分规则。

优选的，将每个数据块中每个数据单元的实体数据资源输入到芯片的数据处理窗口中以获取每个数据块的每个数据单元对应的数据量，包括：

确定与芯片的处理数据窗口关联的网络节点；

在网络流表中查找每个网络节点的标准网络流，根据所述标准网络流确定每个网络节点的数据传输之前的初始数据特征和传输过程中的过程数据特征以及数据传输后的终止数据特征；

根据每个网络节点的初始数据特征、过程数据特征和终止数据特征生成该网络节点的数据传输特征参数；

基于每个网络节点的数据传输特征参数生成该网络节点与待传输数据之间的网格链；

将每个数据块中每个数据单元的实体数据资源输入到所述网格链中以获取每个数据块的每个数据单元对应的数据量。

优选的，在获取待缓存数据并将其划分为多个数据块之前，还包括：

提取所述待缓存数据的核心数据信息；

利用预设业务风险评估模型对所述核心数据信息进行多维度信息评估，根据评估结果筛选出待缓存数据中的风险标注数据；

提取所述风险数据的基础风险特征，确定所述基础风险特征对应的风险属性；

基于所述风险属性评估出待缓存数据的风险指数，确认所述风险指数是否大于第二预设阈值，若否，检测所述待缓存数据对应的数据源；

利用机器学习回归模型和分类模型构建数据类型评估模型，利用所述数据类型评估模型对数据源中与待缓存数据同类型存储数据进行边界数据读取；

根据读取结果获取边界数据，确定所述边界数据的存储约束条件信息；

根据所述存储约束条件信息确定待缓存数据的核心数据信息在存储到所述数据源时的变量数据信息；

将所述变量数据信息输入到预设价值评估函数中进行计算，获取函数响应结果；

基于所述函数响应结果获取待缓存数据的价值评估信息；

将所述待缓存数据输入多个数据需求匹配模型中，根据模型输出结果获取待缓存数据的质量评估信息；

根据所述待缓存数据的质量评估信息和价值评估信息综合确定待缓存数据的缓存价值信息；

根据所述缓存价值信息确定待缓存数据的缓存必要性并根据其生成数据分析报告上传至工作人员所在终端。

一种基于芯片实现的数据缓存系统，包括：

划分模块：用于获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中；

第一确定模块：用于利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型；

第二确定模块：用于根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度；

生成模块：用于根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号；

缓存模块：用于根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于芯片实现的数据缓存方法的流程图；

图2为本发明实施例中一种基于芯片实现的数据缓存系统的结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供一种基于芯片实现的数据缓存方法，如图1所示，该方法包括：

步骤1：获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中；

步骤2：利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型；

步骤3：根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度；

步骤4：根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号；

步骤5：根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析。

该实施例中，将待缓存数据进行划分之后得到的若干划分数据，需要对每个划分数据进行缓存，并将每个划分数据所对应缓存空间视为数据块，由于每个数据块都预先是基于若干数据单元构建得到的，且每个数据单元中都混村有相关的数据内容，其中，数据块以及数据单元都可以视为缓存介质。

该实施例中，数据处理窗口是预先设置好的，主要是为了实现数据量的识别判定以及边缘数据类型的识别判定，确定每个数据块中每个数据单元的数据量，相当于是对数据单元中所存在的数据内容进行量的统计，得到数据量，比如数据量为10。

该实施例中，如果数据单元中从左到右存储的依次为数据1、数据2、数据3，那么数据1为左侧边缘数据，且类型为左侧边缘数据类型A1，同理，数据3为右侧边缘数据，且类型为右侧边缘数据类型A2。

该实施例中，在数据缓存的过程中，如果缓存的数据类型突然发生变化，那么在缓存过程中可能会因为类型变化过大，导致缓存效率降低，所以，需要确定每个单元的边缘数据类型，以此达到数据高效率缓存的目的，所以，会确定数据块之间的衔接度。

该实施例中，衔接度表示为相邻两个数据块之间的缓存衔接度，也就是相邻两个数据库之间的缓存效率的高低，缓存衔接度越大，对应的缓存效率越高。

该实施例中，除了第一个缓存块与最后一个缓存块会存在一个衔接度，剩余的中间缓存块都会存在两个衔接度，比如，存在数据块1、数据块2以及数据块3，那么数据块1会存在数据块1与数据块2之间的衔接度，数据块2会存在数据块1与数据块2、数据块2与数据块3之间的衔接度，数据块3会存在数据块2与数据块3之间的衔接度，其中，每个数据块都有其唯一的位置编号、有其数据缓存量、存在的缓存进度、每个数据单元的缓存情况以及数据情况，进而得到每个数据块的唯一缓存符号。

该实施例中，完整性验证标准指的是，在对待缓存数据进行划分之后，就已经基于划分-符号数据库，得到针对该划分数据的标准缓存符号，通过该标准缓存符号与对应的唯一缓存符号进行比较，可以得到存在的缺失符号，方便进行缓存缺失数据的有效判定，根据缺失符号的符号类型来确定是芯片导致的缺陷，亦或者是数据本身就存在缺陷导致的，具体可以通过类型-缺陷数据库确定出与缺失符号匹配的缺陷情况，比如，缺失符号为@，此时，对应的缺陷即为芯片本身存在接收异常导致的。

该实施例中，数据块为芯片中的缓存空间。

上述技术方案的有益效果是：通过将缓存数据划分为多个数据类型并确定每个数据单元的数据量和边缘数据类型，确定衔接度生成唯一缓存符号，能够保证数据缓存的完整性，提高缓存效率。

实施例2：

本发明提供一种基于芯片实现的数据缓存方法，获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中，包括：

判断待缓存数据包含的数据类型以及待缓存数据的数据结构；

根据所述数据类型和数据结构，从规则数据库中选择适配的数据块划分规则；

根据适配的数据块划分规则，确定已知划分块的内存阈值，并将所述待缓存数据进行划分，分别缓存到匹配的数据块中，其中，已知划分块存放对应数据块中的数据内容。

该实施例中，数据类型是待缓存数据中各个子数据对应的数据类型，例如：网络数据，实体数据和图表数据等。

该实施例中，数据结构是根据待缓存数据中各个数据的关联关系将待缓存数据进行划分的结构，例如树状结构和金字塔结构等。

该实施例中，内存阈值是已知的划分块的最大内存参考阈值。

上述技术方案的有益效果是：通过缓存数据的数据类型和数据结构从规则数据库中选择适配的数据块划分规则，将待缓存数据划分为多个类型数据，能够快速的将待缓存数据进行划分，提高划分效率。

实施例3：

本发明提供一种基于芯片实现的数据缓存方法，利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型，包括：

基于芯片的数据处理窗口获取每个数据块的每个数据单元对应的数据量；

根据芯片的数据处理窗口的预设边缘层规则，确定每个数据块中每个数据单元的边缘数据类型，其中，所述边缘数据类型包括：对应数据单元中的左侧数据类型以及右侧数据类型。

该实施例中，预设边缘层规则是数据处理窗口的边缘层的预设数据处理规则，例如：优先处理何种类型数据。

上述技术方案的有益效果是：通过将每个数据单元的实体数据资源输入到芯片的数据处理窗口获取数据单元的数据量，根据预设边缘层规则，确定数据单元的边缘数据类型，能够快速确定数据块中的数据量和边缘数据类型。

实施例4：

本发明提供一种基于芯片实现的数据缓存方法，根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度，包括：

确定两个相邻数据块中第一数据块中每两个相邻数据单元的边缘数据类型以及数据量，并构建第一边缘类型数组集合以及第一数据量数组集合，同时，确定第二数据块中每两个相邻数据单元的边缘数据类型以及数据量，并构建第二边缘类型数组集合以及第二数据量数组集合；

将所述第一边缘类型数组集合、第一数据量数组集合、第二边缘类型数组集合、第二数据量数组集合与衔接数据库进行匹配，获取得到第一衔接因子；

根据第一数据块中的最右侧数据单元的边缘数据类型以及第二数据块中最左侧数据单元的边缘数据类型，确定第二衔接因子；

根据所述第一衔接因子以及第二衔接因子，确定两个相邻数据块之间的衔接度X；

其中，y(d1)表示基于第一衔接因子d1的衔接函数；表示基于第二衔接因子d2的微调函数。

该实施例中，第一数据量数组集合指的是[第一数据块中第一个数据单元中的右侧边缘数据类型与第二个数据单元中的左侧数据类型，第二个数据单元中的右侧边缘数据类型与第三个数据单元中的左侧边缘数据类型，...]

该实施例中，第二数据量数组集合指的是[第二数据块中第一个数据单元中的右侧边缘数据类型与第二个数据单元中的左侧数据类型，第二个数据单元中的右侧边缘数据类型与第三个数据单元中的左侧边缘数据类型，...]

该实施例中，衔接数据库指的是包括不同数量数组集合、边缘类型数组集合等的各种组合以及所对应的衔接因子在内的，主要是为了方便为后续计算数据块之间的衔接度提供基础。

该实施例中，衔接因子主要与类型上的衔接、数量上的衔接相关，因此，来确定衔接度，当d1的类型越相关、且数据块的数据量越接近数据块所缓存的最佳量时，对应的y（d1）的值越趋于1，且y（d1）的取值范围为（0，1），当d2的类型越相关、且对应的数据单元的数据量越接近数据单元所缓存的最佳量时，对应的越趋于0.1，且的取值范围为（0，0.1）。

上述技术方案的有益效果是：确定两个相邻数据块中数据块中每两个相邻数据单元的边缘数据类型以及数据量，获取衔接因子，以此确定两个相邻数据块之间的衔接度，能够判断两个相邻数据块之间数据缓存的效率。

实施例5：

本发明提供一种基于芯片实现的数据缓存方法，根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号，包括：

判断两个相邻数据块之间的衔接度是否大于等于第一预设阈值，若是，确定两个相邻数据块的数据缓存可行，若否，确定两个相邻数据块的数据缓存不可行；

确定每个数据块中每个数据单元中存储数据的当前数据类型，根据所述当前数据类型将同类型数据的数据单元进行分类，获取第一分类结果，其中，所述第一分类结果包括：分类数量、每个分类中的单元数量、每个分类中每个数据单元的排布位置以及每个分类中每个数据单元中的数据的缓存进度；

根据第一分类结果，构建得到对应数据块的唯一缓存符号。

该实施例中，第一预设阈值可以为80%。

该实施例中，缓存可行是两个相邻数据块的存储数据可以进行同步缓存。

该实施例中，排布位置表示为数据单元在每个分类中的排序标号，例如第1个数据单元，第5个数据单元。

该实施例中，缓存进度每个数据单元中的数据的实时缓存百分比，例如：80%。

上述技术方案的有益效果是：通过判断两个相邻数据块之间的衔接度，确定相邻数据块是数据缓存可行，构建对应数据块的唯一缓存符号，能够确定每个数据单元中的数据是否具备缓存标准。

实施例6：

本发明提供一种基于芯片实现的数据缓存方法，根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析，包括：

基于符号生成模型，获取所述待缓存数据的标准缓存符号集合，并从所述标准缓存符号集合中调取与对应数据块的块属性一致的标准缓存符号，来与匹配的唯一缓存符号进行对比分析，确定符号缺失项；

基于符号缺失项判定待缓存数据存在缓存缺陷；

确定符号缺失项对应的符号类型，根据符号类型确定缓存缺陷的缺陷类型。

该实施例中，标准缓存符号是在对待缓存数据进行划分之后，就已经基于划分-符号数据库，得到针对该划分数据的标准缓存符号。

该实施例中，符号缺失项是示缓存符号中多个字母表示项中的缺失字母所对应的缓存验证指标项。

该实施例中，缺陷类型是芯片导致的缺陷，亦或者是数据本身就存在缺陷导致的，具体可以通过类型-缺陷数据库确定出与缺失符号匹配的缺陷情况，比如，缺失符号为@，此时，对应的缺陷即为芯片本身存在接收异常导致的。

上述技术方案的有益效果是：从标准缓存符号集合中调取与对应数据块的块属性一致的标准缓存符号，来与匹配的唯一缓存符号进行对比分析，确定符号缺失项，能够准确的判断出数据是否完整缓存，并确定待缓存数据的缓存缺陷的缺陷类型，以此来判断是否需要对芯片进行修复。

实施例7：

本发明提供一种基于芯片实现的数据缓存方法，根据所述数据类型和数据结构，从规则数据库中选择适配的数据块划分规则，包括：

根据所述数据结构、待缓存数据中同类型数据的分布及聚类情况，为所述待缓存数据设置数据划分标签；

从规则数据库中选择所述数据划分标签对应的目标数据块划分规则作为适配的数据块划分规则。

该实施例中，数据划分标签是对于待缓存数据进行数据块划分的匹配标签。

该实施例中，数据块划分规则是对待缓存数据进行数据块划分的划分规则。

该实施例中，分布及聚类情况是待缓存数据中同类型数据的核心数据分布区域情况以及各个核心数据的关联数据的区域数据聚集情况。

该实施例中，数据划分标签是对于待缓存数据进行何种数据划分的设定标签，例如：通过数据类型划分。数据格式划分等。

该实施例中，规则数据库是存储多个数据划分规则的资源库。

上述技术方案的有益效果是：根据与待缓存数据同类型数据的分布和聚类情况，为待缓存数据设置划分标签，基于规则数据库将数据划分标签对应的目标数据块划分规则作为适配的数据块划分规则，能够为每个数据块选择最适配的划分规则，提高划分效率。

实施例8：

本发明提供一种基于芯片实现的数据缓存方法，将每个数据块中每个数据单元的实体数据资源输入到芯片的数据处理窗口中以获取每个数据块的每个数据单元对应的数据量，包括：

确定与芯片的处理数据窗口关联的网络节点；

在网络流表中查找每个网络节点的标准网络流，根据所述标准网络流确定每个网络节点的数据传输之前的初始数据特征和传输过程中的过程数据特征以及数据传输后的终止数据特征；

根据每个网络节点的初始数据特征、过程数据特征和终止数据特征生成该网络节点的数据传输特征参数；

基于每个网络节点的数据传输特征参数生成该网络节点与待传输数据之间的网格链；

将每个数据块中每个数据单元的实体数据资源输入到所述网格链中以获取每个数据块的每个数据单元对应的数据量。

该实施例中，网络节点是计算机或者服务器中启动处理数据窗口并进行工作时的设备网络节点。

该实施例中，网络流表是存储多个网络节点在正常运行时的网络流量统计表。

该实施例中，初始数据特征是每个网络节点在进行数据传输之前的内置存储数据特征，包括数据量等，过程数据特征是每个网络节点在进行数据传输时的内置数据特征，包括：单次传输最大数据量、已传输数量和未传输数据量等，终止数据特征是每个网络节点在进行数据传输之后的内置存储数据特征，包括存储数据量、存储数据内存和存储数据效率等。

该实施例中，数据传输特征参数是每个网络节点在进行数据传输时的特征变化参数，例如：节点流量变化和节点内存变化以及节点的状态量变化等。

该实施例中，网格链是每个网络节点对于待缓存数据进行缓存的专属网格传输通道链。

上述技术方案的有益效果是：根据网络节点的初始数据特征、过程数据特征和终止数据特征生成与芯片的处理数据窗口关联的网络节点的数据传输特征参数，根据特征参数生成网格链，获取到每个数据单元对应的数据量，能够确定每个数据块所对应的数据量，为后续缓存数据提供了缓存基础。

实施例9：

本发明提供一种基于芯片实现的数据缓存方法，在获取待缓存数据并将其划分为多个数据块之前，还包括：

提取所述待缓存数据的核心数据信息；

利用预设业务风险评估模型对所述核心数据信息进行多维度信息评估，根据评估结果筛选出待缓存数据中的风险标注数据；

提取所述风险数据的基础风险特征，确定所述基础风险特征对应的风险属性；

基于所述风险属性评估出待缓存数据的风险指数，确认所述风险指数是否大于第二预设阈值，若否，检测所述待缓存数据对应的数据源；

利用机器学习回归模型和分类模型构建数据类型评估模型，利用所述数据类型评估模型对数据源中与待缓存数据同类型存储数据进行边界数据读取；

根据读取结果获取边界数据，确定所述边界数据的存储约束条件信息；

根据所述存储约束条件信息确定待缓存数据的核心数据信息在存储到所述数据源时的变量数据信息；

将所述变量数据信息输入到预设价值评估函数中进行计算，获取函数响应结果；

基于所述函数响应结果获取待缓存数据的价值评估信息；

将所述待缓存数据输入多个数据需求匹配模型中，根据模型输出结果获取待缓存数据的质量评估信息；

根据所述待缓存数据的质量评估信息和价值评估信息综合确定待缓存数据的缓存价值信息；

根据所述缓存价值信息确定待缓存数据的缓存必要性并根据其生成数据分析报告上传至工作人员所在终端。

该实施例中，核心数据信息是待缓存数据中与各个子数据关联最复杂和关联性扩散最大的目标子数据。

该实施例中，多维度信息评估是从多个维度对核心数据进行信息评估，例如从数据安全、数据来源、数据属性和数据格式等维度进行评估。

该实施例中，基础风险特征是风险数据中包括的基础风险特征因子，例如：数据丢失风险因子和数据被篡改风险因子。

该实施例中，风险属性是基础风险特征对应的相关风险属性，例如：数据丢失风险特征因子对应的风险属性为账号安全属性和数据安全属性等。

该实施例中，边界数据是数据源中与待缓存数据同类型数据中处于最右边界的相关存储数据，最右边界为最新存储到数据源中的数据所在的存储边界。

该实施例中，变量数据信息是最新存储到数据源中的数据在存储前后的变化数据信息。

该实施例中，价值评估信息是对于待缓存数据进行价值度评估的相关指标信息。

该实施例中，质量评估信息对于待缓存数据进行数据质量评估的相关指标信息。

该实施例中，缓存价值信息是对于待缓存数据进行缓存的相对价值信息，其包括：占用内存、占用网络资源和占用芯片系统资源等。

该实施例中，存储约束条件信息是边界数据在进行存储时的约束信息，例如：内存预设、格式约束和数据结构约束等。

该实施例中，预设价值评估函数是对于待缓存数据进行缓存价值度评估的函数，其使用多个价值指标对待缓存数据进行综合价值评估。

该实施例中，函数响应结果是预设价值评估函数中多个价值指标对于待缓存数据中的相关分析数据进行分析后输出的该价值指标的评估结果。

上述技术方案的有益效果是：通过对待缓存数据进行多维度信息评估，进行风险标注，获取风险指数，获取待缓存数据的核心数据信息在存储到所述数据源时的变量数据信息，确定待缓存数据的缓存价值信息，能够精准判断数据是否有缓存的必要，避免缓存一些不需要缓存的数据，浪费缓存时间。

实施例10：

一种基于芯片实现的数据缓存系统，如图2所示，包括：

划分模块：用于获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中；

第一确定模块：用于利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型；

第二确定模块：用于根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度；

生成模块：用于根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号；

缓存模块：用于根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析。

上述技术方案的有益效果是：通过将缓存数据划分为多个数据块并确定每个数据单元的数据量和边缘数据类型，确定衔接度生成唯一缓存符号，能够保证数据缓存的完整性，提高缓存效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于芯片实现的数据缓存方法，其特征在于，该方法包括：

步骤1：获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中；

步骤2：利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型；

步骤3：根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度；

步骤4：根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号；

步骤5：根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析；

其中，根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度，包括：

确定两个相邻数据块中第一数据块中每两个相邻数据单元的边缘数据类型以及数据量，并构建第一边缘类型数组集合以及第一数据量数组集合，同时，确定第二数据块中每两个相邻数据单元的边缘数据类型以及数据量，并构建第二边缘类型数组集合以及第二数据量数组集合；

将所述第一边缘类型数组集合、第一数据量数组集合、第二边缘类型数组集合、第二数据量数组集合与衔接数据库进行匹配，获取得到第一衔接因子；

根据第一数据块中的最右侧数据单元的边缘数据类型以及第二数据块中最左侧数据单元的边缘数据类型，确定第二衔接因子；

根据所述第一衔接因子以及第二衔接因子，确定两个相邻数据块之间的衔接度X；

其中，y(d1)表示基于第一衔接因子d1的衔接函数；表示基于第二衔接因子d2的微调函数；

其中，根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号，包括：

判断两个相邻数据块之间的衔接度是否大于等于第一预设阈值，若是，确定两个相邻数据块的数据缓存可行，若否，确定两个相邻数据块的数据缓存不可行；

确定每个数据块中每个数据单元中存储数据的当前数据类型，根据所述当前数据类型将同类型数据的数据单元进行分类，获取第一分类结果，其中，所述第一分类结果包括：分类数量、每个分类中的单元数量、每个分类中每个数据单元的排布位置以及每个分类中每个数据单元中的数据的缓存进度；

根据第一分类结果，构建得到对应数据块的唯一缓存符号；

其中，根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析，包括：

基于符号生成模型，获取所述待缓存数据的标准缓存符号集合，并从所述标准缓存符号集合中调取与对应数据块的块属性一致的标准缓存符号，来与匹配的唯一缓存符号进行对比分析，确定符号缺失项；

基于符号缺失项判定待缓存数据存在缓存缺陷；

确定符号缺失项对应的符号类型，根据符号类型确定缓存缺陷的缺陷类型。

2.根据权利要求1所述的基于芯片实现的数据缓存方法，其特征在于，获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中，包括：

判断待缓存数据包含的数据类型以及待缓存数据的数据结构；

根据所述数据类型和数据结构，从规则数据库中选择适配的数据块划分规则；

根据适配的数据块划分规则，确定已知划分块的内存阈值，并将所述待缓存数据进行划分，分别缓存到匹配的数据块中，其中，已知划分块存放对应数据块中的数据内容。

3.根据权利要求1所述的基于芯片实现的数据缓存方法，其特征在于，利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型，包括：

基于芯片的数据处理窗口获取每个数据块的每个数据单元对应的数据量；

根据芯片的数据处理窗口的预设边缘层规则，确定每个数据块中每个数据单元的边缘数据类型，其中，所述边缘数据类型包括：对应数据单元中的左侧数据类型以及右侧数据类型。

4.根据权利要求2所述的基于芯片实现的数据缓存方法，其特征在于，根据所述数据类型和数据结构，从规则数据库中选择适配的数据块划分规则，包括：

根据所述数据结构、待缓存数据中同类型数据的分布及聚类情况，为所述待缓存数据设置数据划分标签；

从规则数据库中选择所述数据划分标签对应的目标数据块划分规则作为适配的数据块划分规则。

5.根据权利要求3所述的基于芯片实现的数据缓存方法，其特征在于，将每个数据块中每个数据单元的实体数据资源输入到芯片的数据处理窗口中以获取每个数据块的每个数据单元对应的数据量，包括：

确定与芯片的处理数据窗口关联的网络节点；

在网络流表中查找每个网络节点的标准网络流，根据所述标准网络流确定每个网络节点的数据传输之前的初始数据特征和传输过程中的过程数据特征以及数据传输后的终止数据特征；

根据每个网络节点的初始数据特征、过程数据特征和终止数据特征生成该网络节点的数据传输特征参数；

基于每个网络节点的数据传输特征参数生成该网络节点与待传输数据之间的网格链；

将每个数据块中每个数据单元的实体数据资源输入到所述网格链中以获取每个数据块的每个数据单元对应的数据量。

6.根据权利要求1所述的基于芯片实现的数据缓存方法，其特征在于，在获取待缓存数据并将其划分为多个数据块之前，还包括：

提取所述待缓存数据的核心数据信息；

利用预设业务风险评估模型对所述核心数据信息进行多维度信息评估，根据评估结果筛选出待缓存数据中的风险标注数据；

提取所述风险标注数据的基础风险特征，确定所述基础风险特征对应的风险属性；

基于所述风险属性评估出待缓存数据的风险指数，确认所述风险指数是否大于第二预设阈值，若否，检测所述待缓存数据对应的数据源；

利用机器学习回归模型和分类模型构建数据类型评估模型，利用所述数据类型评估模型对数据源中与待缓存数据同类型存储数据进行边界数据读取；

根据读取结果获取边界数据，确定所述边界数据的存储约束条件信息；

根据所述存储约束条件信息确定待缓存数据的核心数据信息在存储到所述数据源时的变量数据信息；

将所述变量数据信息输入到预设价值评估函数中进行计算，获取函数响应结果；

基于所述函数响应结果获取待缓存数据的价值评估信息；

将所述待缓存数据输入多个数据需求匹配模型中，根据模型输出结果获取待缓存数据的质量评估信息；

根据所述待缓存数据的质量评估信息和价值评估信息综合确定待缓存数据的缓存价值信息；

根据所述缓存价值信息确定待缓存数据的缓存必要性并根据其生成数据分析报告上传至工作人员所在终端。

7.一种基于芯片实现的数据缓存系统，其特征在于，包括：

划分模块：用于获取待缓存数据并划分，并将每个划分数据缓存在对应数据块中；

第一确定模块：用于利用芯片的数据处理窗口确定每个数据块中的每个数据单元的数据量以及边缘数据类型；

第二确定模块：用于根据每个数据块中的每个数据单元的数据量以及边缘数据类型，确定两个相邻数据块之间的衔接度；

生成模块：用于根据两个相邻数据块之间的衔接度，确定两个相邻数据块的数据缓存可行性，并生成每个数据块的唯一缓存符号；

缓存模块：用于根据符号完整性验证标准对每个数据块的唯一缓存符号进行缓存完整性分析；

其中，第二确定模块，用于：

确定两个相邻数据块中第一数据块中每两个相邻数据单元的边缘数据类型以及数据量，并构建第一边缘类型数组集合以及第一数据量数组集合，同时，确定第二数据块中每两个相邻数据单元的边缘数据类型以及数据量，并构建第二边缘类型数组集合以及第二数据量数组集合；

将所述第一边缘类型数组集合、第一数据量数组集合、第二边缘类型数组集合、第二数据量数组集合与衔接数据库进行匹配，获取得到第一衔接因子；

根据第一数据块中的最右侧数据单元的边缘数据类型以及第二数据块中最左侧数据单元的边缘数据类型，确定第二衔接因子；

根据所述第一衔接因子以及第二衔接因子，确定两个相邻数据块之间的衔接度X；

其中，y(d1)表示基于第一衔接因子d1的衔接函数；表示基于第二衔接因子d2的微调函数；

其中，生成模块，用于：

判断两个相邻数据块之间的衔接度是否大于等于第一预设阈值，若是，确定两个相邻数据块的数据缓存可行，若否，确定两个相邻数据块的数据缓存不可行；

确定每个数据块中每个数据单元中存储数据的当前数据类型，根据所述当前数据类型将同类型数据的数据单元进行分类，获取第一分类结果，其中，所述第一分类结果包括：分类数量、每个分类中的单元数量、每个分类中每个数据单元的排布位置以及每个分类中每个数据单元中的数据的缓存进度；

根据第一分类结果，构建得到对应数据块的唯一缓存符号；

其中，缓存模块，用于：

基于符号生成模型，获取所述待缓存数据的标准缓存符号集合，并从所述标准缓存符号集合中调取与对应数据块的块属性一致的标准缓存符号，来与匹配的唯一缓存符号进行对比分析，确定符号缺失项；

基于符号缺失项判定待缓存数据存在缓存缺陷；

确定符号缺失项对应的符号类型，根据符号类型确定缓存缺陷的缺陷类型。

Images