CN116361256B - 基于日志解析的数据同步方法及系统 - Google Patents
基于日志解析的数据同步方法及系统 Download PDFInfo
- Publication number
- CN116361256B CN116361256B CN202310635639.6A CN202310635639A CN116361256B CN 116361256 B CN116361256 B CN 116361256B CN 202310635639 A CN202310635639 A CN 202310635639A CN 116361256 B CN116361256 B CN 116361256B
- Authority
- CN
- China
- Prior art keywords
- data
- vector
- log
- word
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000004458 analytical method Methods 0.000 title claims abstract description 29
- 238000003058 natural language processing Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000007906 compression Methods 0.000 claims abstract description 7
- 230000006835 compression Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 124
- 238000012545 processing Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 238000009826 distribution Methods 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims 1
- 230000017105 transposition Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013523 data management Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据管理技术领域，具体涉及基于日志解析的数据同步方法及系统，包括日志数据获取、预处理、哈希合并、语义分析、编码压缩、传输和同步更新等该工程。其中，基于贪心网络的哈希合并模型和改进的自然语言处理方法可以高效地对日志数据进行处理和分析，得到高质量的分析结果。此外，本发明还通过采用编码压缩和差分记忆网络等技术，提高了数据传输效率和同步更新准确性。该系统和方法可以广泛应用于大规模分布式数据系统的数据同步场景，具有高效、准确、稳定等优点。
Description
技术领域
本发明属于数据管理技术领域，具体涉及基于日志解析的数据同步方法及系统。
背景技术
数据同步是数据管理领域中的一项基本任务，它通常用于在不同的数据系统之间传输数据，以保持数据在不同系统之间的一致性和完整性。数据同步的应用场景非常广泛，例如，在企业内部，数据同步可用于将数据从生产环境同步到测试环境或开发环境中；在大型网站或移动应用中，数据同步可用于将用户数据从一个服务器同步到另一个服务器中。
目前，已经存在很多数据同步技术和解决方案，例如，使用数据库复制技术将数据从一个数据库同步到另一个数据库，使用数据中间件将数据从一个数据源同步到另一个数据源等。但是，这些数据同步技术和解决方案存在一些问题。首先，这些技术和方案通常是针对特定的数据系统和应用场景而设计的，缺乏通用性和可扩展性。其次，这些技术和方案的数据同步速度和性能有限，难以应对大规模数据同步的需求。此外，这些技术和方案缺乏数据分析和处理的能力，无法提供对同步数据的语义理解和分析。
近年来，随着人工智能和大数据技术的不断发展，基于机器学习和自然语言处理的数据同步技术开始受到广泛关注。这些技术通过利用机器学习和自然语言处理技术对数据进行分析和处理，从而提高数据同步的效率和准确性。例如，专利文献CN108618315A揭示了一种基于神经网络的数据同步方法，通过使用神经网络对数据进行特征提取和分类，从而提高了数据同步的准确性和效率。专利文献CN108129294A揭示了一种基于自然语言处理和机器学习的数据同步方法，通过利用自然语言处理和机器学习技术对数据进行分析和处理，从而实现了高效和准确的数据同步。
然而，现有的基于机器学习和自然语言处理的数据同步技术仍然存在一些问题。首先，这些技术通常需要大量的数据和计算资源进行训练和运行，难以应对大规模数据同步的需求。其次，这些技术的复杂度较高，需要专业知识和技能进行实现和调试，不利于普及和推广。此外，这些技术的鲁棒性和稳定性有待进一步提高，以应对数据变化和噪声等问题。
另外，现有的数据同步系统通常需要耗费大量的网络带宽，这不仅增加了数据传输的时间，而且还可能导致网络拥塞和数据丢失等问题，对数据同步的稳定性和准确性产生不利影响。
为了解决这些问题，近年来涌现出一些基于日志解析的数据同步系统。这些系统利用日志数据提取并同步数据，具有不依赖于数据库系统内部结构的优点，可以适用于不同的数据库系统和应用场景。此外，利用日志数据进行数据同步可以减少网络带宽的使用量，提高同步效率和稳定性。
例如，发明专利US20180209383A1提出了一种基于日志解析的数据同步系统和方法。该系统从源数据库系统中获取日志数据，经过预处理后，使用一种基于哈希的数据同步算法，将同步数据编码压缩后通过网络传输到目标数据库系统，再进行解码还原并进行同步更新。该发明利用哈希算法对数据进行压缩，从而减少了网络传输数据量，提高了同步效率和稳定性。
但是，现有的基于日志解析的数据同步系统在使用过程中还存在着一些问题。首先，由于不同数据库系统的日志格式和结构可能不同，对于不同的数据库系统需要采用不同的日志解析方法和算法，这增加了系统的复杂度和开发难度。其次，对于大规模的数据库系统，数据同步的效率和稳定性也面临着挑战。现有的数据同步算法可能需要对整个数据库进行遍历或者进行全量数据同步，耗费时间和带宽较多，且容易导致网络拥塞和数据丢失等问题。
发明内容
本发明的主要目的在于提供基于日志解析的数据同步方法及系统，通过使用哈希合并模型和改进的自然语言处理方法对源数据进行处理和分析，实现了对大规模数据的高效同步。能够减少传输数据量，提高数据传输效率，并通过语义分析提高数据同步的准确性和可靠性。同时，本发明的哈希合并模型可以自适应地进行块大小的选择，保证了系统的适应性和灵活性。
为解决上述技术问题，本发明提供基于日志解析的数据同步方法，所述方法包括：
步骤S1：从源数据系统中提取日志数据；
步骤S2：对提取的日志数据进行预处理；
步骤S3：使用基于贪心网络的哈希合并模型对预处理后的数据进行哈希合并；
步骤S4：使用基于改进的自然语言处理方法对哈希合并后的数据进行语义分析，得到分析后数据；
步骤S5：对分析后数据进行编码压缩；
步骤S6：将编码压缩后的数据通过网络传输到目标数据系统；
步骤S7：在目标数据系统中对传输的数据进行解码还原；
步骤S8：将还原后的数据与目标数据系统进行比对，若有差异则进行同步更新。
进一步的，所述步骤S2中对提取的日志数据进行预处理的过程至少包括：对提取的日志数据进行数据清洗和数据标准化处理。
进一步的，所述步骤S3具体包括：将预处理后的数据划分为多个大小相等的块，每
个块的大小为；假设共有个块，则预处理后的数据表示为，其中
表示第个块中的向量，表示向量的维度；将每个块中的向量映射到哈希空间中，得到对
应的哈希值：
；
其中表示哈希函数；使用贪心网络来对哈希值进行合并；假设当前已经合并了
个块，则在到之间选择一个块，与当前的个块进行合并；为了使得合并后的哈希
冲突数量最大化，选择与当前个块冲突最多的块进行合并。
进一步的，所述为了使得合并后的哈希冲突数量最大化，选择与当前个块冲突最
多的块进行合并的方法包括：使用一个大小为的滑动窗口，将当前的个块分为个子集，
每个子集包含个块，对于每个子集，分别计算它们的哈希值的平均值，得到个向量，其中：
，
表示第个子集中的块的下标集合；计算每个候选块与个向量之
间的余弦相似度，得到个相似度值，其中：
；
选择与当前个块相似度最大的候选块进行合并，即：
；
其中，表示选择的候选块的下标；将选出的块与当前个块合并，得到新的个块；重复执行上述步骤，直到无法合并为止。
进一步的，所述步骤S4具体包括：将哈希合并后的数据转换为文本格式，得到文本数据；使用向量转换模型将文本数据转换为向量表示；使用卷积神经网络对向量表示的数据进行特征提取；使用差分记忆网络对提取的特征进行序列建模，得到数据的语义表示，作为分析后数据。
进一步的，所述将哈希合并后的数据转换为文本格式的方法包括：将每个数据块
作为一个句子，将每个数据块中的哈希值作为单词进行处理，所述单词用表示，其中，表示数据块的数量。
进一步的，所述使用向量转换模型将文本数据转换为向量表示的方法包括：每个
单词由它的上下文单词所确定，因此使用条件概率分布来描述一个中心单词的上下文
单词的分布，具体包括：对于一个中心单词，向量转换模型计算得到该中心单词对应的向
量表示，使得在给定的情况下，条件概率分布最大；所述表示在已
知中心单词的情况下，上下文单词出现的概率；使用神经网络来建模条件概率分布，其中中心单词的向量作为输入，输出为上下文单词的概率分布；假设神经网
络的输入层为中心单词的向量，输出层为上下文单词的概率分布，则
向量转换模型表示为：
；
其中，表示第个单词的权重向量，表示单词的数量；
使用训练好的向量转换模型得到单词的向量表示，假设训练好的向量转换模型
中，中心单词的向量表示为，则将每个单词的向量表示组成一个向量矩阵，
其中第行为单词的向量表示；将所有单词的向量表示组成矩阵，作为文本数据
的向量表示。
进一步的，所述向量转换模型的训练过程包括：最大化所有中心单词和它们的上
下文单词之间的条件概率分布的对数似然函数，具体包括：对于每个中心单词，选择它的
上下文单词作为训练样本，然后最大化的条件概率分布的对数；假设表示所有训练样本的集合，则向量转换模型的对数似然函数表示为如下公
式：
；
其中，为对数似然函数，为向量的转置运算；
使用随机梯度下降算法来最大化对数似然函数，对于每个训练样本，使用
如下公式计算它的梯度：
；
其中，和均表示计算得到的梯度；
然后，使用所述梯度来更新权重向量和：
；
其中，表示学习率，控制每次更新的步长。
进一步的，所述使用卷积神经网络对向量表示的文本数据进行特征提取的方法包
括：使用一维卷积神经网络来提取数据的特征，具体包括：假设一维卷积神经网络的输入是
一个由向量表示的文本数据组成的矩阵，其中，表示向量的维度；使用一个
大小为的卷积核来对输入进行卷积操作，得到一个新的特征向量，其中，表示激活函数，表示矩阵中第到行所组成
的子矩阵；将所有的特征向量组成特征序列。
基于日志解析的数据同步系统，所述系统包括：
日志数据获取单元，用于从源数据系统中提取日志数据；
预处理单元，用于对提取的日志数据进行预处理；
处理单元，用于使用基于贪心网络的哈希合并模型对预处理后的数据进行哈希合并；使用基于改进的自然语言处理方法对哈希合并后的数据进行语义分析，得到分析后数据；
编码压缩单元，用于对分析后数据进行编码压缩；
传输单元，用于将编码压缩后的数据通过网络传输到目标数据系统；
同步单元，用于在目标数据系统中对传输的数据进行解码还原；将还原后的数据与目标数据系统进行比对，若有差异则进行同步更新。
本发明的基于日志解析的数据同步方法及系统，具有以下有益效果：
1.提高了数据同步的效率。
传统的数据同步方法通常需要遍历整个数据集，对所有数据进行比对和同步，这种方法在大规模数据集下会导致同步效率低下。本发明利用哈希合并技术将数据集分块，并使用哈希算法进行快速匹配，极大地提高了数据同步的效率。同时，使用卷积神经网络和差分记忆网络等深度学习技术进行特征提取和序列建模，可以自动学习数据集中的复杂特征和规律，避免了手动调整参数的繁琐过程。
2.提高了数据同步的准确性。
本发明利用自然语言处理技术将哈希合并后的数据转换为文本格式，并使用卷积神经网络和差分记忆网络等深度学习技术进行特征提取和序列建模，得到了数据的语义表示。与传统的数据同步方法相比，本发明通过对数据进行语义分析，实现了更加准确的数据同步，避免了由于数据格式和结构不同导致的同步错误。
3.提高了数据同步的灵活性和适用性。
本发明基于日志解析的数据同步方法，可以适用于各种数据类型和数据格式。在实际应用中，只需根据需要进行相应的参数设置，即可实现灵活、高效、准确的数据同步。同时，本发明的方法流程简单明了，易于实现和推广。
4.具有广泛的应用前景。
数据同步是信息技术领域中非常重要的问题，涉及到各种数据类型和各种应用场景。本发明提出的基于日志解析的数据同步方法具有广泛的应用前景，可以应用于数据备份、数据恢复、数据分析等领域，可以提高数据处理的效率和准确性，为实现智能化的数据管理和分析提供了新的解决方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的基于日志解析的数据同步方法的方法流程示意图；
图2为本发明实施例提供的基于日志解析的数据同步系统的系统结构示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1：
基于日志解析的数据同步方法，所述方法包括：
步骤S1：从源数据系统中提取日志数据；具体执行过程如下：
确定日志数据源：
首先，需要确定日志数据源，即从哪个数据系统中提取日志数据。通常情况下，数据系统中都会记录相关的操作日志，例如数据库操作日志、服务器系统日志等。
选择日志提取工具：
为了从数据系统中提取日志数据，需要使用相应的日志提取工具。不同的数据系统可能需要使用不同的日志提取工具，例如在MySQL数据库中可以使用mysqldump命令来导出数据表的操作日志，而在Oracle数据库中可以使用LogMiner来提取数据库的操作日志。
提取日志数据：
使用选择的日志提取工具从数据系统中提取日志数据。在提取日志数据的过程中，需要注意以下几点：
选择合适的时间段：通常情况下，只有最近的日志数据才是最有用的，因此需要选择合适的时间段来提取日志数据。
保证数据完整性：在提取日志数据时，需要保证数据的完整性，即确保提取的数据中不会漏掉任何一条日志记录。
确保数据准确性：提取的日志数据应该尽可能地准确，以确保后续的数据同步操作能够正确执行。
存储日志数据：
将提取的日志数据存储到数据存储介质中，例如硬盘或数据库。在存储日志数据时，需要考虑数据的安全性和可扩展性，以便后续的数据同步操作能够顺利进行。
步骤S2：对提取的日志数据进行预处理；
在日志数据提取过程中，往往会有部分数据出现格式错误、重复记录或者其它异常情况，需要对这些数据进行清洗。清洗过程包括去除重复记录、统一时间格式、填充缺失字段等，以便后续处理。
步骤S3：使用基于贪心网络的哈希合并模型对预处理后的数据进行哈希合并；
在日志数据处理和同步过程中，通常需要传输和存储大量的数据，而这些数据往往包含了很多的冗余信息。通过哈希算法对数据进行合并，可以大大减少数据量，从而降低数据传输和存储的开销。
在处理大量的日志数据时，如果采用传统的比较方法，需要对每一条数据进行比较，这将耗费大量的时间和计算资源。通过哈希算法对数据进行合并，可以大大提高数据处理的效率，减少计算时间和资源开销。
哈希算法是一种不可逆的算法，即使有很小的数据变化，也会导致哈希值的变化。因此，通过哈希算法对数据进行合并，可以保证合并后的数据的准确性，减少数据同步过程中的数据丢失和错误。
通过哈希算法对数据进行合并，可以生成固定长度的哈希值，这个哈希值可以作为数据的唯一标识符。因此，通过比较哈希值，可以判断数据是否发生了改变，从而增强数据安全性。
步骤S4：使用基于改进的自然语言处理方法对哈希合并后的数据进行语义分析，得到分析后数据；
通过自然语言处理方法对哈希后的数据进行语义分析，可以大大提高数据处理的效率。自然语言处理方法可以帮助我们更加准确地理解文本数据，从而减少人工处理的时间和工作量。
自然语言处理方法可以对哈希后的数据进行语义分析，从而提高数据的质量。通过对数据进行分析和理解，可以更加准确地提取数据的含义和重要信息，避免数据误解和错误处理。
通过自然语言处理方法对哈希后的数据进行语义分析，可以更加准确地提取数据的含义和重要信息，从而降低数据同步过程中的错误率。这可以确保数据同步过程中传输的数据是正确的，从而提高数据同步的准确性和稳定性。
自然语言处理方法可以提取文本数据中的语义信息，从而增强数据的安全性。通过对数据进行语义分析，可以识别和排除一些不合法的数据，避免数据泄露和安全问题。
步骤S5：对分析后数据进行编码压缩，具体包括：
数据编码：根据预先定义的编码规则，将分析后的数据进行编码，将每个数据项转换为一个二进制编码串。
数据压缩：使用压缩算法对编码后的数据进行压缩，以减少数据传输和存储的开销。压缩算法可以根据数据的特点和规律，对数据进行压缩，使得压缩后的数据尽可能地小，同时保证数据的完整性和正确性。
数据打包：将压缩后的数据打包成一个数据包，便于在网络中传输。
通过编码压缩减少数据传输和存储的开销：通过对分析后的数据进行编码和压缩，可以大大减少数据的大小，从而降低数据传输和存储的开销，提高数据处理的效率。
提高数据传输的速度：由于压缩后的数据大小更小，因此可以更快地在网络中传输数据。
保障数据的完整性和正确性：在数据传输过程中，如果数据发生了丢失或损坏，会影响数据的正确性。通过对数据进行编码和压缩，可以增加数据传输的稳定性和安全性，减少数据丢失和损坏的可能性，从而保障数据的完整性和正确性。
步骤S6：将编码压缩后的数据通过网络传输到目标数据系统；
步骤S7：在目标数据系统中对传输的数据进行解码还原；
将接收到的压缩后的数据包进行解包操作，将压缩后的数据还原成原始数据。
对还原后的数据进行解码操作，将二进制编码的数据还原成原始的数值数据。
对解码后的数据进行还原操作，将哈希合并、预处理等过程中处理过的数据还原成原始数据。
步骤S8：将还原后的数据与目标数据系统进行比对，若有差异则进行同步更新。
将还原后的数据与目标数据系统中的数据进行比对，判断是否存在差异。
如果存在差异，则进行数据同步更新操作。具体操作可以采用增量同步或全量同步的方式进行。增量同步是指只同步有变化的数据，而全量同步是指将所有数据进行同步更新。
在进行数据同步更新操作时，需要保证数据的一致性和完整性，避免数据的冲突和重复。
步骤S8中所提到的基于多重离散变换的算法用于进行差异比对，是一种基于信号处理的算法。具体的执行过程如下：
将目标数据系统中的数据和还原后的数据分别进行多重离散变换，得到两个变换系数矩阵。
对两个变换系数矩阵进行比对，得到它们之间的差异信息。
根据差异信息，对目标数据系统中的数据进行同步更新。
在这个过程中，使用了多重离散变换来将数据从时域转换到频域。多重离散变换可以有效地压缩数据，减少数据传输和处理的开销。在进行差异比对时，通过对变换系数矩阵进行比对，可以识别出目标数据系统中与还原后的数据不同的部分，从而进行同步更新。
具体的公式如下：
假设原始数据为，进行一级多重离散小波变换后得
到 和 ，再对 进行一级离散余弦变换得到 和 。
将变换系数矩阵表示为：
；
其中， 表示一级小波变换得到的高频系数， 表示一级小波变换得
到的低频系数， 表示一级小波变换得到的高频系数再进行一级离散余弦变换得到
的高频系数， 表示一级小波变换得到的低频系数再进行一级离散余弦变换得到的
低频系数。
将目标数据系统中的数据表示为 ，还原后的数据表示为 ，两者之间的差异
信息表示为 。
则差异信息 ΔC 可以表示为：
；
其中， 和 是变换系数矩阵， 表示两者之间的差异信息。
通过对差异信息进行分析和处理，可以识别出目标数据系统中与还原后的数据不同的部分，从而进行同步更新。
实施例2：
在上一实施例的基础上，所述步骤S2中对提取的日志数据进行预处理的过程至少包括：对提取的日志数据进行数据清洗和数据标准化处理。
预处理过程还可能包括如下步骤：
数据去重：如果提取的日志数据中存在重复记录，需要将其去重，避免重复记录对数据处理和分析造成干扰。
时间格式统一：不同的日志数据可能采用不同的时间格式，为了方便后续的处理和分析，需要将时间格式统一，例如将时间格式转换为ISO标准格式。
缺失字段填充：如果日志数据中存在缺失字段，需要根据相关规则和算法来填充这些缺失字段，以便后续的处理和分析。
数据格式转换：有些数据可能需要进行格式转换，例如将字符串转换为数字，或者将特定的字符集转换为统一的字符集。
数据标准化处理：对于某些日志数据，需要将其标准化处理，例如将IP地址转换为特定的格式，或者将URL转换为特定的格式。
数据筛选和过滤：对于某些不需要的数据或者无关数据，可以进行筛选和过滤，减少处理和分析的数据量。
实施例3：
在上一实施例的基础上，所述步骤S3具体包括：将预处理后的数据划分为多个大
小相等的块，每个块的大小为；假设共有个块，则预处理后的数据表示为
，其中表示第个块中的向量，表示向量的维度；将每个块中的向量映射到哈希
空间中，得到对应的哈希值：
；
其中表示哈希函数；使用贪心网络来对哈希值进行合并；假设当前已经合并了
个块，则在到之间选择一个块，与当前的个块进行合并；为了使得合并后的哈希
冲突数量最大化，选择与当前个块冲突最多的块进行合并。
具体的，通过哈希算法将数据进行压缩，从而减少传输和存储的开销。由于哈希算法具有不可逆性和唯一性，因此合并后的哈希值可以作为数据的唯一标识符，从而提高数据的安全性和可靠性。同时，使用贪心网络进行合并，可以使得合并后的哈希冲突数量最大化，从而降低数据同步过程中的数据丢失。
实施例4：
在上一实施例的基础上，所述为了使得合并后的哈希冲突数量最大化，选择与当
前个块冲突最多的块进行合并的方法包括：使用一个大小为的滑动窗口，将当前的个
块分为个子集，每个子集包含个块，对于每个子集，分别计算它们的哈希值的平均值，
得到个向量，其中：
，
表示第个子集中的块的下标集合；计算每个候选块与个向量之
间的余弦相似度，得到个相似度值，其中：
；
选择与当前个块相似度最大的候选块进行合并，即：
；
其中，表示选择的候选块的下标；将选出的块与当前个块合并，得到新的个块；重复执行上述步骤，直到无法合并为止。
具体的，该方法的目的是为了使得合并后的哈希冲突数量最大化，从而能够更好
地减少数据量，提高数据同步的效率。通过选择与当前个块冲突最多的块进行合并，可以
更好地保证数据的准确性和一致性。同时，通过使用余弦相似度来计算相似度值，可以更好
地比较不同块之间的相似度，从而选择最优的块进行合并。
实施例5：
在上一实施例的基础上，所述步骤S4具体包括：将哈希合并后的数据转换为文本格式，得到文本数据；使用向量转换模型将文本数据转换为向量表示；使用卷积神经网络对向量表示的数据进行特征提取；使用差分记忆网络对提取的特征进行序列建模，得到数据的语义表示，作为分析后数据。
具体的，将哈希合并后的数据转换为文本格式：哈希算法生成的哈希值通常为二进制格式的数字，需要将其转换为文本格式的数据以便后续处理。
使用向量转换模型将文本数据转换为向量表示：将文本格式的数据转换为向量表示，通常使用的方法是将每个单词或词组映射到向量空间中的一个向量，这个向量可以反映出单词或词组之间的关系。
使用卷积神经网络对向量表示的数据进行特征提取：卷积神经网络（CNN）是一种特别适用于处理图像、语音和自然语言等数据的神经网络。在文本数据处理中，CNN可以对文本中的关键信息进行提取，比如文本中的词语或短语。
使用差分记忆网络对提取的特征进行序列建模，得到数据的语义表示：差分记忆网络（DMN）是一种常用于自然语言处理任务的神经网络，它可以将文本中的每个单词或词组按照其出现的顺序建立起来，并通过记忆单元和循环神经网络对其进行序列建模，从而获得文本的语义表示。
实施例6：
在上一实施例的基础上，所述将哈希合并后的数据转换为文本格式的方法包括：
将每个数据块作为一个句子，将每个数据块中的哈希值作为单词进行处理，所述单词用
表示，其中，表示数据块的数量。
具体的，将哈希合并后的数据转换为文本格式的方法是将每个数据块视为一个句
子，并将每个数据块中的哈希值视为单词进行处理。具体来说，每个数据块中包含多个哈希
值，假设有 个数据块，那么就可以将这 个数据块分别看作 个句子。在每个句子
中，将数据块中的每个哈希值作为一个单词，用 表示，其中 ，表示该单词在
第 个句子中出现。这样就可以将哈希值的序列转换为文本格式的序列，方便后续使用自
然语言处理方法进行分析和处理。
实施例7：
在上一实施例的基础上，所述使用向量转换模型将文本数据转换为向量表示的方
法包括：每个单词由它的上下文单词所确定，因此使用条件概率分布来描述一个中心单
词的上下文单词的分布，具体包括：对于一个中心单词，向量转换模型计算得到该中心
单词对应的向量表示，使得在给定的情况下，条件概率分布最大；所述表示在已知中心单词的情况下，上下文单词出现的概率；使用神经网络来建
模条件概率分布，其中中心单词的向量作为输入，输出为上下文单词的概率
分布；假设神经网络的输入层为中心单词的向量，输出层为上下文单词的概率
分布，则向量转换模型表示为：
；
其中，表示第个单词的权重向量，表示单词的数量；
使用训练好的向量转换模型得到单词的向量表示，假设训练好的向量转换模型
中，中心单词的向量表示为，则将每个单词的向量表示组成一个向量矩阵，
其中第行为单词的向量表示；将所有单词的向量表示组成矩阵，作为文本数据
的向量表示。
具体的，对于一个中心单词，Word2Vec模型即向量转换模型，计算得到该中心单
词对应的向量表示，使得在给定的情况下，条件概率分布最大。其中，表示在已知中心单词的情况下，上下文单词出现的概率。使用神经网络来建
模条件概率分布，其中中心单词的向量作为输入，输出为上下文单词的概率
分布。具体来说，使用一个输入层为中心单词的向量，输出层为上下文单词的概率分
布的神经网络，该神经网络中的权重向量表示第个单词的权重向量。神经网络的输
出可以用来计算条件概率分布。
在训练好Word2Vec模型后，可以得到每个单词的向量表示，将每个单词的向量表
示组成一个向量矩阵，其中第行为单词的向量表示。将所有单词的向量
表示组成矩阵，作为文本数据的向量表示。
实施例8：
在上一实施例的基础上，所述向量转换模型的训练过程包括：最大化所有中心单
词和它们的上下文单词之间的条件概率分布的对数似然函数，具体包括：对于每个中心单
词，选择它的上下文单词作为训练样本，然后最大化的条件概率分布的对
数；假设表示所有训练样本的集合，则向量转换模型的对数似然函数表示为
如下公式：
；
其中，为对数似然函数，为向量的转置运算；
使用随机梯度下降算法来最大化对数似然函数，对于每个训练样本，使用
如下公式计算它的梯度：
；
其中，和均表示计算得到的梯度；
然后，使用所述梯度来更新权重向量和：
；
其中，表示学习率，控制每次更新的步长。
实施例9：
在上一实施例的基础上，所述使用卷积神经网络对向量表示的文本数据进行特征
提取的方法包括：使用一维卷积神经网络来提取数据的特征，具体包括：假设一维卷积神经
网络的输入是一个由向量表示的文本数据组成的矩阵，其中，表示向量的维
度；使用一个大小为的卷积核来对输入进行卷积操作，得到一个新的特征向
量，其中，表示激活函数，表示矩阵中第到行所组成的子矩阵；将所有的特征向量组成特征序列。
具体的，使用卷积神经网络（CNN）对文本数据进行特征提取，将每个向量表示的文本数据看作一个序列，通过一维卷积操作提取出序列中的特征信息。一维卷积操作类似于二维卷积，只是在一个维度上进行，可以有效地捕捉到数据中的局部特征。卷积核是用于提取特征的过滤器，每个卷积核可以捕捉到不同的特征，通过卷积核的滑动，可以得到一系列的特征向量，将这些特征向量组成特征序列，用于后续的序列建模。这一步骤的作用是将文本数据转化为更加有意义和有效的特征向量序列，以便后续步骤进行序列建模和分析。
具体的，使用差分记忆网络对提取的特征进行序列建模的方法包括：使用一层差
分记忆网络对卷积神经网络提取的特征序列进行建模；假设卷积神经网络提取的特征序列
为，其中表示第个文本数据提取的特征向量；使用差分记忆网络将作为输
入，得到输出向量，完成序列建模，得到数据的语义表示，作为分析后数据；所述差分记忆
网络的计算过程使用如下公式进行表示：
；
其中，分别表示输入门、遗忘门、输出门和记忆单元的权重矩阵；分别表示输入门、遗忘门、输出门和记忆单元的偏置；表示sigmoid函数；
表示逐元素相乘操作；表示前一个时刻的差分记忆网络状态；分别表
示输入门、遗忘门、输出门、记忆单元、当前时刻的记忆单元和差分记忆网络的状态。
实施例10：
基于日志解析的数据同步系统，所述系统包括：
日志数据获取单元，用于从源数据系统中提取日志数据；
预处理单元，用于对提取的日志数据进行预处理；
处理单元，用于使用基于贪心网络的哈希合并模型对预处理后的数据进行哈希合并；使用基于改进的自然语言处理方法对哈希合并后的数据进行语义分析，得到分析后数据；
编码压缩单元，用于对分析后数据进行编码压缩；
传输单元，用于将编码压缩后的数据通过网络传输到目标数据系统；
同步单元，用于在目标数据系统中对传输的数据进行解码还原；将还原后的数据与目标数据系统进行比对，若有差异则进行同步更新。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。
Claims (5)
1.基于日志解析的数据同步方法，其特征在于，所述方法包括：
步骤S1：从源数据系统中提取日志数据；
步骤S2：对提取的日志数据进行预处理；
步骤S3：使用基于贪心网络的哈希合并模型对预处理后的数据进行哈希合并；
步骤S4：使用基于改进的自然语言处理方法对哈希合并后的数据进行语义分析，得到分析后数据；
步骤S5：对分析后数据进行编码压缩；
步骤S6：将编码压缩后的数据通过网络传输到目标数据系统；
步骤S7：在目标数据系统中对传输的数据进行解码还原；
步骤S8：将还原后的数据与目标数据系统进行比对，若有差异则进行同步更新；
所述步骤S3具体包括：将预处理后的数据划分为多个大小相等的块，每个块的大小为k；假设共有m个块，则预处理后的数据表示为x1,x2,…,xm，其中表示第i个块中的向量，d表示向量的维度；将每个块中的向量xi映射到哈希空间中，得到对应的哈希值hi：
hi＝f(xi)；
其中f表示哈希函数；使用贪心网络来对哈希值进行合并；假设当前已经合并了k个块，则在k+1到m之间选择一个块，与当前的k个块进行合并；为了使得合并后的哈希冲突数量最大化，选择与当前k个块冲突最多的块进行合并；
所述为了使得合并后的哈希冲突数量最大化，选择与当前k个块冲突最多的块进行合并的方法包括：使用一个大小为t的滑动窗口，将当前的k个块分为t个子集，每个子集包含k/t个块，对于每个子集，分别计算它们的哈希值的平均值，得到t个向量c1,c2,…,ct，其中：
Si表示第i个子集中的块的下标集合；计算每个候选块i与t个向量c1,c2,…,ct之间的余弦相似度，得到t个相似度值si,1,si,2,…,si,t，其中：
选择与当前k个块相似度最大的候选块进行合并，即：
其中，j*表示选择的候选块的下标；将选出的块与当前k个块合并，得到新的k+1个块；重复执行上述步骤，直到无法合并为止；
所述步骤S4具体包括：将哈希合并后的数据转换为文本格式，得到文本数据；使用向量转换模型将文本数据转换为向量表示；使用卷积神经网络对向量表示的数据进行特征提取；使用差分记忆网络对提取的特征进行序列建模，得到数据的语义表示，作为分析后数据；
所述将哈希合并后的数据转换为文本格式的方法包括：将每个数据块作为一个句子，将每个数据块中的哈希值作为单词进行处理，所述单词用hi表示，其中i∈[1,n]，n表示数据块的数量；
所述使用向量转换模型将文本数据转换为向量表示的方法包括：每个单词hi由它的上下文单词所确定，因此使用条件概率分布来描述一个中心单词hi的上下文单词的分布，具体包括：对于一个中心单词hi，向量转换模型计算得到该中心单词对应的向量表示xi，使得在给定xi的情况下，条件概率分布p(hj|xi)最大；所述p(hj|xi)表示在已知中心单词xi的情况下，上下文单词hj出现的概率；使用神经网络来建模条件概率分布p(hj|xi)，其中中心单词的向量xi作为输入，输出为上下文单词hj的概率分布；假设神经网络的输入层为中心单词的向量输出层为上下文单词hj的概率分布/>则向量转换模型表示为：
其中，uj表示第j个单词的权重向量，N表示单词的数量；
使用训练好的向量转换模型得到单词的向量表示，假设训练好的向量转换模型中，中心单词hi的向量表示为xi，则将每个单词的向量表示组成一个向量矩阵其中第i行为单词hi的向量表示xi；将所有单词hi的向量表示xi组成矩阵X，作为文本数据的向量表示。
2.如权利要求1所述的方法，其特征在于，所述步骤S2中对提取的日志数据进行预处理的过程至少包括：对提取的日志数据进行数据清洗和数据标准化处理。
3.如权利要求1所述的方法，其特征在于，所述向量转换模型的训练过程包括：最大化所有中心单词和它们的上下文单词之间的条件概率分布的对数似然函数，具体包括：对于每个中心单词hi，选择它的上下文单词hj作为训练样本，然后最大化hj的条件概率分布p(hj|xi)的对数；假设D＝(hi,hj)表示所有训练样本的集合，则向量转换模型的对数似然函数表示为如下公式：
其中，为对数似然函数，T为向量的转置运算；
使用随机梯度下降算法来最大化对数似然函数，对于每个训练样本(hi,hj)，使用如下公式计算它的梯度：
其中，和/>均表示计算得到的梯度；
然后，使用所述梯度来更新权重向量uj和uk：
其中，α表示学习率，控制每次更新的步长。
4.如权利要求3所述的方法，其特征在于，所述使用卷积神经网络对向量表示的文本数据进行特征提取的方法包括：使用一维卷积神经网络来提取数据的特征，具体包括：假设一维卷积神经网络的输入是一个由向量表示的文本数据组成的矩阵X，其中d表示向量的维度；使用一个大小为k的卷积核/>来对输入进行卷积操作，得到一个新的特征向量ci，其中ci＝f(W·Xi:i+k-1)，f表示激活函数，Xi:i+k-1表示X矩阵中第i到i+k-1行所组成的子矩阵；将所有的特征向量ci组成特征序列c1:n。
5.一种基于日志解析的数据同步系统，使用权利要求1至4之一所述方法，其特征在于，所述系统包括：
日志数据获取单元，用于从源数据系统中提取日志数据；
预处理单元，用于对提取的日志数据进行预处理；
处理单元，用于使用基于贪心网络的哈希合并模型对预处理后的数据进行哈希合并；使用基于改进的自然语言处理方法对哈希合并后的数据进行语义分析，得到分析后数据；
编码压缩单元，用于对分析后数据进行编码压缩；
传输单元，用于将编码压缩后的数据通过网络传输到目标数据系统；
同步单元，用于在目标数据系统中对传输的数据进行解码还原；将还原后的数据与目标数据系统进行比对，若有差异则进行同步更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310635639.6A CN116361256B (zh) | 2023-06-01 | 2023-06-01 | 基于日志解析的数据同步方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310635639.6A CN116361256B (zh) | 2023-06-01 | 2023-06-01 | 基于日志解析的数据同步方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116361256A CN116361256A (zh) | 2023-06-30 |
| CN116361256B true CN116361256B (zh) | 2023-08-11 |
Family
ID=86939953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310635639.6A Active CN116361256B (zh) | 2023-06-01 | 2023-06-01 | 基于日志解析的数据同步方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116361256B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117436496A (zh) * | 2023-11-22 | 2024-01-23 | 深圳市网安信科技有限公司 | 基于大数据日志的异常检测模型的训练方法及检测方法 |
| CN117972098B (zh) * | 2024-04-01 | 2024-08-13 | 北京永洪商智科技有限公司 | 一种对于维度模型大数据量数据分析加速方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210005A1 (en) * | 2016-05-31 | 2017-12-07 | University Of South Florida | Systems and methods for detecting attacks in big data systems |
| CN107491526A (zh) * | 2017-08-18 | 2017-12-19 | 国云科技股份有限公司 | 一种实现数据库同步的系统及其方法 |
| CN110928851A (zh) * | 2019-10-12 | 2020-03-27 | 中国平安财产保险股份有限公司 | 处理日志信息的方法、装置、设备及存储介质 |
| CN112506750A (zh) * | 2020-09-28 | 2021-03-16 | 国网甘肃省电力公司信息通信公司 | 一种用于海量日志分析预警的大数据处理系统 |
| WO2021155699A1 (zh) * | 2020-02-03 | 2021-08-12 | 苏州科技大学 | 面向中文长文本自动摘要的全局编码方法 |
| CN114610515A (zh) * | 2022-03-10 | 2022-06-10 | 电子科技大学 | 基于日志全语义的多特征日志异常检测方法及系统 |
| CN115794480A (zh) * | 2023-02-10 | 2023-03-14 | 成都工业学院 | 一种基于日志语义编码器的系统异常日志检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180129579A1 (en) * | 2016-11-10 | 2018-05-10 | Nec Laboratories America, Inc. | Systems and Methods with a Realtime Log Analysis Framework |
-
2023
- 2023-06-01 CN CN202310635639.6A patent/CN116361256B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210005A1 (en) * | 2016-05-31 | 2017-12-07 | University Of South Florida | Systems and methods for detecting attacks in big data systems |
| CN107491526A (zh) * | 2017-08-18 | 2017-12-19 | 国云科技股份有限公司 | 一种实现数据库同步的系统及其方法 |
| CN110928851A (zh) * | 2019-10-12 | 2020-03-27 | 中国平安财产保险股份有限公司 | 处理日志信息的方法、装置、设备及存储介质 |
| WO2021155699A1 (zh) * | 2020-02-03 | 2021-08-12 | 苏州科技大学 | 面向中文长文本自动摘要的全局编码方法 |
| CN112506750A (zh) * | 2020-09-28 | 2021-03-16 | 国网甘肃省电力公司信息通信公司 | 一种用于海量日志分析预警的大数据处理系统 |
| CN114610515A (zh) * | 2022-03-10 | 2022-06-10 | 电子科技大学 | 基于日志全语义的多特征日志异常检测方法及系统 |
| CN115794480A (zh) * | 2023-02-10 | 2023-03-14 | 成都工业学院 | 一种基于日志语义编码器的系统异常日志检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于属性哈希的告警日志去重方法;胡倩;罗军勇;尹美娟;曲小美;;计算机科学(S1);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116361256A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gündüz et al. | Beyond transmitting bits: Context, semantics, and task-oriented communications | |
| CN116361256B (zh) | 基于日志解析的数据同步方法及系统 | |
| CN114169330B (zh) | 融合时序卷积与Transformer编码器的中文命名实体识别方法 | |
| Chiarot et al. | Time series compression survey | |
| CN113961759B (zh) | 基于属性图表示学习的异常检测方法 | |
| CN111538848A (zh) | 一种融合多源信息的知识表示学习方法 | |
| CN112417289B (zh) | 一种基于深度聚类的资讯信息智能推荐方法 | |
| CN114332500B (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
| CN116049459A (zh) | 跨模态互检索的方法、装置、服务器及存储介质 | |
| CN111767697B (zh) | 文本处理方法、装置、计算机设备以及存储介质 | |
| Kinsner | Is entropy suitable to characterize data and signals for cognitive informatics? | |
| Huai et al. | Zerobn: Learning compact neural networks for latency-critical edge systems | |
| CN115687571A (zh) | 一种基于模态融合重建哈希的深度无监督跨模态检索方法 | |
| CN116955644A (zh) | 基于知识图谱的知识融合方法、系统及存储介质 | |
| CN115221315A (zh) | 文本处理方法以及装置、句向量模型训练方法以及装置 | |
| CN115016965A (zh) | 计量自动化主站的故障检测方法、装置、设备及存储介质 | |
| Li et al. | Coverless Video Steganography Based on Frame Sequence Perceptual Distance Mapping. | |
| CN111723194A (zh) | 摘要生成方法、装置和设备 | |
| CN112052916B (zh) | 基于神经网络的数据处理方法、装置以及可读存储介质 | |
| US20220067534A1 (en) | Systems and methods for mutual information based self-supervised learning | |
| Wu et al. | Application of quantisation‐based deep‐learning model compression in JPEG image steganalysis | |
| CN116208772A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114298052A (zh) | 一种基于概率图的实体联合标注关系抽取方法和系统 | |
| CN114417251A (zh) | 一种基于哈希码的检索方法、装置、设备及存储介质 | |
| Zhang et al. | Compressing knowledge graph embedding with relational graph auto-encoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |