CN117234791B - 存储芯片的数据丢失检测方法及装置 - Google Patents
存储芯片的数据丢失检测方法及装置 Download PDFInfo
- Publication number
- CN117234791B CN117234791B CN202311483987.2A CN202311483987A CN117234791B CN 117234791 B CN117234791 B CN 117234791B CN 202311483987 A CN202311483987 A CN 202311483987A CN 117234791 B CN117234791 B CN 117234791B
- Authority
- CN
- China
- Prior art keywords
- data
- data block
- original
- block
- original data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 208000000044 Amnesia Diseases 0.000 title description 2
- 231100000863 loss of memory Toxicity 0.000 title description 2
- 238000012937 correction Methods 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims description 51
- 238000013507 mapping Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 17
- 239000012634 fragment Substances 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 11
- 238000012795 verification Methods 0.000 description 9
- 230000008439 repair process Effects 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
本发明涉及数据处理技术领域,公开了一种存储芯片的数据丢失检测方法及装置,用于提高存储芯片的数据丢失检测的准确率。包括:对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码;对多个数据块多元解码处理,得到每个数据块的原始数据块;对多个原始数据块进行数据校验和计算,得到每个原始数据块的校验和数据;对每个原始数据块进行数据编码特征提取,得到每个原始数据块的编码特征;将每个原始数据块的编码特征输入编码特征识别模型进行特征识别,得到每个原始数据块的语义特征及每个原始数据块的数据量特征;对语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果,并创建数据丢失异常处理方案。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种存储芯片的数据丢失检测方法及装置。
背景技术
数据的完整性和可用性在现代信息技术领域中至关重要。随着数据的产生、存储和传输规模不断扩大,数据的损坏、丢失或篡改成为了一个普遍存在的问题。为了应对这一挑战,研究人员和工程师们一直在努力开发和改进各种技术来确保数据的可靠性和完整性。
现有技术中,存储系统中的数据通常具有复杂的模式和结构,这增加了准确检测数据丢失的难度。传统的检测算法无法适应这种多样性。现代存储系统通常处理大量数据,这使得检测算法需要处理大规模的数据流。准确检测数据丢失需要高度有效的算法和足够的计算资源,存储环境还会受到各种噪音和干扰的影响,会导致误报或降低检测准确性。
发明内容
本发明提供了一种存储芯片的数据丢失检测方法及装置,用于提高存储芯片的数据丢失检测的准确率。
本发明第一方面提供了一种存储芯片的数据丢失检测方法,所述存储芯片的数据丢失检测方法包括:从预置的存储芯片中进行数据块采集,得到多个数据块;
对多个所述数据块进行冗余信息读取,得每个所述数据块的冗余数据,并分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码;
通过多个所述纠错码对多个所述数据块多元解码处理,得到每个所述数据块的原始数据块;
对多个所述原始数据块进行数据校验和计算,得到每个所述原始数据块的校验和数据;
通过每个所述原始数据块的校验和数据对每个所述原始数据块进行数据编码特征提取,得到每个所述原始数据块的编码特征;
将每个所述原始数据块的编码特征输入预置的编码特征识别模型进行特征识别,得到每个所述原始数据块的语义特征及每个所述原始数据块的数据量特征;
分别对每个所述原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案。
结合第一方面,在本发明第一方面的第一实施方式中,所述对多个所述数据块进行冗余信息读取,得每个所述数据块的冗余数据,并分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码,包括:
对每个所述数据块进行数据存储区域校验,得到每个所述数据块的芯片存储区域;
通过每个所述数据块的芯片存储区域,对每个所述数据块进行数据分割,得到每个所述数据块的子数据块集合;
分别对每个所述数据块的子数据块集合进行数据量提取,得到每个所述数据块的当前数据量;
对每个所述数据块进行标准数据量匹配,得到每个所述数据块的标准数据量;
对每个所述数据块的当前数据量以及每个所述数据块的标准数据进行数据量差值计算,得到每个所述数据块对应的数据量差值数据;
基于每个所述数据块对应的数据量差值数据,对多个所述数据块进行冗余信息读取,得每个所述数据块的冗余数据;
分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码。
结合第一方面的第一实施方式,在本发明第一方面的第二实施方式中,所述分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码,包括:
分别对每个所述数据块的冗余数据进行冗余奇偶校验位标定,得到每个所述数据块的冗余奇偶校验位;
对每个所述数据块的冗余数据进行实际数据位标定,得到每个所述数据块的实际数据位;
对每个所述数据块的冗余奇偶校验位以及每个所述数据块的实际数据位进行比对,得到比对结果;
根据所述比对结果生成每个所述数据块的数据异常结果;
根据每个所述数据块的数据异常结果分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码。
结合第一方面,在本发明第一方面的第三实施方式中,所述通过多个所述纠错码对多个所述数据块多元解码处理,得到每个所述数据块的原始数据块,包括:
分别对每个所述数据块进行编码片段提取,得到每个所述数据块的多个编码片段;
分别对每个所述数据块的多个编码片段进行片段融合,得到每个所述数据块的融合编码片段;
通过多个所述纠错码,分别对每个所述数据块的融合编码片段进行解码处理,得到每个所述数据块的原始数据块。
结合第一方面,在本发明第一方面的第四实施方式中,所述通过每个所述原始数据块的校验和数据对每个所述原始数据块进行数据编码特征提取,得到每个所述原始数据块的编码特征,包括:
对每个所述原始数据块以及每个所述原始数据块的校验和数据进行数据拼接,得到每个所述原始数据块的拼接数据;
分别对每个所述原始数据块的拼接数据进行哈希映射,得到每个所述原始数据块的哈希数据;
对每个所述原始数据块的哈希数据按照预设的运算逻辑进行数据运算,得到每个所述原始数据块的运算数据;
对每个所述原始数据块的运算数据进行数据编码特征提取,得到每个所述原始数据块的编码特征。
结合第一方面,在本发明第一方面的第五实施方式中,所述将每个所述原始数据块的编码特征输入预置的编码特征识别模型进行特征识别,得到每个所述原始数据块的语义特征及每个所述原始数据块的数据量特征,包括:
将每个所述原始数据块的编码特征输入所述编码特征识别模型的特征变换层进行特征转换,输出每个所述原始数据块的转换特征集;
将每个所述原始数据块的转换特征输入所述编码特征识别模型的特征融合层进行特征融合,得到每个所述原始数据块的融合特征;
将每个所述原始数据块的融合特征输入所述编码特征识别模型的语义识别层进行语义信息识别,得到每个所述原始数据块的语义特征;
将每个所述原始数据块的语义特征输入所述编码特征识别模型的数据量分析层进行数据量特征提取,得到每个所述原始数据块的数据量特征。
结合第一方面,在本发明第一方面的第六实施方式中,所述分别对每个所述原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案,包括:
对每个所述原始数据块的语义特征以及数据量特征进行特征加权融合,得到每个所述原始数据块的加权特征;
对每个所述原始数据块的加权特征进行特征映射,得到每个所述原始数据块的数据完整性;
通过每个所述原始数据块的数据完整性分别对每个所述原始数据块进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案。
本发明第二方面提供了一种存储芯片的数据丢失检测装置,采用如本发明第一方面中任一项所述的存储芯片的数据丢失检测方法,所述存储芯片的数据丢失检测装置包括:
采集模块,用于从预置的存储芯片中进行数据块采集,得到多个数据块;
读取模块,用于对多个所述数据块进行冗余信息读取,得每个所述数据块的冗余数据,并分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码;
处理模块,用于通过多个所述纠错码对多个所述数据块多元解码处理,得到每个所述数据块的原始数据块;
计算模块,用于对多个所述原始数据块进行数据校验和计算,得到每个所述原始数据块的校验和数据;
提取模块,用于通过每个所述原始数据块的校验和数据对每个所述原始数据块进行数据编码特征提取,得到每个所述原始数据块的编码特征;
识别模块,用于将每个所述原始数据块的编码特征输入预置的编码特征识别模型进行特征识别,得到每个所述原始数据块的语义特征及每个所述原始数据块的数据量特征;
检测模块,用于分别对每个所述原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案。
本发明第三方面提供了一种存储芯片的数据丢失检测设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述存储芯片的数据丢失检测设备执行上述的存储芯片的数据丢失检测方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的存储芯片的数据丢失检测方法。
本发明提供的技术方案中,从存储芯片中进行数据块采集,得到多个数据块;对多个数据块进行冗余信息读取,得每个数据块的冗余数据,对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码;通过多个纠错码对多个数据块多元解码处理,得到每个数据块的原始数据块;对多个原始数据块进行数据校验和计算,得到每个原始数据块的校验和数据;通过每个原始数据块的校验和数据对每个原始数据块进行数据编码特征提取,得到每个原始数据块的编码特征;将每个原始数据块的编码特征输入编码特征识别模型进行特征识别,得到每个原始数据块的语义特征及每个原始数据块的数据量特征;对每个原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果。在本申请方案中,通过在数据块中引入冗余信息和纠错码,提高了数据的容错性。在数据块损坏或丢失的情况下,纠错码可以用来恢复原始数据,确保数据的完整性。数据块的校验和数据提供了额外的层次来验证数据完整性。可以帮助检测数据块是否受到损坏或篡改。使用编码特征识别模型,可以将编码特征转化为更有意义的语义特征和数据量特征。通过对语义特征和数据量特征进行丢失数据检测,可以检测数据块中是否存在丢失或损坏。这有助于在数据传输和存储中提前发现问题,确保数据的完整性。从而提高了数据的可靠性。即使在面临硬件问题或传输错误的情况下,也可以检测并修复数据,以进一步提升存储芯片的数据丢失检测的准确率。
附图说明
图1为本发明实施例中存储芯片的数据丢失检测方法的一个实施例示意图;
图2为本发明实施例中分别对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码的流程图;
图3为本发明实施例中通过多个纠错码对多个数据块多元解码处理的流程图;
图4为本发明实施例中通过每个原始数据块的校验和数据对每个原始数据块进行数据编码特征提取的流程图;
图5为本发明实施例中存储芯片的数据丢失检测装置的一个实施例示意图;
图6为本发明实施例中存储芯片的数据丢失检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种存储芯片的数据丢失检测方法及装置,用于提高存储芯片的数据丢失检测的准确率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中存储芯片的数据丢失检测方法的一个实施例包括:
S101、从预置的存储芯片中进行数据块采集,得到多个数据块;
可以理解的是,本发明的执行主体可以为存储芯片的数据丢失检测装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,为了采集数据块,需要访问目标存储芯片。这可以通过连接到存储芯片的接口或总线来完成,例如,SATA、USB、PCIe等。这些接口提供了与芯片通信的途径,使得可以读取数据。确定要采集的数据块的范围和大小。这通常需要通过合适的寻址和选择机制来实现,以确保采集到所需的多个数据块。这些数据块可以是文件、记录、扇区、页面或其他合适的单位,具体取决于存储芯片的结构和数据组织方式。一旦确定了要采集的数据块,可以使用读取命令或操作来从存储芯片中读取数据。这通常需要适当的读取地址和读取长度参数,以确保正确地获取数据块。读取操作可以在底层硬件控制器或文件系统层面进行。采集到的数据块将被缓存在内存中,以便后续处理。这些数据块可以被存储在临时文件中,或者直接加载到内存中,取决于应用程序的要求和性能考虑。例如用户需要选择要从损坏的存储设备中恢复的文件。软件会连接到存储设备,根据用户的选择和设备的文件系统结构,确定需要采集的数据块范围。软件会通过设备接口发送读取命令,从存储设备中采集这些数据块,并将它们保存在本地磁盘上或加载到内存中。一旦采集完成,工具可以对这些数据块进行进一步的分析和处理,以尝试恢复丢失的文件。
S102、对多个数据块进行冗余信息读取,得每个数据块的冗余数据,并分别对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码;
具体的,对每个数据块进行数据存储区域校验。服务器检查每个数据块的存储位置或芯片存储区域,以确保数据块的正确性和完整性。这可以通过校验和或其他校验机制来实现。通过每个数据块的芯片存储区域,服务器将数据块进行数据分割,得到每个数据块的子数据块集合。这可以是将数据块划分为更小的部分,以便进一步分析和处理。分别对每个数据块的子数据块集合进行数据量提取。服务器计算每个子数据块的当前数据量,即它们所包含的数据的大小。服务器对每个数据块进行标准数据量匹配。这可以是预先定义的数据块大小或标准数据块大小,用于与当前数据块的大小进行比较。服务器对每个数据块的当前数据量以及每个数据块的标准数据量进行数据量差值计算。这将帮助服务器确定每个数据块与其标准大小之间的差异,即数据量差值数据。继而,基于每个数据块对应的数据量差值数据,服务器进行冗余信息读取。服务器利用数据量差值数据来检测数据丢失或数据不完整的情况,并进行相应的修复或提取冗余数据。分别对每个数据块的冗余数据进行纠错码提取。这将有助于纠正存在的数据错误或丢失,以确保数据的完整性和准确性。例如,考虑一个用于检测并纠正图像存储芯片中图像数据的系统。服务器首先读取存储芯片中的多个图像数据块。对于每个图像数据块,服务器进行数据存储区域校验,以确保数据块的正确性。通过芯片存储区域,服务器将每个图像数据块分割成图像的不同部分,如头部、主体和尾部。服务器计算每个部分的当前数据量,并将其与标准数据量进行比较,计算出数据量差值数据。基于这些数据量差值数据,服务器检测图像数据的任何丢失或错误,并从冗余信息中提取纠错码,以纠正问题并恢复数据的完整性。
其中,对每个数据块的冗余数据进行冗余奇偶校验位标定。服务器为每个数据块计算冗余奇偶校验位,以便后续的校验和比对。对每个数据块的冗余数据进行实际数据位标定。这将有助于确定哪些位是实际的数据位,而哪些位是冗余校验位。将冗余奇偶校验位与实际数据位进行比对,得到比对结果。这一步骤旨在检测数据块是否受到了损坏或数据丢失的影响。根据比对结果,可以生成每个数据块的数据异常结果。这将帮助确定哪些数据块受到了损坏或数据丢失的影响,以便后续的处理。根据每个数据块的数据异常结果,分别对每个数据块的冗余数据进行纠错码提取。这一步骤旨在修复受损数据块,并提取纠错码以确保数据的完整性和可靠性。例如,文件系统中的每个文件都会被分成数据块,并为每个数据块计算冗余奇偶校验位。当用户尝试读取文件时,文件系统会检查每个数据块的冗余数据,并与实际数据位进行比对。如果比对结果显示某个数据块受损或数据丢失,文件系统将生成数据异常结果,并尝试从冗余数据中提取纠错码。这些纠错码可以用来修复受损的数据块,从而恢复文件的完整性。
S103、通过多个纠错码对多个数据块多元解码处理,得到每个数据块的原始数据块;
具体的,对每个数据块进行编码片段提取。这是将每个数据块分割成更小的部分,每个部分都将被编码为纠错码的一部分。这些编码片段通常有重叠的部分,以确保数据的冗余性,从而提高数据的可靠性。对每个数据块的多个编码片段进行片段融合。这一步骤的目的是将这些编码片段组合在一起,以还原原始数据块。这需要复杂的解码算法,以确保数据的正确还原。通过多个纠错码,分别对每个数据块的融合编码片段进行解码处理。这将帮助服务器还原每个数据块的原始数据块,以便进行后续的数据丢失检测和校验。多元解码可以纠正数据块中的错误,包括数据位的损坏或丢失。例如,假设数据以数据块的形式存储在多个硬盘上。为了确保数据的完整性,每个数据块都会被编码成多个编码片段,然后存储在不同的硬盘上。假设在某个硬盘上出现了故障,导致一个或多个数据块的部分编码片段损坏或丢失。通过多元解码处理,服务器使用其他硬盘上的编码片段来还原原始数据块,以便后续的数据丢失检测和纠错码提取。
S104、对多个原始数据块进行数据校验和计算,得到每个原始数据块的校验和数据;
具体的,针对每个原始数据块,服务器计算数据校验和。数据校验和通常是使用散列函数或校验算法生成的一种数值,它代表了数据块的内容。如果数据块中的任何部分发生更改,校验和值将不同于原始校验和,表明数据块已被篡改。校验和的计算通常涉及将数据块中的每个字节或位作为输入,经过散列函数或校验算法处理,生成校验和值。这个过程需要高效的算法和数据结构来处理大规模的数据块,以确保计算的速度和准确性。数据校验和的生成可以基于不同的算法,包括MD5、SHA-1、SHA-256等,具体的选择取决于安全性和性能要求。这些算法都有不同的输出长度,从128位到256位不等,提供了不同级别的数据完整性保护。一旦对每个原始数据块计算了数据校验和,可以将这些校验和值存储在相应的位置,以备将来的验证和比对。例如,对于一个文档文件,服务器使用SHA-256散列算法计算其数据校验和。每次用户访问该文件时,服务器都会重新计算校验和,并与之前计算的校验和进行比对。如果两者不匹配,说明文件内容已被更改或损坏,需要进行修复或还原。
S105、通过每个原始数据块的校验和数据对每个原始数据块进行数据编码特征提取,得到每个原始数据块的编码特征;
具体的,对每个原始数据块以及每个原始数据块的校验和数据进行数据拼接。将原始数据块的内容与其校验和数据合并为一个较长的拼接数据块,得到每个原始数据块的拼接数据针对每个原始数据块的拼接数据,进行哈希映射。哈希函数将拼接数据映射为一个较短的哈希数据,这个哈希数据可以用作数据块的唯一标识符。对每个原始数据块的哈希数据按照预设的运算逻辑进行数据运算。运算逻辑可以包括各种数学运算、逻辑运算或其他操作,以生成每个原始数据块的运算数据。对每个原始数据块的运算数据进行数据编码特征提取。这一步骤旨在将运算数据转化为编码特征,以便进行后续的数据丢失检测和校验。例如,假设对于每个文档文件,服务器计算文件内容的校验和。将该校验和数据与文档内容拼接在一起,形成一个较长的拼接数据块。使用哈希函数将拼接数据映射为较短的哈希数据。服务器对哈希数据进行特定的数学运算,例如加法或异或运算,以生成运算数据。将这个运算数据用作文档文件的编码特征,以确保文件的完整性。如果文档文件在存储或传输过程中发生任何更改,校验和和编码特征将发生变化,从而帮助检测数据丢失或篡改。
S106、将每个原始数据块的编码特征输入预置的编码特征识别模型进行特征识别,得到每个原始数据块的语义特征及每个原始数据块的数据量特征;
具体的,将每个原始数据块的编码特征输入特征变换层,以进行特征转换,输出每个所述原始数据块的转换特征集。特征变换层通常由多个神经元和权重组成,可以将原始特征转化为更高级的表示形式,以提取更多有用的信息。将每个原始数据块的转换特征输入特征融合层,得到每个所述原始数据块的融合特征。特征融合层的任务是将从不同特征变换层输出的特征进行整合,以生成更综合的特征表示。这有助于更好地理解原始数据块的特性。将每个原始数据块的融合特征输入语义识别层,进行语义信息识别,得到每个原始数据块的语义特征。这一步骤旨在将融合特征映射到语义信息,从而理解原始数据块的含义和内容。将每个原始数据块的语义特征输入数据量分析层,进行数据量特征提取。数据量分析层的任务是分析数据块的大小、结构和其他数据量相关的信息,以获得数据量特征。例如,考虑一个图像存储芯片,每个图像的编码特征被输入到深度神经网络模型中。在特征变换层,模型可以提取图像的局部特征,如颜色、纹理和形状。在特征融合层,这些局部特征可以被整合为更高级的特征表示,例如图像的内容和对象。在语义识别层,模型可以识别图像中的物体和场景,并理解图像的语义信息。在数据量分析层,模型可以提取图像的大小、分辨率和其他数据量相关的特征,以帮助检测图像的数据量。
S107、分别对每个原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果,并根据数据丢失检测结果创建存储芯片的数据丢失异常处理方案。
需要说明的是,对每个原始数据块的语义特征和数据量特征进行特征加权融合。这一步骤旨在将不同特征的贡献结合在一起,以生成每个数据块的加权特征。这可以通过将不同特征分配不同的权重来实现,以反映它们在数据完整性中的相对重要性。对每个数据块的加权特征进行特征映射,以得到数据完整性。特征映射将加权特征映射到一个单一的度量或分数,表示数据块的完整性。这个分数可以用来判断数据块是否完整,或者是否存在数据丢失。通过每个数据块的数据完整性,对每个数据块进行丢失数据检测,以得到数据丢失检测结果。这个结果将指示每个数据块是否存在数据丢失问题,以便采取进一步的措施。通常会使用机器学习模型,如分类器或回归模型,来分析语义特征和数据量特征。这些模型会学习如何将这些特征与数据的完整性相关联,以进行数据丢失检测。例如,对于每个文档文件,服务器提取了语义特征,如文件内容的关键词和主题,以及数据量特征,如文件的大小和格式。服务器使用机器学习模型来分析这些特征,以确定文件的完整性。在特征加权融合阶段,模型会赋予不同特征不同的权重。例如,文件的大小与完整性相关性较高,因此在特征融合中会被赋予更高的权重。将加权特征映射到一个单一的数据完整性度量。这个度量可以是一个分数,表示文件的完整性,值越高表示越完整。可以设置一个阈值,如果度量低于阈值,服务器将判定文件存在数据丢失问题。
本发明实施例中,从存储芯片中进行数据块采集,得到多个数据块;对多个数据块进行冗余信息读取,得每个数据块的冗余数据,对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码;通过多个纠错码对多个数据块多元解码处理,得到每个数据块的原始数据块;对多个原始数据块进行数据校验和计算,得到每个原始数据块的校验和数据;通过每个原始数据块的校验和数据对每个原始数据块进行数据编码特征提取,得到每个原始数据块的编码特征;将每个原始数据块的编码特征输入编码特征识别模型进行特征识别,得到每个原始数据块的语义特征及每个原始数据块的数据量特征;对每个原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果。在本申请方案中,通过在数据块中引入冗余信息和纠错码,提高了数据的容错性。在数据块损坏或丢失的情况下,纠错码可以用来恢复原始数据,确保数据的完整性。数据块的校验和数据提供了额外的层次来验证数据完整性。可以帮助检测数据块是否受到损坏或篡改。使用编码特征识别模型,可以将编码特征转化为更有意义的语义特征和数据量特征。通过对语义特征和数据量特征进行丢失数据检测,可以检测数据块中是否存在丢失或损坏。这有助于在数据传输和存储中提前发现问题,确保数据的完整性。从而提高了数据的可靠性。即使在面临硬件问题或传输错误的情况下,也可以检测并修复数据,以进一步提升存储芯片的数据丢失检测的准确率。
在一具体实施例中,执行步骤S102的过程可以具体包括如下步骤:
(1)对每个数据块进行数据存储区域校验,得到每个数据块的芯片存储区域;
(2)通过每个数据块的芯片存储区域,对每个数据块进行数据分割,得到每个数据块的子数据块集合;
(3)分别对每个数据块的子数据块集合进行数据量提取,得到每个数据块的当前数据量;
(4)对每个数据块进行标准数据量匹配,得到每个数据块的标准数据量;
(5)对每个数据块的当前数据量以及每个数据块的标准数据进行数据量差值计算,得到每个数据块对应的数据量差值数据;
(6)基于每个数据块对应的数据量差值数据,对多个数据块进行冗余信息读取,得每个数据块的冗余数据;
(7)分别对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码。
具体的,服务器对每个数据块进行数据存储区域校验,以确定其在芯片存储中的位置。这可以通过为每个数据块分配一个唯一的存储地址或索引来实现。例如,将数据块存储在芯片的不同扇区或页中,并分配一个地址来标识其存储位置。通过每个数据块的芯片存储区域,服务器对每个数据块进行数据分割,以获得其子数据块集合,将大的数据块分割成较小的块,以便更好地管理和处理数据。分别对每个数据块的子数据块集合进行数据量提取,以获取当前数据块的大小信息。这可以通过记录每个子数据块的大小,并将它们汇总以计算整个数据块的当前数据量。对每个数据块进行标准数据量匹配,以确定其预期的标准数据量。标准数据量通常是事先定义好的,用于表示数据块的正常大小。通过计算每个数据块的当前数据量与标准数据量之间的差值,服务器得到每个数据块的数据量差值数据。这有助于识别数据块是否与其预期大小相符,或者是否存在异常。基于每个数据块的数据量差值数据,服务器对多个数据块进行冗余信息读取,以获取冗余数据。这些冗余数据通常用于数据完整性和错误修复。分别对每个数据块的冗余数据进行纠错码提取,以得到每个数据块的纠错码。纠错码是一种冗余信息,用于在数据传输或存储过程中检测和纠正错误。
在一具体实施例中,如图2所示,执行分别对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码步骤的过程可以具体包括如下步骤:
S201、分别对每个数据块的冗余数据进行冗余奇偶校验位标定,得到每个数据块的冗余奇偶校验位;
S202、对每个数据块的冗余数据进行实际数据位标定,得到每个数据块的实际数据位;
S203、对每个数据块的冗余奇偶校验位以及每个数据块的实际数据位进行比对,得到比对结果;
S204、根据比对结果生成每个数据块的数据异常结果;
S205、根据每个数据块的数据异常结果分别对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码。
需要说明的是,服务器分别对每个数据块的冗余数据进行冗余奇偶校验位标定。冗余奇偶校验是一种用于检测和纠正数据错误的技术,它通过引入冗余位(奇偶校验位)来验证数据的正确性。每个数据块都包含一个特定数量的冗余奇偶校验位,这些校验位将与数据块的实际内容结合在一起。服务器对每个数据块的冗余数据进行实际数据位标定。实际数据位标定是确定哪些位是实际数据位,哪些位是冗余校验位的过程。这是为了确保服务器知道应该如何解释和处理数据块的不同部分。通过比对冗余奇偶校验位和实际数据位,服务器得到比对结果。比对是通过将计算的校验位与实际数据块的校验位进行比较来完成的。如果校验位匹配,那么比对结果为正常。如果校验位不匹配,那么比对结果为异常。根据比对结果,服务器生成每个数据块的数据异常结果。如果比对结果为正常,数据块被视为没有异常。如果比对结果为异常,服务器生成异常结果,指示数据块存在问题。根据每个数据块的数据异常结果,服务器分别对每个数据块的冗余数据进行纠错码提取。纠错码是一种用于从损坏的数据中恢复丢失信息的技术。通过分析数据块的异常结果,服务器决定是否需要纠正数据块,并提取纠错码以修复数据。
在一具体实施例中,如图3所示,执行步骤S103的过程可以具体包括如下步骤:
S301、分别对每个数据块进行编码片段提取,得到每个数据块的多个编码片段;
S302、分别对每个数据块的多个编码片段进行片段融合,得到每个数据块的融合编码片段;
S303、通过多个纠错码,分别对每个数据块的融合编码片段进行解码处理,得到每个数据块的原始数据块。
需要说明的是,服务器分别对每个数据块进行编码片段提取,以获取每个数据块的多个编码片段。编码片段是将数据块拆分为更小的部分,通常使用纠错码或其他编码技术来创建。这些编码片段可以帮助在数据传输或存储过程中检测和纠正错误。对每个数据块的多个编码片段进行片段融合,以获得每个数据块的融合编码片段。片段融合是将分散的编码片段合并为一个完整的数据块的过程。这可以通过将编码片段进行适当的组合和合并来实现。通过使用多个纠错码,对每个数据块的融合编码片段进行解码处理,以得到每个数据块的原始数据块。解码是将编码片段还原为原始数据块的过程,通常需要使用编码和解码算法,以确保数据的完整性和正确性。例如,当用户上传文件时,服务器首先将文件分成多个数据块。每个数据块经过编码片段提取,其中包括应用纠错码,将数据块分割成小片段,并添加冗余信息以检测和纠正错误。服务器将这些编码片段合并成一个完整的融合编码片段。这是通过将各个片段进行合并和重建来实现的。在文件下载或检索时,服务器使用纠错码和解码算法对融合编码片段进行解码处理,以还原原始数据块。如果在传输或存储过程中发生了错误,纠错码可以自动检测和纠正这些错误,确保用户获得的文件是完整的和正确的。
在一具体实施例中,如图4所示,执行步骤S105的过程可以具体包括如下步骤:
S401、对每个原始数据块以及每个原始数据块的校验和数据进行数据拼接,得到每个原始数据块的拼接数据;
S402、分别对每个原始数据块的拼接数据进行哈希映射,得到每个原始数据块的哈希数据;
S403、对每个原始数据块的哈希数据按照预设的运算逻辑进行数据运算,得到每个原始数据块的运算数据;
S404、对每个原始数据块的运算数据进行数据编码特征提取,得到每个原始数据块的编码特征。
具体的,对每个原始数据块以及每个原始数据块的校验和数据进行数据拼接。将原始数据块和其对应的校验和数据合并为一个较大的数据块。这可以通过将两者按照一定规则拼接在一起来实现。分别对每个原始数据块的拼接数据进行哈希映射,以得到每个原始数据块的哈希数据。哈希映射是通过应用哈希算法将数据块转换为固定长度的哈希值的过程。这个哈希值用于唯一标识数据块内容。对每个原始数据块的哈希数据按照预设的运算逻辑进行数据运算。这个运算逻辑可以是一系列数学运算、逻辑运算或其他运算方式,用于处理哈希数据以生成新的数据。对每个原始数据块的运算数据进行数据编码特征提取,以得到每个原始数据块的编码特征。编码特征通常是从数据中提取的有关数据特性的信息。这有助于进一步的数据分析和处理。例如,每个原始数据块包含来自不同传感器的一段时间内的数据,以及校验和数据,以检查数据完整性。当传感器数据被写入存储芯片时,首先将每个数据块与其校验和数据进行拼接,以创建一个完整的数据块。这个数据块包含原始传感器数据和相关的校验和信息。应用哈希映射来为每个数据块生成唯一的哈希值,以标识数据块内容。这有助于确保数据的唯一性和完整性。根据预设的运算逻辑,对哈希数据进行处理。例如,服务器定义一个逻辑规则,如果哈希值在特定范围内,那么数据块被标记为正常。这个逻辑可以帮助服务器识别存在问题的数据块。从运算数据中提取编码特征,这些特征描述了数据块的状态。例如,一个编码特征可以是数据块的状态(正常或异常),这有助于后续数据验证和决策。
在一具体实施例中,执行步骤S106的过程可以具体包括如下步骤:
(1)将每个原始数据块的编码特征输入编码特征识别模型的特征变换层进行特征转换,输出每个原始数据块的转换特征集;
(2)将每个原始数据块的转换特征输入编码特征识别模型的特征融合层进行特征融合,得到每个原始数据块的融合特征;
(3)将每个原始数据块的融合特征输入编码特征识别模型的语义识别层进行语义信息识别,得到每个原始数据块的语义特征;
(4)将每个原始数据块的语义特征输入编码特征识别模型的数据量分析层进行数据量特征提取,得到每个原始数据块的数据量特征。
具体的,将每个原始数据块的编码特征输入编码特征识别模型的特征变换层。在这个阶段,模型将编码特征进行变换,是通过神经网络的一层或多层。这将导致每个原始数据块生成一个新的特征集,即转换特征集。将这些转换特征输入编码特征识别模型的特征融合层。在特征融合阶段,模型将考虑来自不同原始数据块的转换特征,并将它们融合在一起,以生成每个原始数据块的融合特征。这个融合特征可以包含更高级的信息,如不同数据块之间的关联性。将每个原始数据块的融合特征输入编码特征识别模型的语义识别层。在语义识别阶段,模型将尝试理解融合特征所代表的语义信息。这可以是通过深度学习方法,例如自然语言处理模型或卷积神经网络,来提取更高级的语义特征。将每个原始数据块的语义特征输入编码特征识别模型的数据量分析层。在数据量分析阶段,模型将使用语义特征和其他信息,提取数据量相关的特征。这可以包括数据块的大小、数据密度等数据量信息。例如,假设每个原始数据块代表一个多媒体文件,将每个原始数据块的编码特征输入编码特征识别模型的特征变换层。在这个阶段,模型将对每个文件的编码特征进行处理,例如通过深度学习网络的层,以生成新的特征集,即转换特征集。这些特征包括文件的图像特征、音频特征或其他与多媒体内容相关的特征。将这些转换特征输入编码特征识别模型的特征融合层。在特征融合阶段,模型将考虑来自不同多媒体文件的转换特征,并将它们融合在一起,以生成每个原始数据块的融合特征。这个融合特征可以包含更高级的信息,如文件之间的相似性或关联性。将每个原始数据块的融合特征输入编码特征识别模型的语义识别层。在语义识别阶段,模型将尝试理解融合特征所代表的语义信息。例如,它可以识别某些文件为照片,其他文件为视频,或者识别文件的内容,如自然风景、人物照片或动画视频。在数据量分析阶段,模型可以评估每个多媒体文件的大小、播放时长和其他数据量相关的信息,以确定每个文件的数据量特征。这有助于了解存储芯片上不同文件的大小和类型,以便更好地管理存储资源。
在一具体实施例中,执行步骤S107的过程可以具体包括如下步骤:
(1)对每个原始数据块的语义特征以及数据量特征进行特征加权融合,得到每个原始数据块的加权特征;
(2)对每个原始数据块的加权特征进行特征映射,得到每个原始数据块的数据完整性;
(3)通过每个原始数据块的数据完整性分别对每个原始数据块进行丢失数据检测,得到数据丢失检测结果,并根据数据丢失检测结果创建存储芯片的数据丢失异常处理方案。
具体的,对每个原始数据块的语义特征以及数据量特征进行特征加权融合,得到每个原始数据块的加权特征。这涉及将语义特征和数据量特征组合成一个综合特征,其中不同特征的重要性是不同的。通常,这需要定义一组权重,用于对不同特征进行加权,然后将它们组合以生成每个原始数据块的加权特征。对每个原始数据块的加权特征进行特征映射。特征映射是将高维特征转换为低维特征或者将特征映射到一个特定的范围内,以便进行进一步的分析。这可以使用线性映射、非线性映射或其他数学技术来完成。特征映射可以帮助捕捉数据的一些重要特性,例如数据完整性。通过每个原始数据块的数据完整性分别对每个原始数据块进行丢失数据检测,以得到数据丢失检测结果。数据完整性通常是一个值,表示数据的完整性程度。较高的数值表示数据完整性较好,而较低的数值表示数据已损坏或丢失。通过设定一个阈值,可以确定哪些数据块被视为存在数据丢失的。例如,假设每个原始数据块代表一个数据文件,对每个数据块提取语义特征和数据量特征。语义特征可以包括文件类型、文件头信息等,而数据量特征可以包括文件大小、数据密度等。为这些特征定义权重,以便对它们进行加权融合。例如,服务器认为文件类型信息更重要,因此在权重上分配更高的值。对加权特征进行特征映射,将高维特征映射到一维范围内。这可以通过归一化或其他映射技术来完成。映射后的值表示数据完整性的估计。设定一个数据完整性的阈值。如果映射后的值低于该阈值,就表明数据存在丢失的部分。这样,服务器根据数据完整性的估计来检测数据丢失,并生成数据丢失检测结果,以便进行进一步的处理或修复。其中,创建存储芯片的数据丢失异常处理方案包括:异常定位和标记:确定发生数据丢失的具体位置,可能是在特定的数据块或存储区域。这有助于定位问题并做出有针对性的处理。数据修复和还原:尝试从冗余信息或备份中恢复丢失的数据。这可以包括使用冗余信息进行纠错,或者从备份中还原受损或丢失的数据块。告警和通知:发送警报或通知,通知系统管理员或相关人员数据丢失事件的发生。这有助于及时采取措施并避免潜在的数据损失。自动化恢复策略:设计自动化的恢复策略,使系统能够在检测到数据丢失时自动采取措施。这可能包括自动修复、数据重建或切换到备用存储。存储芯片状态管理:记录存储芯片的状态,包括检测到的数据丢失事件、已采取的措施以及恢复的数据。这有助于后续的分析和改进系统的稳定性。冗余增强:根据检测到的数据丢失情况,考虑增加冗余信息或改进纠错码方案,以提高存储系统的可靠性。故障分析和预防:分析数据丢失的原因,可能包括硬件故障、人为错误等,制定预防策略以减少将来类似事件的发生。
上面对本发明实施例中存储芯片的数据丢失检测方法进行了描述,下面对本发明实施例中存储芯片的数据丢失检测装置进行描述,请参阅图5,本发明实施例中存储芯片的数据丢失检测装置一个实施例包括:
采集模块501,用于从预置的存储芯片中进行数据块采集,得到多个数据块;
读取模块502,用于对多个所述数据块进行冗余信息读取,得每个所述数据块的冗余数据,并分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码;
处理模块503,用于通过多个所述纠错码对多个所述数据块多元解码处理,得到每个所述数据块的原始数据块;
计算模块504,用于对多个所述原始数据块进行数据校验和计算,得到每个所述原始数据块的校验和数据;
提取模块505,用于通过每个所述原始数据块的校验和数据对每个所述原始数据块进行数据编码特征提取,得到每个所述原始数据块的编码特征;
识别模块506,用于将每个所述原始数据块的编码特征输入预置的编码特征识别模型进行特征识别,得到每个所述原始数据块的语义特征及每个所述原始数据块的数据量特征;
检测模块507,用于分别对每个所述原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案。
通过上述各个组成部分的协同合作,从存储芯片中进行数据块采集,得到多个数据块;对多个数据块进行冗余信息读取,得每个数据块的冗余数据,对每个数据块的冗余数据进行纠错码提取,得到每个数据块的纠错码;通过多个纠错码对多个数据块多元解码处理,得到每个数据块的原始数据块;对多个原始数据块进行数据校验和计算,得到每个原始数据块的校验和数据;通过每个原始数据块的校验和数据对每个原始数据块进行数据编码特征提取,得到每个原始数据块的编码特征;将每个原始数据块的编码特征输入编码特征识别模型进行特征识别,得到每个原始数据块的语义特征及每个原始数据块的数据量特征;对每个原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果。在本申请方案中,通过在数据块中引入冗余信息和纠错码,提高了数据的容错性。在数据块损坏或丢失的情况下,纠错码可以用来恢复原始数据,确保数据的完整性。数据块的校验和数据提供了额外的层次来验证数据完整性。可以帮助检测数据块是否受到损坏或篡改。使用编码特征识别模型,可以将编码特征转化为更有意义的语义特征和数据量特征。通过对语义特征和数据量特征进行丢失数据检测,可以检测数据块中是否存在丢失或损坏。这有助于在数据传输和存储中提前发现问题,确保数据的完整性。从而提高了数据的可靠性。即使在面临硬件问题或传输错误的情况下,也可以检测并修复数据,以进一步提升存储芯片的数据丢失检测的准确率。
上面图5从模块化功能实体的角度对本发明实施例中的存储芯片的数据丢失检测装置进行详细描述,下面从硬件处理的角度对本发明实施例中存储芯片的数据丢失检测设备进行详细描述。
图6是本发明实施例提供的一种存储芯片的数据丢失检测设备的结构示意图,该存储芯片的数据丢失检测设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对存储芯片的数据丢失检测设备600中的一系列指令操作。更进一步地,处理器610可以设置为与存储介质630通信,在存储芯片的数据丢失检测设备600上执行存储介质630中的一系列指令操作。
存储芯片的数据丢失检测设备600还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口660,和/或,一个或一个以上操作系统631,例如WindowsServe,MacOSX,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图6示出的存储芯片的数据丢失检测设备结构并不构成对存储芯片的数据丢失检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种存储芯片的数据丢失检测设备,所述存储芯片的数据丢失检测设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述存储芯片的数据丢失检测方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述存储芯片的数据丢失检测方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或通过时,可以存储在一个计算机可读取存储介质中。基于的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(randomacceSmemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种存储芯片的数据丢失检测方法,其特征在于,所述存储芯片的数据丢失检测方法包括:
从预置的存储芯片中进行数据块采集,得到多个数据块;
对多个所述数据块进行冗余信息读取,得到每个所述数据块的冗余数据,并分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码;
通过多个所述纠错码对多个所述数据块进行多元解码处理,得到每个所述数据块的原始数据块;
对多个所述原始数据块进行数据校验和计算,得到每个所述原始数据块的校验和数据;
通过每个所述原始数据块的校验和数据对每个所述原始数据块进行数据编码特征提取,得到每个所述原始数据块的编码特征;
将每个所述原始数据块的编码特征输入预置的编码特征识别模型进行特征识别,得到每个所述原始数据块的语义特征及每个所述原始数据块的数据量特征;
分别对每个所述原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案;具体包括:对每个所述原始数据块的语义特征以及数据量特征进行特征加权融合,得到每个所述原始数据块的加权特征;对每个所述原始数据块的加权特征进行特征映射,得到每个所述原始数据块的数据完整性;通过每个所述原始数据块的数据完整性分别对每个所述原始数据块进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案。
2.根据权利要求1所述的存储芯片的数据丢失检测方法,其特征在于,所述对多个所述数据块进行冗余信息读取,得到每个所述数据块的冗余数据,并分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码,包括:
对每个所述数据块进行数据存储区域校验,得到每个所述数据块的芯片存储区域;
通过每个所述数据块的芯片存储区域,对每个所述数据块进行数据分割,得到每个所述数据块的子数据块集合;
分别对每个所述数据块的子数据块集合进行数据量提取,得到每个所述数据块的当前数据量;
对每个所述数据块进行标准数据量匹配,得到每个所述数据块的标准数据量;
对每个所述数据块的当前数据量以及每个所述数据块的标准数据进行数据量差值计算,得到每个所述数据块对应的数据量差值数据;
基于每个所述数据块对应的数据量差值数据,对多个所述数据块进行冗余信息读取,得到每个所述数据块的冗余数据;
分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码。
3.根据权利要求2所述的存储芯片的数据丢失检测方法,其特征在于,所述分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码,包括:
分别对每个所述数据块的冗余数据进行冗余奇偶校验位标定,得到每个所述数据块的冗余奇偶校验位;
对每个所述数据块的冗余数据进行实际数据位标定,得到每个所述数据块的实际数据位;
对每个所述数据块的冗余奇偶校验位以及每个所述数据块的实际数据位进行比对,得到比对结果;
根据所述比对结果生成每个所述数据块的数据异常结果;
根据每个所述数据块的数据异常结果分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码。
4.根据权利要求1所述的存储芯片的数据丢失检测方法,其特征在于,所述通过多个所述纠错码对多个所述数据块进行多元解码处理,得到每个所述数据块的原始数据块,包括:
分别对每个所述数据块进行编码片段提取,得到每个所述数据块的多个编码片段;
分别对每个所述数据块的多个编码片段进行片段融合,得到每个所述数据块的融合编码片段;
通过多个所述纠错码,分别对每个所述数据块的融合编码片段进行解码处理,得到每个所述数据块的原始数据块。
5.根据权利要求1所述的存储芯片的数据丢失检测方法,其特征在于,所述通过每个所述原始数据块的校验和数据对每个所述原始数据块进行数据编码特征提取,得到每个所述原始数据块的编码特征,包括:
对每个所述原始数据块以及每个所述原始数据块的校验和数据进行数据拼接,得到每个所述原始数据块的拼接数据;
分别对每个所述原始数据块的拼接数据进行哈希映射,得到每个所述原始数据块的哈希数据;
对每个所述原始数据块的哈希数据按照预设的运算逻辑进行数据运算,得到每个所述原始数据块的运算数据;
对每个所述原始数据块的运算数据进行数据编码特征提取,得到每个所述原始数据块的编码特征。
6.根据权利要求5所述的存储芯片的数据丢失检测方法,其特征在于,所述将每个所述原始数据块的编码特征输入预置的编码特征识别模型进行特征识别,得到每个所述原始数据块的语义特征及每个所述原始数据块的数据量特征,包括:
将每个所述原始数据块的编码特征输入所述编码特征识别模型的特征变换层进行特征转换,输出每个所述原始数据块的转换特征;
将每个所述原始数据块的转换特征输入所述编码特征识别模型的特征融合层进行特征融合,得到每个所述原始数据块的融合特征;
将每个所述原始数据块的融合特征输入所述编码特征识别模型的语义识别层进行语义信息识别,得到每个所述原始数据块的语义特征;
将每个所述原始数据块的语义特征输入所述编码特征识别模型的数据量分析层进行数据量特征提取,得到每个所述原始数据块的数据量特征。
7.一种存储芯片的数据丢失检测装置,采用如权利要求1-6中任一项所述的存储芯片的数据丢失检测方法,其特征在于,所述存储芯片的数据丢失检测装置包括:
采集模块,用于从预置的存储芯片中进行数据块采集,得到多个数据块;
读取模块,用于对多个所述数据块进行冗余信息读取,得到每个所述数据块的冗余数据,并分别对每个所述数据块的冗余数据进行纠错码提取,得到每个所述数据块的纠错码;
处理模块,用于通过多个所述纠错码对多个所述数据块进行多元解码处理,得到每个所述数据块的原始数据块;
计算模块,用于对多个所述原始数据块进行数据校验和计算,得到每个所述原始数据块的校验和数据;
提取模块,用于通过每个所述原始数据块的校验和数据对每个所述原始数据块进行数据编码特征提取,得到每个所述原始数据块的编码特征;
识别模块,用于将每个所述原始数据块的编码特征输入预置的编码特征识别模型进行特征识别,得到每个所述原始数据块的语义特征及每个所述原始数据块的数据量特征;
检测模块,用于分别对每个所述原始数据块的语义特征以及数据量特征进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案;具体包括:对每个所述原始数据块的语义特征以及数据量特征进行特征加权融合,得到每个所述原始数据块的加权特征;对每个所述原始数据块的加权特征进行特征映射,得到每个所述原始数据块的数据完整性;通过每个所述原始数据块的数据完整性分别对每个所述原始数据块进行丢失数据检测,得到数据丢失检测结果,并根据所述数据丢失检测结果创建所述存储芯片的数据丢失异常处理方案。
8.一种存储芯片的数据丢失检测设备,其特征在于,所述存储芯片的数据丢失检测设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述存储芯片的数据丢失检测设备执行如权利要求1-6中任一项所述的存储芯片的数据丢失检测方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-6中任一项所述的存储芯片的数据丢失检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311483987.2A CN117234791B (zh) | 2023-11-09 | 2023-11-09 | 存储芯片的数据丢失检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311483987.2A CN117234791B (zh) | 2023-11-09 | 2023-11-09 | 存储芯片的数据丢失检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117234791A CN117234791A (zh) | 2023-12-15 |
CN117234791B true CN117234791B (zh) | 2024-01-26 |
Family
ID=89086355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311483987.2A Active CN117234791B (zh) | 2023-11-09 | 2023-11-09 | 存储芯片的数据丢失检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117234791B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117743062B (zh) * | 2024-02-21 | 2024-05-03 | 北京怀美科技有限公司 | 一种应用于存储器芯片的抗辐照检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130346690A1 (en) * | 2010-09-28 | 2013-12-26 | Pure Storage, Inc. | Intra-device data protection in a raid array |
CN105335252A (zh) * | 2015-10-22 | 2016-02-17 | 浪潮电子信息产业股份有限公司 | 一种数据保护方法、装置以及系统 |
CN110348245A (zh) * | 2018-04-02 | 2019-10-18 | 深信服科技股份有限公司 | 基于nvm的数据完整性保护方法、系统、装置及存储介质 |
US20200225655A1 (en) * | 2016-05-09 | 2020-07-16 | Strong Force Iot Portfolio 2016, Llc | Methods, systems, kits and apparatuses for monitoring and managing industrial settings in an industrial internet of things data collection environment |
-
2023
- 2023-11-09 CN CN202311483987.2A patent/CN117234791B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130346690A1 (en) * | 2010-09-28 | 2013-12-26 | Pure Storage, Inc. | Intra-device data protection in a raid array |
CN105335252A (zh) * | 2015-10-22 | 2016-02-17 | 浪潮电子信息产业股份有限公司 | 一种数据保护方法、装置以及系统 |
US20200225655A1 (en) * | 2016-05-09 | 2020-07-16 | Strong Force Iot Portfolio 2016, Llc | Methods, systems, kits and apparatuses for monitoring and managing industrial settings in an industrial internet of things data collection environment |
CN110348245A (zh) * | 2018-04-02 | 2019-10-18 | 深信服科技股份有限公司 | 基于nvm的数据完整性保护方法、系统、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117234791A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3519965B1 (en) | Systems and methods for healing images in deduplication storage | |
CN117234791B (zh) | 存储芯片的数据丢失检测方法及装置 | |
US9983959B2 (en) | Erasure coding of data within a group of storage units based on connection characteristics | |
US7103811B2 (en) | Mechanisms for detecting silent errors in streaming media devices | |
CN103370692B (zh) | 一种修复数据的方法及装置 | |
US20100257146A1 (en) | Detecting a file fragmentation point for reconstructing fragmented files using sequential hypothesis testing | |
US10581602B2 (en) | End-to-end checksum in a multi-tenant encryption storage system | |
Aronson et al. | Towards an engineering approach to file carver construction | |
CN117376632B (zh) | 基于智能深度合成的数据恢复方法和系统 | |
KR101593184B1 (ko) | 파일시스템 메타데이터 기반 파티션 복구 방법 및 장치 | |
CN111625400B (zh) | 一种数据冗余处理方法、装置及存储介质 | |
CN114780298B (zh) | 文件数据处理方法、装置、计算机终端及存储介质 | |
US8341496B2 (en) | Redundant data in storage medium | |
CN114860745A (zh) | 基于人工智能的数据库扩展方法及相关设备 | |
CN114020527A (zh) | 快照恢复方法、装置、计算机设备及存储介质 | |
US8316258B2 (en) | System and method for error detection in a data storage system | |
CN111265860B (zh) | 游戏存档处理方法、装置、终端设备及可读存储介质 | |
US10740202B2 (en) | System and method for efficient comparison of mirrored storage devices | |
KR101623505B1 (ko) | 손상된 이벤트 로그 파일을 복원하기 위한 시스템 및 방법 | |
CN115295061B (zh) | 一种存储器固件检修方法及系统 | |
CN117873408B (zh) | 一种云打印机数据恢复方法以及相关装置 | |
Li | Searching and extracting digital image evidence | |
CN116775566B (zh) | 用于归档电子文件的方法、装置及系统、电子设备 | |
CN116414783A (zh) | 一种日志检测方法、装置、电子设备和存储介质 | |
CN114860173A (zh) | 虚拟机文件系统中数据备份和恢复的控制方法及控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |