CN116432238A - 数据存储方法、装置以及存储芯片 - Google Patents
数据存储方法、装置以及存储芯片 Download PDFInfo
- Publication number
- CN116432238A CN116432238A CN202310651939.3A CN202310651939A CN116432238A CN 116432238 A CN116432238 A CN 116432238A CN 202310651939 A CN202310651939 A CN 202310651939A CN 116432238 A CN116432238 A CN 116432238A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- sub
- encrypted
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013500 data storage Methods 0.000 title claims abstract description 33
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000005284 excitation Effects 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/137—Hash-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/606—Protecting data by securing the transmission between two devices or processes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioethics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据存储方法、装置以及存储芯片，包括：获取待存储的目标数据；获取所述目标数据的属性信息构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；将所述目标数据存储至所述目标数据库中，并将所述哈希值作为目标数据的新的标记字段的值。本发明中，通过对目标数据进行目标数据库的分类，通过对目标数据进行分类存储，避免了数据量庞大造成数据存储不便于管理、查询的缺陷。
Description
技术领域
本发明涉及数据处理的技术领域，特别涉及一种数据存储方法、装置以及存储芯片。
背景技术
在大数据时代，数据存储是数据处理的重要部分。在存储数据时，由于数据的来源广泛，数据量庞大；而将数据存储至数据库时，由于数据量庞大，且数量的类型多样；若将所有数据全部存储在同一个数据库时，则会造成数据混乱、冗余，不便于数据管理，造成数据库中的数据不便于查询等缺陷。
发明内容
本发明的主要目的为提供一种数据存储方法、装置以及存储芯片，旨在解决目前数据量庞大造成数据存储不便于管理、查询的缺陷。
为实现上述目的，本发明提供了一种数据存储方法，应用于存储芯片中，包括以下步骤：
获取待存储的目标数据；
获取所述目标数据的属性信息；其中，所述属性信息包括数据量、数据类型、数据来源、数据标记；
将所述数据量、数据类型、数据来源、数据标记进行向量化，构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；
获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；
将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。
进一步地，所述基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤，包括：
将所述目标数据的标识信息中的各个字符依次输入至第一集合中；
将所述目标数据库的标识信息中的各个字符依次输入至第二集合中；
计算所述第一集合以及第二集合的交集，得到交集中的交集字符作为所述标识字符；若所述第一集合以及第二集合不存在交集，则获取所述第一集合以及第二集合中指定位置的字符进行组合，得到所述标识字符。
进一步地，所述基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤，包括：
将所述目标数据的标识信息与预设的字符表进行对比，匹配出相同的第一字符；其中，预设的字符表中存储有多个不同的预设字符；
将所述目标数据库的标识信息与预设的字符表进行对比，匹配出相同的第二字符；
将所述第一字符与第二字符按照预设顺序进行组合，得到所述标识字符。
进一步地，所述分类模型的训练过程，包括：
获取训练数据；其中，所述训练数据具有对应的标签向量；
将所述训练数据输入至初始分类模型中；其中，所述初始分类模型包括互不相同的第一词嵌入层、第二词嵌入层、第三词嵌入层、全连接层以及分类层；
基于所述第一词嵌入层提取所述训练数据的第一特征向量；基于所述第二词嵌入层提取所述训练数据的第二特征向量；基于第三词嵌入层提取所述训练数据的第三特征向量；
将所述第一特征向量、第二特征向量、第三特征向量输入至所述全连接层进行融合以及特征提取，提取得到目标特征向量；
将所述目标特征向量以及所述训练数据的标签向量输入至所述分类层中进行迭代训练，待分类层中的损失函数收敛之后，得到训练完成的分类模型。
进一步地，所述获取待存储的目标数据的步骤，包括：
接收到发送方发送的三个加密数据，分别为第一加密数据、第二加密数据以及第三加密数据；
基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密，得到第一数据；其中，所述第一加密数据的加密算法与所述唯一的解密算法互相对应；
对所述第一数据进行特征识别，从所述第一数据中识别出特征字段，并获取到所述特征字段对应的特征值；
基于所述特征值对所述第二加密数据进行解密，得到第二数据；其中，若所述特征值无法对所述第二加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
对所述第二数据进行哈希运算，得到对应的第二哈希值；
基于所述第二哈希值对所述第三加密数据进行解密，得到第三数据；其中，若所述第二哈希值无法对所述第三加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中，得到待存储的目标数据。
进一步地，所述获取待存储的目标数据的步骤，包括：
发送方按照预设规则将待发送的数据分为两份子数据，并分别对子数据按照相同的加密方式进行加密，得到第一子数据以及第二子数据；
生成多个乱码数据；将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序；
按照预设间隔，依序发送排序后的数据，且在发送所述第一子数据以及第二子数据的同时，发送一个激励信号；
存储芯片持续接收发送方发送的数据；若接收到所述激励信号时，获取与所述激励信号同时发送的所述第一子数据或者第二子数据；若接收到数据但未接收到所述激励信号时，则将对应接收到的数据删除或者拒收；
将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合，得到待存储的所述目标数据。
本发明还提供了一种数据存储装置，应用于存储芯片中，包括：
第一获取单元，用于获取待存储的目标数据；
第二获取单元，用于获取所述目标数据的属性信息；其中，所述属性信息包括数据量、数据类型、数据来源、数据标记；
预测单元，用于将所述数据量、数据类型、数据来源、数据标记进行向量化，构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；
计算单元，用于获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；
存储单元，用于将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。
进一步地，所述第一获取单元，具体用于：
接收到发送方发送的三个加密数据，分别为第一加密数据、第二加密数据以及第三加密数据；
基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密，得到第一数据；其中，所述第一加密数据的加密算法与所述唯一的解密算法互相对应；
对所述第一数据进行特征识别，从所述第一数据中识别出特征字段，并获取到所述特征字段对应的特征值；
基于所述特征值对所述第二加密数据进行解密，得到第二数据；其中，若所述特征值无法对所述第二加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
对所述第二数据进行哈希运算，得到对应的第二哈希值；
基于所述第二哈希值对所述第三加密数据进行解密，得到第三数据；其中，若所述第二哈希值无法对所述第三加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中，得到待存储的目标数据。
进一步地，所述第一获取单元，具体用于：
发送方按照预设规则将待发送的数据分为两份子数据，并分别对子数据按照相同的加密方式进行加密，得到第一子数据以及第二子数据；
生成多个乱码数据；将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序；
按照预设间隔，依序发送排序后的数据，且在发送所述第一子数据以及第二子数据的同时，发送一个激励信号；
存储芯片持续接收发送方发送的数据；若接收到所述激励信号时，获取与所述激励信号同时发送的所述第一子数据或者第二子数据；若接收到数据但未接收到所述激励信号时，则将对应接收到的数据删除或者拒收；
将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合，得到待存储的所述目标数据。
本发明还提供了一种存储芯片，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本发明提供的数据存储方法、装置以及存储芯片，包括：获取待存储的目标数据；获取所述目标数据的属性信息；其中，所述属性信息包括数据量、数据类型、数据来源、数据标记；将所述数据量、数据类型、数据来源、数据标记进行向量化，构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。本发明中，通过对目标数据进行目标数据库的分类，通过对目标数据进行分类存储，避免了数据量庞大造成数据存储不便于管理、查询的缺陷。
附图说明
图1是本发明一实施例中数据存储方法步骤示意图；
图2是本发明一实施例中数据存储装置结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明一实施例中提供了一种数据存储方法，应用于存储芯片中，包括以下步骤：
步骤S1，获取待存储的目标数据；
步骤S2，获取所述目标数据的属性信息；其中，所述属性信息包括数据量、数据类型、数据来源、数据标记；
步骤S3，将所述数据量、数据类型、数据来源、数据标记进行向量化，构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；
步骤S4，获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；
步骤S5，将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。
在本实施例中，上述方案应用于存储芯片中对数据进行分类存储，本方案中，对待存储的目标数据，需要对目标数据进行分类存储，将不同的目标数据存储至不同的目标数据库中，避免了数据量庞大造成数据不便于管理、查询的缺陷。
具体地，如上述步骤S1-S3所述的，获取各个发送方发送过来的待存储的目标数据，由于数据来源于外部发送方，数据种类繁杂，为了便于对数据进行管理，需要对所述目标数据存储的目标数据库进行分类，进而将不同的目标数据存储至不同的目标数据库中。具体地，可以获取到目标数据多维度的属性信息，例如数据量、数据类型、数据来源、数据标记；进而根据上述属性信息，采用预先训练深度学习模型得到的分类模型，进行预测分类，得到存储各个所述目标数据的目标数据库。即实现了，针对不同的目标数据，采用不同的目标数据库进行数据存储。
在本实施例中，还需要对存储至目标数据库中的各个目标数据进行标记，在标记时，需要在标记中携带有目标数据以及目标数据库的一些特性，便于后续进行数据稽查。因此，如上述步骤S4-S5所述的，首先获取所述目标数据以及目标数据库的标识信息；再基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值。最后，将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。
后续根据上述哈希值，便可以从目标数据库中查找到上述目标数据的信息，便于数据查询。同时，上述哈希值还可以用于对目标数据以及目标数据库的标识信息的验证。
在一实施例中，所述基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤，包括：
将所述目标数据的标识信息中的各个字符依次输入至第一集合中；
将所述目标数据库的标识信息中的各个字符依次输入至第二集合中；
计算所述第一集合以及第二集合的交集，得到交集中的交集字符作为所述标识字符；若所述第一集合以及第二集合不存在交集，则获取所述第一集合以及第二集合中指定位置的字符进行组合，得到所述标识字符。上述指定位置可以时首部两位、末尾两位等。
在本实施例中，基于上述方案，获取到上述目标数据的标识信息以及目标数据库的标识信息中相同的字符作为标识字符，后续根据上述标识字符生成对应的哈希值，添加在目标数据的属性信息中，便于基于上述标识字符对目标数据的标识信息以及目标数据库的标识信息进行佐证。
在另一实施例中，所述基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤，包括：
将所述目标数据的标识信息与预设的字符表进行对比，匹配出相同的第一字符；其中，预设的字符表中存储有多个不同的预设字符；
将所述目标数据库的标识信息与预设的字符表进行对比，匹配出相同的第二字符；
将所述第一字符与第二字符按照预设顺序进行组合，得到所述标识字符。
在本实施例中，预先设定有一个字符表，该字符表中预设字符为存储芯片所在的终端中预设的一部分字符；上述预设字符是终端根据需求，预先选定的字符，在此不进行赘述。
在一实施例中，所述分类模型的训练过程，包括：
获取训练数据；其中，所述训练数据具有对应的标签向量；
将所述训练数据输入至初始分类模型中；其中，所述初始分类模型包括互不相同的第一词嵌入层、第二词嵌入层、第三词嵌入层、全连接层以及分类层；
基于所述第一词嵌入层提取所述训练数据的第一特征向量；基于所述第二词嵌入层提取所述训练数据的第二特征向量；基于第三词嵌入层提取所述训练数据的第三特征向量；
将所述第一特征向量、第二特征向量、第三特征向量输入至所述全连接层进行融合以及特征提取，提取得到目标特征向量；
将所述目标特征向量以及所述训练数据的标签向量输入至所述分类层中进行迭代训练，待分类层中的损失函数收敛之后，得到训练完成的分类模型。
在本实施例中，上述初始分类模型的模型结构为：第一词嵌入层、第二词嵌入层、第三词嵌入层、全连接层以及分类层；其中第一词嵌入层、第二词嵌入层、第三词嵌入层均连接模型的输入端，用于对输入的数据进行特征提取；可以理解的是，上述第一词嵌入层、第二词嵌入层、第三词嵌入层的结构均不相同，其为不同的词嵌入模型（例如，GloVe、Word2Vec等，具体类型在此不进行赘述），其对相同数据进行特征提取时，由于关注的重点不同，提取的特征也会不同。在本实施例中，基于第一词嵌入层、第二词嵌入层、第三词嵌入层，分别提取训练数据的特征，有利于从不同维度进行特征提取，提升了模型的分类效果。后续将第一词嵌入层、第二词嵌入层、第三词嵌入层分别提取的所述第一特征向量、第二特征向量、第三特征向量输入至所述全连接层进行融合以及特征提取，提取得到目标特征向量；将所述目标特征向量以及所述训练数据的标签向量输入至所述分类层中进行迭代训练，待分类层中的损失函数收敛之后，得到训练完成的分类模型。基于上述训练方式得到的分类模型，可以提取同一个数据的多维度特征，分类效果得到提升。
在一实施例中，提出一种获取待存储的目标数据的方案；具体地，所述获取待存储的目标数据的步骤S1，包括：
步骤S101，接收到发送方发送的三个加密数据，分别为第一加密数据、第二加密数据以及第三加密数据；
步骤S102，基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密，得到第一数据；其中，所述第一加密数据的加密算法与所述唯一的解密算法互相对应；上述加密算法与所述唯一的解密算法互相对应，可以是一个互逆的处理过程。上述解码算法只能对上述第一加密数据进行解密。
步骤S103，对所述第一数据进行特征识别，从所述第一数据中识别出特征字段，并获取到所述特征字段对应的特征值；在本实施例中，需要先对第一数据进行特征识别得到特征字段，上述特征字段中存储有对应的特征值，该特征值实为第二加密数据的解密密码；
步骤S104，基于所述特征值对所述第二加密数据进行解密，得到第二数据；其中，若所述特征值无法对所述第二加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；可以理解的是，为了识别出哪个为第二加密数据，只需要基于上述特征值，对第二加密数据以及第三加密数据，进行解密，若能解密，则为第二加密数据，若均不能解密，则数据均有误。
步骤S105，对所述第二数据进行哈希运算，得到对应的第二哈希值；上述第二哈希值则作为第三加密数据的解密密码。
步骤S106，基于所述第二哈希值对所述第三加密数据进行解密，得到第三数据；其中，若所述第二哈希值无法对所述第三加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；在本实施例中，通过上述解密方案，不仅加强了三个加密数据之间的关联性，而且增强了数据大面积泄露的难度；若要获取到目标数据，需要对三个加密数据均解密，显著提升了解密难度；而存储芯片在知晓上述解密方案的情况下，便可以轻松进行解密。
步骤S107，将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中，得到所述待存储的目标数据。
在又一实施例中，所述获取待存储的目标数据的步骤S1，包括：
发送方按照预设规则将待发送的数据分为两份子数据，并分别对子数据按照相同的加密方式进行加密，得到第一子数据以及第二子数据；
生成多个乱码数据；将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序；
按照预设间隔，依序发送排序后的数据，且在发送所述第一子数据以及第二子数据的同时，发送一个激励信号；
存储芯片持续接收发送方发送的数据；若接收到所述激励信号时，获取与所述激励信号同时发送的所述第一子数据或者第二子数据；若接收到数据但未接收到所述激励信号时，则将对应接收到的数据删除或者拒收；
将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合，得到待存储的所述目标数据。
在本实施例中，发送方按照预设规则将待发送的数据分为两份子数据，并分别对子数据按照相同的加密方式进行加密，可以避免两份子数据同时泄露。同时，发送方还需要生成几个扰乱其它用户的数据，即上述多个乱码数据。发送方在发送上述两份子数据时，将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序之后，按照预设时间间隔，发送数据，且在发送所述第一子数据以及第二子数据的同时，发送一个激励信号；存储芯片在接收到激励信号时，才会去获取与所述激励信号同时发送的所述第一子数据或者第二子数据，这便保障了存储芯片通过上述激励信号可以识别出哪些为真实数据；而存储芯片只获取上述真实数据，而对于其它非真实的数据，即没有携带激励信号的数据，存储芯片可以选择拒收，或者直接删除。通过上述处理方式，增加了存储数据过程中的安全性，以及增加了非法用户破解存储数据的难度。
参照图2，在另一实施例中，本发明还提供了一种数据存储装置，应用于存储芯片中，包括：
第一获取单元，用于获取待存储的目标数据；
第二获取单元，用于获取所述目标数据的属性信息；其中，所述属性信息包括数据量、数据类型、数据来源、数据标记；
预测单元，用于将所述数据量、数据类型、数据来源、数据标记进行向量化，构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；
计算单元，用于获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；
存储单元，用于将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。
在一实施例中，所述第一获取单元，具体用于：
接收到发送方发送的三个加密数据，分别为第一加密数据、第二加密数据以及第三加密数据；
基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密，得到第一数据；其中，所述第一加密数据的加密算法与所述唯一的解密算法互相对应；
对所述第一数据进行特征识别，从所述第一数据中识别出特征字段，并获取到所述特征字段对应的特征值；
基于所述特征值对所述第二加密数据进行解密，得到第二数据；其中，若所述特征值无法对所述第二加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
对所述第二数据进行哈希运算，得到对应的第二哈希值；
基于所述第二哈希值对所述第三加密数据进行解密，得到第三数据；其中，若所述第二哈希值无法对所述第三加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中，得到所述待存储的目标数据。
在另一实施例中，所述第一获取单元，具体用于：
发送方按照预设规则将待发送的数据分为两份子数据，并分别对子数据按照相同的加密方式进行加密，得到第一子数据以及第二子数据；
生成多个乱码数据；将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序；
按照预设间隔，依序发送排序后的数据，且在发送所述第一子数据以及第二子数据的同时，发送一个激励信号；
存储芯片持续接收发送方发送的数据；若接收到所述激励信号时，获取与所述激励信号同时发送的所述第一子数据或者第二子数据；若接收到数据但未接收到所述激励信号时，则将对应接收到的数据删除或者拒收；
将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合，得到待存储的所述目标数据。
在本实施例中，上述装置实施例中的各个单元的具体实现，请参照上述方法实施例中所述，在此不再进行赘述。
本发明一实施例还提供一种计算机可读的存储芯片，其上存储有计算机程序，计算机程序被处理器执行时实现一种数据存储方法。可以理解的是，本实施例中的计算机可读存储芯片可以是易失性可读存储介质，也可以为非易失性可读存储介质。
综上所述，为本发明实施例中提供的数据存储方法、装置以及存储芯片，包括：获取待存储的目标数据；获取所述目标数据的属性信息；其中，所述属性信息包括数据量、数据类型、数据来源、数据标记；将所述数据量、数据类型、数据来源、数据标记进行向量化，构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。本发明中，通过对目标数据进行目标数据库的分类，通过对目标数据进行分类存储，避免了数据量庞大造成数据存储不便于管理、查询的缺陷。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的和实施例中所使用的对存储芯片、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储芯片。非易失性存储芯片可以包括只读存储芯片（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储芯片可包括随机存取存储芯片（RAM）或者外部高速缓冲存储芯片。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储芯片总线（Rambus）直接RAM（RDRAM）、直接存储芯片总线动态RAM（DRDRAM）、以及存储芯片总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据存储方法，其特征在于，应用于存储芯片中，包括以下步骤：
获取待存储的目标数据；
获取所述目标数据的属性信息；其中，所述属性信息包括数据量、数据类型、数据来源、数据标记；
将所述数据量、数据类型、数据来源、数据标记进行向量化，构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；
获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；
将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。
2.根据权利要求1所述的数据存储方法，其特征在于，所述基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤，包括：
将所述目标数据的标识信息中的各个字符依次输入至第一集合中；
将所述目标数据库的标识信息中的各个字符依次输入至第二集合中；
计算所述第一集合以及第二集合的交集，得到交集中的交集字符作为所述标识字符；若所述第一集合以及第二集合不存在交集，则获取所述第一集合以及第二集合中指定位置的字符进行组合，得到所述标识字符。
3.根据权利要求1所述的数据存储方法，其特征在于，所述基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤，包括：
将所述目标数据的标识信息与预设的字符表进行对比，匹配出相同的第一字符；其中，预设的字符表中存储有多个不同的预设字符；
将所述目标数据库的标识信息与预设的字符表进行对比，匹配出相同的第二字符；
将所述第一字符与第二字符按照预设顺序进行组合，得到所述标识字符。
4.根据权利要求1所述的数据存储方法，其特征在于，所述分类模型的训练过程，包括：
获取训练数据；其中，所述训练数据具有对应的标签向量；
将所述训练数据输入至初始分类模型中；其中，所述初始分类模型包括互不相同的第一词嵌入层、第二词嵌入层、第三词嵌入层、全连接层以及分类层；
基于所述第一词嵌入层提取所述训练数据的第一特征向量；基于所述第二词嵌入层提取所述训练数据的第二特征向量；基于第三词嵌入层提取所述训练数据的第三特征向量；
将所述第一特征向量、第二特征向量、第三特征向量输入至所述全连接层进行融合以及特征提取，提取得到目标特征向量；
将所述目标特征向量以及所述训练数据的标签向量输入至所述分类层中进行迭代训练，待分类层中的损失函数收敛之后，得到训练完成的分类模型。
5.根据权利要求1所述的数据存储方法，其特征在于，所述获取待存储的目标数据的步骤，包括：
接收到发送方发送的三个加密数据，分别为第一加密数据、第二加密数据以及第三加密数据；
基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密，得到第一数据；其中，所述第一加密数据的加密算法与所述唯一的解密算法互相对应；
对所述第一数据进行特征识别，从所述第一数据中识别出特征字段，并获取到所述特征字段对应的特征值；
基于所述特征值对所述第二加密数据进行解密，得到第二数据；其中，若所述特征值无法对所述第二加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
对所述第二数据进行哈希运算，得到对应的第二哈希值；
基于所述第二哈希值对所述第三加密数据进行解密，得到第三数据；其中，若所述第二哈希值无法对所述第三加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中，得到待存储的目标数据。
6.根据权利要求1所述的数据存储方法，其特征在于，所述获取待存储的目标数据的步骤，包括：
发送方按照预设规则将待发送的数据分为两份子数据，并分别对子数据按照相同的加密方式进行加密，得到第一子数据以及第二子数据；
生成多个乱码数据；将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序；
按照预设间隔，依序发送排序后的数据，且在发送所述第一子数据以及第二子数据的同时，发送一个激励信号；
存储芯片持续接收发送方发送的数据；若接收到所述激励信号时，获取与所述激励信号同时发送的所述第一子数据或者第二子数据；若接收到数据但未接收到所述激励信号时，则将对应接收到的数据删除或者拒收；
将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合，得到待存储的所述目标数据。
7.一种数据存储装置，其特征在于，应用于存储芯片中，包括：
第一获取单元，用于获取待存储的目标数据；
第二获取单元，用于获取所述目标数据的属性信息；其中，所述属性信息包括数据量、数据类型、数据来源、数据标记；
预测单元，用于将所述数据量、数据类型、数据来源、数据标记进行向量化，构成一个属性向量；将所述属性向量输入至预先训练完成的分类模型中，预测得到存储所述目标数据的目标数据库；
计算单元，用于获取所述目标数据以及目标数据库的标识信息；基于预设的字符选取规则，从所述目标数据以及目标数据库的标识信息中选取对应的标识字符；对所述标识字符进行哈希计算得到对应的哈希值；
存储单元，用于将所述目标数据存储至所述目标数据库中，并在所述目标数据的属性信息中添加一个新的标记字段，将所述哈希值作为所述新的标记字段的值。
8.根据权利要求7所述的数据存储装置，其特征在于，所述第一获取单元，具体用于：
接收到发送方发送的三个加密数据，分别为第一加密数据、第二加密数据以及第三加密数据；
基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密，得到第一数据；其中，所述第一加密数据的加密算法与所述唯一的解密算法互相对应；
对所述第一数据进行特征识别，从所述第一数据中识别出特征字段，并获取到所述特征字段对应的特征值；
基于所述特征值对所述第二加密数据进行解密，得到第二数据；其中，若所述特征值无法对所述第二加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
对所述第二数据进行哈希运算，得到对应的第二哈希值；
基于所述第二哈希值对所述第三加密数据进行解密，得到第三数据；其中，若所述第二哈希值无法对所述第三加密数据进行解密，则删除所述第一加密数据、第二加密数据以及第三加密数据；
将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中，得到待存储的目标数据。
9.根据权利要求7所述的数据存储装置，其特征在于，所述第一获取单元，具体用于：
发送方按照预设规则将待发送的数据分为两份子数据，并分别对子数据按照相同的加密方式进行加密，得到第一子数据以及第二子数据；
生成多个乱码数据；将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序；
按照预设间隔，依序发送排序后的数据，且在发送所述第一子数据以及第二子数据的同时，发送一个激励信号；
存储芯片持续接收发送方发送的数据；若接收到所述激励信号时，获取与所述激励信号同时发送的所述第一子数据或者第二子数据；若接收到数据但未接收到所述激励信号时，则将对应接收到的数据删除或者拒收；
将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合，得到待存储的所述目标数据。
10.一种存储芯片，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310651939.3A CN116432238B (zh) | 2023-06-05 | 2023-06-05 | 数据存储方法、装置以及存储芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310651939.3A CN116432238B (zh) | 2023-06-05 | 2023-06-05 | 数据存储方法、装置以及存储芯片 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116432238A true CN116432238A (zh) | 2023-07-14 |
| CN116432238B CN116432238B (zh) | 2023-09-08 |
Family
ID=87080038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310651939.3A Active CN116432238B (zh) | 2023-06-05 | 2023-06-05 | 数据存储方法、装置以及存储芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116432238B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117318053A (zh) * | 2023-11-28 | 2023-12-29 | 广州宝云信息科技有限公司 | 用于储能电站的能源需求预测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649890A (zh) * | 2017-02-07 | 2017-05-10 | 税云网络科技服务有限公司 | 数据存储方法和装置 |
| CN111538929A (zh) * | 2020-07-08 | 2020-08-14 | 腾讯科技（深圳）有限公司 | 网络链接识别方法、装置、存储介质及电子设备 |
| CN111936985A (zh) * | 2018-01-30 | 2020-11-13 | 恩卡普沙科技有限责任公司 | 一种用于封装和存储来自多个不同数据源的信息的方法和系统 |
| CN112948502A (zh) * | 2021-03-26 | 2021-06-11 | 江门职业技术学院 | 多来源传输数据分类存储方法、装置、设备及存储介质 |
| CN113609100A (zh) * | 2021-08-02 | 2021-11-05 | 北京百度网讯科技有限公司 | 数据存储方法、数据查询方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757406A (zh) * | 2022-11-15 | 2023-03-07 | 北京爱奇艺科技有限公司 | 数据存储方法、装置、电子设备及存储介质 |
-
2023
- 2023-06-05 CN CN202310651939.3A patent/CN116432238B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649890A (zh) * | 2017-02-07 | 2017-05-10 | 税云网络科技服务有限公司 | 数据存储方法和装置 |
| CN111936985A (zh) * | 2018-01-30 | 2020-11-13 | 恩卡普沙科技有限责任公司 | 一种用于封装和存储来自多个不同数据源的信息的方法和系统 |
| CN111538929A (zh) * | 2020-07-08 | 2020-08-14 | 腾讯科技（深圳）有限公司 | 网络链接识别方法、装置、存储介质及电子设备 |
| CN112948502A (zh) * | 2021-03-26 | 2021-06-11 | 江门职业技术学院 | 多来源传输数据分类存储方法、装置、设备及存储介质 |
| CN113609100A (zh) * | 2021-08-02 | 2021-11-05 | 北京百度网讯科技有限公司 | 数据存储方法、数据查询方法、装置及电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117318053A (zh) * | 2023-11-28 | 2023-12-29 | 广州宝云信息科技有限公司 | 用于储能电站的能源需求预测方法及系统 |
| CN117318053B (zh) * | 2023-11-28 | 2024-03-19 | 广州宝云信息科技有限公司 | 用于储能电站的能源需求预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116432238B (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334612B (zh) | 一种针对密文域的形近汉字全文模糊检索方法 | |
| CN116432238B (zh) | 数据存储方法、装置以及存储芯片 | |
| CN111612476B (zh) | 二次校验防伪方法、装置、设备及存储介质 | |
| CN105718502A (zh) | 用于高效特征匹配的方法和设备 | |
| CN116089620B (zh) | 一种电子档案数据管理方法和系统 | |
| US20230011633A1 (en) | Systems and methods for scalable biometric authentication | |
| CN112559526A (zh) | 数据表导出方法、装置、计算机设备及存储介质 | |
| CN110990829B (zh) | 在可信执行环境中训练gbdt模型的方法、装置及设备 | |
| CN111124421A (zh) | 区块链智能合约的异常合约数据检测方法和装置 | |
| CN111324611A (zh) | 一种资产类通证的凭证检索方法和装置 | |
| CN113254687B (zh) | 图像检索、图像量化模型训练方法、装置和存储介质 | |
| CN108932434B (zh) | 一种基于机器学习技术的数据加密方法及装置 | |
| CN117391585A (zh) | 工业互联网的仓储信息管理方法以及系统 | |
| CN116680673B (zh) | 显示器的身份校验方法、装置以及计算机设备 | |
| SE540649C2 (en) | Method and system for secure password storage | |
| CN115859370B (zh) | 交易数据的处理方法、装置、计算机设备和存储介质 | |
| CN116055067B (zh) | 一种弱口令检测的方法、装置、电子设备及介质 | |
| KR102375973B1 (ko) | 사례기반 추론엔진을 이용한 보안 서버 및 보안 기능의 설치를 위한 저장 매체 | |
| CN111709422A (zh) | 基于神经网络的图像识别方法、装置和计算机设备 | |
| CN111523867B (zh) | 人员信息管理方法、计算机设备和存储介质 | |
| CN114416806A (zh) | 电力安全知识数据的采集方法、装置及计算机设备 | |
| CN116662616A (zh) | 建筑工程的信息管理方法、装置以及计算机设备 | |
| CN116894986B (zh) | 自动化标注方法、系统以及计算机设备 | |
| CN116450918B (zh) | 线上信息咨询方法、装置及电子设备 | |
| CN112883207B (zh) | 一种基于特征融合的高安全生物哈希密文语音检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |