CN115081017A - 一种大字段数据调用方法和系统 - Google Patents
一种大字段数据调用方法和系统 Download PDFInfo
- Publication number
- CN115081017A CN115081017A CN202210682467.3A CN202210682467A CN115081017A CN 115081017 A CN115081017 A CN 115081017A CN 202210682467 A CN202210682467 A CN 202210682467A CN 115081017 A CN115081017 A CN 115081017A
- Authority
- CN
- China
- Prior art keywords
- data
- field data
- calling
- fragment
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Storage Device Security (AREA)
Abstract
本申请实施例公开了一种大字段数据调用方法和系统，所述方法包括：接收客户端发送的目标大字段数据调用请求；根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；根据全部分片数据的序号进行数据拼接，得到拼接数据；获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。高效调用大字段数据，安全性高。
Description
技术领域
本申请实施例涉及数据安全技术领域，具体涉及一种大字段数据调用方法和系统。
背景技术
在很多业务场景中，数据库中的敏感字段是不允许开发、运维、数据库管理员等人员随意查看的，那么对数据库中的敏感数据进行加密就显得尤为重要。
目前市场上存在的解决方案大都是直接对数据进行加密，然后存入数据库中，用户使用时，再从数据库中取出、解密即可获取原数据。
但当遇见敏感字段过大就会出现存储问题，且直接对明文数据加密入库无法防止数据被篡改，也无法满足对敏感程度要求过高的业务场景。
发明内容
为此，本申请实施例提供一种大字段数据调用方法和系统，高效调用大字段数据，安全性高。
为了实现上述目的，本申请实施例提供如下技术方案：
根据本申请实施例的第一方面，提供了一种大字段数据调用方法，所述方法包括：
接收客户端发送的目标大字段数据调用请求；
根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；
判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；
根据全部分片数据的序号进行数据拼接，得到拼接数据；
获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。
可选地，所述方法还包括：
接收客户端发送的大字段数据存储请求；
根据所述大字段数据获取所述大字段数据的MD5值，并将所述MD5值存储至所述预设数据库和缓存中；
对所述大字段数据按照固定大小切分为若干分片数据，并记录若干分片数据的序号；
根据用户设置判断是否对所述若干分片数据进行加密；若加密，则进行加密，并将加密后的若干分片数据存储至所述预设数据库和缓存；若不加密，则将所述若干分片数据直接存储至所述预设数据库和缓存。
可选地，对若干分片数据进行加密，所述方法包括：
利用文本识别模型对每个分片数据进行语义识别，得到每个分片数据中的字符文本；
从每个分片数据中的字符文本中提取关键词，并基于预设的加密算法对每个关键词进行加密，以完成若干分片数据的加密。
可选地，所述从每个分片数据中的字符文本中提取关键词，包括：
获取每个分片数据中的字符的字符特征；
根据字符特征融合模型对每个字符的字符特征进行融合；
根据融合结果判断是否满足预设融合条件；若满足，则计算每个字符的分值；若不满足，则继续根据字符特征融合模型对字符特征进行融合，直到满足预设融合条件；
根据每个字符的分值筛选符合设定条件的字符作为关键词。
可选地，所述获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致，所述方法还包括：
若所述拼接数据的MD5值和所述目标大字段数据的MD5值不一致，则校验结果为失败，并向客户端发送警告消息。
可选地，所述方法还包括：
将所述目标大字段数据调用请求、对应的拼接数据和校验结果生成调用记录，并存储至所述预设数据库和缓存中。
可选地，所述方法还包括：
若接收客户端发送的所述目标大字段数据调用请求，则根据所述目标大字段数据调用请求从所述预设数据库或缓存中调用对应的拼接数据和校验结果，并发送至客户端。
根据本申请实施例的第二方面，提供了一种大字段数据调用系统，所述系统包括：
消息接收模块，用于接收客户端发送的目标大字段数据调用请求；
数据调用模块，用于根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；
加密模块，用于判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；
拼接模块，用于根据全部分片数据的序号进行数据拼接，得到拼接数据；
校验模块，用于获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端
根据本申请实施例的第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现上述第一方面所述的方法。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述第一方面所述的方法。
综上所述，本申请实施例提供了一种大字段数据调用方法和系统，通过接收客户端发送的目标大字段数据调用请求；根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；根据全部分片数据的序号进行数据拼接，得到拼接数据；获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。高效调用大字段数据，安全性高。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本申请实施例提供的一种大字段数据调用方法流程示意图；
图2为本申请实施例提供的整体架构示意图；
图3为本申请实施例提供的数据存储流程示意图；
图4为本申请实施例提供的数据获取流程示意图；
图5为本申请实施例提供的一种大字段数据调用系统框图；
图6示出了本申请实施例提供的一种电子设备的结构示意图；
图7示出了本申请实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的敏感数据存储方式，是直接对敏感数据进行加密，不能友好的处理大字段的敏感数据存储，本申请实施例对大字段分块存储和调用流程完美的解决了这一问题。MD5(Message Digest Algorithm)为计算机安全领域广泛使用的一种散列函数，用于确保信息传输完整一致，是计算机广泛使用的杂凑算法之一。MD5的典型应用是一致性验证，对一段信息(Message)产生信息摘要(Message-Digest)，以防止信息被篡改。例如机密资料的检验，下载文件的检验，明文密码的加密等。
图1示出了本申请实施例提供的一种大字段数据调用方法，所述方法包括：
步骤101：接收客户端发送的目标大字段数据调用请求；
步骤102：根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；
步骤103：判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；
步骤104：根据全部分片数据的序号进行数据拼接，得到拼接数据；
步骤105：获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。
在一种可能的实施方式中，所述方法还包括：
接收客户端发送的大字段数据存储请求；
根据所述大字段数据获取所述大字段数据的MD5值，并将所述MD5值存储至所述预设数据库和缓存中；
对所述大字段数据按照固定大小切分为若干分片数据，并记录若干分片数据的序号；
根据用户设置判断是否对所述若干分片数据进行加密；若加密，则进行加密，并将加密后的若干分片数据存储至所述预设数据库和缓存；若不加密，则将所述若干分片数据直接存储至所述预设数据库和缓存。
在一种可能的实施方式中，对若干分片数据进行加密，所述方法包括：
利用文本识别模型对每个分片数据进行语义识别，得到每个分片数据中的字符文本；
从每个分片数据中的字符文本中提取关键词，并基于预设的加密算法对每个关键词进行加密，以完成若干分片数据的加密。
在一种可能的实施方式中，所述从每个分片数据中的字符文本中提取关键词，包括：
获取每个分片数据中的字符的字符特征；
根据字符特征融合模型对每个字符的字符特征进行融合；
根据融合结果判断是否满足预设融合条件；若满足，则计算每个字符的分值；若不满足，则继续根据字符特征融合模型对字符特征进行融合，直到满足预设融合条件；
根据每个字符的分值筛选符合设定条件的字符作为关键词。
在一种可能的实施方式中，在步骤105中，所述获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致，所述方法还包括：
若所述拼接数据的MD5值和所述目标大字段数据的MD5值不一致，则校验结果为失败，并向客户端发送警告消息。
在一种可能的实施方式中，所述方法还包括：
将所述目标大字段数据调用请求、对应的拼接数据和校验结果生成调用记录，并存储至所述预设数据库和缓存中。
在一种可能的实施方式中，所述方法还包括：
若接收客户端发送的所述目标大字段数据调用请求，则根据所述目标大字段数据调用请求从所述预设数据库或缓存中调用对应的拼接数据和校验结果，并发送至客户端。
通过对大字段数据的分片数据进行加密，根据数据的敏感程度，业务可定制不同的加密方式对分片数据进行加密，提高了数据存储的安全性。对数据分片加密前后进行md5值对比，防止数据被篡改，验证了数据的正确性。
本申请实施例提供的加密算法包括不限于：DES加密算法、DH加密算法、Blowfish加密算法、RSA加密算法和MD5加密算法。本申请实施例主要采用MD5加密算法，MD5(MessageDigest Algorithm)为计算机安全领域广泛使用的一种散列函数，用于确保信息传输完整一致，是计算机广泛使用的杂凑算法之一。MD5的典型应用是一致性验证，对一段信息(Message)产生信息摘要(Message-Digest)，以防止信息被篡改。例如机密资料的检验，下载文件的检验，明文密码的加密等。但其他的加解密算法均适用。
图2示出了本申请实施例提供的整体架构示意图，适用于大部分业务，无需额外引入其他外部系统。业务系统只需根据用户委托存储数据的敏感程度，为原数据选择不同的防篡改验算法。其中运用到的数据验证的算法包括不限于CRC验证法、哈希验证法和自定义验证法。
根据存储数据的大小、类型选择不同的分片方式对原数据进行分片。其中运用到的分片算法包括不限于平均分配算法和自定义分配算法。
同时也为用户提供了不同的加密方式，对分片后的数据进行加解密。其中运用到的加密算法包括不限于对称加密算法、非对称加密算法和混合加密算法。
进一步对数据进行包括，执行元数据和或分片数据的保存。
由于对原数据进行了防篡改认证、分片及加密操作，提升了数据存储的安全性，同时也降低了对数据库性能的要求。
图3示出了本申请实施例提供的数据存储流程示意图，包括如下步骤：
步骤1：服务器接收大字段数据存储请求；
步骤2：服务获取大字段数据的明文数据，并获取所述明文数据的md5值；将所述md5值存入内存、缓存或数据库中，具体地根据业务场景由用户设置。
步骤3：将大字段数据按照固定大小进行切分，并记录下切分后每片数据的序号，以便后期获取数据时拼接。
步骤4：根据业务需求判断切分后的数据是否需要进行加密，若需要，执行步骤5；若不需要，执行步骤6；
步骤5：对切分后的每片数据进行加密；为业务提供不同的加密方式，进一步确保数据的安全性。并将加密后的切分数据存入数据库；
步骤6：将分片的数据存入数据库，即完成了数据的存储流程。
图4示出了本申请实施例提供的数据获取流程，所述方法包括如下步骤：
步骤1：服务器接收大字段数据调用请求；
步骤2：服务器从数据库获取对应的大字段数据的全部分片数据；
步骤3：判断分片数据是否为加密字段，若为加密字段，则需要根据对应的加密方式对每片数据进行解密；若需要解密，执行步骤4；若不需要解密，执行步骤5；
步骤4：对待解密的数据进行解密，再执行步骤5；
步骤5：根据每片分片数据的编号，拼接数据并获取拼接完成数据的md5值；
步骤6：从数据库取出该拼接数据在未分片前的md5值，和此时拼接后的数据的md5值进行对比，以此判断数据是否被篡改及拼接数据的正确性；若两次生成的md5值结果一致，则说明该数据是未被篡改的正确数据，返回结果给调用方；若两次生成的md5值结果不一致，则表示该数据存在异常，用户可结合业务场景通过抛出异常日志或短信报警等形式通知相关人员。
对数据分片加密，根据数据的敏感程度，业务可定制不同的加密方式对分片数据进行加密，提高了数据存储的安全性。对数据分片加密前后进行md5值对比，防止数据被篡改，验证了数据的正确性。
在本申请实施例提供的另一实施例中，提供了一种大字段数据存储方法，所述方法包括：
步骤1：接收客户端发送的大字段数据存储请求；
步骤2：根据所述大字段数据获取所述大字段数据的MD5值，并将所述MD5值存储至所述预设数据库和缓存中；
步骤3：对所述大字段数据按照固定大小切分为若干分片数据，并记录若干分片数据的序号；
步骤4：根据用户设置判断是否对所述若干分片数据进行加密；若加密，则进行加密，并将加密后的若干分片数据存储至所述预设数据库和缓存；若不加密，则将所述若干分片数据直接存储至所述预设数据库和缓存。
在一种可能的实施方式中，对若干分片数据进行加密，所述方法包括：
对所述若干分片数据进行预处理，所述预处理的方式包括不限于中文分词、去除停用词、去除文本格式和词性标注；
利用文本识别模型对每个分片数据进行语义识别，得到每个分片数据中的字符文本；
从每个分片数据中的字符文本中提取关键词，并基于预设的加密算法对每个关键词进行加密，以完成若干分片数据的加密。
在一种可能的实施方式中，所述从每个分片数据中的字符文本中提取关键词，包括：
获取每个分片数据中的字符的字符特征；所述字符特征包括：词性、位置、出现频次和关联度；
根据字符特征融合模型对每个字符的字符特征进行融合；
根据融合结果判断是否满足预设融合条件；若满足，则计算每个字符的分值；若不满足，则继续根据字符特征融合模型对字符特征进行融合，直到满足预设融合条件；
根据每个字符的分值筛选符合设定条件的字符作为关键词。
在本申请实施例提供的另一实施例中，提供了一种大字段数据调用方法，所述方法包括：
步骤1：接收客户端发送的目标大字段数据调用请求；
步骤2：根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；
步骤3：判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；
步骤4：根据全部分片数据的序号进行数据拼接，得到拼接数据；
步骤5：获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。若所述拼接数据的MD5值和所述目标大字段数据的MD5值不一致，则校验结果为失败，并向客户端发送警告消息。
在一种可能的实施方式中，所述方法还包括：
将所述目标大字段数据调用请求、对应的拼接数据和校验结果生成调用记录，并存储至所述预设数据库和缓存中。
在一种可能的实施方式中，所述方法还包括：
若接收客户端发送的所述目标大字段数据调用请求，则根据所述目标大字段数据调用请求从所述预设数据库或缓存中调用对应的拼接数据和校验结果，并发送至客户端。
在本申请实施例提供的另一实施例中，提供了一种大字段数据调用方法，所述方法包括：
步骤1：接收客户端发送的大字段数据存储请求；
步骤2：根据所述大字段数据获取所述大字段数据的MD5值，并将所述MD5值存储至所述预设数据库和缓存中；
步骤3：对所述大字段数据按照固定大小切分为若干分片数据，并记录若干分片数据的序号；
步骤4：根据用户设置判断是否对所述若干分片数据进行加密；若加密，则进行加密，并将加密后的若干分片数据存储至所述预设数据库和缓存；若不加密，则将所述若干分片数据直接存储至所述预设数据库和缓存。
步骤5：接收客户端发送的目标大字段数据调用请求；
步骤6：根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；
步骤7：判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；
步骤8：根据全部分片数据的序号进行数据拼接，得到拼接数据；
步骤9：获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。若所述拼接数据的MD5值和所述目标大字段数据的MD5值不一致，则校验结果为失败，并向客户端发送警告消息。
在一种可能的实施方式中，对若干分片数据进行加密，所述方法包括：
对所述若干分片数据进行预处理，所述预处理的方式包括不限于中文分词、去除停用词、去除文本格式和词性标注；
利用文本识别模型对每个分片数据进行语义识别，得到每个分片数据中的字符文本；
从每个分片数据中的字符文本中提取关键词，并基于预设的加密算法对每个关键词进行加密，以完成若干分片数据的加密。
在一种可能的实施方式中，所述从每个分片数据中的字符文本中提取关键词，包括：
获取每个分片数据中的字符的字符特征；所述字符特征包括：词性、位置、出现频次和关联度；
根据字符特征融合模型对每个字符的字符特征进行融合；
根据融合结果判断是否满足预设融合条件；若满足，则计算每个字符的分值；若不满足，则继续根据字符特征融合模型对字符特征进行融合，直到满足预设融合条件；
根据每个字符的分值筛选符合设定条件的字符作为关键词。
在一种可能的实施方式中，所述方法还包括：
将所述目标大字段数据调用请求、对应的拼接数据和校验结果生成调用记录，并存储至所述预设数据库和缓存中。
在一种可能的实施方式中，所述方法还包括：
若接收客户端发送的所述目标大字段数据调用请求，则根据所述目标大字段数据调用请求从所述预设数据库或缓存中调用对应的拼接数据和校验结果，并发送至客户端。
综上所述，本申请实施例提供了一种大字段数据调用方法，通过接收客户端发送的目标大字段数据调用请求；根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；根据全部分片数据的序号进行数据拼接，得到拼接数据；获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。高效调用大字段数据，安全性高。
基于相同的技术构思，本申请实施例还提供了一种大字段数据调用系统，如图5所示，所述系统包括：
消息接收模块501，用于接收客户端发送的目标大字段数据调用请求；
数据调用模块502，用于根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；
加密模块503，用于判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；
拼接模块504，用于根据全部分片数据的序号进行数据拼接，得到拼接数据；
校验模块505，用于获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。
在一种可能的实施方式中，所述系统还包括：
所述消息接收模块501，还用于接收客户端发送的大字段数据存储请求；
MD5获取模块，用于根据所述大字段数据获取所述大字段数据的MD5值，并将所述MD5值存储至所述预设数据库和缓存中；
分片模块，用于对所述大字段数据按照固定大小切分为若干分片数据，并记录若干分片数据的序号；
所述加密模块503，还用于根据用户设置判断是否对所述若干分片数据进行加密；若加密，则进行加密，并将加密后的若干分片数据存储至所述预设数据库和缓存；若不加密，则将所述若干分片数据直接存储至所述预设数据库和缓存。
在一种可能的实施方式中，所述加密模块503，具体用于：
利用文本识别模型对每个分片数据进行语义识别，得到每个分片数据中的字符文本；
从每个分片数据中的字符文本中提取关键词，并基于预设的加密算法对每个关键词进行加密，以完成若干分片数据的加密。
在一种可能的实施方式中，所述加密模块503，具体用于：
获取每个分片数据中的字符的字符特征；
根据字符特征融合模型对每个字符的字符特征进行融合；
根据融合结果判断是否满足预设融合条件；若满足，则计算每个字符的分值；若不满足，则继续根据字符特征融合模型对字符特征进行融合，直到满足预设融合条件；
根据每个字符的分值筛选符合设定条件的字符作为关键词。
在一种可能的实施方式中，所述校验模块505，具体用于：
所述获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致，所述方法还包括：
若所述拼接数据的MD5值和所述目标大字段数据的MD5值不一致，则校验结果为失败，并向客户端发送警告消息。
在一种可能的实施方式中，所述系统还包括：
调用记录模块，用于将所述目标大字段数据调用请求、对应的拼接数据和校验结果生成调用记录，并存储至所述预设数据库和缓存中。
在一种可能的实施方式中，所述调用记录模块，具体用于：
若接收客户端发送的所述目标大字段数据调用请求，则根据所述目标大字段数据调用请求从所述预设数据库或缓存中调用对应的拼接数据和校验结果，并发送至客户端。
本申请实施方式还提供一种与前述实施方式所提供的方法对应的电子设备。请参考图6，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。所述电子设备20可以包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个物理端口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的方法对应的计算机可读存储介质，请参考图7，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种大字段数据调用方法，其特征在于，所述方法包括：
接收客户端发送的目标大字段数据调用请求；
根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；
判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；
根据全部分片数据的序号进行数据拼接，得到拼接数据；
获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
接收客户端发送的大字段数据存储请求；
根据所述大字段数据获取所述大字段数据的MD5值，并将所述MD5值存储至所述预设数据库和缓存中；
对所述大字段数据按照固定大小切分为若干分片数据，并记录若干分片数据的序号；
根据用户设置判断是否对所述若干分片数据进行加密；若加密，则进行加密，并将加密后的若干分片数据存储至所述预设数据库和缓存；若不加密，则将所述若干分片数据直接存储至所述预设数据库和缓存。
3.如权利要求2所述的方法，其特征在于，对若干分片数据进行加密，所述方法包括：
利用文本识别模型对每个分片数据进行语义识别，得到每个分片数据中的字符文本；
从每个分片数据中的字符文本中提取关键词，并基于预设的加密算法对每个关键词进行加密，以完成若干分片数据的加密。
4.如权利要求3所述的方法，其特征在于，所述从每个分片数据中的字符文本中提取关键词，包括：
获取每个分片数据中的字符的字符特征；
根据字符特征融合模型对每个字符的字符特征进行融合；
根据融合结果判断是否满足预设融合条件；若满足，则计算每个字符的分值；若不满足，则继续根据字符特征融合模型对字符特征进行融合，直到满足预设融合条件；
根据每个字符的分值筛选符合设定条件的字符作为关键词。
5.如权利要求1所述的方法，其特征在于，所述获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致，所述方法还包括：
若所述拼接数据的MD5值和所述目标大字段数据的MD5值不一致，则校验结果为失败，并向客户端发送警告消息。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
将所述目标大字段数据调用请求、对应的拼接数据和校验结果生成调用记录，并存储至所述预设数据库和缓存中。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
若接收客户端发送的所述目标大字段数据调用请求，则根据所述目标大字段数据调用请求从所述预设数据库或缓存中调用对应的拼接数据和校验结果，并发送至客户端。
8.一种大字段数据调用系统，其特征在于，所述系统包括：
消息接收模块，用于接收客户端发送的目标大字段数据调用请求；
数据调用模块，用于根据所述目标大字段数据调用请求从预设数据库或缓存中调用所述目标大字段数据的全部分片数据；
加密模块，用于判断所述全部分片数据是否为加密字段，若是，则进行解密处理再执行下一步；
拼接模块，用于根据全部分片数据的序号进行数据拼接，得到拼接数据；
校验模块，用于获取拼接数据的MD5值和目标大字段数据的MD5值，并校验是否一致；若一致，则将所述拼接数据和校验结果发送至客户端。
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210682467.3A CN115081017A (zh) | 2022-06-16 | 2022-06-16 | 一种大字段数据调用方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210682467.3A CN115081017A (zh) | 2022-06-16 | 2022-06-16 | 一种大字段数据调用方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115081017A true CN115081017A (zh) | 2022-09-20 |
Family
ID=83252963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210682467.3A Pending CN115081017A (zh) | 2022-06-16 | 2022-06-16 | 一种大字段数据调用方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115081017A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115828322A (zh) * | 2022-11-25 | 2023-03-21 | 中电金信软件(上海)有限公司 | 数据存储完整性的校验方法、装置、电子设备及存储介质 |
-
2022
- 2022-06-16 CN CN202210682467.3A patent/CN115081017A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115828322A (zh) * | 2022-11-25 | 2023-03-21 | 中电金信软件(上海)有限公司 | 数据存储完整性的校验方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107040585B (zh) | 一种业务校验的方法及装置 | |
| US10958436B2 (en) | Methods contract generator and validation server for access control of contract data in a distributed system with distributed consensus | |
| US10841628B1 (en) | System and techniques for digital data lineage verification | |
| US11563560B2 (en) | Blockchain-based data evidence storage method and apparatus | |
| CN113574838A (zh) | 通过客户端指纹过滤互联网流量的系统和方法 | |
| WO2015169158A1 (zh) | 信息保护的方法和系统 | |
| CN107426173B (zh) | 文件防护方法及装置 | |
| CN109684878B (zh) | 一种基于区块链技术隐私信息防篡改方法及系统 | |
| CN115238286A (zh) | 一种数据防护方法、装置、计算机设备及存储介质 | |
| CN107454041B (zh) | 防止服务器被攻击的方法及装置 | |
| US20040260968A1 (en) | Server with file verification | |
| CN111796936A (zh) | 请求处理方法、装置、电子设备及介质 | |
| CN115081017A (zh) | 一种大字段数据调用方法和系统 | |
| US11349658B2 (en) | Blockchain data processing method, apparatus, and device | |
| CN110381114B (zh) | 接口请求参数的处理方法、装置、终端设备及介质 | |
| CN110602051B (zh) | 基于共识协议的信息处理方法及相关装置 | |
| CN113449269B (zh) | 核心模组激活方法、装置及存储介质 | |
| CN115001768A (zh) | 基于区块链的数据交互方法、装置、设备及存储介质 | |
| CN111582954A (zh) | 一种虚假数据识别方法及装置 | |
| CN110647757A (zh) | 基于智能合约的数据处理方法及相关装置 | |
| CN116582279A (zh) | 一种http请求处理方法及设备 | |
| CN112131612A (zh) | 一种cf卡数据防篡改方法、装置、设备及介质 | |
| CN118018265A (zh) | 基于nft的登录认证方法、装置、电子设备及存储介质 | |
| CN114417320A (zh) | 一种系统启动方法和装置 | |
| CN116055202A (zh) | 风险设备的识别方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |