CN111629378B - 一种基于布隆过滤器拦截风险短信的方法及装置 - Google Patents

一种基于布隆过滤器拦截风险短信的方法及装置 Download PDF

Info

Publication number
CN111629378B
CN111629378B CN202010503300.7A CN202010503300A CN111629378B CN 111629378 B CN111629378 B CN 111629378B CN 202010503300 A CN202010503300 A CN 202010503300A CN 111629378 B CN111629378 B CN 111629378B
Authority
CN
China
Prior art keywords
area
data
risk
bloom filter
risk data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010503300.7A
Other languages
English (en)
Other versions
CN111629378A (zh
Inventor
孙洋
宋争光
郭乐
杭达宏
兰永生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chuangyan Yunzhi Information Technology Co.,Ltd.
Original Assignee
Shanghai Chuanglan Culture Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chuanglan Culture Communication Co ltd filed Critical Shanghai Chuanglan Culture Communication Co ltd
Priority to CN202010503300.7A priority Critical patent/CN111629378B/zh
Publication of CN111629378A publication Critical patent/CN111629378A/zh
Application granted granted Critical
Publication of CN111629378B publication Critical patent/CN111629378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及风险短信拦截技术领域,尤其是一种基于布隆过滤器拦截风险短信的方法及装置，针对风险数据特点，把内存分成两个区域，数据加载成本将变得很低。对于当天的随时可能增删的风险数据存放热区域H区，针对历史的风险数据存放冷区域C区。同时由于布隆过滤器的数据只能增不能减，而且用户可能会对历史风险数据进行删除动作，这类删除无法改变冷区域数据。所以在热数据区域设置两个布隆过滤器，一个为热区新增H‑A，一个为热区删除H‑R。通过采用上述方法本发明可以缓解内存压力，提高效率且降低成本。

Description

一种基于布隆过滤器拦截风险短信的方法及装置
技术领域
本发明涉及风险短信拦截技术领域,尤其是一种基于布隆过滤器拦截风险短信的方法及装置。
背景技术
目前短信运营商进行敏感违法信息或者手机号黑名单过滤时，一般会采用风险短信本地存储或借助实时大数据；采用风险短信本地存储最大的缺点就是内存消耗太大，系统启动加载时会等待很长时间；借助实时大数据时性能会低于前者，而且成本很高。
综上所述，现有技术基于风险短信本地存储会导致效率低，基于实时大数据又会导致成本高，因此本发明提出了一种基于布隆过滤器拦截风险短信的方法及装置可以解决上述缺陷。
现有技术相关知识点介绍：
布隆过滤器：布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多。
敏感违法信息：是指涉政类、涉黄类等违法相关法律法规的内容。
发明内容
针对上述现有技术中存在的不足，本发明的目的在于提供了一种基于布隆过滤器拦截风险短信的方法及装置，解决现有技术效率低或成本高的问题。
为解决上述问题，本发明公开了一种基于布隆过滤器拦截风险短信的方法，所述的风险短信包括含黑名单手机号的短信及含敏感违法信息的短信，所述的黑名单手机号和敏感违法信息统称为风险数据，针对风险数据的特点，把内存分成两个区域，对于当天的随时可能增删的风险数据存放热区域H区，针对历史的风险数据存放冷区域C区；在热数据区域设置两个布隆过滤器，一个为热区新增H-A，一个为热区删除H-R；
冷区域数据：冷区域的数据结构为至少两个动态的布隆过滤器数组，每天凌晨根据数据库的数据量情况进行分片数据加载，本地创建布隆过滤器将风险数据逐条放入，执行完后生成文件；等待所有的文件生成完后存放在统一的文件服务器，通知应用系统加载这些文件，并存放到自己本地的布隆过滤器数组；
热区域数据：热区域的数据结构为两个布隆过滤器，对当天频繁增删的风险数据进行动态装载；风险数据新增时直接在H-A区域插入该风险数据，插入后通知所有应用系统在H-A区域插入该风险数据；风险数据删除时需要在H-R区域重新加载当日全部删除的风险数据并生成当日的H-R文件，随后通知所有应用系统加载该文件。
作为优选，具体步骤如下：
S1.执行H区域过滤，先判断H-R区域是否存在删除的风险数据，若存在则判定该区域无风险；若不存在则进入S2；S2.判断H-A区域是否存在新增的风险数据，若存在则判定该区域有风险；若不存在则进入S3；S3.执行C区域过滤，判断C区域是否存在风险数据，若存在则判定该区域有风险，若不存在则继续循环下一个过滤器，过滤器循环结束也不存在则判定该区域无风险。
作为优选，冷区域数据加载风险数据的具体方法如下：每天凌晨拆分N个任务执行数据库查询；获取查询结果将风险数据逐条存放到布隆过滤器；将布隆过滤器生成的二进制文件存放到文件服务器；任务执行完毕后通知应用系统加载N个任务产生的文件；应用系统加载文件到本地的风险数据布隆过滤器数组中；应用系统删除上次风险数据布隆过滤器数组并启用当前的风险数据布隆过滤器数组。
作为优选，热区域数据增加时加载风险数据的具体方法如下：应用系统出现增加风险数据的请求；接收到新增请求，通知所有应用系统增加到本地风险数据布隆过滤器。
作为优选，热区域数据删除时加载风险数据的具体方法如下：应用系统出现删除风险数据的请求；接收到删除请求，加载当日删除的所有风险数据，存放入布隆过滤器；将布隆过滤器的内容生成二进制文件；通知所有应用系统加载该二进制文件到H-R区域。
作为优选，手机号黑名单的短信拦截方法如下：提取短信的用户及手机号信息；校验H-R区域是否存在该手机号，若存在则判定该手机号无风险；若不存在，则进行H-A区域校验；若H-A区域存在该手机号，则判定该手机号有风险；若H区都不存在，则进入C区循环校验该手机号是否存在；若C区也不存在，则判定该手机号无风险；若C区存在，则判定该手机号有风险。
作为优选，敏感违法信息的短信拦截方法如下：提取短信文本内容，采用分词器技术对短信文本内容进行合理分词，得到一堆文本的集合，开始进行循环检测刚得到的文本集合；首先校验H-R区域是否存在敏感违法信息，若存在，则判定该敏感违法信息无风险并进行下一个敏感违法信息检测；若不存在，则进行H-A区域校验；若H-A区域存在该敏感违法信息，则判定该敏感违法信息有风险；若H区都不存在，则进入C区循环校验敏感违法信息是否存在；若C区也不存在，则判定该敏感违法信息无风险；若C区存在，则判定该敏感违法信息有风险。
为解决上述问题，本发明公开了一种基于布隆过滤器拦截风险短信的装置，包括：冷区域数据模块和热区域数据模块，对于当天的随时可能增删的风险数据存放热区域模块H区，针对历史的风险数据存放冷区域模块C区；在热数据区域模块设置两个布隆过滤器，一个为热区新增H-A，一个为热区删除H-R；
冷区域数据模块：冷区域的数据结构为至少两个动态的布隆过滤器数组，每天凌晨根据数据库的数据量情况进行分片数据加载，本地创建布隆过滤器将风险数据逐条放入，执行完后生成文件；等待所有的文件生成完后存放在统一的文件服务器，通知应用系统加载这些文件，并存放到自己本地的布隆过滤器数组；
热区域数据模块：热区域的数据结构为两个布隆过滤器，对当天频繁增删的风险数据进行动态装载；风险数据新增时直接在H-A区域插入该风险数据，插入后通知所有应用系统在H-A区域插入该风险数据；风险数据删除时需要在H-R区域重新加载当日全部删除的风险数据并生成当日的H-R文件，随后通知所有应用系统加载该文件。
为解决上述问题，本发明还公开了一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据所述的方法中的任一方法的指令。
为解决上述问题，本发明还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据所述的方法中的任一方法。
由于采用上述技术方案，本发明有着如下有益效果：针对风险短信数据的特点，把内存分成两个区域，数据加载成本将变得很低。对于当天的随时可能增删的数据存放热区域(H区)，针对历史的数据存放冷区域(C区)。同时由于布隆过滤器的数据只能增不能减，而且用户可能会对历史数据进行删除动作，这类删除无法改变冷区域数据。所以在热数据区域设置两个布隆过滤器，一个为热区新增(简称H-A)，一个为热区删除(H-R)。通过采用上述方法本发明可以有效缓解内存压力，提高效率且降低成本。
附图说明
图1是本发明的数据模型结构示意图；
图2是本发明的流程示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
为解决上述问题，本发明公开了一种基于布隆过滤器拦截风险短信的方法，所述的风险短信包括含黑名单手机号的短信及含敏感违法信息的短信，所述的黑名单手机号和敏感违法信息统称为风险数据，风险数据有如下特点：量大、单日数据更新频率量小、单日删除频率低、总体使用频率高。如果数据出现变动，需要对全部数据进行重新加载，成本太高。针对风险数据的特点，把内存分成两个区域，数据加载成本将变得很低。对于当天的随时可能增删的风险数据存放热区域(H区)，针对历史的风险数据存放冷区域(C区)。同时由于布隆过滤器的数据只能增不能减，而且用户可能会对历史风险数据进行删除动作，这类删除无法改变冷区域数据。所以在热数据区域设置两个布隆过滤器，一个为热区新增(简称H-A)，一个为热区删除(H-R)。
数据模型加载如图1所示：
冷区域数据：冷区域的数据结构为至少两个动态的布隆过滤器数组，每天凌晨根据数据库的数据量情况进行分片数据加载，本地创建布隆过滤器将风险数据逐条放入，执行完后生成文件；等待所有的文件生成完后存放在统一的文件服务器，通知应用系统加载这些文件，并存放到自己本地的布隆过滤器数组；
热区域数据：热区域的数据结构为两个布隆过滤器，对当天频繁增删的风险数据进行动态装载；风险数据新增时直接在H-A区域插入该风险数据，插入后通知所有应用系统在H-A区域插入该风险数据；风险数据删除时需要在H-R区域重新加载当日全部删除的风险数据并生成当日的H-R文件，随后通知所有应用系统加载该文件。
风险短信拦截如图2所示：
S1.执行H区域过滤，先判断H-R区域是否存在删除的风险数据，若存在则判定该区域无风险；若不存在则进入S2；
这里由于是检测的已删除的风险数据，因此若检测到存在，表示已经删除风险数据，则该区域为无风险。
S2.判断H-A区域是否存在新增的风险数据，若存在则判定该区域有风险；若不存在则进入S3；
S3.执行C区域过滤，判断C区域是否存在风险数据，若存在则判定该区域有风险，若不存在则继续循环下一个过滤器，过滤器循环结束也不存在则判定该区域无风险。
下面分别举例说明：
实施例1：冷区域数据加载(风险数据加载)
冷区域数据加载风险数据的方法如下：每天凌晨拆分N个任务执行数据库查询；获取查询结果将风险数据逐条存放到布隆过滤器；将布隆过滤器生成的二进制文件存放到文件服务器；任务执行完毕后通知应用系统加载N个任务产生的文件；应用系统加载文件到本地的风险数据布隆过滤器数组中；应用系统删除上次风险数据的布隆过滤器数组并启用当前的风险数据的过滤器数组。其中，N为大于等于2的整数。
实施例2：热区域数据新增时加载(风险数据加载)
热区域数据增加时加载风险数据的方法如下：应用系统出现增加风险数据的请求；接收到新增请求，通知所有应用系统增加到本地风险数据布隆过滤器。
实施例3：热区域数据删除时加载(风险数据加载)
热区域数据删除时加载风险数据的方法如下：应用系统出现删除风险短信的请求；接收到删除请求，加载当日删除的所有数据，存放入布隆过滤器；将布隆过滤器的内容生成二进制文件；通知所有应用系统加载该二进制文件到H-R区域。
实施例4：手机号黑名单的短信拦截
手机号黑名单的短信具体拦截方法如下：提取短信的用户及手机号信息；校验H-R区域是否存在该手机号，若存在，则判定该手机号无风险；若不存在，则进行H-A区域校验；若H-A区域存在该手机号，则判定该手机号有风险；若H区都不存在，则进入C区循环校验该手机号是否存在；若C区也不存在，则判定该手机号无风险；若C区存在，则判定该手机号有风险。
实施例5：敏感违法信息的短信拦截
敏感违法信息的短信拦截方法如下：提取短信文本内容，采用分词器技术对短信文本内容进行合理分词，得到一堆文本的集合，开始进行循环检测刚得到的文本集合；首先校验H-R区域是否存在敏感违法信息，若存在，则判定该敏感违法信息无风险并进行下一个敏感违法信息检测；若不存在，则进行H-A区域校验；若H-A区域存在该敏感违法信息，则判定该敏感违法信息有风险；若H区都不存在，则进入C区循环校验敏感违法信息是否存在；若C区也不存在，则判定该敏感违法信息无风险；若C区存在，则判定该敏感违法信息有风险。
为解决上述问题，本发明还公开了一种基于布隆过滤器拦截风险短信的装置，包括：冷区域数据模块和热区域数据模块，对于当天的随时可能增删的风险数据存放热区域模块H区，针对历史的风险数据存放冷区域模块C区；在热数据区域模块设置两个布隆过滤器，一个为热区新增H-A，一个为热区删除H-R；
冷区域数据模块：冷区域的数据结构为至少两个动态的布隆过滤器数组，每天凌晨根据数据库的数据量情况进行分片数据加载，本地创建布隆过滤器将风险数据逐条放入，执行完后生成文件；等待所有的文件生成完后存放在统一的文件服务器，通知应用系统加载这些文件，并存放到自己本地的布隆过滤器数组；
热区域数据模块：热区域的数据结构为两个布隆过滤器，对当天频繁增删的风险数据进行动态装载；风险数据新增时直接在H-A区域插入该风险数据，插入后通知所有应用系统在H-A区域插入该风险数据；风险数据删除时需要在H-R区域重新加载当日全部删除的风险数据并生成当日的H-R文件，随后通知所有应用系统加载该文件。
为解决上述问题，本发明还公开了一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-7所述的方法中的任一方法的指令。
为解决上述问题，本发明还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-7所述的方法中的任一方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于布隆过滤器拦截风险短信的方法，其特征在于，所述的风险短信包括含黑名单手机号的短信及含敏感违法信息的短信，所述的黑名单手机号和敏感违法信息统称为风险数据，针对风险数据的特点，把内存分成两个区域，对于当天的随时可能增删的风险数据存放热区域H区，针对历史的风险数据存放冷区域C区；在热数据区域设置两个布隆过滤器，一个为热区新增H-A，一个为热区删除H-R；
冷区域数据：冷区域的数据结构为至少两个动态的布隆过滤器数组，每天凌晨根据数据库的数据量情况进行分片数据加载，本地创建布隆过滤器将风险数据逐条放入，执行完后生成文件；等待所有的文件生成完后存放在统一的文件服务器，通知应用系统加载这些文件，并存放到自己本地的布隆过滤器数组；
热区域数据：热区域的数据结构为两个布隆过滤器，对当天频繁增删的风险数据进行动态装载；风险数据新增时直接在H-A区域插入该风险数据，插入后通知所有应用系统在H-A区域插入该风险数据；风险数据删除时需要在H-R区域重新加载当日全部删除的风险数据并生成当日的H-R文件，随后通知所有应用系统加载该文件。
2.根据权利要求1所述的一种基于布隆过滤器拦截风险短信的方法，其特征在于，具体步骤如下：
S1.执行H区域过滤，先判断H-R区域是否存在删除的风险数据，若存在则判定该区域无风险；若不存在则进入S2；S2.判断H-A区域是否存在新增的风险数据，若存在则判定该区域有风险；若不存在则进入S3；S3.执行C区域过滤，判断C区域是否存在风险数据，若存在则判定该区域有风险，若不存在则继续循环下一个过滤器，过滤器循环结束也不存在则判定该区域无风险。
3.根据权利要求2所述的一种基于布隆过滤器拦截风险短信的方法，其特征在于，冷区域数据加载风险数据的具体方法如下：每天凌晨拆分N个任务执行数据库查询；获取查询结果将风险数据逐条存放到布隆过滤器；将布隆过滤器生成的二进制文件存放到文件服务器；任务执行完毕后通知应用系统加载N个任务产生的文件；应用系统加载文件到本地的风险数据布隆过滤器数组中；应用系统删除上次风险数据布隆过滤器数组并启用当前的风险数据布隆过滤器数组。
4.根据权利要求2所述的一种基于布隆过滤器拦截风险短信的方法，其特征在于，热区域数据增加时加载风险数据的具体方法如下：应用系统出现增加风险数据的请求；接收到新增请求，通知所有应用系统增加到本地风险数据布隆过滤器。
5.根据权利要求2所述的一种基于布隆过滤器拦截风险短信的方法，其特征在于，热区域数据删除时加载风险数据的具体方法如下：应用系统出现删除风险数据的请求；接收到删除请求，加载当日删除的所有风险数据，存放入布隆过滤器；将布隆过滤器的内容生成二进制文件；通知所有应用系统加载该二进制文件到H-R区域。
6.根据权利要求2所述的一种基于布隆过滤器拦截风险短信的方法，其特征在于，手机号黑名单的短信拦截方法如下：提取短信的用户及手机号信息；校验H-R区域是否存在该手机号，若存在则判定该手机号无风险；若不存在，则进行H-A区域校验；若H-A区域存在该手机号，则判定该手机号有风险；若H区都不存在，则进入C区循环校验该手机号是否存在；若C区也不存在，则判定该手机号无风险；若C区存在，则判定该手机号有风险。
7.根据权利要求2所述的一种基于布隆过滤器拦截风险短信的方法，其特征在于，敏感违法信息的短信拦截方法如下：提取短信文本内容，采用分词器技术对短信文本内容进行合理分词，得到文本的集合，开始进行循环检测得到的文本集合；首先校验H-R区域是否存在敏感违法信息，若存在，则判定该敏感违法信息无风险并进行下一个敏感违法信息检测；若不存在，则进行H-A区域校验；若H-A区域存在该敏感违法信息，则判定该敏感违法信息有风险；若H区都不存在，则进入C区循环校验敏感违法信息是否存在；若C区也不存在，则判定该敏感违法信息无风险；若C区存在，则判定该敏感违法信息有风险。
8.一种基于布隆过滤器拦截风险短信的装置，其特征在于，包括：冷区域数据模块和热区域数据模块，对于当天的随时可能增删的风险数据存放热区域模块H区，针对历史的风险数据存放冷区域模块C区；在热数据区域模块设置两个布隆过滤器，一个为热区新增H-A，一个为热区删除H-R；
冷区域数据模块：冷区域的数据结构为至少两个动态的布隆过滤器数组，每天凌晨根据数据库的数据量情况进行分片数据加载，本地创建布隆过滤器将风险数据逐条放入，执行完后生成文件；等待所有的文件生成完后存放在统一的文件服务器，通知应用系统加载这些文件，并存放到自己本地的布隆过滤器数组；
热区域数据模块：热区域的数据结构为两个布隆过滤器，对当天频繁增删的风险数据进行动态装载；风险数据新增时直接在H-A区域插入该风险数据，插入后通知所有应用系统在H-A区域插入该风险数据；风险数据删除时需要在H-R区域重新加载当日全部删除的风险数据并生成当日的H-R文件，随后通知所有应用系统加载该文件。
9.一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-7所述的方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-7所述的方法中的任一方法。
CN202010503300.7A 2020-06-05 2020-06-05 一种基于布隆过滤器拦截风险短信的方法及装置 Active CN111629378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010503300.7A CN111629378B (zh) 2020-06-05 2020-06-05 一种基于布隆过滤器拦截风险短信的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010503300.7A CN111629378B (zh) 2020-06-05 2020-06-05 一种基于布隆过滤器拦截风险短信的方法及装置

Publications (2)

Publication Number Publication Date
CN111629378A CN111629378A (zh) 2020-09-04
CN111629378B true CN111629378B (zh) 2021-01-19

Family

ID=72272892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010503300.7A Active CN111629378B (zh) 2020-06-05 2020-06-05 一种基于布隆过滤器拦截风险短信的方法及装置

Country Status (1)

Country Link
CN (1) CN111629378B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080598A (zh) * 2022-07-20 2022-09-20 摩尔线程智能科技(北京)有限责任公司 存储器设备和在存储器设备中查询数据的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646111A (zh) * 2013-12-25 2014-03-19 普元信息技术股份有限公司 大数据环境下实现实时数据关联的系统及方法
CN106598984A (zh) * 2015-10-16 2017-04-26 北京国双科技有限公司 网络爬虫的数据处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886827B2 (en) * 2012-02-13 2014-11-11 Juniper Networks, Inc. Flow cache mechanism for performing packet flow lookups in a network device
JP2014191651A (ja) * 2013-03-27 2014-10-06 Fujitsu Ltd ストレージシステム、ストレージ装置、ストレージシステムの制御方法、およびストレージ装置の制御プログラム
CN104408163B (zh) * 2014-12-05 2018-09-14 浪潮(北京)电子信息产业有限公司 一种数据分级存储方法和装置
CN106293525B (zh) * 2016-08-05 2019-06-28 上海交通大学 一种提高缓存使用效率的方法及系统
CN108710581A (zh) * 2018-05-23 2018-10-26 中国人民解放军陆军工程大学 基于布隆过滤器的pcm存储介质磨损均衡方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646111A (zh) * 2013-12-25 2014-03-19 普元信息技术股份有限公司 大数据环境下实现实时数据关联的系统及方法
CN106598984A (zh) * 2015-10-16 2017-04-26 北京国双科技有限公司 网络爬虫的数据处理方法及装置

Also Published As

Publication number Publication date
CN111629378A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN109033123B (zh) 基于大数据的查询方法、装置、计算机设备和存储介质
CN110309122B (zh) 获取增量数据的方法、装置、服务器和存储介质
US9135572B2 (en) Method and arrangement for processing data
CN109842621B (zh) 一种减少token存储数量的方法及终端
CN105787012A (zh) 一种提高存储系统处理小文件的方法以及存储系统
CN106844721A (zh) 数据存储方法、装置、系统、可读介质及存储控制器
CN111629378B (zh) 一种基于布隆过滤器拦截风险短信的方法及装置
CN111400578B (zh) 货物数据查询方法、装置、计算机设备和存储介质
CN110941530A (zh) 监控数据的获取方法、装置、计算机设备和存储介质
US11829377B2 (en) Efficient storage method for time series data
CN116226202A (zh) 多维数据库查询方法、装置、计算机设备和存储介质
CN115455058A (zh) 缓存数据的处理方法、装置、计算机设备及存储介质
US11580251B1 (en) Query-based database redaction
CN1963821A (zh) 一种实现数据库访问的方法、系统和装置
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
US12093234B2 (en) Data processing method, apparatus, electronic device, and computer storage medium
WO2015058628A1 (zh) 文件的访问方法及装置
CN113961586A (zh) 一种sql语句的控制方法及装置
CN108984720B (zh) 基于列存储的数据查询方法、装置、服务器及存储介质
CN117725623B (zh) 一种基于数据库底层文件的数据脱敏处理方法和系统
CN111339390A (zh) 一种基于固定电话爬取信息的方法、计算设备及存储介质
CN115952207B (zh) 一种基于StarRocks数据库的威胁邮件存储方法和系统
CN113778329B (zh) 一种数据聚合方法、装置、设备及计算机可读存储介质
CN110688352B (zh) 一种文件删除方法、装置和计算机可读存储介质
CN116821219A (zh) 一种数据装载方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 201600 building 19, 68 Zhongchuang Road, Songjiang District, Shanghai

Patentee after: Shanghai Chuangyan Yunzhi Information Technology Co.,Ltd.

Address before: 201600 building 19, 68 Zhongchuang Road, Songjiang District, Shanghai

Patentee before: SHANGHAI CHUANGLAN CULTURE COMMUNICATION Co.,Ltd.

CP01 Change in the name or title of a patent holder