CN109164977B - 一种数据存储系统和方法、存储介质 - Google Patents
一种数据存储系统和方法、存储介质 Download PDFInfo
- Publication number
- CN109164977B CN109164977B CN201810813847.XA CN201810813847A CN109164977B CN 109164977 B CN109164977 B CN 109164977B CN 201810813847 A CN201810813847 A CN 201810813847A CN 109164977 B CN109164977 B CN 109164977B
- Authority
- CN
- China
- Prior art keywords
- storage
- behavior habit
- file
- data
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0625—Power saving in storage systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据存储的系统和方法、存储介质,所述系统包括:存储模块,用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储;使用模块,用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中;更新模块,用于根据所述存储对象的Key值与行为习惯文件模型的偏移量,计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据,从而更新所述静态行为习惯数据;以及接口模块,用于提供通用接口,接收所述静态行为习惯数据。本发明通过采用关键key与存储偏移量关系存储来快速获得存储位置,并使用关键key值搜索使用行为习惯数据,提出文件模型与内存模型相映射的方式,实现动态行为习惯实时计算和实时更新。
Description
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据存储的系统和方法、存储介质。
背景技术
随着信息技术的发展,人们可以通过对大量数据进行统计分析来帮助决策。例如在银行的风险监控领域,可以通过分析客户的每一笔交易行为,以及此客户的历史交易行为,来判断客户当笔交易是否非本人操作的可能性,并以此决策是否对该客户的交易采取控制措施。
单一的历史交易行为对于风险识别来说无参考价值,系统的有规律的行为数据才是有价值的数据,我们把这类数据称为行为习惯。
行为习惯绝大部分数据是相对稳定的,部分数据是需要迭代更新。就风险识别领域而言,2个研究对象之间的习惯关联几乎没有,更多的是要得到当前交易行为与行为习惯的匹配度。相对存储而言,我们更关心数据的使用效率。
通常业界在行为习惯应用方面,主要使用大数据技术、分布式DB来实现。常用的大数据技术有HADOOP等,借用HSQL语言,实现对行为习惯的存储及使用。但在实际应用中发现,实时分析交易风险时,这种方法存在成本高、处理效率不足、滞后、取脏数据、客户发生交易行为后行为习惯数据不能立即更新使用等缺陷。
发明内容
为解决上述技术问题,本发明提供了一种数据存储的系统和方法、存储介质,解决当前数据存储成本高、搜索效率低和实时更新性能差的问题。
根据本发明实施例的第一方面,提供了一种数据存储系统,所述系统包括:
存储模块,用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储;
使用模块,用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中;
更新模块,用于根据所述存储对象的Key值与行为习惯文件模型的偏移量,计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据,从而更新所述静态行为习惯数据;以及
接口模块,用于提供通用接口,接收所述静态行为习惯数据。
根据本发明实施例的第二方面,提供一种数据存储方法,所述方法包括:
存储模块通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储;
使用模块将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中;
更新模块根据所述存储对象的Key值与行为习惯文件模型的偏移量,计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据,从而更新所述静态行为习惯数据;以及
接口模块提供通用接口,接收所述静态行为习惯数据。
根据本发明实施例的第三方面,提供一种计算机可读存储介质,所述计算机存储介质包含有计算机程序,其中,所述计算机程序在被一个或多个计算机执行时使得所述一个或多个计算机执行如下操作:
所述操作包括如上中任一项所述的数据存储方法所包含的步骤。
实施本发明实施例提供的一种数据存储的系统和方法、存储介质,具有以下优点:有效地降低了数据存储的成本,并提高了数据的搜索效率和实时更新性能。
附图说明
图1是本发明实施例的一种数据存储系统1的结构示意图;
图2是本发明实施例所述系统1中所述行为存储模块100的结构示意图;
图3是本发明实施例所述系统1中所述行为更新模块300的结构示意图;
图4是本发明实施例的一种数据存储方法的流程图;
图5是本发明实施例所述方法中步骤S1的流程图;
图6是本发明实施例所述方法中步骤S3的流程图。
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
首先,本发明涉及的专业术语如下:
静态行为习惯:相对稳定的行为习惯,时间段比较长(3个月到一年)的研究对象行为特征,一段时间内不会发生变化。
动态行为习惯:累计变化的或短时间区间的客户行为特征,在使用过程中矢量更新。
文件模型:行为习惯文件系统存储结构,也指在文件系统中的存储。
内存模型:行为习惯内存中存储结构。
习惯加载:从文件模型到内存模型。
习惯回写:将动态行为习惯回写到文件模型。
图1是本发明实施例的一种数据存储系统1的结构示意图;参见图1,所述系统包括:
存储模块100,用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储;其中,分文件存储研究对象行为习惯,分文件存储研究对象key值与行为习惯文件模型偏移量二者关系;
使用模块200,用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中;其中,加载对象key值与行为习惯文件模型偏移量到内存,并提供搜索方法。加载文件模型到内存模型,实时计算动态行为习惯,得出行为习惯匹配结果,并在研究对象行为习惯移出内存时更新动态行为习惯;
更新模块300,用于根据所述存储对象的Key值与行为习惯文件模型的偏移量,计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据,从而更新所述静态行为习惯数据;以及
接口模块400,用于提供通用接口,接收所述静态行为习惯数据。
其中,存储模块100援用现有技术,技术人员选择了分文件存储代替分布式存储,对研究对象的key值做hash得到存储文件,并对研究对象的key值、文件模型相对存储文件起始位置偏移量二者关系进行存储。使用模块200将这个关系即存在文件系统中,在程序启动时也会加载到内存中。对象的交易行为过来后,通过内存判断是否是已经进行了习惯加载,如果已经加载,则可以直接使用行为习惯,如果未加载则通过关系查找到行为习惯的文件模型存储位置将其加载到内存模型。更新模块300执行过程中,动态行为习惯是实时计算的,每次都能获得最新的动态行为习惯,更新动态行为习惯。对静态行为习惯进行更新时,也利用存储关系能快速定位更新静态行为习惯。最后,接口模块400执行过程中,该发明对行为习惯做了统一接口定义,可以存储任意第三方提供的行为习惯。
本发明实施例提供的一种数据存储系统,可有效地降低了数据存储的成本,并提高了数据的搜索效率和实时更新性能。
图2是本发明实施例所述系统1中所述行为存储模块100的结构示意图;参见图2,所述存储模块包括:
计算子模块,用于对所述存储对象的Key值进行哈希计算处理得到存储文件;以及
存储子模块,用于通过分文件存储方式对所述存储对象的Key值与行为习惯文件模型相对于所述存储文件起始位置偏移量进行存储。
图3是本发明实施例所述系统1中所述行为更新模块300的结构示意图;参见图3,所述更新模块包括:
静态计算子模块,用于根据所述存储对象的Key值与行为习惯文件模型的偏移量,实时获取和计算所述静态行为习惯数据;
动态计算子模块,用于根据所述存储对象的Key值与行为习惯文件模型的偏移量,实时获取和计算所述外部行为习惯数据;以及
更新子模块,用于对用户交易信息进行采集和数据整理。
所述更新所述静态行为习惯数据包括:利用所述行为习惯文件模型相对于所述存储文件起始位置偏移量进行定位和更新。
图4是本发明实施例的一种数据存储方法的流程图;参见图4,所述方法包括:
步骤S1,存储模块通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储;
步骤S2,使用模块将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中;
步骤S3,更新模块根据所述存储对象的Key值与行为习惯文件模型的偏移量,计算静态行为习惯数据和获取外部行为习惯数据,从而更新所述静态行为习惯数据;以及
步骤S4,接口模块提供通用接口,接收所述静态行为习惯数据。
其中,在步骤S1中,援用现有技术,技术人员选择了分文件存储代替分布式存储,对研究对象的key值做hash得到存储文件,并对研究对象的key值、文件模型相对存储文件起始位置偏移量二者关系进行存储。在步骤S2中,将这个关系即存在文件系统中,在程序启动时也会加载到内存中。对象的交易行为过来后,通过内存判断是否是已经进行了习惯加载,如果已经加载,则可以直接使用行为习惯,如果未加载则通过关系查找到行为习惯的文件模型存储位置将其加载到内存模型。在步骤S3中,执行过程中,动态行为习惯是实时计算的,每次都能获得最新的动态行为习惯,更新动态行为习惯。对静态行为习惯进行更新时,也利用存储关系能快速定位更新静态行为习惯。最后,在步骤S4中,该发明对行为习惯做了统一接口定义,可以存储任意第三方提供的行为习惯。
本发明实施例提供的一种数据存储系统,可有效地降低了数据存储的成本,并提高了数据的搜索效率和实时更新性能。
图5是本发明实施例所述方法中步骤S1的流程图;参见图5,所述步骤S1包括:
步骤S11,计算子模块对所述存储对象的Key值进行哈希计算处理得到存储文件;以及
步骤S12,存储子模块通过分文件存储方式对所述存储对象的Key值与行为习惯文件模型相对于所述存储文件起始位置偏移量进行存储。
图6是本发明实施例所述方法中步骤S3的流程图;参见图6,所述步骤S3包括:
步骤S31,静态计算子模块根据所述存储对象的Key值与行为习惯文件模型的偏移量,实时获取和计算所述静态行为习惯数据;
步骤S32,动态计算子模块根据所述存储对象的Key值与行为习惯文件模型的偏移量,实时获取和计算所述外部行为习惯数据;以及
步骤S33,更新子模块对用户交易信息进行采集和数据整理。
其中,所述更新所述静态行为习惯数据包括:利用所述行为习惯文件模型相对于所述存储文件起始位置偏移量进行定位和更新。
另外,本发明还提供一种计算机可读存储介质,所述计算机存储介质包含有计算机程序,其特征在于,所述计算机程序在被一个或多个计算机执行时使得所述一个或多个计算机执行如下操作:所述操作包括如上所述的数据存储方法所包含的步骤,在此不再赘述。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所揭露的仅为本发明的优选实施例而已,当然不能以此来限定本发明的保护范围,因此依本发明权利要求的教导对上述实施例所作的等同变化,仍属于本发明权利要求所涵盖的范围内。
Claims (7)
1.一种数据存储系统,其特征在于,所述系统包括:
存储模块,用于通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储;
使用模块,用于将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中;
更新模块,用于根据所述存储对象的Key值与行为习惯文件模型的偏移量,计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据,从而更新所述静态行为习惯数据;以及
接口模块,用于提供通用接口,接收所述静态行为习惯数据;
其中,所述更新模块包括:
静态计算子模块,用于根据所述存储对象的Key值与行为习惯文件模型的偏移量,实时获取和计算所述静态行为习惯数据;
动态计算子模块,用于根据所述存储对象的Key值与行为习惯文件模型的偏移量,实时获取和计算动态行为习惯数据;以及
更新子模块,用于对用户交易信息进行采集和数据整理。
2.如权利要求1所述系统,其特征在于,所述存储模块包括:
计算子模块,用于对所述存储对象的Key值进行哈希计算处理得到存储文件;以及
存储子模块,用于通过分文件存储方式对所述存储对象的Key值与行为习惯文件模型相对于所述存储文件起始位置偏移量进行存储。
3.如权利要求2所述系统,其特征在于,所述更新所述静态行为习惯数据包括:
利用所述行为习惯文件模型相对于所述存储文件起始位置偏移量进行定位和更新。
4.一种数据存储方法,其特征在于,所述方法包括:
存储模块通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储;
使用模块将所述存储对象的Key值与行为习惯文件模型的偏移量加载到内存中;
更新模块根据所述存储对象的Key值与行为习惯文件模型的偏移量,计算静态行为习惯数据并从文件系统中获取外部静态行为习惯数据,从而更新所述静态行为习惯数据;以及
接口模块提供通用接口,接收所述静态行为习惯数据;
其中,所述更新模块根据所述存储对象的Key值与行为习惯文件模型的偏移量,计算静态行为习惯数据和获取外部行为习惯数据,从而更新所述静态行为习惯数据包括:
静态计算子模块根据所述存储对象的Key值与行为习惯文件模型的偏移量,实时获取和计算所述静态行为习惯数据;
动态计算子模块根据所述存储对象的Key值与行为习惯文件模型的偏移量,实时获取和计算动态行为习惯数据;以及
更新子模块对用户交易信息进行采集和数据整理。
5.如权利要求4所述方法,其特征在于,所述存储模块通过分文件存储方式对存储对象的Key值与行为习惯文件模型的偏移量进行存储包括:
计算子模块对所述存储对象的Key值进行哈希计算处理得到存储文件;以及
存储子模块通过分文件存储方式对所述存储对象的Key值与行为习惯文件模型相对于所述存储文件起始位置偏移量进行存储。
6.如权利要求5所述方法,其特征在于,所述更新所述静态行为习惯数据包括:
利用所述行为习惯文件模型相对于所述存储文件起始位置偏移量进行定位和更新。
7.一种计算机可读存储介质,所述计算机存储介质包含有计算机程序,其特征在于,所述计算机程序在被一个或多个计算机执行时使得所述一个或多个计算机执行如下操作:
所述操作包括如权利要求4-6中任一项所述的数据存储方法所包含的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810813847.XA CN109164977B (zh) | 2018-07-23 | 2018-07-23 | 一种数据存储系统和方法、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810813847.XA CN109164977B (zh) | 2018-07-23 | 2018-07-23 | 一种数据存储系统和方法、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109164977A CN109164977A (zh) | 2019-01-08 |
CN109164977B true CN109164977B (zh) | 2022-01-11 |
Family
ID=64898118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810813847.XA Active CN109164977B (zh) | 2018-07-23 | 2018-07-23 | 一种数据存储系统和方法、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109164977B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113017857B (zh) * | 2021-02-25 | 2022-12-20 | 上海联影医疗科技股份有限公司 | 定位方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193917A (zh) * | 2010-03-01 | 2011-09-21 | 中国移动通信集团公司 | 一种数据处理和查询方法和装置 |
CN103327052A (zh) * | 2012-03-22 | 2013-09-25 | 深圳市腾讯计算机系统有限公司 | 数据存储方法和系统以及数据访问方法和系统 |
WO2015105666A1 (en) * | 2014-01-08 | 2015-07-16 | Netapp, Inc. | Flash optimized, log-structured layer of a file system |
CN106471501A (zh) * | 2016-03-24 | 2017-03-01 | 华为技术有限公司 | 数据查询的方法、数据对象的存储方法和数据系统 |
CN107967122A (zh) * | 2017-11-22 | 2018-04-27 | 郑州云海信息技术有限公司 | 一种块设备的数据写入方法、装置及介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559027A (zh) * | 2013-10-22 | 2014-02-05 | 北京航空航天大学 | 一种key与value分开存储的key-value存储系统设计方法 |
WO2016206070A1 (zh) * | 2015-06-26 | 2016-12-29 | 华为技术有限公司 | 一种文件更新方法及存储设备 |
CN106886375B (zh) * | 2017-03-27 | 2019-11-05 | 百度在线网络技术(北京)有限公司 | 存储数据的方法和装置 |
CN107918642A (zh) * | 2017-10-26 | 2018-04-17 | 深圳市金立通信设备有限公司 | 数据查询方法、服务器及计算机可读存储介质 |
-
2018
- 2018-07-23 CN CN201810813847.XA patent/CN109164977B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193917A (zh) * | 2010-03-01 | 2011-09-21 | 中国移动通信集团公司 | 一种数据处理和查询方法和装置 |
CN103327052A (zh) * | 2012-03-22 | 2013-09-25 | 深圳市腾讯计算机系统有限公司 | 数据存储方法和系统以及数据访问方法和系统 |
WO2015105666A1 (en) * | 2014-01-08 | 2015-07-16 | Netapp, Inc. | Flash optimized, log-structured layer of a file system |
CN106471501A (zh) * | 2016-03-24 | 2017-03-01 | 华为技术有限公司 | 数据查询的方法、数据对象的存储方法和数据系统 |
CN107967122A (zh) * | 2017-11-22 | 2018-04-27 | 郑州云海信息技术有限公司 | 一种块设备的数据写入方法、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109164977A (zh) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10846643B2 (en) | Method and system for predicting task completion of a time period based on task completion rates and data trend of prior time periods in view of attributes of tasks using machine learning models | |
US10956422B2 (en) | Integrating event processing with map-reduce | |
JP6484730B2 (ja) | 時間因子を融合させる協調フィルタリング方法、装置、サーバおよび記憶媒体 | |
US11176128B2 (en) | Multiple access path selection by machine learning | |
CN116757297A (zh) | 用于选择机器学习样本的特征的方法及系统 | |
CN113822440A (zh) | 用于确定机器学习样本的特征重要性的方法及系统 | |
US20130173509A1 (en) | Method and arrangement for processing data | |
WO2020221022A1 (zh) | 业务对象推荐方法 | |
CN116882520A (zh) | 针对预定预测问题的预测方法及系统 | |
CN112559271A (zh) | 分布式应用的接口性能监测方法、装置、设备及存储介质 | |
US20230153281A1 (en) | Maintaining a dataset based on periodic cleansing of raw source data | |
CN111582488A (zh) | 一种事件推演方法及装置 | |
CN113407623A (zh) | 数据的处理方法、装置及服务器 | |
CN114186760A (zh) | 一种企业稳健运营的分析方法、系统及可读存储介质 | |
WO2023086387A1 (en) | Autonomous column selection for columnar cache | |
US10599649B2 (en) | Real time query planner statistics with time based changing | |
CN109164977B (zh) | 一种数据存储系统和方法、存储介质 | |
CN107133159B (zh) | 测试数据库创建方法及测试数据库创建系统 | |
US11416801B2 (en) | Analyzing value-related data to identify an error in the value-related data and/or a source of the error | |
CN110062112A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
US8793167B2 (en) | Account conversion of information technology systems | |
Sagaama et al. | Automatic parameter tuning for big data pipelines with deep reinforcement learning | |
US11775886B2 (en) | Combining group-level and item-level information for forecasting by empirical Bayesian deconvolution based technique | |
CN110019547B (zh) | 获取客户间的关联关系的方法、装置、设备及介质 | |
CN115174366B (zh) | 数据处理方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |