CN112115120A - 一种业务数据存储方法和装置及设备 - Google Patents
一种业务数据存储方法和装置及设备 Download PDFInfo
- Publication number
- CN112115120A CN112115120A CN202010903707.9A CN202010903707A CN112115120A CN 112115120 A CN112115120 A CN 112115120A CN 202010903707 A CN202010903707 A CN 202010903707A CN 112115120 A CN112115120 A CN 112115120A
- Authority
- CN
- China
- Prior art keywords
- service
- storage medium
- data
- storage
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种业务数据存储方法和装置及设备,该方法包括:业务数据存储方法,包括:响应于订单生成指令,获取业务订单相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。利用本发明提供的业务数据存储方法,根据业务状态变化进行不同生命周期的存储,同时对不同生命周期的业务数据实现存储媒介流转存储,从而支持为相应业务场景提供指导,便于业务场景的落地实施。
Description
技术领域
本发明涉及出行技术领域,尤其涉及一种业务数据存储方法和装置及设备。
背景技术
在互联网行业中,数据都通过系统进行存储。随着系统的逐渐成熟和用户体量的快速增加,系统的数据承载负荷在不断的增加。尤其是对于出行软件应用的场景,由于出行软件中订单状态的更新,会不断增加新的订单数据到数据库中进行存储,随着时间的积累,数据承载负荷会不断增加。
上述对订单数据进行存储的方案会影响系统的稳定性:由于请求时间都花费在数据处理上,使得整体请求响应超时,而且激增的数据量会导致系统宕机。
为了不影响产品系统的正常运转,合理识别业务数据的业务属性和数据价值,对出行业务数据生命周期进行合理的管理、控制和归类成为企业必须面对的问题。
发明内容
本发明提供一种业务数据的存储方法、装置、电子设备及存储介质,用以解决软件系统的数据承载负荷的问题。本发明的技术方案如下:
根据本发明实施例的第一方面,提供一种业务数据存储方法,包括:
响应于订单生成指令,获取业务订单相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;
根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;
确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
可选地,在第一存储媒介上进行存储和第三存储媒介上进行备份存储,包括:
根据所述业务订单相关的事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据在第一存储媒介上进行存储和第三存储媒介上进行备份存储。
可选地,根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介,包括:
根据所述业务订单相关的事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据从第一存储媒介流转存储到第二存储媒介。
可选地,所述订单业务为出行订单业务时,根据如下至少一个事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态:
创建行程事件、接单事件、接到出行乘客事件、虚拟号码创建事件、到达接乘客地址事件、乘客上车事件、确认路线事件、到达目的地事件、确认计费事件。
可选地,所述订单业务为出行订单业务时,根据如下至少一个事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态:
出行订单过期事件、出行订单取消事件、出行订单结束事件。
可选地,所述第一存储媒介的响应速度高于第二存储媒介的响应速度,所述第二存储媒介的响应速度高于第三存储媒介的响应速度;
所述第一存储媒介中的业务数据和第二存储媒介中的业务数据,对用户提供查询能力。
可选地,所述第一生命周期采用如下方式确定:
确定第一生命周期的天数为:设定最大数据存储量/日业务数据存储量;
所述设定最大数据存储量不大于第一存储媒介最大数据存储量。
可选地,确定第一存储媒介上存储的出行数据到达对应的第一生命周期,对所述业务数据进行消除,包括:
每隔所述第一生命周期对应的天数,按照存储时间先后顺序,消除业务数据至消除数据量达到设定最大数据存储量。
可选地,所述第二生命周期为设定的时长,确定第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除,包括:
确定第二存储媒介上存入业务数据时开始计时;
在计时时长达到所述设定的时长时,将所述业务数据进行消除。
根据本发明实施例的第二方面,提供一种业务数据存储装置,包括:
数据存储模块,响应于订单生成指令,获取业务订单相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;
数据流转模块,根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;
数据消亡模块,确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
可选地,数据存储模块在第一存储媒介上进行存储和第三存储媒介上进行备份存储,包括:
根据所述业务订单相关的事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据在第一存储媒介上进行存储和第三存储媒介上进行备份存储。
可选地,数据流转模块根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介,包括:
根据所述业务订单相关的事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据从第一存储媒介流转存储到第二存储媒介。
可选地,所述订单业务为出行订单业务时,数据存储模块根据如下至少一个事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态:
创建行程事件、接单事件、接到出行乘客事件、虚拟号码创建事件、到达接乘客地址事件、乘客上车事件、确认路线事件、到达目的地事件、确认计费事件。
可选地,所述订单业务为出行订单业务时,数据流转模块根据如下至少一个事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态:
出行订单过期事件、出行订单取消事件、出行订单结束事件。
可选地,所述第一存储媒介的响应速度高于第二存储媒介的响应速度,所述第二存储媒介的响应速度高于第三存储媒介的响应速度;
所述第一存储媒介中的业务数据和第二存储媒介中的业务数据,对用户提供查询能力。
可选地,所述第一生命周期采用如下方式确定:
确定第一生命周期的天数为:设定最大数据存储量/日业务数据存储量;
所述设定最大数据存储量不大于第一存储媒介最大数据存储量。
可选地,数据消亡模块确定第一存储媒介上存储的业务数据到达对应的第一生命周期,对所述业务数据进行消除,包括:
每隔所述第一生命周期对应的天数,按照存储时间先后顺序,消除业务数据至消除数据量达到设定最大数据存储量。
可选地,所述第二生命周期为设定的时长,数据消亡模块确定第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除,包括:
确定第二存储媒介上存入业务数据时开始计时;
在计时时长达到所述设定的时长时,将所述业务数据进行消除。
根据本发明实施例的第三方面,提供一种业务数据存储设备,包括:存储器和处理器;
其中,所述存储器用于存储计算机程序;
所述处理器用于读取所述存储器中的程序并执行:
响应于订单生成指令,获取出行订单业务相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;
根据出行订单业务的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;
确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
可选地,所述处理器在第一存储媒介上进行存储和第三存储媒介上进行备份存储,包括:
根据所述业务订单相关的事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据在第一存储媒介上进行存储和第三存储媒介上进行备份存储。
可选地,所述处理器根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介,包括:
根据所述业务订单相关的事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据从第一存储媒介流转存储到第二存储媒介。
可选地,所述订单业务为出行订单业务时,所述处理器根据如下至少一个事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态:
创建行程事件、接单事件、接到出行乘客事件、虚拟号码创建事件、到达接乘客地址事件、乘客上车事件、确认路线事件、到达目的地事件、确认计费事件。
可选地,所述订单业务为出行订单业务时,所述处理器根据如下至少一个事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态:
出行订单过期事件、出行订单取消事件、出行订单结束事件。
可选地,所述第一存储媒介的响应速度高于第二存储媒介的响应速度,所述第二存储媒介的响应速度高于第三存储媒介的响应速度;
所述第一存储媒介中的业务数据和第二存储媒介中的业务数据,对用户提供查询能力。
可选地,所述第一生命周期采用如下方式确定:
确定第一生命周期的天数为:设定最大数据存储量/日业务数据存储量;
所述设定最大数据存储量不大于第一存储媒介最大数据存储量。
可选地,所述处理器确定第一存储媒介上存储的出行数据到达对应的第一生命周期,对所述业务数据进行消除,包括:
每隔所述第一生命周期对应的天数,按照存储时间先后顺序,消除业务数据至消除数据量达到设定最大数据存储量。
可选地,所述第二生命周期为设定的时长,确定第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除,包括:
确定第二存储媒介上存入业务数据时开始计时;
在计时时长达到所述设定的时长时,将所述业务数据进行消除。
根据本发明实施例的第四方面,提供一种芯片,所述芯片与设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
根据本发明实施例的第五方面,提供一种计算机可读存储介质,该计算机存储介质存储有程序指令,当其在计算机上运行时,使得计算机执行本发明实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
根据本发明实施例的第六方面,提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
利用本发明提供的业务数据存储方法和装置及设备,具有以下有益效果:
本发明提出的业务数据流转、存储方案,明确的指出不同生命周期的数据职能,通过对处于不同生命周期阶段的数据进行相应的流转处理、分区存储,实现对业务数据生命周期高效率的管理和控制,以保证产品系统的正常运转。
附图说明
图1是根据一示例性实施例示出的一种应用场景示意图;
图2是根据一示例性实施例示出的业务数据存储方法应用在出行行业中的流程图;
图3是根据一示例性实施例示出的业务数据存储架构示意图;
图4是根据一示例性实施例示出的业务数据流转存储的示意图;
图5是根据一示例性实施例示出的业务数据生命周期示意图;
图6是根据一示例性实施例示出的业务数据存储装置示意图;
图7是根据一示例性实施例示出的业务数据存储设备示意图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方案,下面将结合附图,对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
以下,对本发明实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
(2)本发明实施例中术语“热数据”为处于业务状态未达到数据业务的终止状态,还具备驱动业务状态流转能力的生命周期的数据。
(3)本发明实施例中术语“温数据”为处于业务状态已达到数据业务的终止状态,不具备驱动业务状态流转能力,仅为业务提供数据查询响应的生命周期的数据。
(4)本发明实施例中术语“冷数据”为处于不服务于业务场景,不具备响应能力,仅提供底案查询的生命周期的数据。
(5)本发明实施例中术语“流转存储”为根据业务数据的不同业务状态,存储到对应的存储媒介的存储方式。
(6)本发明实施例中术语“数据湖”为一种可永久存储数据的存储媒介。
在互联网行业中,数据都通过系统进行存储。随着系统的逐渐成熟和用户体量的快速增加,系统的数据承载负荷在不断的增加。尤其是对于出行软件应用的场景,由于出行软件中订单状态的更新,会不断增加新的订单数据到数据库中进行存储,随着时间的积累,数据承载负荷会不断增加。
上述对订单数据进行存储的方案会影响系统的稳定性:由于请求时间都花费在数据处理上,使得整体请求响应超时,而且激增的数据量会导致系统宕机。
基于上述问题,本发明实施例提供一种业务数据存储方法和装置及设备,用以解决在出行软件应用中系统数据承载负荷高的问题。
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1
如图1所示,为本发明实施例提供的数据存储方案的一种应用场景示意图,包括如下设备:业务终端100,业务处理服务器101及数据存储服务器102,作为一种可选的实施方式,业务终端100通过业务服务软件发送订单请求,业务处理服务器接收订单请求,获取订单相关数据创建订单并进行订单跟踪,将订单相关的业务数据存储到数据存储服务器102。
需要说明的,上述数据存储服务器102可以是一台服务器,也可以是多台服务器,上述后台处理服务器与数据存储服务器可以为一台存储设备,也可以分布在不同的服务器设备。
上述订单业务可以为出行订单业务,业务终端则为车载终端形式,当然,还可以是其他类型的订单业务,例如商品订购业务等,业务终端可以为移动终端、个人电子计算机等。
本发明实施例提供一种业务数据存储方法,应用于上述应用场景的业务处理服务器,该业务处理服务器与软件所在的业务终端交互,下面以出行订单业务为例,对本发明实施例提供的业务数据存储方法进行说明,其他订单业务存储方法流程基本一致,区别在于业务数据不同,如图2为该方法应用在出行行业中的流程图,包括:
步骤201,响应于订单生成指令,获取订单业务相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;
业务处理服务器与出行软件所在的业务终端交互,出行乘客通过业务终端生成新的出行订单时,会向业务处理服务器发送出行订单请求,业务处理服务器接收出行订单请求,触发产生订单生成指令,根据客户端订单请求相关信息,生成相应的订单进行发布,在订单业务过程中,与出行司机/出行乘客通过业务终端进行交互,通过相应的事件驱动业务状态的变化。
本实施例中出行订单业务相关的业务数据可以包括时间信息、乘客信息、司机信息及相应事件信息。
本实施例将新获取的业务数据,会同时在第一存储媒介上进行存储和第三存储媒介上进行备份存储。
需要说明的是,上述第一存储媒介作为热数据存储媒介,具有高响应低存储的特征,上述第三存储媒介作为冷数据存储媒介,具有低响应高存储的特性。
步骤202,根据订单业务的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;
在出行订单业务服务过程中,业务状态会不断变化,其中处于不同业务状态的订单业务对应的业务数据被访问的频率会发生变化。
本发明实施例中可以不同访问频率对应的业务状态,确定业务状态从高访问频率/高使用热度变化到低访问频率/低使用热度的状态时,将业务数据从第一存储媒介流转存储到第二存储媒介。
上述第二存储媒介作为温数据存储媒介,其响应能力介于第一存储媒介和第三存储媒介之间,其存储能力介于第一存储媒介和第三存储媒介之间。
作为一种可选的实施方式,所述第一存储媒介的响应速度高于第二存储媒介的响应速度,所述第二存储媒介的响应速度高于第三存储媒介的响应速度。
步骤203,确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
上述第三存储媒介作为备份存储媒介,可以不设置生命周期,即业务数据进行永久性存储,当然,也可以进一步设置周期非常大的生命周期对数据进行消除。
本发明实施例将业务数据的生命周期分为三个阶段:热数据、温数据、冷数据。三个阶段的数据分别具有不同的使用热度和存储方式。
作为一种可选的实施方式,如图3所示为本实施例中业务存储方案采用的业务存储架构,存储属于热数据的业务数据的第一存储媒介,可以但不限于采用存储媒介mysql和/或redis,mysql是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性;redis是一款内存高速缓存数据库,redis可用于缓存事件发布或订阅等场景。本发明实施例采用mysql和/或redis,其具有高性能,及时响应的性能特点。在具体使用时,可以仅使用mysql,或仅使用redis,也可以两者混合使用。
作为一种可选的实施方式,本实施例中存储属于温数据的业务数据的第二存储媒介,可以但不限于采用存储媒介es和/或hbase,es(Elastic search)是非关系型数据库,是一个接近实时的搜索平台;hbase是一个分布式的、面向列的开源数据库,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统;上述存储媒介es和/或hbase同样具有高性能,及时响应的性能特点,但性能和响应速度稍低于上述mysql和/或redis。在具体使用时,可以仅使用es,或仅使用hbase,也可以两者混合使用。
作为一种可选的实施方式,本实施例中存储属于冷数据的业务数据的第三存储媒介,可以但不限于数据湖,数据湖作为可永久存储数据的存储媒,其具有低性能、有延时的性能特点。
上述第一存储媒介中的业务数据和第二存储媒介中的业务数据,对用户提供查询能力,具体地,作为所述第一存储媒介的mysql和redis中的业务数据和作为所述第二存储媒介es和hbase,对用户提供查询能力,作为第三存储媒介的数据湖不对用户提供查询能力,仅为企业提供案底查询。
本发明实施例中业务数据的存储媒介不唯一,可以使用其他的存储媒介来替代,如热数据阶段,可以直接取出mysql的存储,直接合并温数据的存储媒介hbase来提供热场景的数据支持。最后冷数据的场景的存储媒介也是可以替代的,数据湖为一种可永久存储数据的媒介,不同业务方对应的技术解决方案应该是不同的,此处仅做一个举例说明。
在上述业务存储架构上,本发明实施例对业务数据根据业务状态进行流转存储,如图4为在上述业务存储架构上,业务数据流转存储的示意图,其中,出行数据存储方案执行时,对失活数据做过滤双迁移。
本发明实施例中通过订单业务中的相关事件,来确定产生的业务数据的存储位置,及确定是否进行业务数据流转存储。
作为一种可选的实施方式,根据所述出行订单业务相关的事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据在第一存储媒介上进行存储和第三存储媒介上进行备份存储。
作为一种可选的实施方式,根据所述订单业务相关的事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据从第一存储媒介流转存储到第二存储媒介。
实施中,上述订单业务为出行订单业务时,根据如下至少一个事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态:
创建行程事件、接单事件、接到出行乘客事件、虚拟号码创建事件、到达接乘客地址事件、乘客上车事件、确认路线事件、到达目的地事件、确认计费事件。
上述订单业务为出行订单业务,根据如下至少一个事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态:
出行订单过期事件、出行订单取消事件、出行订单结束事件。
具体地,如表1所示,乘客在软件创建行程事件处于具备驱动业务状态变化的流转能力的业务状态,则该事件形成的出行数据为处于第一生命周期的热数据,所以将该出行数据存储至作为第一存储媒介的rds和/或redis中,同时,监控rds的binlog全局同步,将该出行数据全量备份到作为第三存储媒介的oss中。
接着,如果发生了司机接单事件,则表示该出行事件将会继续推进,会经历司机去接乘客、创建虚拟号码、到达接乘客所在地点、乘客上车、司机与乘客确认路线、司机将乘客送至目的地、司机与乘客确认费用等行程事件,这些事件也都具备驱动业务状态变化的流转能力,所以产生的行程数据也都存储至作为第一存储媒介的rds和/或redis中,直至乘客支付行程订单,表示该行程结束,则该行程数据就不再具备驱动业务状态变化的流转能力,由热数据流转为温数据,并通过rds的binlog订阅功能,以flink任务为技术桥梁将该订单数据写入作为第二存储媒介的hbase和/或es中。
如果乘客在创建行程后取消了订单或者由于司机未接单导致行程订单自动过期,则表明该出行事件不具备驱动业务状态变化的流转能力,则该行程数据直接流转为温数据,并通过rds的binlog订阅功能,以flink任务为技术桥梁将该订单数据写入作为第二存储媒介的hbase和/或es中。
表1
在上述业务数据流转存储中,还通过确定业务数据在各个存储媒介中的生命周期对业务数据进行消除,如图5为在上述业务数据流转中的业务数据生命周期示意图。
确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
作为一种可选的实施方式,在出行行业中产生的业务数据,需要在第一生命周期结束时,将存储在第一存储媒介的热数据移除,通过编写一个定时的数据库执行脚本进行移除动作,具体的第一生命周期根据设定最大数据存储量和日业务数据量来确定:
确定第一生命周期的天数为:设定最大数据存储量/日业务数据存储量;
所述设定最大数据存储量不大于第一存储媒介最大数据存储量;
每隔所述第一生命周期对应的天数,按照存储时间先后顺序,通过编写好的定时的数据库执行脚本消除业务数据至消除数据量达到设定最大数据存储量。
同样地,需要在第二生命周期结束时,将存储在第二存储媒介的温数据消除,通过设定第二生命周期的一个时长,当温数据在第二存储媒介存储的时间到达所述设定时长,便对其进行消除。互联网产品会根据实时的存储量,尽可能的为用户提供更长时间的用户信息的查询,一般时长设置为3年-5年。
由于作为第三存储媒介的数据湖可以永久存储数据,所以对于冷数据可以不设置生命周期,即业务数据实现永久性存储,当然,也可以进一步设置周期非常大的生命周期对数据进行消除。
实施例2
本发明提供一种业务数据存储装置,如图6,包括:
数据存储模块601,响应于订单生成指令,获取业务订单相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;
数据流转模块602,根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;
数据消亡模块603,确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
可选地,数据存储模块在第一存储媒介上进行存储和第三存储媒介上进行备份存储,包括:
根据所述业务订单相关的事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据在第一存储媒介上进行存储和第三存储媒介上进行备份存储。
可选地,数据流转模块根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介,包括:
根据所述业务订单相关的事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据从第一存储媒介流转存储到第二存储媒介。
可选地,所述订单业务为出行订单业务时,数据存储模块根据如下至少一个事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态:
创建行程事件、接单事件、接到出行乘客事件、虚拟号码创建事件、到达接乘客地址事件、乘客上车事件、确认路线事件、到达目的地事件、确认计费事件。
可选地,所述订单业务为出行订单业务时,数据流转模块根据如下至少一个事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态:
出行订单过期事件、出行订单取消事件、出行订单结束事件。
可选地,所述第一存储媒介的响应速度高于第二存储媒介的响应速度,所述第二存储媒介的响应速度高于第三存储媒介的响应速度;
所述第一存储媒介中的业务数据和第二存储媒介中的业务数据,对用户提供查询能力。
可选地,所述第一生命周期采用如下方式确定:
确定第一生命周期的天数为:设定最大数据存储量/日业务数据存储量;
所述设定最大数据存储量不大于第一存储媒介最大数据存储量。
可选地,数据消亡模块确定第一存储媒介上存储的业务数据到达对应的第一生命周期,对所述业务数据进行消除,包括:
每隔所述第一生命周期对应的天数,按照存储时间先后顺序,消除业务数据至消除数据量达到设定最大数据存储量。
可选地,所述第二生命周期为设定的时长,数据消亡模块确定第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除,包括:
确定第二存储媒介上存入业务数据时开始计时;
在计时时长达到所述设定的时长时,将所述业务数据进行消除。
关于上述实施例中的业务数据存储装置,其中所有模块执行的方法具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例3
本发明提供一种业务数据存储设备示意图,如图7,包括:
至少一个处理单元701和至少一个存储单元702,以及总线系统709;
其中,所述存储单元存储有程序代码,当所述程序代码被所述处理单元执行时,使得所述处理单元执行下列过程:
响应于订单生成指令,获取业务订单相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;
根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;
确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
图7是本发明实施例提供的一种业务数据存储设备示意图,该设备700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理单元(英文全称:centralprocessing units,英文简称:CPU)701(例如,一个或一个以上处理单元)和存储单元702,一个或一个以上存储应用程序704或数据705的存储介质703(例如一个或一个以上海量存储设备)。其中,存储单元702和存储介质703可以是短暂存储或持久存储。存储在存储介质703的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地,处理单元701可以设置为与存储介质703通信,在设备700上执行存储介质703中的一系列指令操作。
设备700还可以包括一个或一个以上有线或无线网络接口707,一个或一个以上输入输出接口708,和/或,一个或一个以上操作系统706,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等。
可选地,所述处理器在第一存储媒介上进行存储和第三存储媒介上进行备份存储,包括:
根据所述业务订单相关的事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据在第一存储媒介上进行存储和第三存储媒介上进行备份存储。
可选地,所述处理器根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介,包括:
根据所述业务订单相关的事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据从第一存储媒介流转存储到第二存储媒介。
可选地,所述订单业务为出行订单业务时,所述处理器根据如下至少一个事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态:
创建行程事件、接单事件、接到出行乘客事件、虚拟号码创建事件、到达接乘客地址事件、乘客上车事件、确认路线事件、到达目的地事件、确认计费事件。
可选地,所述订单业务为出行订单业务时,所述处理器根据如下至少一个事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态:
出行订单过期事件、出行订单取消事件、出行订单结束事件。
可选地,所述第一存储媒介的响应速度高于第二存储媒介的响应速度,所述第二存储媒介的响应速度高于第三存储媒介的响应速度;
所述第一存储媒介中的业务数据和第二存储媒介中的业务数据,对用户提供查询能力。
可选地,所述第一生命周期采用如下方式确定:
确定第一生命周期的天数为:设定最大数据存储量/日业务数据存储量;
所述设定最大数据存储量不大于第一存储媒介最大数据存储量。
可选地,所述处理器确定第一存储媒介上存储的出行数据到达对应的第一生命周期,对所述业务数据进行消除,包括:
每隔所述第一生命周期对应的天数,按照存储时间先后顺序,消除业务数据至消除数据量达到设定最大数据存储量。
可选地,所述第二生命周期为设定的时长,确定第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除,包括:
确定第二存储媒介上存入业务数据时开始计时;
在计时时长达到所述设定的时长时,将所述业务数据进行消除。
关于上述实施例中的存储设备,其中处理器执行的方法具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种包括指令的非易失性存储介质,例如包括指令的存储器,上述指令可由电子设备的处理器执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明实施例还提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本发明实施例上述任意一项业务数据的存储方法或任意一项业务数据的存储方法任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种业务数据存储方法,其特征在于,包括:
响应于订单生成指令,获取订单业务相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;
根据订单业务的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;
确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
2.根据权利要求1所述的方法,其特征在于,在第一存储媒介上进行存储和第三存储媒介上进行备份存储,包括:
根据所述订单业务相关的事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据在第一存储媒介上进行存储和第三存储媒介上进行备份存储。
3.根据权利要求1或2所述的方法,其特征在于,根据订单业务的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介,包括:
根据所述订单业务相关的事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态时,将所述业务数据从第一存储媒介流转存储到第二存储媒介。
4.根据权利要求2所述的方法,其特征在于,所述订单业务为出行订单业务,根据如下至少一个事件,确定当前处于具备驱动业务状态变化的流转能力的业务状态:
创建行程事件、接单事件、接到出行乘客事件、虚拟号码创建事件、到达接乘客地址事件、乘客上车事件、确认路线事件、到达目的地事件、确认计费事件。
5.根据权利要求3所述的方法,其特征在于,所述订单业务为出行订单业务,根据如下至少一个事件,确定当前处于不具备驱动业务状态变化的流转能力的业务状态:
出行订单过期事件、出行订单取消事件、出行订单结束事件。
6.根据权利要求1所述的方法,其特征在于,
所述第一存储媒介的响应速度高于第二存储媒介的响应速度,所述第二存储媒介的响应速度高于第三存储媒介的响应速度;
所述第一存储媒介中的业务数据和第二存储媒介中的业务数据,对用户提供查询能力。
7.根据权利要求1所述的方法,其特征在于,所述第一生命周期采用如下方式确定:
确定第一生命周期的天数为:设定最大数据存储量/日业务数据存储量;
所述设定最大数据存储量不大于第一存储媒介最大数据存储量。
8.根据权利要求7所述的方法,其特征在于,确定第一存储媒介上存储的业务数据到达对应的第一生命周期,对所述业务数据进行消除,包括:
每隔所述第一生命周期对应的天数,按照存储时间先后顺序,消除业务数据至消除数据量达到设定最大数据存储量。
9.根据权利要求1所述的方法,其特征在于,所述第二生命周期为设定的时长,确定第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除,包括:
确定第二存储媒介上存入业务数据时开始计时;
在计时时长达到所述设定的时长时,将所述业务数据进行消除。
10.一种业务数据存储装置,其特征在于,包括:
数据存储模块,用于响应于订单生成指令,获取业务订单相关的业务数据,并在第一存储媒介上进行存储和第三存储媒介上进行备份存储;
数据流转模块,用于根据业务订单的业务状态变化,将所述业务数据从第一存储媒介流转存储到第二存储媒介;
数据消亡模块,用于确定第一存储媒介上存储的业务数据到达对应的第一生命周期,或第二存储媒介上存储的业务数据到达对应的第二生命周期时,对所述业务数据进行消除。
11.一种业务数据存储设备,其特征在于,包括:存储器和处理器;
其中,所述存储器用于存储计算机程序;
所述处理器用于读取所述存储器中的程序并执行:所述处理器用于读取所述存储器中的程序并执行实现如权利要求1~9任一所述的业务数据存储方法。
12.一种计算机程序介质,其特征在于,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1~9任一所述的业务数据存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010903707.9A CN112115120B (zh) | 2020-09-01 | 2020-09-01 | 一种业务数据存储方法和装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010903707.9A CN112115120B (zh) | 2020-09-01 | 2020-09-01 | 一种业务数据存储方法和装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112115120A true CN112115120A (zh) | 2020-12-22 |
CN112115120B CN112115120B (zh) | 2022-06-21 |
Family
ID=73805568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010903707.9A Active CN112115120B (zh) | 2020-09-01 | 2020-09-01 | 一种业务数据存储方法和装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112115120B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113515537A (zh) * | 2021-09-13 | 2021-10-19 | 天津南大通用数据技术股份有限公司 | 一种实现生命周期表垃圾数据免维护的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101361048A (zh) * | 2006-02-03 | 2009-02-04 | 国际商业机器公司 | 在信息生命周期管理环境中将文件恢复到其适当的存储级 |
CN108712501A (zh) * | 2018-05-28 | 2018-10-26 | 腾讯科技(北京)有限公司 | 信息的发送方法、装置、计算设备以及存储介质 |
CN111144982A (zh) * | 2019-12-20 | 2020-05-12 | 网联清算有限公司 | 订单状态转移方法、装置、电子设备和存储介质 |
CN111507676A (zh) * | 2019-01-31 | 2020-08-07 | 北京京东尚科信息技术有限公司 | 业务订单流程创建和实现方法、装置、存储介质和系统 |
-
2020
- 2020-09-01 CN CN202010903707.9A patent/CN112115120B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101361048A (zh) * | 2006-02-03 | 2009-02-04 | 国际商业机器公司 | 在信息生命周期管理环境中将文件恢复到其适当的存储级 |
CN108712501A (zh) * | 2018-05-28 | 2018-10-26 | 腾讯科技(北京)有限公司 | 信息的发送方法、装置、计算设备以及存储介质 |
CN111507676A (zh) * | 2019-01-31 | 2020-08-07 | 北京京东尚科信息技术有限公司 | 业务订单流程创建和实现方法、装置、存储介质和系统 |
CN111144982A (zh) * | 2019-12-20 | 2020-05-12 | 网联清算有限公司 | 订单状态转移方法、装置、电子设备和存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113515537A (zh) * | 2021-09-13 | 2021-10-19 | 天津南大通用数据技术股份有限公司 | 一种实现生命周期表垃圾数据免维护的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112115120B (zh) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110062924B (zh) | 用于虚拟化图形处理的容量预留 | |
JP6732798B2 (ja) | コンピュートクラスタ内のリソースインスタンスグループの自動スケーリング | |
US9092475B2 (en) | Database log parallelization | |
CN111124277B (zh) | 一种深度学习数据集缓存方法、系统、终端及存储介质 | |
CN111143133B (zh) | 虚拟机备份方法和备份虚拟机恢复方法 | |
CN110019255A (zh) | 数据查询方法、装置、服务器及存储介质 | |
US20090094073A1 (en) | Real time click (rtc) system and methods | |
CN110532123B (zh) | HBase系统的故障转移方法及装置 | |
CN109561151B (zh) | 数据存储方法、装置、服务器和存储介质 | |
US11080207B2 (en) | Caching framework for big-data engines in the cloud | |
CN109582686A (zh) | 分布式元数据管理一致性保证方法、装置、系统及应用 | |
CN112307065A (zh) | 一种数据处理方法、装置及服务器 | |
CN112115120B (zh) | 一种业务数据存储方法和装置及设备 | |
EP3646186B1 (en) | Global occupancy aggregator for global garbage collection scheduling | |
CN108875035A (zh) | 分布式文件系统的数据存储方法及相关设备 | |
CN117076341A (zh) | 数据存储方法、装置、计算机设备及计算机可读存储介质 | |
CN115002187B (zh) | 绑定关系处理方法及相关设备 | |
CN112035183A (zh) | 微应用的接入方法及装置 | |
CN108604231A (zh) | 镜像处理方法以及计算设备 | |
CN114816272B (zh) | Kubernetes环境下的磁盘管理系统 | |
CN103092955A (zh) | 检查点操作方法、装置及系统 | |
CN113157476B (zh) | 虚拟云环境中显卡故障的处理方法及装置 | |
CN113505111B (zh) | 一种共享目录挂载方法及分布式网络附加存储系统 | |
CN111475277A (zh) | 一种资源分配方法、系统、设备及机器可读存储介质 | |
CN114493598A (zh) | 计算资源管理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |