CN112445859A - 数据管理方法、装置和系统 - Google Patents
数据管理方法、装置和系统 Download PDFInfo
- Publication number
- CN112445859A CN112445859A CN201910814554.8A CN201910814554A CN112445859A CN 112445859 A CN112445859 A CN 112445859A CN 201910814554 A CN201910814554 A CN 201910814554A CN 112445859 A CN112445859 A CN 112445859A
- Authority
- CN
- China
- Prior art keywords
- data
- identification information
- request
- synchronization
- sending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013523 data management Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 21
- 238000013500 data storage Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本文是关于一种数据管理方法、装置和系统。所述方法包括：在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息；根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息；接收对所述数据同步请求对应的响应消息，得到所述数据；利用所述数据处理所述用户请求。
Description
技术领域
本申请涉及信息处理领域，尤指一种数据管理方法、装置和系统。
背景技术
在集群环境中，各个集群服务需要使用同一份生产数据，才能保证对外提供一致的服务。在相关技术中，由数据生产者将同步数据的信号通过网络发送到集群服务中，集群服务接收到该同步信号后完成数据的更新操作，并使用更新后的数据提供服务。
在实际应用中，由于网络故障或者网络不稳定，容易发生消息未能或者没有及时传递到各个集群服务中，在数据同步过程中，一旦没有将更新信号同步到集群服务中，那么那些没有完成数据更新的服务就会使用一份旧数据来处理业务，最终可能导致数据不一致的情况出现，使得集群保证对外不能提供一致的服务。
发明内容
为克服相关技术中存在的问题，本文提供一种数据管理方法、装置和系统。
根据本文的第一方面，提供一种数据管理方法，包括：
在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息；
根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息；
接收对所述数据同步请求对应的响应消息，得到所述数据；
利用所述数据处理所述用户请求。
在一个示例性实施例中，所述根据所述标识信息，向业务系统发送数据同步请求之前，所述方法还包括：
查询在预先设置的数据存储空间内是否存储有所述标识信息对应的数据，得到查询结果；
如果所述查询结果为存储有所述数据，则获取所述数据在所述数据存储空间内已经存储的时长信息；
判断所述数据的已存储的时长信息是否满足预先设置的数据有效性判断策略，得到判断结果；
如果所述判断结果为不满足所述数据有效性判断策略，则执行向业务系统获取所述数据的标识信息对应的数据。
在一个示例性实施例中，所述根据所述标识信息，向业务系统发送数据同步请求，包括：
获取所述数据同步请求对应的同步时间点信息，其中所述同步时间点信息为收到用户请求的时间；
在自所述同步时间点信息开始的预设时长内，与所述业务系统保持数据的同步。
根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上文任意一项所述方法的步骤。
根据本文的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上文任意一项所述方法的步骤。
根据本文的另一方面，提供一种数据管理方法，包括：
获取集群服务器发送的包括标识信息的数据同步请求，其中所述标识信息为集群服务器对接收到的用户请求进行响应所需的数据的标识信息；
根据所述标识信息，获取所述标识信息对应的数据；
向所述集群服务器发送所述数据。
在一个示例性实施例中，所述向所述集群服务器发送所述数据，包括：
在集群系统中有至少两个集群服务器发送数据同步请求时，确定每个集群服务器的数据同步请求对应的数据；
分别向每个集群服务器发送各自对应的数据。
根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现上文任一项所述方法的步骤。
根据本文的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现文任一项所述方法的步骤。
根据本文的另一方面，提供一种数据管理装置，包括：
第一获取模块，用于在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息；
第一发送模块，用于根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息；
接收模块，用于接收对所述数据同步请求对应的响应消息，得到所述数据；
处理模块，用于利用所述数据处理所述用户请求。
在一个示例性实施例中，所述装置还包括：
查询模块，用于在向业务系统获取所述标识信息对应的数据之前，查询在预先设置的数据存储空间内是否存储有所述数据的标识信息对应的数据，得到查询结果；
第二获取模块，用于如果所述查询结果为存储有所述数据，则获取所述数据在所述数据存储空间内已经存储的时长信息；
第一判断模块，用于判断所述数据的已存储的时长信息是否满足预先设置的数据有效性判断策略，得到判断结果；
控制模块，用于如果所述判断结果为不满足所述数据有效性判断策略，则执行向业务系统获取所述数据的标识信息对应的数据。
在一个示例性实施例中，所述第一发送模块包括：
获取单元，用于获取所述数据同步请求对应的同步时间点信息，其中所述同步时间点信息为收到用户请求的时间；
同步单元，用于在自所述同步时间点信息开始的预设时长内，与所述业务系统保持数据的同步。
在一个示例性实施例中，所述装置还包括：
存储模块，用于在利用所述数据响应所述用户请求之后，存储所述数据，并对所述数据的存储时长进行计算；
删除模块，用于在对所述数据的存储计时得到的时长信息不满足预先设置的数据有效性判断策略时，删除所述数据。
在一个示例性实施例中，所述利用所述数据处理所述用户请求之后，所述方法还包括：
存储所述数据，并对所述数据的存储时长进行计时；
在对所述数据的存储计时得到的时长信息不满足预先设置的数据有效性判断策略时，删除所述数据。
根据本文的另一方面，提供一种数据管理装置，包括：
第四获取模块，用于获取集群服务器发送的包括标识信息的数据同步请求，其中所述标识信息为集群服务器对接收到的用户请求进行响应所需的数据的标识信息；
第五获取模块，用于根据所述标识信息，获取所述标识信息对应的数据；
第三发送模块，用于向所述集群服务器发送所述数据。
在一个示例性实施例中，所述第三发送模块包括：
确定单元，用于在集群系统中有至少两个集群服务器发送数据同步请求时，确定每个集群服务器的数据同步请求对应的数据；
发送单元，用于分别向每个集群服务器发送各自对应的数据。
根据本文的另一方面，提供一种数据管理系统，包括上文所述的两个装置。
本文示例性提供的方案，将数据生产者服务主动推送生产数据到集群服务中的方式变为由集群中被请求命中的某个具体的服务器向数据生产者服务拉取并缓存生产数据的方式，降低数据同步操作的复杂度，提高数据同步效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：
图1是根据一示例性实施例出的一种集群通信系统的框图。
图2是根据一示例性实施例示出的一种数据管理方法的流程图。
图3是根据一示例性实施例示出的另一种数据管理方法的流程图。
图4是根据一示例性实施例示出的一种数据管理装置的框图。
图5是根据一示例性实施例示出的另一种数据管理装置的框图。
图6是根据一示例性实施例示出的一种用于数据管理的计算机设备600的框图。
具体实施方式
为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。
图1是根据一示例性实施例出的一种集群通信系统的框图。如图1所示，该集群通信系统包括：
业务系统，提供业务数据；
网关模块，用于接收用户请求，并发送用户请求；
集群服务器，用于接收用户请求，并对根据业务系统提供的业务数据对用户请求进行响应。
在一个示例性实施例中，网关，与多个客户端相连，接收用户通过客户端发送的用户请求，并将接收的用户请求按照预设的分发策略将请求发送给集群的集群服务器；其中分发规则可以随机，或者，按照预先设置的负载均衡策略，将用户请求进行分发。
在一个示例性实施例中，用户请求可以携带有数据的标识信息，该标识信息用于从业务系统中能唯一定位数据资源的标识符和数据资源的版本号。
在一个示例性实施例中，集群服务器，与网关相连，在网关进行用户请求分发后，集群中的每一个集群服务器都有机会处理用户请求；同时，该集群服务器，与所述业务系统相连，用于从业务系统获取数据以响应用户请求，即响应用户请求所使用的数据来由业务系统提供的。
在一个示例性实施例中，业务系统用于向外部提供和处理业务数据，包括根据不同的业务请求查询及整合业务数据并返回给客户或者外部系统、判断数据的有效性并写入新数据、删除无效数据、修改业务数据并记录数据的版本号等。
在一个示例性实施例中，所述系统还可以包括数据库，与所述业务系统相连，用于存储业务数据，维护业务数据表，提供业务数据支撑，与集群业务相关的数据表中都设置了版本号字段，该字段对应的版本号与网关转发的用户请求中携带的版本号用途一致，均是为了唯一定位数据资源的。
下面分别对图1所示的集群服务器和业务系统进行说明:
图2是根据一示例性实施例示出的一种数据管理方法的流程图。图2所示方法包括：
步骤201、在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息；
在一个示例性实施例中，该数据的标识信息可以为据资源的标识符和数据资源的版本号；该数据的标识信息可以与所述用户请求一并接收的，或者，通过独立的消息接收的；
步骤202、根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息；
在一个示例性实施例中，与相关技术不同的是，数据同步操作不是由业务系统触发的，而是由集群服务器触发的；另外，与相关技术中一直保持与业务系统进行数据同步的操作方式不同的是，集群服务器在接收到用户请求后，检测到对数据有使用需求后发起的，无需与集群服务器一直与保持数据同步，减少了集群服务器执行数据同步操作的次数；
步骤203、接收对所述数据同步请求对应的响应消息，得到所述数据；
在一个示例性实施例中，与相关技术中业务系统主动下发数据同步操作对应的数据不同，通过发送数据同步请求来获取所需的数据。
步骤204、利用所述数据处理所述用户请求；
在一个示例性实施例中，可以根据数据同步操作得到的数据进行集群业务的处理，用以得到所述用户请求的响应信息。
本文示例性提供的方法，在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息，根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息，再接收对所述数据同步请求对应的响应消息，得到所述数据，并利用所述数据处理所述用户请求，将数据生产者服务主动推送生产数据到集群服务中的方式变为由集群中被请求命中的某个具体的服务器向数据生产者服务拉取并缓存生产数据的方式，降低数据同步操作的复杂度，提高数据同步效率。
下面对图2所示方法进行说明：
在一个示例性实施例中，所述根据所述标识信息，向业务系统发送数据同步请求之前，所述方法还包括：
查询在预先设置的数据存储空间内是否存储有所述标识信息对应的数据，得到查询结果；
如果所述查询结果为存储有所述数据，则获取所述数据在所述数据存储空间内已经存储的时长信息；
判断所述数据的已存储的时长信息是否满足预先设置的数据有效性判断策略，得到判断结果；
如果所述判断结果为不满足所述数据有效性判断策略，则执行向业务系统获取所述数据的标识信息对应的数据。
在本示例性实施例中，数据存储空间中以数据的标识信息为关键字对所存储的数据进行存储，当某一集群服务器收到用户请求后，该集群服务器会启动数据获取操作，在向业务系统进行数据同步之前，判断数据存储空间内是否有缓存该数据，以便减少向业务系统进行数据同步的操作。在判断缓存有该数据后，进一步判断该数据是否有效，以确定缓存的数据与业务系统中存储的数据是否同步，以保证提供服务所使用的数据的正确性。
在一个示例性实施例中，数据有效性判断策略可以根据提供该数据的业务系统对数据进行同步的周期进行判断，如果数据的存储时长已经达到新的一次数据同步周期，则表示该数据为旧数据，是不能够使用的，需要等待业务系统提供当前同步周期内新的数据。
在一个示例性实施例中，数据同步周期可以根据业务系统的业务特性进行设置，如果业务系统的业务数据更新越快，该业务系统的数据进行更新的周期越短，反之，如果业务系统的业务数据更新越慢，该业务系统的数据进行更新的周期越长。
在一个示例性实施例中，所述根据所述标识信息，向业务系统发送数据同步请求，包括：
获取所述数据同步请求对应的同步时间点信息，其中所述同步时间点信息为收到用户请求的时间；
在自所述同步时间点信息开始的预设时长内，与所述业务系统保持数据的同步。
在本示例性实施例中，该预设的时长的大小大于或等于该集群服务器响应完成所述用户请求的时长；通过保持在上述时长内的数据同步，保证集群服务器能够使用最新的业务数据提供服务，提高服务质量。
每个集群服务器的数据来源包括两种，一种是从业务系统获取，另一种是本地缓存的符合数据有效性策略的数据。集群服务器间不存在信息交互，保证各自的业务处理的独立性。
在一个示例性实施例中，所述利用所述数据响应所述用户请求之后，所述方法还包括：
存储所述数据，并对所述数据的存储时长进行计时；
在对所述数据的存储计时得到的时长信息不满足预先设置的数据有效性判断策略时，删除所述数据。
在本示例性实施例中，在检测到对用户请求进行响应后，对所存储的数据的存储时长进行判断，如果存储时长不满足数据有效性判断策略，则表示该数据为旧数据，不能使用该数据提供服务，则删除数据，减少对该数据的误使用的可能，保证数据维护的准确性。
图3是根据一示例性实施例示出的另一种数据管理方法的流程图。图3所示方法包括：
步骤301、获取集群服务器发送的包括标识信息的数据同步请求，其中所述标识信息为集群服务器对接收到的用户请求进行响应所需的数据的标识信息；
在一个示例性实施例中，数据同步请求是由集群服务器发送的，所获取的数据为该集群服务器所需的数据，实现有针对性的获取数据，与相关技术中业务数据向所有集群服务器实时同步业务数据相比，将数据同步操作由业务系统主动下发变更为由集群服务器触发，实现在对数据有使用需求时进行数据同步，减少了网络中同步数据的次数；
步骤302、根据所述标识信息，获取所述标识信息对应的数据；
在一个示例性实施例中，根据数据资源的标识符和数据资源的版本号，从本地确定对应的数据。
步骤303、向所述集群服务器发送所述数据。
在一个示例性实施例中，所述向所述集群服务器发送所述数据，包括：
在集群系统中有至少两个集群服务器发送数据同步请求时，确定每个集群服务器的数据同步请求对应的数据；
分别向每个集群服务器发送各自对应的数据。
在本示例性实施例中，与相关技术中向每个集群服务器均发送数据不同的是，只向发送数据同步请求的集群服务，保证对数据有使用需要的集群及时准确地获取到所需的数据，同时，减少了同步数据对网络带宽的占用。
本文示例性提供的方法，获取集群服务器发送的包括标识信息的数据同步请求，其中所述标识信息为集群服务器对接收到的用户请求进行响应所需的数据的标识信息，根据所述标识信息，获取所述标识信息对应的数据，并向所述集群服务器发送所述数据，将数据生产者服务主动推送生产数据到集群服务中的方式变为由集群中被请求命中的某个具体的服务器向数据生产者服务拉取并缓存生产数据的方式，降低数据同步操作的复杂度，提高数据同步效率。
下面对本文示例性提供的方法进行说明：
本文示例性提供一种数据管理方法，提供在集群场景下同步更新生产数据的解决方案，数据同步的目标是将生产数据同步缓存到每个集群服务中，保障了集群中的数据与数据产生服务中的数据同步更新。集群环境由一个数据生产者(业务系统)以及若干数据消费者(集群服务器)组成，并且要求组成集群的服务不必一直同步数据生产者服务中的生产数据，而只需其在被请求命中后的一段时间内保持与数据生产者服务中的数据一致即可。
为了达到上述目的，本发明改善了这种发送更新数据信号的机制，将数据生产者服务主动推送生产数据到集群服务中的方式变为由集群中被请求命中的某个具体的服务向数据生产者服务拉取并缓存生产数据的方式。
下面对示例性实施例的流程进行说明：
以请求到达集群的其中一个服务器为例进行说明，该集群服务器处理用户请求的过程如下：
a)解析出请求中的资源标识符和版本号，该标识符和版本号用于判断当前缓存装置中是否缓存了数据，以及在数据库中唯一确定集群服务要请求的生产数据；
b)检查当前缓存装置中是否存在以步骤a)中解析出的标识符和版本号构成的key
在本例中，请求第一次到达集群中的服务前，该服务的缓存中是没有这个key的；
c)若是步骤b)中的key存在，说明已经缓存了该数据，则取出这个key对应的生产数据，并执行步骤e)；若是步骤b)中的key不存在，则读取配置文件中业务系统的访问地址，然后根据步骤a)中解析到的数据来封装拉取生产数据的请求，并执行步骤d)；
d)向业务系统发送步骤c)中封装好的请求，等待请求响应并解析响应结果。若是请求成功，则将步骤a)中解析到的唯一标识符与版本号作为缓存数据的key，然后将业务系统响应的数据缓存起来，并执行步骤e)；若是请求失败，则立即终止当前操作，并向客户返回错误信息；
e)使用上述步骤读到的生产数据处理相关业务，返回最终的处理结果；
f)请求结束后，服务处于等待状态，然后开始根据配置文件中设置的缓存过期时间开始计时，当达到本装置设置的过期时间后，释放过期缓存。
由上可以看出，业务系统并不向集群服务推送任何生产数据，而是只负责处理与其相关的业务数据。而集群中的每个服务此时也不会主动向业务系统拉取任何生产数据，此时它们处于一种等待接收请求的状态。只有当网关将请求转发到集群中的某个服务后，该服务才会根据是否缓存了生产数据，以及缓存是否过期来决定是否向业务系统发送请求，拉取生产数据。另外，数据缓存过期后，集群服务器的状态和请求第一次到达集群服务前的状态是相同的，不缓存任何数据。
图4是根据一示例性实施例示出的一种数据管理装置的框图。如图4所示，所述装置包括：
第一获取模块401，用于在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息；
第一发送模块402，用于根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息；
接收模块403，用于接收对所述数据同步请求对应的响应消息，得到所述数据；
处理模块404，用于利用所述数据处理所述用户请求。
在一个示例性实施例中，所述装置还包括：
查询模块，用于在向业务系统获取所述标识信息对应的数据之前，查询在预先设置的数据存储空间内是否存储有所述数据的标识信息对应的数据，得到查询结果；
第三获取模块，用于如果所述查询结果为存储有所述数据，则获取所述数据在所述数据存储空间内已经存储的时长信息；
第一判断模块，用于判断所述数据的已存储的时长信息是否满足预先设置的数据有效性判断策略，得到判断结果；
控制模块，用于如果所述判断结果为不满足所述数据有效性判断策略，则执行向业务系统获取所述数据的标识信息对应的数据。
在一个示例性实施例中，所述第一发送模块402包括：
获取单元，用于获取所述数据同步请求对应的同步时间点信息，其中所述同步时间点信息为收到用户请求的时间；
同步单元，用于在自所述同步时间点信息开始的预设时长内，与所述业务系统保持数据的同步。
在一个示例性实施例中，所述装置还包括：
存储模块，用于在利用所述数据响应所述用户请求之后，存储所述数据，并对所述数据的存储时长进行计算；
删除模块，用于在对所述数据的存储计时得到的时长信息不满足预先设置的数据有效性判断策略时，删除所述数据。
本文示例性提供的装置，在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息，根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息，再接收对所述数据同步请求对应的响应消息，得到所述数据，并利用所述数据处理所述用户请求，将数据生产者服务主动推送生产数据到集群服务中的方式变为由集群中被请求命中的某个具体的服务器向数据生产者服务拉取并缓存生产数据的方式，降低数据同步操作的复杂度，提高数据同步效率。
图5是根据一示例性实施例示出的另一种数据管理装置的框图。如图5所示，所述装置包括：
第四获取模块501，用于获取集群服务器发送的包括标识信息的数据同步请求，其中所述标识信息为集群服务器对接收到的用户请求进行响应所需的数据的标识信息；
第五获取模块502，用于根据所述标识信息，获取所述标识信息对应的数据；
第三发送模块503，用于向所述集群服务器发送所述数据。
在一个示例性实施例中，所述第三发送模块503包括：
确定单元，用于在集群系统中有至少两个集群服务器发送数据同步请求时，确定每个集群服务器的数据同步请求对应的数据；
发送单元，用于分别向每个集群服务器发送各自对应的数据。
本文示例性提供的装置，获取集群服务器发送的包括标识信息的数据同步请求，其中所述标识信息为集群服务器对接收到的用户请求进行响应所需的数据的标识信息，根据所述标识信息，获取所述标识信息对应的数据，并向所述集群服务器发送所述数据，将数据生产者服务主动推送生产数据到集群服务中的方式变为由集群中被请求命中的某个具体的服务器向数据生产者服务拉取并缓存生产数据的方式，降低数据同步操作的复杂度，提高数据同步效率。
本文示例性提供一种数据管理系统，包括如图5所示的装置和图6所示的装置。
本文示例性提供的系统，将数据生产者服务主动推送生产数据到集群服务中的方式变为由集群中被请求命中的某个具体的服务器向数据生产者服务拉取并缓存生产数据的方式，降低数据同步操作的复杂度，提高数据同步效率。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上文任一所述方法的步骤。
图6是根据一示例性实施例示出的一种用于数据管理的计算机设备600的框图。例如，计算机设备600可以被提供为一服务器。参照图6，计算机设备600包括处理器601，处理器的个数可以根据需要设置为一个或者多个。计算机设备600还包括存储器602，用于存储可由处理器601的执行的指令，例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器601被配置为执行指令，以执行上述方法。
本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。
Claims (17)
1.一种数据管理方法，其特征在于，包括：
在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息；
根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息；
接收对所述数据同步请求对应的响应消息，得到所述数据；
利用所述数据处理所述用户请求。
2.根据权利要求1所述的方法，其特征在于，所述根据所述标识信息，向业务系统发送数据同步请求之前，所述方法还包括：
查询在预先设置的数据存储空间内是否存储有所述标识信息对应的数据，得到查询结果；
如果所述查询结果为存储有所述数据，则获取所述数据在所述数据存储空间内已经存储的时长信息；
判断所述数据的已存储的时长信息是否满足预先设置的数据有效性判断策略，得到判断结果；
如果所述判断结果为不满足所述数据有效性判断策略，则执行向业务系统获取所述数据的标识信息对应的数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述标识信息，向业务系统发送数据同步请求，包括：
获取所述数据同步请求对应的同步时间点信息，其中所述同步时间点信息为收到用户请求的时间；
在自所述同步时间点信息开始的预设时长内，与所述业务系统保持数据的同步。
4.根据权利要求1所述的方法，其特征在于，所述利用所述数据处理所述用户请求之后，所述方法还包括：
存储所述数据，并对所述数据的存储时长进行计时；
在对所述数据的存储计时得到的时长信息不满足预先设置的数据有效性判断策略时，删除所述数据。
5.一种数据管理方法，其特征在于，包括：
获取集群服务器发送的包括标识信息的数据同步请求，其中所述标识信息为集群服务器对接收到的用户请求进行响应所需的数据的标识信息；
根据所述标识信息，获取所述标识信息对应的数据；
向所述集群服务器发送所述数据。
6.根据权利要求5所述的方法，其特征在于，所述向所述集群服务器发送所述数据，包括：
在集群系统中有至少两个集群服务器发送数据同步请求时，确定每个集群服务器的数据同步请求对应的数据；
分别向每个集群服务器发送各自对应的数据。
7.一种数据管理装置，其特征在于，包括：
第一获取模块，用于在接收到用户请求后，获取用于响应所述用户请求所需的数据的标识信息；
第一发送模块，用于根据所述标识信息，向业务系统发送数据同步请求，其中所述数据同步请求包括所述标识信息；
接收模块，用于接收对所述数据同步请求对应的响应消息，得到所述数据；
处理模块，用于利用所述数据处理所述用户请求。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
查询模块，用于在向业务系统获取所述标识信息对应的数据之前，查询在预先设置的数据存储空间内是否存储有所述数据的标识信息对应的数据，得到查询结果；
第二获取模块，用于如果所述查询结果为存储有所述数据，则获取所述数据在所述数据存储空间内已经存储的时长信息；
第一判断模块，用于判断所述数据的已存储的时长信息是否满足预先设置的数据有效性判断策略，得到判断结果；
控制模块，用于如果所述判断结果为不满足所述数据有效性判断策略，则执行向业务系统获取所述数据的标识信息对应的数据。
9.根据权利要求7所述的装置，其特征在于，所述第一发送模块包括：
获取单元，用于获取所述数据同步请求对应的同步时间点信息，其中所述同步时间点信息为收到用户请求的时间；
同步单元，用于在自所述同步时间点信息开始的预设时长内，与所述业务系统保持数据的同步。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
存储模块，用于在利用所述数据响应所述用户请求之后，存储所述数据，并对所述数据的存储时长进行计算；
删除模块，用于在对所述数据的存储计时得到的时长信息不满足预先设置的数据有效性判断策略时，删除所述数据。
11.一种数据管理装置，其特征在于，包括：
第四获取模块，用于获取集群服务器发送的包括标识信息的数据同步请求，其中所述标识信息为集群服务器对接收到的用户请求进行响应所需的数据的标识信息；
第五获取模块，用于根据所述标识信息，获取所述标识信息对应的数据；
第三发送模块，用于向所述集群服务器发送所述数据。
12.根据权利要求10所述的装置，其特征在于，所述第三发送模块包括：
确定单元，用于在集群系统中有至少两个集群服务器发送数据同步请求时，确定每个集群服务器的数据同步请求对应的数据；
发送单元，用于分别向每个集群服务器发送各自对应的数据。
13.一种数据管理系统，其特征在于，包括如权利要求7至10任一所述的装置和如权利要求11或12所述的装置。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至4中任意一项所述方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求5或6所述方法的步骤。
16.一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述方法的步骤。
17.一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求5或6所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910814554.8A CN112445859A (zh) | 2019-08-30 | 2019-08-30 | 数据管理方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910814554.8A CN112445859A (zh) | 2019-08-30 | 2019-08-30 | 数据管理方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112445859A true CN112445859A (zh) | 2021-03-05 |
Family
ID=74733669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910814554.8A Pending CN112445859A (zh) | 2019-08-30 | 2019-08-30 | 数据管理方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112445859A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115840786A (zh) * | 2023-02-20 | 2023-03-24 | 北京数元灵科技有限公司 | 一种数据湖数据同步方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103078927A (zh) * | 2012-12-28 | 2013-05-01 | 合一网络技术(北京)有限公司 | 一种key-value数据分布式缓存系统及其方法 |
| CN104850509A (zh) * | 2015-04-27 | 2015-08-19 | 交通银行股份有限公司 | 一种银行业务数据内存缓存的操作方法及系统 |
| CN107066570A (zh) * | 2017-04-07 | 2017-08-18 | 聚好看科技股份有限公司 | 数据管理方法及装置 |
| CN107231395A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 数据存储方法、装置和系统 |
| CN108011929A (zh) * | 2017-11-14 | 2018-05-08 | 平安科技（深圳）有限公司 | 数据请求处理方法、装置、计算机设备和存储介质 |
| CN110046029A (zh) * | 2019-03-13 | 2019-07-23 | 平安科技（深圳）有限公司 | 应用于集群内多级缓存的数据处理方法和装置 |
-
2019
- 2019-08-30 CN CN201910814554.8A patent/CN112445859A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103078927A (zh) * | 2012-12-28 | 2013-05-01 | 合一网络技术(北京)有限公司 | 一种key-value数据分布式缓存系统及其方法 |
| CN104850509A (zh) * | 2015-04-27 | 2015-08-19 | 交通银行股份有限公司 | 一种银行业务数据内存缓存的操作方法及系统 |
| CN107231395A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 数据存储方法、装置和系统 |
| CN107066570A (zh) * | 2017-04-07 | 2017-08-18 | 聚好看科技股份有限公司 | 数据管理方法及装置 |
| CN108011929A (zh) * | 2017-11-14 | 2018-05-08 | 平安科技（深圳）有限公司 | 数据请求处理方法、装置、计算机设备和存储介质 |
| CN110046029A (zh) * | 2019-03-13 | 2019-07-23 | 平安科技（深圳）有限公司 | 应用于集群内多级缓存的数据处理方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115840786A (zh) * | 2023-02-20 | 2023-03-24 | 北京数元灵科技有限公司 | 一种数据湖数据同步方法及装置 |
| CN115840786B (zh) * | 2023-02-20 | 2023-05-02 | 北京数元灵科技有限公司 | 一种数据湖数据同步方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3402164B1 (en) | Resource acquisition method and related device | |
| CN103856569B (zh) | 一种同步域名系统资源信息的方法及设备 | |
| JP4732661B2 (ja) | クライアントのデータベースとサーバーのデータベースとを同期させる方法 | |
| US20190370362A1 (en) | Multi-protocol cloud storage for big data and analytics | |
| CN111291000B (zh) | 基于区块链的文件获取方法、设备及存储介质 | |
| JP2017168143A (ja) | 分散キャッシングおよびキャッシュ分析 | |
| CN111221469B (zh) | 同步缓存数据的方法、装置和系统 | |
| KR20130107280A (ko) | 디렉토리 리싱 | |
| JP2019506764A (ja) | グローバル情報を取得、処理および更新するためのシステムおよび方法 | |
| CN102333029A (zh) | 一种服务器集群系统中的路由方法 | |
| KR20100108053A (ko) | Ｕｒｌ을 이용한 분산 컨트롤 방법 및 장치 | |
| CN105450682B (zh) | 一种用于数据同步保存、向客户端同步数据的方法、装置和系统 | |
| US9380127B2 (en) | Distributed caching and cache analysis | |
| JP2018515850A (ja) | データ・コピー方法及びデバイス | |
| CN110765205A (zh) | 基于区块链的元数据管理方法、系统和计算机存储介质 | |
| CN113010549A (zh) | 基于异地多活系统的数据处理方法、相关设备及存储介质 | |
| CN109873855A (zh) | 一种基于区块链网络的资源获取方法和系统 | |
| EP2635980A1 (en) | Distributed database | |
| CN112445859A (zh) | 数据管理方法、装置和系统 | |
| CN113064732A (zh) | 一种分布式系统及其管理方法 | |
| CN110555040A (zh) | 一种数据缓存方法、装置及服务器 | |
| CN114443677A (zh) | 对象存储服务系统 | |
| CN114706923A (zh) | 数据同步方法、装置、电子设备和存储介质 | |
| CN115333936A (zh) | 切换回源策略的方法、装置、介质及设备 | |
| CN112860746A (zh) | 一种基于缓存削减的方法、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |