CN113111118A - 数据处理方法、装置、服务器、项目组设备及存储介质 - Google Patents
数据处理方法、装置、服务器、项目组设备及存储介质 Download PDFInfo
- Publication number
- CN113111118A CN113111118A CN202010026471.5A CN202010026471A CN113111118A CN 113111118 A CN113111118 A CN 113111118A CN 202010026471 A CN202010026471 A CN 202010026471A CN 113111118 A CN113111118 A CN 113111118A
- Authority
- CN
- China
- Prior art keywords
- project
- data
- data processing
- server
- project group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 97
- 230000001360 synchronised effect Effects 0.000 claims abstract description 76
- 238000012790 confirmation Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种数据处理方法、装置、服务器、项目组设备及存储介质。该数据处理方法包括：获取同步数据指令；根据同步数据指令向多个项目组设备发送同步数据请求，同步数据请求中包括预先确定的多个项目组对应的项目约束条件，以使得多个项目组设备基于项目约束条件向服务器反馈业务数据；获取多个项目组设备发送的业务数据；对业务数据进行校验存储。本申请实施例中在云数据处理系统中同步数据时，各项目组设备即可基于项目约束条件来向服务器反馈业务数据，该项目约束条件，保证各项目组设备云数据同步准确性同时，也能保证数据流的正确性，简化了数据同步的复杂度，后期日志维护更加方便，提高了系统管理效率。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种数据处理方法、装置、服务器、项目组设备及存储介质。
背景技术
随着云计算和网络技术的发展，各种基于云计算的系统应用越来越多。出于实际需求，各系统的功能或覆盖区域不同，对于大型的云架构，其可能由多个设备组成，每个设备独立承担一定的功能，各个设备之间既相互隔离又相互协调，共同构建一个功能完整、资源调度快捷的云系统来完成工作，这种情况下，各个设备与云平台之间需要进行数据的交换与同步。
现有的云平台是每个项目组的业务和功能集成在一起的，但并不能从云平台直接的看到每个项目组的信息，需要对应每个控制台才能进入查看业务功能和基础数据才能有了解。在对应需求的上游项目组比如架构平台、全栈平台等，不能总览系统相关组件的规格，地址信息等，比如系统A购买了中间件和数据库，无法在一个统一位置看到总览信息。云平台基础架构基础组件(网络，机房，主机，数据库，应用)相互之间没有明确的数据依赖要求，数据关联关系复杂。
目前，现有的方式是通过接口方式获取各项目设备每个接口传来的业务数据，并存储到一个单独的数据库，但并不能实时监控，日志维护也比较杂，不好统一手动管理或手动追溯数据同步情况，对项目的集成不太友好。
发明内容
本申请实施例提供一种数据处理方法、装置、服务器、项目组设备及存储介质，保证各项目组设备云数据同步准确性同时，也能保证数据流的正确性，简化了数据同步的复杂度，后期日志维护更加方便，提高了系统管理效率。
一方面，本申请提供一种数据处理方法，应用于服务器，所述服务器位于云数据处理系统，所述云数据处理系统还包括与所述服务器网络连接的多个项目组设备，所述多个项目组设备分别对应所述云数据处理系统中多个项目组，所述数据处理方法包括：
获取同步数据指令；
根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；
获取所述多个项目组设备发送的业务数据；
对所述业务数据进行校验存储。
在本申请一些实施例中，在所述根据所述同步数据指令向所述多个项目组设备发送同步数据请求之前，所述方法包括：
确定所述多个项目组对应的项目约束条件。
在本申请一些实施例中，所述确定所述多个项目组对应的项目约束条件，包括：
获取所述多个项目组预先申请的消费主题；
定义所述多个项目组的业务数据格式；
获取所述多个项目组之间的依赖关系；
根据所述多个项目组预先申请的消费主题、所述多个项目组的业务数据格式、以及所述多个项目组之间的依赖关系，确定所述多个项目组对应的约束条件。
在本申请一些实施例中，所述对所述业务数据进行校验存储，包括：
对所述业务数据进行消费；
对所述消费后的业务数据进行校验后存储。
在本申请一些实施例中，所述方法还包括：
当所述消费后的业务数据存储完成时，向所述多个项目组设备中每个项目组设备推送存储确认消息，所述存储确认消息中包括所述消费后的业务数据是否存储成功的信息。
另一方面，本申请提供一种数据处理方法，应用于目标项目组设备，所述目标项目组设备位于云数据处理系统，所述云数据处理系统还包括与所述目标项目组设备网络连接的服务器，所述数据处理方法包括：
接收服务器发送的同步数据请求，所述同步数据请求中包括预先确定的多个项目组对应的项目约束条件；
确定所述目标项目组设备中最新的业务数据；
基于所述项目约束条件，向所述服务器发送所述最新的业务数据。
在本申请一些实施例中，所述确定所述目标项目组设备中最新的业务数据，包括：
获取所述目标项目组设备中上一次向所述服务器同步业务数据的第一时间；
在所述目标项目组设备中，查询数据生成时间晚于所述第一时间的最新业务数据；
在所述目标项目组设备中筛选出所述最新业务数据。
另一方面，本申请还提供一种数据处理装置，应用于服务器，所述服务器位于云数据处理系统，所述云数据处理系统还包括与所述服务器网络连接的多个项目组设备，所述多个项目组设备分别对应所述云数据处理系统中多个项目组，所述数据处理装置包括：
第一获取单元，用于获取同步数据指令；
请求单元，用于根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；
第二获取单元，用于获取所述多个项目组设备发送的业务数据；
存储单元，用于对所述业务数据进行校验存储。
在本申请一些实施例中，所述装置还包括确定单元，所述确定单元具体用于：
在所述根据所述同步数据指令向所述多个项目组设备发送同步数据请求之前，确定所述多个项目组对应的项目约束条件。
在本申请一些实施例中，所述确定单元具体用于：
获取所述多个项目组预先申请的消费主题；
定义所述多个项目组的业务数据格式；
获取所述多个项目组之间的依赖关系；
根据所述多个项目组预先申请的消费主题、所述多个项目组的业务数据格式、以及所述多个项目组之间的依赖关系，确定所述多个项目组对应的约束条件。
在本申请一些实施例中，所述存储单元具体用于：
对所述业务数据进行消费；
对所述消费后的业务数据进行校验后存储。
在本申请一些实施例中，所述装置还包括推送单元，所述推送单元具体用于：
当所述消费后的业务数据存储完成时，向所述多个项目组设备中每个项目组设备推送存储确认消息，所述存储确认消息中包括所述消费后的业务数据是否存储成功的信息。
另一方面，本申请还提供一种数据处理装置，应用于目标项目组设备，所述目标项目组设备位于云数据处理系统，所述云数据处理系统还包括与所述目标项目组设备网络连接的服务器，所述数据处理装置包括：
接收单元，用于接收服务器发送的同步数据请求，所述同步数据请求中包括预先确定的多个项目组对应的项目约束条件；
确定单元，用于确定所述目标项目组设备中最新的业务数据；
发送单元，用于基于所述项目约束条件，向所述服务器发送所述最新的业务数据。
在本申请一些实施例中，所述确定单元具体用于：
获取所述目标项目组设备中上一次向所述服务器同步业务数据的第一时间；
在所述目标项目组设备中，查询数据生成时间晚于所述第一时间的最新业务数据；
在所述目标项目组设备中筛选出所述最新业务数据。
另一方面，本申请还提供一种服务器，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述服务器侧的数据处理方法。
另一方面，本申请还提供一种项目组设备，所述项目组设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述项目组设备侧的数据处理方法。
另一方面，本申请还提供一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行任一项所述的数据处理方法中的步骤。
本申请实施例在现有云平台项目组业务和功能集成在一起，导致各项目设备数据关联复杂，数据同步、日志维护困难的基础上，在云数据处理系统中同步数据时，通过向所述多个项目组设备发送包括项目约束条件的同步数据请求，各项目组设备即可基于项目约束条件来向服务器反馈业务数据，该项目约束条件，保证各项目组设备云数据同步准确性同时，也能保证数据流的正确性，简化了数据同步的复杂度，后期日志维护更加方便，提高了系统管理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的云数据处理系统的场景示意图；
图2是本发明实施例提供的数据处理方法的一个实施例流程示意图；
图3是本发明实施例提供的确定多个项目组对应的约束条件的一个实施例流程示意图；
图4是本发明实施例中确定项目组设备中最新的业务数据的一个实施例流程示意图；
图5是本发明实施例中数据处理方法的另一个实施例流程示意图；
图6是本发明实施例中数据处理装置的一个实施例结构示意图；
图7是本发明实施例中数据处理装置的一个实施例结构示意图；
图8是本发明实施例中服务器的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本发明实施例提供一种数据处理方法、装置、服务器、项目组设备及存储介质，以下分别进行详细说明。
请参阅图1，图1为本发明实施例所提供的云数据处理系统的场景示意图，该云数据处理系统可以是企业云平台，例如物流企业A云平台等，该云数据处理系统可以包括多个项目组设备100和服务器200，所述多个项目组设备分别对应所述云数据处理系统中多个项目组，项目组设备100和服务器200网络连接，服务器200中集成有数据处理装置，如图1中的服务器，项目组设备100可以访问服务器200。
本发明实施例中服务器200主要用于获取同步数据指令；根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；获取所述多个项目组设备发送的业务数据；对所述业务数据进行校验存储。
本发明实施例中项目组设备100主要用于接收服务器发送的同步数据请求，所述同步数据请求中包括预先确定的多个项目组对应的项目约束条件；确定所述目标项目组设备中最新的业务数据；基于所述项目约束条件，向所述服务器发送所述最新的业务数据。
本发明实施例中，该服务器200可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本发明实施例中所描述的服务器200，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。本发明的实施例中，服务器与项目组设备之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划(3rd Generation Partnership Project，3GPP)、长期演进(Long TermEvolution，LTE)、全球互通微波访问(Worldwide Interoperability for MicrowaveAccess，WiMAX)的移动通信，或基于TCP/IP协议族(TCP/IP Protocol Suite，TCP/IP)、用户数据报协议(User Datagram Protocol，UDP)协议的计算机网络通信等。
可以理解的是，本发明实施例中所使用的项目组设备100既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种项目组设备设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的项目组设备100具体可以是台式终端或移动终端，项目组设备100具体可以云平台基础架构中的基础组件，即云数据处理系统中的基础组件，例如网络，机房，主机或数据库等对应的硬件设备。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的服务器，或者服务器网络连接关系，例如图1中仅示出1个服务器和1个项目组设备，可以理解的，该云数据处理系统还可以包括一个或多个其他服务器，或/且一个或多个与服务器网络连接的项目组设备，具体此处不作限定。
另外，如图1所示，该云数据处理系统还可以包括存储器300，用于存储业务数据，该存储器300可以存储数据库，需要说明的是存储器300可以是一个或多个，每个项目组设备可以对应一个数据库。
需要说明的是，图1所示的云数据处理系统的场景示意图仅仅是一个示例，本发明实施例描述的云数据处理系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着云数据处理系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
首先，本发明实施例中提供一种数据处理方法，应用于服务器，所述服务器位于云数据处理系统，所述云数据处理系统还包括与所述服务器网络连接的多个项目组设备，所述多个项目组设备分别对应所述云数据处理系统中多个项目组，所述数据处理方法包括：获取同步数据指令；根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；获取所述多个项目组设备发送的业务数据；对所述业务数据进行校验存储。
如图2所示，为本发明实施例中数据处理方法的一个实施例流程示意图，该数据处理方法包括：
201、获取同步数据指令。
用户在服务器中对云数据处理系统进行管理时，可以进行同步数据的操作，此时服务器即获取到同步数据指令。
202、根据所述同步数据指令向所述多个项目组设备发送同步数据请求。
其中，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据。
在云数据处理系统中，项目组以产品为维度，即一个产品对应一个项目组，具体的，一个产品可以对应到一个业务处理系统，例如，某物流企业对应的物流云平台中，中转场规划项目组，对应到中转场规划业务系统。
203、获取所述多个项目组设备发送的业务数据。
204、对所述业务数据进行校验存储。
本申请实施例在现有云平台项目组业务和功能集成在一起，导致各项目设备数据关联复杂，数据同步，日志维护困难的基础上，在云数据处理系统中同步数据时，通过向所述多个项目组设备发送包括项目约束条件的同步数据请求，各项目组设备即可基于项目约束条件来向服务器反馈业务数据，该项目约束条件，保证各项目组设备云数据同步准确性同时，也能保证数据流的正确性，简化了数据同步的复杂度，后期日志维护更加方便，提高了系统管理效率。
在本发明一些实施例中，在所述根据所述同步数据指令向所述多个项目组设备发送同步数据请求之前，所述方法包括：确定所述多个项目组对应的项目约束条件。
具体的，在本申请一些实施例中，如图3所示，所述确定所述多个项目组对应的项目约束条件，可以包括：
301、获取所述多个项目组预先申请的消费主题。
本发明实施例中，服务器与各项目组设备之间交互数据可以通过消息处理系统进行处理，该消息处理系统可以是Kafka，Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
对于云数据处理系统中每个项目组，都预先在消息处理系统申请一个消息主题，以消息处理系统是Kafka为例，每个推送消息的项目组都必须在Kafka先申请一个消费主题。例如，项目组A申请的消费主题为topicA，项目组B申请的消费主题为topicB等
302、定义所述多个项目组的业务数据格式。
本发明实施例中，对于云数据处理系统中每个项目组，如果需要推送数据到消息处理系统，云数据处理系统中的每个项目组对应的产品，需要在代码中开发推送功能，推送消息到消息处理系统(如Kafka)，推送之前，云数据处理系统会定义好推送消息的格式(即所述多个项目组的业务数据格式)，并宣导给各个项目组按照云数据处理系统定义的规则和格式去推送数据，达到“哪个项目组推送的消息，何时推送的消息”。
303、获取所述多个项目组之间的依赖关系。
本发明实施例中，可以预先定义各个项目组之间的依赖关系，依此来建立所述多个项目组之间约束关系，保证云数据处理系统中云数据准确性同时，也能保证数据流的正确性，比如云数据处理系统中数据库MySQL产品的基础信息依赖裸金属项目组的subnetid，osuuid等字段，然后按照这种依赖关系在数据库表结构上做唯一约束(Unique Key，UK)约束，形成依赖关系，这样同步数据的时候，就能达到“如果依赖方都没有推送数据，那么推送方就不能推数据的完整性校验”。
304、根据所述多个项目组预先申请的消费主题、所述多个项目组的业务数据格式、以及所述多个项目组之间的依赖关系，确定所述多个项目组对应的约束条件。
在本发明一些实施例中，当各项目组推送业务数据到消息处理系统时，服务器作为消费者会从消息处理系统对应每个项目组的主题去消费信息，然后进行存储校验，具体的，即所述对所述业务数据进行校验存储，包括：对所述业务数据进行消费；对所述消费后的业务数据进行校验后存储。
当存储完成时，服务器将会作为生产者，把是否存储成功与存储的都有哪些信息，推送给每个项目组，这个时候，各个项目组就是消费者，因此在本申请一些实施例中，所述方法还包括：当所述消费后的业务数据存储完成时，向所述多个项目组设备中每个项目组设备推送存储确认消息，所述存储确认消息中包括所述消费后的业务数据是否存储成功的信息。
本发明实施例中，项目组设备向消息处理系统推送业务数据时，可以以jason消息格式推送业务数据，服务器可以从消息处理系统中获取该jason消息格式的业务数据进行消费。
服务器对项目组设备推送过来的业务数据消费后进行存储时，需要进行一些检验，具体如下：
1)查询项目组设备对应数据库中的uk键：SELECT TABLE_SCHEMA,TABLE_NAME,NON_UNIQUE,INDEX_SCHEMA,INDEX_NAME,SEQ_IN_INDEX,COLUMN_NAME FROM information_schema.statistics WHERE TABLE_SCHEMA＝’数据库名’TABLE_NAME＝‘表名’AND non_unique＝0；
2)以uk为条件删除该记录，记录每条删除状态；
3)若项目组设备对应数据库的子表还有下级子表的话，提示错误，给出提示原因；
4)循环执行步骤2；
5)拼装json消息格式业务数据保存到项目组设备对应数据库的状态表(tt_base_table_sync_status)。
上面描述的是服务器侧的数据处理方法，下面描述项目组设备侧的数据处理方法。
请参阅图4，为本发明实施例中数据处理方法的另一个实施例流程示意图，该数据处理方法应用于目标项目组设备，所述目标项目组设备位于云数据处理系统，所述云数据处理系统还包括与所述目标项目组设备网络连接的服务器，所述数据处理方法包括：
401、接收服务器发送的同步数据请求，所述同步数据请求中包括预先确定的多个项目组对应的项目约束条件。
402、确定所述目标项目组设备中最新的业务数据。
403、基于所述项目约束条件，向所述服务器发送所述最新的业务数据。
本申请实施例中各项目组设备即可基于项目约束条件来向服务器反馈业务数据，该项目约束条件，保证各项目组设备云数据同步准确性同时，也能保证数据流的正确性，简化了数据同步的复杂度，后期日志维护更加方便，提高了系统管理效率。
在本发明一些实施例中，如图5所示，所述确定所述目标项目组设备中最新的业务数据，包括：
501、获取所述目标项目组设备中上一次向所述服务器同步业务数据的第一时间。
502、在所述目标项目组设备中，查询数据生成时间晚于所述第一时间的最新业务数据。
503、在所述目标项目组设备中筛选出所述最新业务数据。
本实施例是按照同步数据逻辑，去梳理上次服务器同步业务数据的同步时间，包含新增，更新和删除，都要根据唯一性的维度：项目组+表+系统编码+数据库，来查询最新的一次服务器同步业务数据的同步时间，基于当前时间有最新的业务数据，则筛选出来作为本次将要同步的业务数据。
本发明实施例中，每个项目组设备中，可以设置同步业务数据的时间表，同步业务数据的时间表中，可以设置对应产品名字段、表名字段、数据库名字段、用户名(这4个字段是Unique Key)找到属于它的记录，然后找到上次新增时间的字段lastAddTime(其他两个字段是lastUpdateTIme(上次更新时间)、lastDelTime(上次删除时间))，去和推送业务数据时传入的参数：当前业务数据的创建时间做对比。如果发现这条业务数据的创建时间比该表中的上次新增时间字段还要晚，那么就说明要同步这条业务数据到服务器。
在本发明一些实施例中，所述方法还包括：
当所述消费后的业务数据存储完成时，项目组设备还可以接收服务器的存储确认消息，所述存储确认消息中包括所述消费后的业务数据是否存储成功的信息，进一步的，该存储确认消息中。具体的，该存储确认消息也可以是jason数据格式，例如项目组设备收到服务器反馈的json数据格式的存储确认消息后，项目组可以拿来追溯或者保存到表，将来作为可视化页面信息展示。
本发明实施例中，对于项目组设备与消息处理系统中推送的jason格式的数据，可以进行一些特殊约定，使得数据交互更加简单，校验方便，具体的：
针对json格式数据的约定，依据java和python对json解析习惯，约定如下格式需要遵守：
1、必须为source_count，整型字段
2、tt_clouddata_statistics表核对是否有新增记录或更新(update_time)。
3、保证每次同步都有推送count，特别是插入insert和杉树delete的同步。
4、json格式必须保证正确，保证服务器的正常解析，Json正确格式的校验可以参考json官网，可以把json格式数据粘贴上去，然后点击格式化校验，即可。
为了更好实施本发明实施例中数据处理方法，在数据处理方法基础之上，本发明实施例中还提供一种数据处理装置，该数据处理装置应用于服务器，所述服务器位于云数据处理系统，所述云数据处理系统还包括与所述服务器网络连接的多个项目组设备，所述多个项目组设备分别对应所述云数据处理系统中多个项目组，如图6所示，所述数据处理装置600包括：
第一获取单元601，用于获取同步数据指令；
请求单元602，用于根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；
第二获取单元603，用于获取所述多个项目组设备发送的业务数据；
存储单元604，用于对所述业务数据进行校验存储。
在本申请一些实施例中，所述装置还包括确定单元，所述确定单元具体用于：
在所述根据所述同步数据指令向所述多个项目组设备发送同步数据请求之前，确定所述多个项目组对应的项目约束条件。
在本申请一些实施例中，所述确定单元具体用于：
获取所述多个项目组预先申请的消费主题；
定义所述多个项目组的业务数据格式；
获取所述多个项目组之间的依赖关系；
根据所述多个项目组预先申请的消费主题、所述多个项目组的业务数据格式、以及所述多个项目组之间的依赖关系，确定所述多个项目组对应的约束条件。
在本申请一些实施例中，所述存储单元604具体用于：
对所述业务数据进行消费；
对所述消费后的业务数据进行校验后存储。
在本申请一些实施例中，所述装置还包括推送单元，所述推送单元具体用于：
当所述消费后的业务数据存储完成时，向所述多个项目组设备中每个项目组设备推送存储确认消息，所述存储确认消息中包括所述消费后的业务数据是否存储成功的信息。
本申请实施例在现有云平台项目组业务和功能集成在一起，导致各项目设备数据关联复杂，数据同步，日志维护困难的基础上，在云数据处理系统中同步数据时，通过向所述多个项目组设备发送包括项目约束条件的同步数据请求，各项目组设备即可基于项目约束条件来向服务器反馈业务数据，该项目约束条件，保证各项目组设备云数据同步准确性同时，也能保证数据流的正确性，简化了数据同步的复杂度，后期日志维护更加方便，提高了系统管理效率。
上面描述的是服务器侧的数据处理装置，下面描述项目组设备侧的数据处理装置。
如图7所示，本申请还提供一种数据处理装置，应用于目标项目组设备，所述目标项目组设备位于云数据处理系统，所述云数据处理系统还包括与所述目标项目组设备网络连接的服务器，具体的，如图7所示，所述数据处理装置700包括：
接收单元701，用于接收服务器发送的同步数据请求，所述同步数据请求中包括预先确定的多个项目组对应的项目约束条件；
确定单元702，用于确定所述目标项目组设备中最新的业务数据；
发送单元703，用于基于所述项目约束条件，向所述服务器发送所述最新的业务数据。
在本申请一些实施例中，所述确定单元703具体用于：
获取所述目标项目组设备中上一次向所述服务器同步业务数据的第一时间；
在所述目标项目组设备中，查询数据生成时间晚于所述第一时间的最新业务数据；
在所述目标项目组设备中筛选出所述最新业务数据。
本申请实施例中各项目组设备即可基于项目约束条件来向服务器反馈业务数据，该项目约束条件，保证各项目组设备云数据同步准确性同时，也能保证数据流的正确性，简化了数据同步的复杂度，后期日志维护更加方便，提高了系统管理效率。
本发明实施例还提供一种服务器，其集成了本发明实施例所提供的任一种数据处理装置，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述服务器侧数据处理方法实施例中所述的数据处理方法中的步骤。
此外，本发明实施例中还提供一种项目组设备，所述项目组设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述项目组设备侧的数据处理方法。
在一个具体实施例中，本发明实施例还提供一种服务器，其集成了本发明实施例所提供的任一种数据处理装置。如图8所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解，图8中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器801是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器801可包括一个或多个处理核心；优选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。
存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括存储器控制器，以提供处理器801对存储器802的访问。
服务器还包括给各个部件供电的电源803，优选的，电源803可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元804，该输入单元804可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能，如下：
获取同步数据指令；
根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；
获取所述多个项目组设备发送的业务数据；
对所述业务数据进行校验存储。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本发明实施例所提供的任一种数据处理方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：
获取同步数据指令；
根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；
获取所述多个项目组设备发送的业务数据；
对所述业务数据进行校验存储。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种数据处理方法、装置、服务器、项目组设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理方法，其特征在于，应用于服务器，所述服务器位于云数据处理系统，所述云数据处理系统还包括与所述服务器网络连接的多个项目组设备，所述多个项目组设备分别对应所述云数据处理系统中多个项目组，所述数据处理方法包括：
获取同步数据指令；
根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；
获取所述多个项目组设备发送的业务数据；
对所述业务数据进行校验存储。
2.根据权利要求1所述的数据处理方法，其特征在于，在所述根据所述同步数据指令向所述多个项目组设备发送同步数据请求之前，所述方法包括：
确定所述多个项目组对应的项目约束条件。
3.根据权利要求2所述的数据处理方法，其特征在于，所述确定所述多个项目组对应的项目约束条件，包括：
获取所述多个项目组预先申请的消费主题；
定义所述多个项目组的业务数据格式；
获取所述多个项目组之间的依赖关系；
根据所述多个项目组预先申请的消费主题、所述多个项目组的业务数据格式、以及所述多个项目组之间的依赖关系，确定所述多个项目组对应的约束条件。
4.根据权利要求1至3中任一所述的数据处理方法，其特征在于，所述对所述业务数据进行校验存储，包括：
对所述业务数据进行消费；
对所述消费后的业务数据进行校验后存储。
5.根据权利要求4所述的数据处理方法，其特征在于，所述方法还包括：
当所述消费后的业务数据存储完成时，向所述多个项目组设备中每个项目组设备推送存储确认消息，所述存储确认消息中包括所述消费后的业务数据是否存储成功的信息。
6.一种数据处理方法，其特征在于，应用于目标项目组设备，所述目标项目组设备位于云数据处理系统，所述云数据处理系统还包括与所述目标项目组设备网络连接的服务器，所述数据处理方法包括：
接收服务器发送的同步数据请求，所述同步数据请求中包括预先确定的多个项目组对应的项目约束条件；
确定所述目标项目组设备中最新的业务数据；
基于所述项目约束条件，向所述服务器发送所述最新的业务数据。
7.根据权利要求6所述的数据处理方法，其特征在于，所述确定所述目标项目组设备中最新的业务数据，包括：
获取所述目标项目组设备中上一次向所述服务器同步业务数据的第一时间；
在所述目标项目组设备中，查询数据生成时间晚于所述第一时间的最新业务数据；
在所述目标项目组设备中筛选出所述最新业务数据。
8.一种数据处理装置，其特征在于，应用于服务器，所述服务器位于云数据处理系统，所述云数据处理系统还包括与所述服务器网络连接的多个项目组设备，所述多个项目组设备分别对应所述云数据处理系统中多个项目组，所述数据处理装置包括：
第一获取单元，用于获取同步数据指令；
请求单元，用于根据所述同步数据指令向所述多个项目组设备发送同步数据请求，所述同步数据请求中包括预先确定的所述多个项目组对应的项目约束条件，以使得所述多个项目组设备基于所述项目约束条件向所述服务器反馈业务数据；
第二获取单元，用于获取所述多个项目组设备发送的业务数据；
存储单元，用于对所述业务数据进行校验存储。
9.一种数据处理装置，其特征在于，应用于目标项目组设备，所述目标项目组设备位于云数据处理系统，所述云数据处理系统还包括与所述目标项目组设备网络连接的服务器，所述数据处理装置包括：
接收单元，用于接收服务器发送的同步数据请求，所述同步数据请求中包括预先确定的多个项目组对应的项目约束条件；
确定单元，用于确定所述目标项目组设备中最新的业务数据；
发送单元，用于基于所述项目约束条件，向所述服务器发送所述最新的业务数据。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的数据处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010026471.5A CN113111118A (zh) | 2020-01-10 | 2020-01-10 | 数据处理方法、装置、服务器、项目组设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010026471.5A CN113111118A (zh) | 2020-01-10 | 2020-01-10 | 数据处理方法、装置、服务器、项目组设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113111118A true CN113111118A (zh) | 2021-07-13 |
Family
ID=76709850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010026471.5A Pending CN113111118A (zh) | 2020-01-10 | 2020-01-10 | 数据处理方法、装置、服务器、项目组设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111118A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002099453A (ja) * | 2000-09-25 | 2002-04-05 | Hitachi Ltd | 構造化データの履歴管理方法 |
| CN101938705A (zh) * | 2009-06-30 | 2011-01-05 | 华为技术有限公司 | 群组管理方法、网络设备和网络系统 |
| CN106682140A (zh) * | 2016-12-20 | 2017-05-17 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于时间戳和映射策略的多系统用户增量同步方法 |
| CN110034983A (zh) * | 2019-03-08 | 2019-07-19 | 佛山市云米电器科技有限公司 | 基于发布-订阅消息处理机制的家居设备联动方法及系统 |
| CN110321387A (zh) * | 2019-07-10 | 2019-10-11 | 中国联合网络通信集团有限公司 | 数据同步方法、设备及终端设备 |
-
2020
- 2020-01-10 CN CN202010026471.5A patent/CN113111118A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002099453A (ja) * | 2000-09-25 | 2002-04-05 | Hitachi Ltd | 構造化データの履歴管理方法 |
| CN101938705A (zh) * | 2009-06-30 | 2011-01-05 | 华为技术有限公司 | 群组管理方法、网络设备和网络系统 |
| CN106682140A (zh) * | 2016-12-20 | 2017-05-17 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于时间戳和映射策略的多系统用户增量同步方法 |
| CN110034983A (zh) * | 2019-03-08 | 2019-07-19 | 佛山市云米电器科技有限公司 | 基于发布-订阅消息处理机制的家居设备联动方法及系统 |
| CN110321387A (zh) * | 2019-07-10 | 2019-10-11 | 中国联合网络通信集团有限公司 | 数据同步方法、设备及终端设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111831269A (zh) | 一种应用开发系统、运行方法、设备及存储介质 | |
| CN114363407B (zh) | 消息服务方法及装置、可读存储介质及电子设备 | |
| US9722890B2 (en) | Integrated incident management for hybrid landscapes | |
| CN113839977A (zh) | 消息推送方法、装置、计算机设备及存储介质 | |
| US8868583B2 (en) | Similarity calculation apparatus | |
| CN108170832B (zh) | 一种面向工业大数据的异构数据库的监控系统及监控方法 | |
| WO2019118867A1 (en) | Method, apparatus and computer program product for improving data indexing in a group-based communication platform | |
| CN113596117B (zh) | 实时数据处理方法、系统、设备及介质 | |
| CN111460038A (zh) | 一种数据准实时同步方法及装置 | |
| CN111324667A (zh) | 一种数据同步方法、装置、电子设备及存储介质 | |
| CN114020819A (zh) | 一种多系统参数同步方法及装置 | |
| CN114221985A (zh) | 设备控制方法、装置、电子设备和计算机可读存储介质 | |
| CN111555894B (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN115688695A (zh) | 协同操作处理方法、装置、设备以及介质 | |
| KR102031589B1 (ko) | 관계 체인 처리 방법 및 시스템, 그리고 저장 매체 | |
| CN114896960A (zh) | 文档处理方法、装置、计算机设备、可读存储介质和产品 | |
| CN113296796A (zh) | 项目发布方法、装置、系统、存储介质、电子设备 | |
| CN112825525A (zh) | 用于处理事务的方法和装置 | |
| CN113111118A (zh) | 数据处理方法、装置、服务器、项目组设备及存储介质 | |
| CN115964021A (zh) | 一种需求发布方法、装置、电子设备及存储介质 | |
| CN115660591A (zh) | 用于业务审批的流程配置方法、系统、电子设备及介质 | |
| CN115185841A (zh) | 系统重构测试方法、装置、设备及存储介质 | |
| CN112187916A (zh) | 一种跨系统的数据同步方法与装置 | |
| CN102904742A (zh) | 对可执行节点的操作方法及系统 | |
| CN114064619A (zh) | 一种数据维护方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |