CN116644215B - 一种跨组织结构的数据更新方法以及更新系统 - Google Patents
一种跨组织结构的数据更新方法以及更新系统 Download PDFInfo
- Publication number
- CN116644215B CN116644215B CN202310926583.XA CN202310926583A CN116644215B CN 116644215 B CN116644215 B CN 116644215B CN 202310926583 A CN202310926583 A CN 202310926583A CN 116644215 B CN116644215 B CN 116644215B
- Authority
- CN
- China
- Prior art keywords
- data
- node
- update
- updating
- central
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013475 authorization Methods 0.000 claims abstract description 28
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 239000004744 fabric Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 abstract description 8
- 230000005540 biological transmission Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 230000010354 integration Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000000547 structure data Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明适用于计算机领域,提供了一种跨组织结构的数据更新方法以及更新系统,所述方法包括:获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;将所述关联节点按照数据关联度进行划分,生成若干节点群组;确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,本申请实施例的技术方案,减少了中心服务器与每个节点之间进行交互以实现数据更新的交互次数,便于数据的集成回传。
Description
技术领域
本发明属于计算机领域,尤其涉及一种跨组织结构的数据更新方法以及更新系统。
背景技术
组织结构的中心服务器可以定时的进行数据的增量或全量更新推送,为了保证数据更新推送的准确性和统一性,这就对中心服务器的数据更新来源提出了较高的要求。
为了完成中心服务器对同一个任务的更新以及系统升级等,其涉及的数据可能分布在不同的节点中,对于这类跨节点的数据,现有技术中通过中心服务器分别调用节点的技术,即先调用第一个节点,第一个节点处理完成后,再调用第二个节点,以上这种方式,需要中心服务器与不止一个节点进行多次交互,多次交互使得交互过程较为复杂。
发明内容
本发明实施例的目的在于提供一种跨组织结构的数据更新方法以及更新系统,旨在解决上述背景技术中提出的问题。
本发明实施例是这样实现的,一方面,一种跨组织结构的数据更新方法,所述方法包括以下步骤:
获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;
将所述关联节点按照数据关联度进行划分,生成若干节点群组;
确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;
根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;
将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,所述集成更新数据是根据若干节点群组中至少两个节点群组的本地更新数据所集成的。
作为本发明的进一步方案,所述获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点,包括:
获取待更新数据的更新信息,提取所述更新信息包括的待更新数据的更新项;
对所述更新项进行分解,生成更新关键词;
确定待选节点,基于待选节点提供的历史更新数据,识别待选节点中分别符合所述更新关键词的节点,得到待更新数据的关联节点。
作为本发明的再进一步方案,所述确定待选节点,基于待选节点提供的历史更新数据,识别待选节点中分别符合所述更新关键词的节点,得到待更新数据的关联节点具体包括:
提取所述历史更新数据的更新反馈标签,识别与更新关键词之间符合对应预设相似度的更新反馈标签;
根据识别的更新反馈标签对应的待选节点,选定符合待更新数据的关联节点。
作为本发明的又进一步方案,所述将所述关联节点按照数据关联度进行划分,生成若干节点群组,包括:
识别关联节点中符合同一预设相似度的节点,得到若干节点群组,所述同一预设相似度为对应预设相似度之一。
作为本发明的进一步方案,所述确定若干节点群组中每个节点群组的中心节点具体包括:
将每个节点群组中的节点按照同一预设相似度从高到低的顺序进行排序,生成第一排序;
选取第一排序中符合前置分布占比的至少两个节点,得到第一子排序;
识别第一子排序中每个节点在预设时段内的数据吞吐量,筛选第一子排序中数据吞吐量达到预设数量级的节点,得到第二子排序;
选取第二子排序中排在首位的节点,作为每个节点群组的中心节点。
作为本发明的进一步方案,所述方法还包括:
所述若干节点群组中至少两个节点群组是按照预设条件选定的,所述预设条件包括同等条件下的历史更新速度差处于预设范围内。
作为本发明的进一步方案,所述将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,包括:
将所述数据更新指令下发给中心节点,以指示每个中心节点开始汇总其所在节点群组的本地更新数据;
若检测到每个节点中心开始汇总其所在节点群组的本地更新数据时,根据数据更新指令生成汇总指令;
根据汇总指令对至少两个节点群组的本地更新进度进行汇总检测,当检测到某个节点群组的本地更新数据汇总首先完成时,标记某个节点群组的中心节点为第一中心节点;
通过第一中心节点向至少两个节点群组中其他中心节点发送汇总指令,以使得至少两个节点群组中至少一个中心节点向第一中心节点发送本地更新数据。
作为本发明的进一步方案,所述方法还包括:
当某个节点群组的本地数据更新完成且某个节点群组的中心节点未收到其他中心节点发送的汇总完成提示时,判定某个节点群组的本地更新数据汇总首先完成,其中,至少两个节点群组中任一中心节点检测到本地更新数据汇总完成时,向除自身之外的中心节点发送汇总完成提示。
作为本发明的进一步方案,所述将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,还包括:
根据汇总指令,指示第一中心节点将至少两个节点群组的本地更新数据进行集成,生成集成更新数据并且进行回传。
作为本发明的进一步方案,另一方面,一种跨组织结构的数据更新系统,所述系统包括:
关联节点确定模块,用于获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;
群组划分模块,用于将所述关联节点按照数据关联度进行划分,生成若干节点群组;
中心确定和标识提取模块,用于确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;
指令生成模块,用于根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;
下发以及回传更新模块,用于将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,所述集成更新数据是根据若干节点群组中至少两个节点群组的本地更新数据所集成的。
本发明实施例提供的一种跨组织结构的数据更新方法以及更新系统,通过设置节点群组以及节点群组的中心节点,能够使得节点群组的数据更新更加趋于集中,因而每个节点群组的更新数据的总体完成更加具有集中性,便于集成回传,也减少了(中心服务器)与每个节点之间进行交互以实现数据更新的交互的次数,同时,将若干节点群组的数据统一回传,可以提高数据回传的集成度,在满足宽带数据传输能力的情况下,可以提升对宽带的带宽的利用率。
附图说明
图1是一种跨组织结构的数据更新方法的主流程图。
图2是一种跨组织结构的数据更新方法中根据所述更新信息确定待更新数据的关联节点的流程图。
图3是一种跨组织结构的数据更新方法中确定若干节点群组中每个节点群组的中心节点的流程图。
图4是一种跨组织结构的数据更新方法中根据数据更新指令获取中心节点所回传的集成更新数据的流程图。
图5是一种跨组织结构的数据更新系统的主结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
需要说明的是,本说明书实施例提供的跨组织结构的数据更新方法可应用于各种项目进行数据更新的场景,比如地图更新、电子商务业务升级、软件需求更新等场景,本申请对此不做任何限定;
本申请中的节点可以是计算机等网络设备,也可以是一个独立的设备,也可以是多个分服务器所形成的集中服务器,本申请对此不做限定。
本发明提供的一种跨组织结构的数据更新方法以及更新系统,解决了背景技术中的技术问题。
如图1所示,为本发明的一个实施例提供的一种跨组织结构的数据更新方法的主流程图,所述一种跨组织结构的数据更新方法包括:
步骤S10:获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;待更新数据的更新一般包括了基本的更新需求,而这些更新需求中涵盖了待更新的数据项以及关于数据项的更新属性等,例如对于地图数据中某个目标路段的拥堵数据实时更新、定制型邮箱的模块化更新所细化的会议场景数据;这些更新信息应当对应有相符合的能够提供待更新数据组成部分的数据,或者,提供待更新数据参考的数据的关联节点;
步骤S11:将所述关联节点按照数据关联度进行划分,生成若干节点群组;每个节点群组所包括的节点所提供的更新数据具有一定的关联性,可以提供相似属性的可供参考的数据;由于是基于同一或者若干相同的数据关联度,每个节点群组具有一定的关联性,例如其更新的数据具有一定的同步性和相似性;举例而言,不同进入方向的车流量汇入数据;定制型邮箱中会议场景的覆盖的关联业务数据;
步骤S12:确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;所谓的中心节点,为每个节点群组中至少一个;
步骤S13:根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;通过授权标识,能够基于每个待更新数据的更新项,获取到更新权限,确保数据更新指令是有效的,获取的更新数据能够为待更新数据所用,即中心节点所提供的更新数据能够成为待更新数据的数据项或者为待更新数据的数据项的更新提供关联参考;
步骤S14:将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,所述集成更新数据是根据若干节点群组中至少两个节点群组的本地更新数据所集成的。通过中心节点所回传的数据是集成更新数据,并且可以统一通过某节点群组的中心节点进行回传,例如若干节点群组的本地更新数据包括人员疏导数据、车辆流量统计数据、无人机拥堵探测数据时,可以将本地数据进行集成后,生成集成更新数据,再统一通过无人机拥堵探测对应的中心节点进行回传,从而不需要通过另外两个对应的中心节点进行回传,以此实现若干节点群组的数据统一回传,回传的集成度较高。可以进一步有效减少与中心服务器的更新交互次数。需要说明的是,满足相应条件的可以进行本地更新数据集成,如果不满足相应条件,可以单独回传,相应条件包括数据的传输能力、更新数据的更新优先级等。
本实施例在应用时,通过获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;将所述关联节点按照数据关联度进行划分,生成若干节点群组;确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,所述集成更新数据是根据若干节点群组中至少两个节点群组的本地更新数据所集成的,即跨越具备不同数据更新能力的节点,实现了集成更新数据的回传,通过设置节点群组以及节点群组的中心节点,只需要与中心节点进行有限次交互即可,能够使得节点群组的数据更新更加趋于集中,因而每个节点群组的更新数据的总体完成更加具有集中性,便于集成回传,也减少了(中心服务器)与每个节点之间进行交互以实现数据更新的交互的次数,同时,将若干节点群组的数据统一回传,可以提高数据回传的集成度,在满足宽带数据传输能力的情况下,可以提升对宽带的带宽的利用率。
如图2所示,作为本发明的一种优选实施例,所述获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点,包括:
步骤S101:获取待更新数据的更新信息,提取所述更新信息包括的待更新数据的更新项;当待更新数据的更新信息包括了更新项时,可以对更新项进行进一步处理,更新项即为更新数据的概括项;
步骤S102:对所述更新项进行分解,生成更新关键词;更新关键词主要描述待更新的数据;
步骤S103:确定待选节点,基于待选节点提供的历史更新数据,识别待选节点中分别符合所述更新关键词的节点,得到待更新数据的关联节点。由于时间等的变化,关联节点选取最基本的依据是从历史更新数据本身的特点以及历史更新后的反馈来识别查找。示例性的,所述确定待选节点,基于待选节点提供的历史更新数据,识别待选节点中分别符合所述更新关键词的节点,得到待更新数据的关联节点具体包括:
步骤S1031:提取所述历史更新数据的更新反馈标签,识别与更新关键词之间符合对应预设相似度的更新反馈标签;更新反馈标签是通过历史更新数据完成后,在历史更新数据应用过程中进行筛选的,其包括了历史更新数据的使用评述,其较为符合实际的使用情况;预设相似度表明更新反馈标签对应的历史更新数据是对应符合更新关键词的要求的;
步骤S1032:根据识别的更新反馈标签对应的待选节点,选定符合待更新数据的关联节点。即选定对应预设相似度的更新反馈标签对应的待选节点,进一步的,还可以包括人工直接选定的待选节点,这些被选定的节点将会作为关联节点;
关联节点的选定主要是基于历史更新数据的反馈识别来完成的,因而据此选定的关联节点,其提供的更新数据在理论上更加符合待更新数据的更新项。示例性的,待更新数据应用于地图的跨节点联合更新时,待更新数据的更新项包括目标地点的货车出入数据、目标地点的相邻节点的拥堵数据、目标地点的拥堵降低模拟计算数据;更新反馈标签包括人员疏导、车辆流量统计、无人机拥堵探测、疏通数据记录、拥堵模拟计算,因而符合对应预设相似度的分别为车辆流量统计、无人机拥堵探测、拥堵模拟计算;因而基于更新反馈标签对应的关联节点,可以提供更加完善和对应度更高的更新数据。
作为本发明的一种优选实施例,所述将所述关联节点按照数据关联度进行划分,生成若干节点群组,包括:
步骤S111:识别关联节点中符合同一预设相似度的节点,得到若干节点群组,所述同一预设相似度为对应预设相似度之一。
应当理解的是,对若干个符合同一预设相似度的节点而言,将其组成节点群组,对组成节点群组的节点而言,由于更新的是具有一定相似度的数据,因而更新后集成的本地更新数据,不仅便于查找,并且同一预设相似度往往代表各个节点的更新数据具有一定的联系,例如更新时差相差不大,更新更加趋于集中,因而每个节点群组的更新数据的总体完成更加具有集中性。
如图3所示,作为本发明的一种优选实施例,所述确定若干节点群组中每个节点群组的中心节点具体包括:
步骤S121:将每个节点群组中的节点按照同一预设相似度从高到低的顺序进行排序,生成第一排序;
符合同一预设相似度的节点也存在高低分布;因而将其按照从高到低进行排序;
步骤S122:选取第一排序中符合前置分布占比的至少两个节点,得到第一子排序;
符合前置分布占比的至少两个节点,即符合第一排序中靠前预设百分比对应的节点;筛选第一子排序的目的包括使得最符合更新关键词的节点的数据更新得到保障,第一子排序中节点作为中心节点的初步备选项,第一子排序中节点的数据传输次数更少,从而可以降低第一子排序的中心节点的相关数据在传输过程中的丢包概率;
步骤S123:识别第一子排序中每个节点在预设时段内的数据吞吐量,筛选第一子排序中数据吞吐量达到预设数量级的节点,得到第二子排序;筛选第二子顺序的目的是确定第一子顺序中在理论上吞吐数据能力较强的节点;
步骤S124:选取第二子排序中排在首位的节点,作为每个节点群组的中心节点。从而中心节点兼具数据更新的契合度和数据传输的吞吐能力。
本实施例在应用时,通过选取兼具数据更新的契合度和数据传输的吞吐能力的中心节点,不仅可以保障节点将数据传输给中心节点,还可以兼顾中心节点的相关数据在传输过程中的完整度。
如图4所示,作为本发明的一种优选实施例,所述将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,包括:
步骤S141:将所述数据更新指令下发给中心节点,以指示每个中心节点开始汇总其所在节点群组的本地更新数据;
具体的,通过中心节点接收数据更新指令后发出对其他节点的汇总指示,中心节点开始将中心群组中其他节点的本地更新数据和自身的本地更新数据进行汇总;
步骤S142:若检测到每个节点中心开始汇总其所在节点群组的本地更新数据时,根据数据更新指令生成汇总指令;
也即,只要中心节点接收到其他任一节点发送的本地更新数据时,即根据数据更新指令生成汇总指令;
步骤S143:根据汇总指令对至少两个节点群组的本地更新进度进行汇总检测,当检测到某个节点群组的本地更新数据汇总首先完成时,标记某个节点群组的中心节点为第一中心节点;
汇总指令执行中心节点的本地汇总进度检测,在众多的中心节点中,多个中心节点可以同时执行汇总步骤和汇总检测步骤,只有最先完成汇总的那个才是第一中心节点;
具体的,该部分实现的具体逻辑如下:
确定本地更新数据首先完成步骤包括:当某个节点群组的本地数据更新完成且某个节点群组的中心节点未收到其他中心节点发送的汇总完成提示时,判定某个节点群组的本地更新数据汇总首先完成,其中,至少两个节点群组中任一中心节点检测到本地更新数据汇总完成时,默认尝试向除自身之外的中心节点发送汇总完成提示。
在节点预置的步骤中,在确定第一中心节点之前,每个节点群组的中心节点均会尝试向其他中心节点发送用于表征自身完成本地更新数据汇总的汇总完成提示,因而,当某个中心节点在自身完成本地更新数据汇总且准备发送汇总完成提示之前,如果其没有接收到来自其他中心节点的汇总完成提示,那么该中心节点即为第一中心节点,对于其他中心节点而言,如果其在自身完成本地更新数据汇总之前就收到了来自第一中心节点的汇总完成提示,那么其不再向外发送汇总完成提示;例如对于A、B和C三个节点中心所在的节点群组,当A在自身完成本地更新数据汇总且准备向B和C发送汇总完成提示之前,如果A没有接收到来自B或者C的汇总完成提示,那么该A即为第一中心节点,且其继续向B和C发送汇总完成提示;对于B和C而言,如果B和C在自身完成本地更新数据汇总之前就收到了来自A的汇总完成提示,那么B和C不再向外发送汇总完成提示;
步骤S144:通过第一中心节点向至少两个节点群组中其他中心节点发送汇总指令,以使得至少两个节点群组中至少一个中心节点向第一中心节点发送本地更新数据。在确定第一中心节点之后,其向其他中心节点发送汇总指令,此时至少两个节点群组的中心节点除了自身(第一中心节点)之外还剩下至少一个,因而通过至少一个中心节点向第一中心节点发送经过汇总的本地更新数据;
进一步的,作为本发明实施例进一步的拓展,所述方法还包括:根据汇总指令,指示第一中心节点将至少两个节点群组的本地更新数据进行集成,生成集成更新数据并且进行回传。通过第一中心节点的设置,可以加快集成更新数据的回传,并且在标记至少两个节点群组的第一中心节点的过程中,不仅可以减少节点群组之间的交互次数,更是通过较少中心群组与外部的交互次数。
示例性的,所述若干节点群组中至少两个节点群组是按照预设条件选定的,所述预设条件包括同等条件下的历史更新速度差处于预设范围内。对于节点群组而言,在其他条件不变的情况下,应当选取历史更新速度接近的至少两个群组作为若干节点群组,例如对于更新同等容量大小的数据包,二者分别总计用时10min和10min21s,二者的历史更新速度差处于预设范围内,因而使得可以尽量减少节点之间本地数据更新完成的时差,使得通过第一中心节点接收至少一个中心节点的本地更新数据更快,也便于更加及时的将集成更新数据回传,从而更快地完成跨节点的数据更新。
如图5所示,作为本发明的另一种优选实施例,另一方面,一种跨组织结构的数据更新系统,所述系统包括:
关联节点确定模块100,用于获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;
群组划分模块200,用于将所述关联节点按照数据关联度进行划分,生成若干节点群组;
中心确定和标识提取模块300,用于确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;
指令生成模块400,用于根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;
下发以及回传更新模块500,用于将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,所述集成更新数据是根据若干节点群组中至少两个节点群组的本地更新数据所集成的。
具体的,参照前述跨组织结构的数据更新方法中对相关实施例的介绍,由于本系统中各模块与跨组织结构的数据更新方法中的步骤是一一对应的,因此,本系统中对应实施例的介绍,在此不再叙述。
本发明上述实施例中提供了一种跨组织结构的数据更新方法,并基于该跨组织结构的数据更新方法提供了一种跨组织结构的数据更新系统,通过获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;将所述关联节点按照数据关联度进行划分,生成若干节点群组;确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,所述集成更新数据是根据若干节点群组中至少两个节点群组的本地更新数据所集成的,跨越具备不同数据更新能力的节点,实现了集成更新数据的回传,通过设置节点群组以及节点群组的中心节点,能够使得节点群组的数据更新更加趋于集中,因而每个节点群组的更新数据的总体完成更加具有集中性,便于集成回传,也减少了(中心服务器)与每个节点之间进行交互以实现数据更新的交互的次数,同时,将若干节点群组的数据统一回传,可以提高数据回传的集成度,在满足宽带数据传输能力的情况下,可以提升对宽带的带宽的利用率。
为了能够加载上述方法和系统能够顺利运行,该系统除了包括上述各种模块之外,还可以包括比上述描述更多或更少的部件,或者组合某些部件,或者不同的部件,例如可以包括输入输出设备、网络接入设备、总线、处理器和存储器等。
所称处理器可以是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现成可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,上述处理器是上述系统的控制中心,利用各种接口和线路连接各个部分。
上述存储器可用于存储计算机以及系统程序和/或模块,上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现上述各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等。存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMediaCard,SMC),安全数字(SecureDigital,SD)卡,闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种跨组织结构的数据更新方法,其特征在于,所述方法包括:
获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;
将所述关联节点按照数据关联度进行划分,生成若干节点群组;
确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;
根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;
将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,所述集成更新数据是根据若干节点群组中至少两个节点群组的本地更新数据所集成的;
所述将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,包括:
将所述数据更新指令下发给中心节点,以指示每个中心节点开始汇总其所在节点群组的本地更新数据;
若检测到每个中心节点开始汇总其所在节点群组的本地更新数据时,根据数据更新指令生成汇总指令;
根据汇总指令对至少两个节点群组的本地更新进度进行汇总检测,当检测到某个节点群组的本地更新数据汇总首先完成时,标记某个节点群组的中心节点为第一中心节点;
通过第一中心节点向至少两个节点群组中其他中心节点发送汇总指令,以使得至少两个节点群组中其他中心节点向第一中心节点发送本地更新数据。
2.根据权利要求1所述的跨组织结构的数据更新方法,其特征在于,所述获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点,包括:
获取待更新数据的更新信息,提取所述更新信息包括的待更新数据的更新项;
对所述更新项进行分解,生成更新关键词;
确定待选节点,基于待选节点提供的历史更新数据,识别待选节点中分别符合所述更新关键词的节点,得到待更新数据的关联节点。
3.根据权利要求2所述的跨组织结构的数据更新方法,其特征在于,所述确定待选节点,基于待选节点提供的历史更新数据,识别待选节点中分别符合所述更新关键词的节点,得到待更新数据的关联节点具体包括:
提取所述历史更新数据的更新反馈标签,识别与更新关键词之间符合对应预设相似度的更新反馈标签;
根据识别的更新反馈标签对应的待选节点,选定符合待更新数据的关联节点。
4.根据权利要求3所述的跨组织结构的数据更新方法,其特征在于,所述将所述关联节点按照数据关联度进行划分,生成若干节点群组,包括:
识别关联节点中符合同一预设相似度的节点,得到若干节点群组,所述同一预设相似度为对应预设相似度之一。
5.根据权利要求4所述的跨组织结构的数据更新方法,其特征在于,所述确定若干节点群组中每个节点群组的中心节点具体包括:
将每个节点群组中的节点按照同一预设相似度从高到低的顺序进行排序,生成第一排序;
选取第一排序中符合前置分布占比的至少两个节点,得到第一子排序;
识别第一子排序中每个节点在预设时段内的数据吞吐量,筛选第一子排序中数据吞吐量达到预设数量级的节点,得到第二子排序;
选取第二子排序中排在首位的节点,作为每个节点群组的中心节点。
6.根据权利要求1所述的跨组织结构的数据更新方法,其特征在于,所述若干节点群组中至少两个节点群组是按照预设条件选定的,所述预设条件包括同等条件下的历史更新速度差处于预设范围内。
7.根据权利要求1所述的跨组织结构的数据更新方法,其特征在于,所述方法还包括:
当某个节点群组的本地数据更新完成且某个节点群组的中心节点未收到其他中心节点发送的汇总完成提示时,判定某个节点群组的本地更新数据汇总首先完成,其中,至少两个节点群组中任一中心节点检测到本地更新数据汇总完成时,任一中心节点默认尝试向除自身之外的中心节点发送汇总完成提示。
8.根据权利要求1所述的跨组织结构的数据更新方法,其特征在于,所述将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,还包括:
根据汇总指令,指示第一中心节点将至少两个节点群组的本地更新数据进行集成,生成集成更新数据并且进行回传。
9.一种跨组织结构的数据更新系统,其特征在于,所述系统包括:
关联节点确定模块,用于获取待更新数据的更新信息,根据所述更新信息确定待更新数据的关联节点;
群组划分模块,用于将所述关联节点按照数据关联度进行划分,生成若干节点群组;
中心确定和标识提取模块,用于确定若干节点群组中每个节点群组的中心节点,提取所述更新信息的授权标识;
指令生成模块,用于根据中心节点以及所述授权标识生成数据更新指令,所述授权标识用于表征待更新数据的更新项和对应更新权限之间的对应关系;
下发以及回传更新模块,用于将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,所述集成更新数据是根据若干节点群组中至少两个节点群组的本地更新数据所集成的;
其中,所述将所述数据更新指令下发给中心节点,以获取中心节点所回传的集成更新数据,包括:
将所述数据更新指令下发给中心节点,以指示每个中心节点开始汇总其所在节点群组的本地更新数据;
若检测到每个中心节点开始汇总其所在节点群组的本地更新数据时,根据数据更新指令生成汇总指令;
根据汇总指令对至少两个节点群组的本地更新进度进行汇总检测,当检测到某个节点群组的本地更新数据汇总首先完成时,标记某个节点群组的中心节点为第一中心节点;
通过第一中心节点向至少两个节点群组中其他中心节点发送汇总指令,以使得至少两个节点群组中其他中心节点向第一中心节点发送本地更新数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310926583.XA CN116644215B (zh) | 2023-07-27 | 2023-07-27 | 一种跨组织结构的数据更新方法以及更新系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310926583.XA CN116644215B (zh) | 2023-07-27 | 2023-07-27 | 一种跨组织结构的数据更新方法以及更新系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116644215A CN116644215A (zh) | 2023-08-25 |
CN116644215B true CN116644215B (zh) | 2023-09-29 |
Family
ID=87619256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310926583.XA Active CN116644215B (zh) | 2023-07-27 | 2023-07-27 | 一种跨组织结构的数据更新方法以及更新系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116644215B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107544783A (zh) * | 2016-06-27 | 2018-01-05 | 腾讯科技(深圳)有限公司 | 一种数据更新方法、装置及系统 |
CN112328616A (zh) * | 2020-11-17 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 一种数据更新方法、装置和存储介质 |
CN112732164A (zh) * | 2019-10-28 | 2021-04-30 | 北京白山耘科技有限公司 | 跨节点的数据组管理方法、装置及介质 |
CN115292407A (zh) * | 2022-07-15 | 2022-11-04 | 阿里巴巴(中国)有限公司 | 同步方法、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110209734B (zh) * | 2019-05-05 | 2022-11-18 | 深圳市腾讯计算机系统有限公司 | 数据复制方法、装置、计算机设备及存储介质 |
-
2023
- 2023-07-27 CN CN202310926583.XA patent/CN116644215B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107544783A (zh) * | 2016-06-27 | 2018-01-05 | 腾讯科技(深圳)有限公司 | 一种数据更新方法、装置及系统 |
CN112732164A (zh) * | 2019-10-28 | 2021-04-30 | 北京白山耘科技有限公司 | 跨节点的数据组管理方法、装置及介质 |
CN112328616A (zh) * | 2020-11-17 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 一种数据更新方法、装置和存储介质 |
CN115292407A (zh) * | 2022-07-15 | 2022-11-04 | 阿里巴巴(中国)有限公司 | 同步方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116644215A (zh) | 2023-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10831562B2 (en) | Method and system for operating a data center by reducing an amount of data to be processed | |
US8671134B2 (en) | Method and system for data distribution in high performance computing cluster | |
CN110471949B (zh) | 数据血缘分析方法、装置、系统、服务器及存储介质 | |
CN110427299B (zh) | 微服务系统应用的日志处理方法、相关设备及系统 | |
CN111818112A (zh) | 一种基于Kafka系统的发送消息的方法和装置 | |
CN110134738B (zh) | 分布式存储系统资源预估方法、装置 | |
CN110247979B (zh) | 一种调度方案确定方法、装置及电子设备 | |
CN109508912B (zh) | 一种业务调度方法、装置、设备和存储介质 | |
US20240095260A1 (en) | Multi-subgraph matching method and apparatus, and device | |
CN111796937A (zh) | 基于内存的资源分配方法、计算机设备及存储介质 | |
CN111813517A (zh) | 任务队列的分配方法、装置、计算机设备及介质 | |
CN116644215B (zh) | 一种跨组织结构的数据更新方法以及更新系统 | |
CN111506400A (zh) | 计算资源分配系统、方法、装置和计算机设备 | |
CN111259045A (zh) | 一种数据处理方法、装置、服务器及介质 | |
US11995587B2 (en) | Method and device for managing project by using data merging | |
CN115686746A (zh) | 访问方法、任务处理方法、计算设备及计算机存储介质 | |
US20230188619A1 (en) | Methods and systems for event management | |
CN113709099B (zh) | 混合云防火墙规则下发方法、装置、设备及存储介质 | |
CN115469915A (zh) | 基于树形结构分类管理api的方法、装置、设备及介质 | |
TW202315360A (zh) | 微服務分配方法、電子設備及儲存介質 | |
CN112667631A (zh) | 业务字段自动编辑方法、装置、设备及存储介质 | |
CN112416980A (zh) | 数据业务处理方法、装置及设备 | |
CN114116181B (zh) | 一种分布式的数据分析任务调度系统及方法 | |
CN110609854A (zh) | 字段名查询方法、系统、电子设备及计算机存储介质 | |
CN112311832B (zh) | 一种任务处理方法、系统及节点 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |