CN110245191A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN110245191A CN110245191A CN201910528089.1A CN201910528089A CN110245191A CN 110245191 A CN110245191 A CN 110245191A CN 201910528089 A CN201910528089 A CN 201910528089A CN 110245191 A CN110245191 A CN 110245191A
- Authority
- CN
- China
- Prior art keywords
- server
- value
- subscription
- subscribes
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请提供数据处理方法及装置，其中所述数据处理方法用于服务器集群中的每一台服务器，所述方法包括：获取订阅器和所述订阅器的唯一标识；获取当前服务器的唯一标识；确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码；判断所述订阅器编码与所述服务器编码是否匹配；在所述订阅器编码与所述服务器编码匹配的情况下，将所述订阅器存储到当前服务器，订阅器通过分布式存储的方式存储到服务器集群中，服务器集群支持存储海量的订阅器，并有很好的可拓展性，减轻每一台服务器的压力，提高服务器的处理速度。
Description
技术领域
本说明书涉及互联网技术领域，特别涉及一种数据处理方法、装置、计算设备及存储介质。
背景技术
随着互联网技术的发展，越来越多的信息直接在互联网上发布。
目前，由于信息数量越来越多，但是不同用户或群体关心的信息内容不同，所以如果想从海量的信息中获取想要的数据就需要通过各种复杂的检索实现。
因此，如何能快速、准确的从海量信息中获取自己关心的信息就显得尤为重要了。
发明内容
有鉴于此，本说明书实施例提供了一种数据处理方法、装置、计算设备及存储介质，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种数据处理方法，用于服务器集群中的每一台服务器，所述方法包括：
获取订阅器和所述订阅器的唯一标识；
获取当前服务器的唯一标识；
确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码；
判断所述订阅器编码与所述服务器编码是否匹配；
在所述订阅器编码与所述服务器编码匹配的情况下，将所述订阅器存储到当前服务器。
根据本说明书实施例的第二方面，提供了一种数据处理方法，用于服务器集群中的每一台服务器，所述方法包括：
获取源数据；
对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段；
获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合：
若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器：
若是，将所述源数据推送给所述目标订阅器的归属人。
根据本说明书实施例的第三方面，提供了一种数据处理装置，所述装置包括：
第一获取模块，被配置为获取订阅器和所述订阅器的唯一标识；
第二获取模块，被配置为获取当前服务器的唯一标识；
确定模块，被配置为确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码；
第一判断模块，被配置为判断所述订阅器编码与所述服务器编码是否匹配；
存储模块，被配置为在所述订阅器编码与所述服务器编码匹配的情况下，将所述订阅器存储到当前服务器。
根据本说明书实施例的第四方面，提供了一种数据处理装置，所述装置包括：
第三获取模块，被配置为获取源数据；
语义分析模块，被配置为对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段；
第二判断模块，被配置为获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合：若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器：若是，将所述源数据推送给所述目标订阅器的归属人。
根据本说明书实施例的第五方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述数据处理方法的步骤。
根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述数据处理方法的步骤。
本说明书实施例中提供的数据处理方法，通过用于服务器集群中的每一台服务器，所述方法包括：获取订阅器和所述订阅器的唯一标识；获取当前服务器的唯一标识；确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码；判断所述订阅器编码与所述服务器编码是否匹配；在所述订阅器编码与所述服务器编码匹配的情况下，将所述订阅器存储到当前服务器，订阅器通过分布式存储的方式存储到服务器集群中，服务器集群支持存储海量的订阅器，并有很好的可拓展性，减轻每一台服务器的压力，提高服务器的处理速度。
附图说明
图1是本申请一实施例提供的数据处理方法的架构图；
图2是本申请一实施例提供的一种数据处理方法的流程图；
图3是本申请一实施例提供的判断订阅器编码与当前服务器编码是否匹配的方法的流程图；
图4a是本申请一实施例提供的查找订阅器归属服务器的方法的流程图；
图4b是本申请一实施例提供的查找订阅器归属服务器的方法的示意图；
图5是本申请一实施例提供的订阅器存储方法的流程图；
图6是本申请一实施例提供的一种数据处理方法的流程图；
图7是本申请一实施例提供的一种数据处理装置的结构示意图；
图8是本申请一实施例提供的一种数据处理装置的结构示意图；
图9是本申请一实施例提供的一种电子设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本发明一个或多个实施涉及的名词术语进行解释。
订阅器：用户订阅数据的关键字段和该字段的匹配规则等数据结构化后的整体描述。
源数据：指获取信息的来源数据，可以是新闻，公告，通知等。
关键字段：用户关心的信息的字段，如标题、发布时间、发布人、主题信息等。
订阅服务器：订阅服务运行的服务器。
在本申请中，提供了两种数据处理方法，本申请同时涉及两种数据处理装置，两种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1是本申请一实施例提供的数据处理方法的架构图，其中服务器集群100中包括N个服务器，其中N为大于1的正整数。本申请提供的数据处理方法应用于服务器集群中的每个服务器中。
图2示出了根据本申请一实施例提供的数据处理方法的流程图，以图1所示的服务器101为例说明，所述数据处理方法包括步骤202至步骤210。
步骤202：获取订阅器和所述订阅器的唯一标识。
用户为了能准确获取发布到互联网上的信息，可以通过创建订阅器的方式在订阅器中定义自己关心内容，订阅器是用户订阅数据的关键字段和该字段的匹配规则等数据的整体描述，只有信息同时满足订阅器中所有关键字段的匹配规则的时候，信息与该订阅器匹配，订阅器可以通过订阅器的唯一标识确定。
例如，获取一个订阅器，订阅器如下述表1所示，表示订阅器A有三个关键字段，并且关键字段1要与值为X的数据匹配，关键字段2要与值为Y的数据匹配，关键字段3要与值为Y的数据匹配。
表1
订阅器A可以被存储在一个订阅器数据库中，则在数据库中订阅器的ID可以作为订阅的唯一标识，例如订阅器A的唯一标识记做100。
在本申请提供的一实施例中，用户订阅在北京当天发布的标题含有“专利”的文章，则可以创建一个订阅器如表2所示，同时获取订阅器的ID。
表2
步骤204：获取当前服务器的唯一标识。
获取当前服务器的唯一标识，在本实施例中以服务器101为例，则服务器101为当前服务器，获取服务器101的IP地址192.168.0.1作为唯一标识。唯一标识还可以是服务器的以太网地址或物理地址等。
步骤206：确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码。
用预设的计算规则基于所述订阅器的唯一标识获取所述订阅器的订阅器编码，预设的计算规则可以是离散哈希算法、一致性哈希算法等；
用相同的计算规则基于当前服务器的唯一标识获取当前服务器的服务器编码。
在本申请提供的一实施例中，通过一致性哈希算法，基于订阅器的ID获取订阅器编码为4096，基于当前服务器的IP地址获取当前服务器的服务器编码32768。
步骤208：判断所述订阅器编码与所述服务器编码是否匹配，若是，则执行步骤210，若否，则结束。
判断所述订阅器编码与所述服务器编码是否匹配的方法有很多，例如当订阅器编码的尾号与服务器编码的尾号相同时则表示所述订阅器编码与所述服务器编码匹配，反之则不匹配，判断所述订阅器编码与所述服务器编码是否匹配的方法在具体的应用过程中可以根据实际情况确定，本申请不做限定。
可选的，参见图3，步骤208可以通过下述步骤302至步骤310实现。
步骤302：获取所述服务器集群中每一台服务器的服务器编码。
获取图1所示服务器集群中每个服务器的服务器编码。
在本申请提供的实施例中，服务器集群中有3台服务器，分别为服务器101、服务器102和服务器103，服务器101对应的服务器编码为32768，服务器102对应的服务器编码为262144，服务器103对应的服务器编码为2097152。
步骤304：将获取到的服务器编码按照预设的规则排序，组成服务器编码序列，将所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在所述服务器编码序列中查找，将查找到距离所述订阅器编码映射位置最近的服务器编码记做第一服务器编码。
在本申请提供的实施例中，将服务器101的服务器编码32768、服务器102的服务器编码262144、服务器103的服务器编码2097152按照从小到大的顺序排列获取服务器编码序列，获取服务器编码序列；
订阅器编码4096按照同样的从小到大的顺序映射到所述服务器编码序列中，从订阅器编码4096映射的位置开始在所述服务器编码序列中按照从小到大的顺序查找服务器编码，查找距离订阅器编码4096映射的位置最近的服务器编码，经过查找发现服务器编码32768距离订阅器编码4096的映射位置最近，则将服务器编码32768记做第一服务器编码。
实现服务器编码的排序与订阅器在服务器编码序列上的查找方式的方法有很多，在具体的应用过程中可以根据实际情况确定，本申请不做限定。
可选的，参见图4a，步骤304可以通过下述步骤402至步骤406实现，图4b是本申请一实施例提供的查找订阅器归属服务器的方法的示意图。
步骤402：将获取到的服务器编码对应映射到一个有0～232个节点的圆环的相应节点上。
在本申请的实施例中，参见图4b，将获取到的服务器编码对应映射到一个有0～232个节点的圆环的相应节点上，其中0与232在所述圆环的零点方向重合，将服务器101的服务器编码32768映射到所述圆环的a位置、服务器102的服务器编码262144映射到所述圆环的b位置、服务器103的服务器编码2097152映射到所述圆环的c位置。
步骤404：将所述订阅器编码对应映射到所述圆环的相应节点上并按照顺时针的顺序在所述圆环上查找。
在本申请的实施例中，将所述订阅器编码4096对应映射到所述圆环的d位置，从d位置开始以顺时针的方向在所述圆环中查找服务器编码。
步骤406：将查找到距离所述订阅器编码映射节点最近的服务器编码记做第一服务器编码。
在本申请的实施例中，距离订阅器编码映射位置d最近的服务器编码为服务器编码32786，则将服务器编码32786记做第一服务器编码。
步骤306：判断所述第一服务器编码与所述当前服务器编码是否相同，若是，则执行步骤308，若否，则执行步骤310。
在本申请的实施例中，当前服务器101的服务器编码为32786，第一服务器编码为32786，两者相同，因此进入步骤308。
步骤308：所述订阅器编码与所述服务器编码匹配。
步骤310：所述订阅器编码与所述服务器编码不匹配。
步骤210：在所述订阅器编码与所述服务器编码匹配的情况下，将所述订阅器存储到当前服务器。
在本申请实施例中，经过步骤308可以得知订阅器编码4096与所述服务器101的服务器编码32786匹配，表示订阅器属于当前服务器，可以将订阅器存储到当前服务器101中。
可选的，参见图5，步骤210可以通过下述步骤502至步骤508实现。
步骤502：获取所述订阅器的指定关键字段的值。
为了便于订阅器存储，会指定订阅器中的某一个关键字段为指定关键字段，获取指定关键字段的值。
在本申请实施例中，指定订阅器的指定关键字段为“标题信息”，获取指定关键字段的值为“专利”。
步骤504：根据所述指定关键字段的值从预先存储的键值对数据集中查找是否有与所述指定关键字段的值相对应的第一订阅器集合，若是，则执行步骤506，若否，则执行步骤508。
预先存储的键值对数据集中，指定关键字段的值被作为主键，订阅器集合被作为键值，所述订阅器集合中订阅器的指定关键字段的值与对应的主键相同，根据订阅器指定关键字段的值在键值对数据集查找，判断在当前服务器中是否存有第一订阅器集合，第一订阅器集合是已经存储在键值对数据集中的订阅器集合。
在本申请实施例中，订阅器指定关键字段的值为“专利”，在预先存储的键值对数据集中查找主键为“专利”的第一订阅器集合。
步骤506：将所述订阅器添加到所述第一订阅器集合中。
如果查找到第一订阅器集合，按照相同的指定关键字段的值将订阅器添加到第一订阅器集合中。
在本申请实施例中，查找到当前服务器101中存有标题信息为“专利”的第一订阅器集合，将新建的订阅器添加到所述第一订阅器集合中。
步骤508：新建第二订阅器集合，将所述订阅器添加到所述第二订阅器集合中，将所述指定关键字段的值与所述第二订阅器集合存储到所述键值对数据集中。
如果没有查找到第一订阅器集合，则新建第二订阅器集合，将订阅器添加到新建的第二订阅器集合中，并将指定关键字段的值与第二订阅器集合对应存储到键值对数据集中。
本实施例提供的数据处理方法，通过服务器集群对订阅器进行分布式存储，可以将订阅器分散的存储在不同的服务器中，并且服务器集群有很好的可拓展性，在每台服务器中根据订阅器的指定关键字段的值将订阅器分类，极大地节省了计算资源，减少冗余的计算步骤，减轻每一台服务器的压力，提高服务器的处理速度。
在本申请提供的另一实施例中，在图2所示的步骤202之前还可以包括步骤S1至S2。
S1：接收订阅器的更新通知。
用户新建订阅器或更新订阅器时，可以通过一个应用程序协调服务发布更新通知，更新通知中携带订阅器的标识信息，服务器接收应用程序协调服务发布的更新通知。
S2：根据所述更新通知获取更新的订阅器。
根据更新通知中携带的订阅器的标识信息，从订阅器服务器中获取更新的订阅器。
本实施例提供的数据处理方法，通过引入应用程序协调服务，使服务器仅获取有更新的订阅器，减轻了服务器的工作压力，提高了服务器的工作效率，通过服务器集群对订阅器进行分布式存储，可以将订阅器分散的存储在不同的服务器中，并且服务器集群有很好的可拓展性，在每台服务器中根据订阅器的指定关键字段的值将订阅器分类，极大地节省了计算资源，减少冗余的计算步骤，减轻每一台服务器的压力，提高服务器的存储订阅器的处理速度。
在本申请提供的另一实施例中，在图2所示的步骤210之后还可以包括以下步骤：
获取源数据；
对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段；
获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合：
若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器：
若是，则将所述源数据推送给所述目标订阅器的归属人。
本实施例提供的数据处理方法，通过服务器集群对订阅器进行分布式存储，可以将订阅器分散的存储在不同的服务器中，并且服务器集群有很好的可拓展性，在每台服务器中根据订阅器的指定关键字段的值将订阅器分类，极大地节省了计算资源，减少冗余的计算步骤，减轻每一台服务器的压力，提高服务器的存储订阅器的处理速度，在获取源数据时，用源数据的关键字段的值与订阅器集合的指定关键字段的值匹配可以筛选大部分的订阅器，极大地节省了资源，减轻服务器的工作压力，提高了源数据匹配订阅器的工作效率。
图6示出了根据本申请一实施例的一种数据处理方法的流程图，以图1所示的服务器101为例说明，所述方法包括步骤602至步骤610。
步骤602：获取源数据。
当有新的信息或公告发布时，所述新的信息或公告就是源数据，源数据可以是新闻、咨询、公告信息等。
在本申请实施例中，获取一篇发布于北京的文章，文章的标题含有“专利”，将这篇文章作为源数据。
步骤604：对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段。
通过快速文本分类器对所述源数据进行文本语义分析，获取源数据的关键字段，并指定至少一个关键字段为指定关键字段。
在本申请实施例中，对获取的文章进行文本语义分析，获取所述文章的关键字段如表3所示，指定文章中的标题信息为指定关键字段。
表3
步骤606：获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合，若是，则执行步骤608，若否，则结束。
预先存储的键值对数据集中，指定关键字段的值被作为主键，订阅器集合被作为键值，所述订阅器集合中订阅器的指定关键字段的值与对应的主键相同。
在本申请实施例中，根据文章的指定关键字段的值“专利”，在预先存储的键值对数据集中查找指定关键字段为标题信息，并且标题信息为“专利”的订阅器集合，如果查找指定关键字段为标题信息且标题信息包含“专利”的订阅器则执行步骤608，否则就结束。
步骤608：将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器，若是，则执行步骤610，若否，则结束。
根据源数据指定关键字段的值检索到与之对应的目标订阅器集合，目标订阅器集合中包含的订阅器的指定关键字段的值都与源数据的指定关键字段的值相同，将源数据与目标订阅器中的订阅器依次比对，获取与源数据匹配的订阅器。
在本申请实施例中，获取所述文章的标题信息的值检索到目标订阅器集合，目标订阅器集合中有2个订阅器，将所述文章与目标订阅器集合中的2个订阅器依次比对，在比对第1个订阅器时，所述文章的关键字段和关键字段的值与订阅器的关键字段和关键字段的值相同，则第1个订阅器为目标订阅器，在比对第2个订阅器时，第二个订阅器订阅的是发布地区为“上海”的文章，与所述文章不符，所第2个订阅器不是目标订阅器。
步骤610：将所述源数据推送给所述目标订阅器的归属人。
目标订阅器的归属人是创建该订阅器的用户，归属人通过订阅器获取与订阅器内容相关的信息，将源数据推送给目标订阅器的归属人，完成用户的订阅行为。
本实施例提供的数据处理方法，在获取源数据时，用源数据的关键字段的值与订阅器集合的指定关键字段的值匹配可以筛选大部分的订阅器，极大地节省了资源，减轻每台服务器的工作压力，提高了工作效率。
与上述方法实施例相对应，本申请还提供了一种数据处理装置实施例，图7示出了本申请一实施例的数据处理装置的结构示意图。用于服务器集群中的每一台服务器，如图7所示，该装置包括：
接收模块702，被配置为接收订阅器的更新通知。
第四接收模块703，被配置为根据所述更新通知获取更新的订阅器。
第一获取模块704，被配置为获取订阅器和所述订阅器的唯一标识。
第二获取模块706，被配置为获取当前服务器的唯一标识。
确定模块708，被配置为确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码。
第一判断模块710，被配置为判断所述订阅器编码与所述服务器编码是否匹配。
所述第一判断模块710，进一步被配置为获取所述服务器集群中每一台服务器的服务器编码；将每一台服务器的服务器编码按照预设的规则排序，组成服务器编码序列，将所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在所述服务器编码序列中查找，将查找到距离所述订阅器编码映射位置最近的服务器编码记做第一服务器编码；判断所述第一服务器编码与所述当前服务器编码是否相同：若是，则所述订阅器编码与所述服务器编码匹配；若否，则所述订阅器编码与所述服务器编码不匹配。
所述第一判断模块710，进一步被配置为将获取到的服务器编码对应映射到一个有0～232个节点的圆环的相应节点上；将所述订阅器编码对应映射到所述圆环的相应节点上并按照顺时针的顺序在所述圆环上查找；将查找到距离所述订阅器编码映射节点最近的服务器编码记做第一服务器编码。
存储模块712，被配置为在所述订阅器编码与所述服务器编码匹配的情况下，将所述订阅器存储到当前服务器。
所述存储模块712，进一步被配置为获取所述订阅器的指定关键字段的值；根据所述指定关键字段的值从预先存储的键值对数据集中查找是否有与所述指定关键字段的值相对应的第一订阅器集合，其中，在所述键值对数据集中，指定关键字段的值被作为主键，订阅器集合被作为键值，所述订阅器集合中订阅器的指定关键字段的值与对应的主键相同：若是，将所述订阅器添加到所述第一订阅器集合中；若否，新建第二订阅器集合，将所述订阅器添加到所述第二订阅器集合中，将所述指定关键字段的值与所述第二订阅器集合存储到所述键值对数据集中。
第三获取模块714，被配置为获取源数据。
语义分析模块716，被配置为对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段。
第二判断模块718，被配置为获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合：若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器：若是，则将所述源数据推送给所述目标订阅器的归属人。
本实施例提供的数据处理装置，运行上述数据处理步骤，通过用服务器集群的方式对订阅器进行分布式存储，可以将订阅器分散的存储在不同的服务器中，可以支持存储海量的订阅器，并有很好的可拓展性，在每台服务器中根据订阅器的指定关键字段的值将订阅器分类，极大地节省了计算资源，减少冗余的计算步骤，减轻每一台服务器的压力，提高服务器的处理速度。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
与上述方法实施例相对应，本申请还提供了一种数据处理装置实施例，图8示出了本申请一实施例的一种数据处理装置的结构示意图。如图8所示，用于服务器集群中的每一台服务器，该装置包括：
第三获取模块802，被配置为获取源数据；
语义分析模块804，被配置为对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段；
第二判断模块806，被配置为获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合：若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器：若是，将所述源数据推送给所述目标订阅器的归属人。
本实施例提供的数据处理装置，运行上述数据处理步骤，在获取源数据时，用源数据的关键字段的值与订阅器集合的指定关键字段的值匹配可以筛选大部分的订阅器，极大地节省了计算资源，减少冗余的计算步骤，减轻每一台服务器的压力，提高服务器的处理速度。
图9示出了根据本申请一实施例的电子设备900的结构框图。该电子设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接，数据库950用于保存数据。
电子设备900还包括接入设备940，接入设备940使得电子设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，电子设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图9所示的电子设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
电子设备900可以是任何类型的静止或移动电子设备，包括移动计算机或移动电子设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的电子设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止电子设备。电子设备900还可以是移动式或静止式的服务器。
其中，处理器920用于执行上述任意一项所述数据处理方法的步骤。
本说明书一实施例中还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述的数据处理方法的步骤。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (16)
1.一种数据处理方法，其特征在于，用于服务器集群中的每一台服务器，所述方法包括：
获取订阅器和所述订阅器的唯一标识；
获取当前服务器的唯一标识；
确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码；
判断所述订阅器编码与所述服务器编码是否匹配；
在所述订阅器编码与所述服务器编码匹配的情况下，将所述订阅器存储到当前服务器。
2.如权利要求1所述的数据处理方法，其特征在于，
判断所述订阅器编码与所述服务器编码是否匹配包括：
获取所述服务器集群中每一台服务器的服务器编码；
将获取到的服务器编码按照预设的规则排序，组成服务器编码序列，将所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在所述服务器编码序列中查找，将查找到距离所述订阅器编码映射位置最近的服务器编码记做第一服务器编码；
判断所述第一服务器编码与所述当前服务器编码是否相同：
若是，则所述订阅器编码与所述服务器编码匹配；
若否，则所述订阅器编码与所述服务器编码不匹配。
3.如权利要求2所述的数据处理方法，其特征在于，
将每一台服务器的服务器编码按照预设的规则排序，组成服务器编码序列，将所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在所述服务器编码序列中查找，将查找到距离所述订阅器编码映射位置最近的服务器编码记做第一服务器编码，包括：
将获取到的服务器编码对应映射到一个有0～232个节点的圆环的相应节点上；
将所述订阅器编码对应映射到所述圆环的相应节点上并按照顺时针的顺序在所述圆环上查找；
将查找到距离所述订阅器编码映射节点最近的服务器编码记做第一服务器编码。
4.如权利要求1所述的数据处理方法，其特征在于，
将所述订阅器存储到当前服务器包括：
获取所述订阅器的指定关键字段的值；
根据所述指定关键字段的值从预先存储的键值对数据集中查找是否有与所述指定关键字段的值相对应的第一订阅器集合，其中，在所述键值对数据集中，指定关键字段的值被作为主键，订阅器集合被作为键值，所述订阅器集合中订阅器的指定关键字段的值与对应的主键相同：
若是，将所述订阅器添加到所述第一订阅器集合中；
若否，新建第二订阅器集合，将所述订阅器添加到所述第二订阅器集合中，将所述指定关键字段的值与所述第二订阅器集合存储到所述键值对数据集中。
5.如权利要求1所述的数据处理方法，其特征在于，在获取订阅器和所述订阅器的唯一标识之前，还包括：
接收订阅器的更新通知；
根据所述更新通知获取更新的订阅器。
6.如权利要求4所述的数据处理方法，其特征在于，在将所述订阅器存储到当前服务器之后，还包括：
获取源数据；
对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段；
获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合；
若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器；
若是，则将所述源数据推送给所述目标订阅器的归属人。
7.一种数据处理方法，其特征在于，用于服务器集群中的每一台服务器，所述方法包括：
获取源数据；
对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段；
获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合；
若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器；
若是，将所述源数据推送给所述目标订阅器的归属人。
8.一种数据处理装置，其特征在于，用于服务器集群中的每一台服务器，所述装置包括：
第一获取模块，被配置为获取订阅器和所述订阅器的唯一标识；
第二获取模块，被配置为获取当前服务器的唯一标识；
确定模块，被配置为确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码；
第一判断模块，被配置为判断所述订阅器编码与所述服务器编码是否匹配；
存储模块，被配置为在所述订阅器编码与所述服务器编码匹配的情况下，将所述订阅器存储到当前服务器。
9.如权利要求8所述的数据处理装置，其特征在于，
所述第一判断模块，进一步被配置为获取所述服务器集群中每一台服务器的服务器编码；将每一台服务器的服务器编码按照预设的规则排序，组成服务器编码序列，将所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在所述服务器编码序列中查找，将查找到距离所述订阅器编码映射位置最近的服务器编码记做第一服务器编码；判断所述第一服务器编码与所述当前服务器编码是否相同：若是，则所述订阅器编码与所述服务器编码匹配；若否，则所述订阅器编码与所述服务器编码不匹配。
10.如权利要求9所述的数据处理装置，其特征在于，
所述第一判断模块，进一步被配置为将获取到的服务器编码对应映射到一个有0～232个节点的圆环的相应节点上；将所述订阅器编码对应映射到所述圆环的相应节点上并按照顺时针的顺序在所述圆环上查找；将查找到距离所述订阅器编码映射节点最近的服务器编码记做第一服务器编码。
11.如权利要求8所述的数据处理装置，其特征在于，
所述存储模块，进一步被配置为获取所述订阅器的指定关键字段的值；根据所述指定关键字段的值从预先存储的键值对数据集中查找是否有与所述指定关键字段的值相对应的第一订阅器集合，其中，在所述键值对数据集中，指定关键字段的值被作为主键，订阅器集合被作为键值，所述订阅器集合中订阅器的指定关键字段的值与对应的主键相同：若是，将所述订阅器添加到所述第一订阅器集合中；若否，新建第二订阅器集合，将所述订阅器添加到所述第二订阅器集合中，将所述指定关键字段的值与所述第二订阅器集合存储到所述键值对数据集中。
12.如权利要求8所述的数据处理装置，其特征在于，还包括：
接收模块，被配置为接收订阅器的更新通知。
第四获取模块，被配置为根据所述更新通知获取更新的订阅器。
13.如权利要求11所述的数据处理装置，其特征在于还包括：
第三获取模块，被配置为获取源数据；
语义分析模块，被配置为对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段；
第二判断模块，被配置为获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合：若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器：若是，则将所述源数据推送给所述目标订阅器的归属人。
14.一种数据处理装置，其特征在于，用于服务器集群中的每一台服务器，所述装置包括：
第三获取模块，被配置为获取源数据；
语义分析模块，被配置为对所述源数据进行语义分析，获取源数据的至少一个关键字段和至少一个指定关键字段；
第二判断模块，被配置为获取所述指定关键字段的值，根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合：若有，将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对，判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器：若是，将所述源数据推送给所述目标订阅器的归属人。
15.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-6或7任意一项所述数据处理方法的步骤。
16.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6或7任意一项所述数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910528089.1A CN110245191B (zh) | 2019-06-18 | 2019-06-18 | 数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910528089.1A CN110245191B (zh) | 2019-06-18 | 2019-06-18 | 数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110245191A true CN110245191A (zh) | 2019-09-17 |
| CN110245191B CN110245191B (zh) | 2021-07-02 |
Family
ID=67887888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910528089.1A Active CN110245191B (zh) | 2019-06-18 | 2019-06-18 | 数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110245191B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026972A (zh) * | 2019-12-26 | 2020-04-17 | 远景智能国际私人投资有限公司 | 物联网中的订阅数据推送方法、装置、设备及存储介质 |
| CN112632147A (zh) * | 2020-12-11 | 2021-04-09 | 邦彦技术股份有限公司 | 数据差异化比较方法、系统和存储介质 |
| CN112835537A (zh) * | 2021-03-12 | 2021-05-25 | 东莞中国科学院云计算产业技术创新与育成中心 | 分布式数据访问方法、装置、计算机设备 |
| CN114650291A (zh) * | 2020-12-17 | 2022-06-21 | 中移(苏州)软件技术有限公司 | 订阅信息处理方法及装置、服务节点、存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6956831B1 (en) * | 2000-08-28 | 2005-10-18 | Converse Ltd. | Wireless initiated messaging |
| CN103237045A (zh) * | 2013-02-22 | 2013-08-07 | 北方工业大学 | 大规模实时交通数据的并行处理系统和并行处理方法 |
| CN103631715A (zh) * | 2013-11-28 | 2014-03-12 | 北京奇虎科技有限公司 | 应用测试方法、设备及系统 |
| CN103678549A (zh) * | 2013-12-04 | 2014-03-26 | 新浪网技术(中国)有限公司 | 网页页面数据共享方法和装置 |
| CN108011687A (zh) * | 2016-11-01 | 2018-05-08 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置 |
| CN108196796A (zh) * | 2017-12-29 | 2018-06-22 | 暴风集团股份有限公司 | 一种数据处理的方法、装置、电子设备、程序和介质 |
| CN108737570A (zh) * | 2018-06-22 | 2018-11-02 | 北京奇艺世纪科技有限公司 | 一种信息推送方法、装置及系统 |
-
2019
- 2019-06-18 CN CN201910528089.1A patent/CN110245191B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6956831B1 (en) * | 2000-08-28 | 2005-10-18 | Converse Ltd. | Wireless initiated messaging |
| CN103237045A (zh) * | 2013-02-22 | 2013-08-07 | 北方工业大学 | 大规模实时交通数据的并行处理系统和并行处理方法 |
| CN103631715A (zh) * | 2013-11-28 | 2014-03-12 | 北京奇虎科技有限公司 | 应用测试方法、设备及系统 |
| CN103678549A (zh) * | 2013-12-04 | 2014-03-26 | 新浪网技术(中国)有限公司 | 网页页面数据共享方法和装置 |
| CN108011687A (zh) * | 2016-11-01 | 2018-05-08 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置 |
| CN108196796A (zh) * | 2017-12-29 | 2018-06-22 | 暴风集团股份有限公司 | 一种数据处理的方法、装置、电子设备、程序和介质 |
| CN108737570A (zh) * | 2018-06-22 | 2018-11-02 | 北京奇艺世纪科技有限公司 | 一种信息推送方法、装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈亮: "RFID信息服务系统研究与设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026972A (zh) * | 2019-12-26 | 2020-04-17 | 远景智能国际私人投资有限公司 | 物联网中的订阅数据推送方法、装置、设备及存储介质 |
| CN112632147A (zh) * | 2020-12-11 | 2021-04-09 | 邦彦技术股份有限公司 | 数据差异化比较方法、系统和存储介质 |
| CN112632147B (zh) * | 2020-12-11 | 2023-10-24 | 邦彦技术股份有限公司 | 数据差异化比较方法、系统和存储介质 |
| CN114650291A (zh) * | 2020-12-17 | 2022-06-21 | 中移(苏州)软件技术有限公司 | 订阅信息处理方法及装置、服务节点、存储介质 |
| CN114650291B (zh) * | 2020-12-17 | 2024-05-07 | 中移(苏州)软件技术有限公司 | 订阅信息处理方法及装置、服务节点、存储介质 |
| CN112835537A (zh) * | 2021-03-12 | 2021-05-25 | 东莞中国科学院云计算产业技术创新与育成中心 | 分布式数据访问方法、装置、计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110245191B (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245191A (zh) | 数据处理方法及装置 | |
| CN110147437A (zh) | 一种基于知识图谱的搜索方法及装置 | |
| CN107436875B (zh) | 文本分类方法及装置 | |
| CN107491996B (zh) | 一种网页广告投放方法与系统 | |
| CN105187237B (zh) | 查找相关联的用户标识的方法和装置 | |
| CN103501374B (zh) | 电话簿排序方法及装置、终端 | |
| US9430755B2 (en) | System and method to enable communication group identification | |
| CN107871501A (zh) | 使用智能语音识别的自动化软件执行方法 | |
| CN1392704A (zh) | 选择同步数据 | |
| CN109885576A (zh) | 一种哈希表创建方法及系统、计算设备及存储介质 | |
| CN110119473A (zh) | 一种目标文件知识图谱的构建方法及装置 | |
| CN103561148B (zh) | 联系人分组的方法和终端 | |
| CN106850750A (zh) | 一种实时推送信息的方法和装置 | |
| US11443202B2 (en) | Real-time on the fly generation of feature-based label embeddings via machine learning | |
| KR102086936B1 (ko) | 사용자 데이터 공유 방법 및 디바이스 | |
| US8301581B2 (en) | Group compositing algorithms for presence | |
| CN104780257A (zh) | 联系人提示信息生成方法、装置和终端 | |
| Chibani et al. | Elephant herding optimization for service selection in qos-aware web service composition | |
| CN104348941B (zh) | 一种利用手机通讯录查找期望用户的方法及装置 | |
| CN104794130B (zh) | 一种表间关联查询方法和装置 | |
| CN112351088A (zh) | 一种cdn缓存方法、装置、计算机设备及存储介质 | |
| CN110008077A (zh) | 一种异常报警监控方法及装置、一种计算设备及存储介质 | |
| CN111814020A (zh) | 一种数据的获取方法和装置 | |
| CN111723122A (zh) | 数据间关联规则的确定方法、装置、设备及可读存储介质 | |
| CN115186077A (zh) | 一种槽位信息提取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |