CN111338795A - 数据处理方法及设备 - Google Patents
数据处理方法及设备 Download PDFInfo
- Publication number
- CN111338795A CN111338795A CN202010099670.9A CN202010099670A CN111338795A CN 111338795 A CN111338795 A CN 111338795A CN 202010099670 A CN202010099670 A CN 202010099670A CN 111338795 A CN111338795 A CN 111338795A
- Authority
- CN
- China
- Prior art keywords
- data
- contact information
- acquisition task
- data acquisition
- contact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000001960 triggered effect Effects 0.000 claims abstract description 55
- 230000002093 peripheral effect Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Abstract
本发明实施例提供了一种数据处理方法及设备，所述方法包括获取用户触发的目标触点信息，获取目标触点信息对应的触点匹配规则，根据目标触点信息对应的触点匹配规则判断是否需要触发触点信息对应的数据获取任务，若需要触发触点信息对应的数据获取任务，则创建新的数据获取任务，根据数据获取任务获取对应的数据，并将获取的数据发送至分布式消息中间件，以使分布式消息中间件将获取的对应的数据根据外围系统的需求对应进行数据分配。实现了外围系统数据的实时获取，且无需再为外围系统提供全部的数据，提高了数据的获取效率。
Description
技术领域
本发明实施例数据处理技术领域，尤其涉及一种数据处理方法及设备。
背景技术
随着移动互联网的深入发展，运营商系统内生产和传输的用户基础消费数据成指数级增长，运营商系统内存储的用户基础消费数据也对应着成指数级增长，一般用户基础消费数据存储在运营商系统的数据中心内。
运营商系统的数据中心基本采用大数据存储，每隔预设时长为每个外围系统提供数据服务，外围系统再根据业务场景，对从各个数据服务获取的数据结果进行过滤加工，得到外围系统想要的目标数据。
然而，在传统的数据获取方式中，由于各外围系统不能实时获取到想要的数据，且外围系统接收到的数据是数据中心中的全部数据，导致存在数据获取效率低的问题。
发明内容
本发明实施例提供一种数据处理方法及设备，以提高数据获取的效率。
第一方面，本发明实施例提供一种数据处理方法，包括：获取用户触发的目标触点信息；获取所述目标触点信息对应的触点匹配规则；根据所述目标触点信息对应的触点匹配规则判断是否需要触发所述触点信息对应的数据获取任务；若需要触发所述触点信息对应的数据获取任务，则创建新的数据获取任务；根据所述数据获取任务获取对应的数据，并将获取的数据发送至分布式消息中间件，以使所述分布式消息中间件将所述获取的对应的数据根据外围系统的需求对应进行数据分配。
可选的，在所述获取用户触发的目标触点信息之前，还包括：获取设置的至少一个触点信息；获取每个触点信息对应的触点匹配规则；将每个触点信息与对应的触点匹配规则进行存储。
可选的，还包括：每隔预设时长根据预设触点匹配规则来判断是否需要触发目标触点对应的数据任务。
可选的，所述数据获取任务中包括数据加工规则，在所述根据所述数据获取任务获取对应的数据之后，还包括：根据所述数据获取任务中的数据加工规则对获取的数据进行加工，得到加工后的数据。
可选的，所述根据所述数据获取任务中的数据加工规则对获取的对应的数据进行加工，得到加工后的数据，包括：根据所述数据获取任务中的数据加工规则对获取的数据进行封装处理，得到json格式的数据。
可选的，所述分布式消息中间件为rabbitMQ、ActiveMQ或kafka。
可选的，所述目标触点信息对应的触点匹配规则为消息发送频率规则、流量使用阈值规则或语音通话时长阈值规则。
第二方面，本发明实施例提供一种数据处理设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得执行所述计算机程序时实现如下步骤：获取用户触发的目标触点信息；获取所述目标触点信息对应的触点匹配规则；根据所述目标触点信息对应的触点匹配规则判断是否需要触发所述触点信息对应的数据获取任务；若需要触发所述触点信息对应的数据获取任务，则创建新的数据获取任务；根据所述数据获取任务获取对应的数据，并将获取的数据发送至分布式消息中间件，以使所述分布式消息中间件将所述获取的对应的数据根据外围系统的需求对应进行数据分配。
可选的，所述处理器执行所述计算机程序时还实现如下步骤：获取设置的至少一个触点信息；获取每个触点信息对应的触点匹配规则；将每个触点信息与对应的触点匹配规则进行存储。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的数据处理方法。
本发明实施例提供了一种数据处理方法及设备，采用上述方案后，能根据获取的用户触发的触点信息确定对应的数据获取任务，然后根据确定的数据获取任务获取对应的数据，并将获取的数据发送至消息中间件，使得消息中间件可以根据外围系统的实际需求对数据进行分配，可以实现外围系统数据的实时获取，且无需再为外围系统提供全部的数据，提高了数据的获取效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据处理方法的架构示意图；
图2为本发明实施例提供的数据处理方法的流程示意图；
图3为本发明实施例提供的触点获取的应用示意图；
图4为本发明实施例提供的数据处理装置的结构示意图；
图5为本发明实施例提供的数据处理设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本发明实施例提供的数据处理方法的架构示意图，如图1所示，包括：客户端101、服务器102、分布式消息中间件103和外围系统104。客户端101上设置有触点，用户可以在客户端101上触发触点，产生触点信息。服务器102用于获取触点信息，并对触点信息进行处理，然后将处理完成的触点信息发送至分布式消息中间件103。分布式消息中间件103连接着多个外围系统104。分布式消息中间件103在收到处理完成的触点信息之后，根据每个外围系统104的实际数据需求，将外围系统104实际需要的数据对应发送至外围系统104，而无需再将所有数据都发送至每个外围系统104。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明实施例提供的数据处理方法的流程示意图，本实施例的方法可以由服务器102执行。如图2所示，本实施例的方法，可以包括：
S201：获取用户触发的目标触点信息。
具体的，在客户端上，可能会设置多种类型的触点。不同的触点可以代表不同的业务。例如，触点可以是用户资源使用、用户费用使用或业务订购。
此外，还可以通过触点抓取功能来响应触点，进而获取用户触发的触点信息。
S202：获取所述目标触点信息对应的触点匹配规则。
具体的，不同的触点信息对应不同的触点匹配规则，当确定了用户触发的触点信息之后，可以对应确定该触点信息对应的匹配规则。此外，触点匹配规则中可以有多条规则。例如，触点信息可以是流量使用，触点匹配规则可以是流量使用阈值规则，流量使用阈值规则中可以有多个流量使用阈值，每个流量使用阈值对应不同的推荐套餐，最终将确定的推荐套餐推荐给用户。
S203：根据预设触点匹配规则判断是否需要触发所述触点信息对应的数据获取任务，其中，所述数据获取任务中包括数据加工规则。
具体的，不同的触点对应不同的匹配规则，且不同的触点可以通过个性化、可配置化的匹配规则进行触点捕捉。当触发触点之后，可以根据触点对应的匹配规则判断是否需要触发触点对应的任务。若需要触发触点对应的任务，则可以获取触点信息对应的数据获取任务。其中，获取触点信息对应的数据获取任务可以是创建数据获取任务，还可以是直接启动已经创建好的数据获取任务。
若不需要触发触点对应的任务，则可以直接不响应。其中，触点可以是用户发送消息，用户发送消息对应的匹配规则可以是用户在预设时长内连续发送n条消息。当触发的触点满足上述匹配规则时，可以触发消息获取任务。
S204：若需要触发所述触点信息对应的数据获取任务，则创建新的数据获取任务。
具体的，每一项触点匹配规则对应一项数据任务，负责对应数据的加工。例如，若触点匹配规则对应的数据任务为消息获取任务，则可以负责对消息进行加工。
S205：根据所述数据获取任务获取对应的数据，并将获取的数据发送至分布式消息中间件，以使所述分布式消息中间件将所述获取的对应的数据根据外围系统的需求对应进行数据分配。
具体的，根据数据获取任务获取对应的数据时，可以通过可扩展的数据网关接口，支持不同数据库的访问。还可以对不同的数据对应进行加工。例如，可以根据不同的规则因子进行数据的过滤、聚合，输出结果格式也可以配置化实现。
其中，继续以流量使用阈值规则为例，当根据用户使用的流量对应的流量使用阈值确定需要触发触点信息对应的数据获取任务之后，可以根据确定的流量使用阈值创建对应的数据获取任务。然后根据创建的数据获取任务获取用户的基本信息、历史流量使用信息、历史通话时长信息等发送至消息中间件，使得消息中间件根据外围系统的实际需求，将获取的用户的基本信息、历史流量使用信息、历史通话时长信息等统一发送至对应的外围系统进行处理。而无需再与分布式消息中间件中的其他数据统一放置，然后再将消息统一分发至外围系统，外围系统再根据实际需要提取需要的数据。此外，外围系统可以根据收到的用户的基本信息、历史流量使用信息、历史通话时长信息等确定推荐给用户的推荐套餐。
此外，在获取到数据之后，可以将数据发送至分布式消息中间件。分布式消息中间件可以应用在分布式系统中的解耦、异步消息处理、流量销锋处理、日志处理等场景。且可以作为消息平台，有统一的封装接口。其中，分布式消息中间件可以根据业务需要采用rabbitMQ、ActiveMQ或kafka等消息中间件。
此外，分布式消息中间件还可以连接多个外围系统，外围系统可以代表不同的应用或不同的业务功能。外围系统可以根据不同应用和不同业务功能的要求，通过订阅式分布式消息中间件的不同主题消费到不同的数据实体，这样既满足外围对数据实时性要求，又可以以一对多的方式，满足多方要求。
采用上述方案后，能根据获取的用户触发的触点信息确定对应的数据获取任务，然后根据确定的数据获取任务获取对应的数据，并将获取的数据发送至消息中间件，使得消息中间件可以根据外围系统的实际需求对数据进行分配，可以实现外围系统数据的实时获取，且无需再为外围系统提供全部的数据，提高了数据的获取效率。
基于图2的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
此外，在一个具体实施方式中，在所述获取用户触发的目标触点信息之前，还可以包括：
获取设置的至少一个触点信息。获取每个触点信息对应的触点匹配规则。将每个触点信息与对应的触点匹配规则进行存储。
具体的，不同的触点信息对应不同的触点匹配规则，在获取触点信息之前，可以先配置好每个触点对应的触点匹配规则，并保存触点与触点匹配规则的对应关系。在后续触发触点时，可以获取触点对应的触点匹配规则，并根据触点匹配规则判断是否需要触发相应的任务。
此外，在一个具体实施方式中，所述方法还可以包括：
每隔预设时长根据预设触点匹配规则来判断是否需要触发目标触点对应的数据任务。
具体的，在根据匹配规则判断是否需要触发任务时，可以根据触发的触点实时判断，也可以每隔预设时长判断一次，减少触发的频率，进而节约服务器的资源，保证了服务器系统的稳定运行。
此外，在一个具体实施方式中，所述数据获取任务中包括数据加工规则，在所述根据所述数据获取任务获取对应的数据之后，还可以包括：
根据所述数据获取任务中的数据加工规则对获取的数据进行加工，得到加工后的数据。
具体的，在根据数据获取任务获取到数据之后，为了便于后续分布式消息中间件的处理，可以先对数据进行加工。可以根据每个数据任务的不同的触点类型对数据加工，同时把加工好的数据推送到分布式消息中间件。
此外，在一个具体实施方式中，所述根据所述数据获取任务中的数据加工规则对获取的对应的数据进行加工，得到加工后的数据，可以包括：
根据所述数据获取任务中的数据加工规则对获取的数据进行封装处理，得到json格式的数据。
此外，在一个具体实施方式中，所述分布式消息中间件为rabbitMQ、ActiveMQ或kafka。
此外，在一个具体实施方式中，所述目标触点信息对应的触点匹配规则为消息发送频率规则、流量使用阈值规则或语音通话时长阈值规则。
具体的，消息发送频率可以为短信发送频率，可以根据用户的短信发送频率确定是否为用户推荐短信套餐。同理，流量使用阈值可以为用户的流量使用量。语音通话时长阈值可以为用户语音通话的时长。可以为用户主叫时长，也可以为用户被叫时长。
此外，在一个具体实施方式中，如图3所示，为本发明实施例提供的触点获取的应用示意图，具体可以包括：触点为用户话单，即用户的发送消息。可以为实时处理用户话单，也可以为定时处理用户话单。然后可以通过设置好的规则来判断是否需要触发数据任务，满足规则从而可以创建或启动一个数据获取任务。数据加工服务根据匹配的数据加工要求，把原始数据逐层加工并封装成json或其它格式，然后数据加工服务把加工好的数据发布到以kafka消息平台。然后kafka消息平台根据不同应用和不同业务要求，将数据分配至不同的应用或不同的业务进行处理。
此外，在一个具体实施方式中，还可以记录应用及数据加工要素轨迹，并对业务处理做实时监控和总量统计。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置，如图4所示，为本发明实施例提供的数据处理装置的结构示意图，可以包括：
触控模块401，用于获取用户触发的目标触点信息。
具体的，在客户端上，可能会设置多种类型的触点。不同的触点可以代表不同的业务。例如，触点可以是用户资源使用、用户费用使用或业务订购。
处理模块402，用于获取所述目标触点信息对应的触点匹配规则。
所述处理模块402，还用于根据所述目标触点信息对应的触点匹配规则判断是否需要触发所述触点信息对应的数据获取任务。
具体的，不同的触点对应不同的匹配规则，且不同的触点可以通过个性化、可配置化的匹配规则进行触点捕捉。当触发触点之后，可以根据触点对应的匹配规则判断是否需要触发触点对应的任务。若需要触发触点对应的任务，则可以获取触点信息对应的数据获取任务。其中，获取触点信息对应的数据获取任务可以是创建数据获取任务，还可以是直接启动已经创建好的数据获取任务。
若不需要触发触点对应的任务，则可以直接不响应。其中，触点可以是用户发送消息，用户发送消息对应的匹配规则可以是用户在预设时长内连续发送n条消息。当触发的触点满足上述匹配规则时，可以触发消息获取任务。
所述处理模块402，还可以用于若需要触发所述触点信息对应的数据获取任务，则创建新的数据获取任务。
具体的，每一项触点匹配规则对应一项数据任务，负责对应数据的加工。例如，若触点匹配规则对应的数据任务为消息获取任务，则可以负责对消息进行加工。
所述处理模块402，还可以用于根据所述数据获取任务获取对应的数据，并将获取的数据发送至分布式消息中间件，以使所述分布式消息中间件将所述获取的对应的数据根据外围系统的需求对应进行数据分配。
具体的，根据数据获取任务获取对应的数据时，可以通过可扩展的数据网关接口，支持不同数据库的访问。还可以对不同的数据对应进行加工。例如，可以根据不同的规则因子进行数据的过滤、聚合，输出结果格式也可以配置化实现。
此外，在获取到数据之后，可以将数据发送至分布式消息中间件。分布式消息中间件可以应用在分布式系统中的解耦、异步消息处理、流量销锋处理、日志处理等场景。且可以作为消息平台，有统一的封装接口。其中，分布式消息中间件可以根据业务需要采用rabbitMQ、ActiveMQ或kafka等消息中间件。
此外，分布式消息中间件还可以连接多个外围系统，外围系统可以代表不同的应用或不同的业务功能。外围系统可以根据不同应用和不同业务功能的要求，通过订阅式分布式消息中间件的不同主题消费到不同的数据实体，这样既满足外围对数据实时性要求，又可以以一对多的方式，满足多方要求。
采用上述方案后，能根据获取的用户触发的触点信息确定对应的数据获取任务，然后根据确定的数据获取任务获取对应的数据，并将获取的数据发送至消息中间件，使得消息中间件可以根据外围系统的实际需求对数据进行分配，可以实现外围系统数据的实时获取，且无需再为外围系统提供全部的数据，提高了数据的获取效率。
此外，在一个具体实施方式中，所述处理模块402，还可以用于：
获取设置的至少一个触点信息。
获取每个触点信息对应的触点匹配规则。
将每个触点信息与对应的触点匹配规则进行存储。
此外，在一个具体实施方式中，所述处理模块402，还可以用于：
每隔预设时长根据预设触点匹配规则来判断是否需要触发目标触点对应的数据任务。
此外，在一个具体实施方式中，所述处理模块402，还可以用于：
根据所述数据获取任务中的数据加工规则对获取的数据进行加工，得到加工后的数据。
此外，在一个具体实施方式中，所述处理模块402，还可以用于：
根据所述数据获取任务中的数据加工规则对获取的数据进行封装处理，得到json格式的数据。
此外，在一个具体实施方式中，所述分布式消息中间件为rabbitMQ、ActiveMQ或kafka。
此外，在一个具体实施方式中，所述目标触点信息对应的触点匹配规则为消息发送频率规则、流量使用阈值规则或语音通话时长阈值规则。
本发明实施例提供的装置，可以实现上述如图4所示的实施例的方法，其实现原理和技术效果类似，此处不再赘述。
图5为本发明实施例提供的数据处理设备的硬件结构示意图。如图5所示，本实施例提供的设备500包括：至少一个处理器501和存储器502。其中，处理器501、存储器502通过总线503连接。
在具体实现过程中，至少一个处理器501执行所述存储器502存储的计算机执行指令，使得至少一个处理器501执行所述计算机程序时实现如下步骤：
获取用户触发的目标触点信息。
获取所述目标触点信息对应的触点匹配规则。
根据所述目标触点信息对应的触点匹配规则判断是否需要触发所述触点信息对应的数据获取任务。
若需要触发所述触点信息对应的数据获取任务，则创建新的数据获取任务。
根据所述数据获取任务获取对应的数据，并将获取的数据发送至分布式消息中间件，以使所述分布式消息中间件将所述获取的对应的数据根据外围系统的需求对应进行数据分配。
所述处理器执行所述计算机程序时还实现如下步骤：
获取设置的至少一个触点信息。
获取每个触点信息对应的触点匹配规则。
将每个触点信息与对应的触点匹配规则进行存储。
所述处理器执行所述计算机程序时还实现如下步骤：每隔预设时长根据预设触点匹配规则来判断是否需要触发目标触点对应的数据任务。
所述处理器执行所述计算机程序时还实现如下步骤：根据所述数据获取任务中的数据加工规则对获取的数据进行加工，得到加工后的数据。
所述处理器执行所述计算机程序时还实现如下步骤：根据所述数据获取任务中的数据加工规则对获取的数据进行封装处理，得到json格式的数据。
所述处理器执行所述计算机程序时还实现如下步骤：所述分布式消息中间件为rabbitMQ、ActiveMQ或kafka。
所述处理器执行所述计算机程序时还实现如下步骤：所述目标触点信息对应的触点匹配规则为消息发送频率规则、流量使用阈值规则或语音通话时长阈值规则。
处理器501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图5所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例的数据处理方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取用户触发的目标触点信息；
获取所述目标触点信息对应的触点匹配规则；
根据所述目标触点信息对应的触点匹配规则判断是否需要触发所述触点信息对应的数据获取任务；
若需要触发所述触点信息对应的数据获取任务，则创建新的数据获取任务；
根据所述数据获取任务获取对应的数据，并将获取的数据发送至分布式消息中间件，以使所述分布式消息中间件将所述获取的对应的数据根据外围系统的需求对应进行数据分配。
2.根据权利要求1所述的方法，其特征在于，在所述获取用户触发的目标触点信息之前，还包括：
获取设置的至少一个触点信息；
获取每个触点信息对应的触点匹配规则；
将每个触点信息与对应的触点匹配规则进行存储。
3.根据权利要求1所述的方法，其特征在于，还包括：
每隔预设时长根据预设触点匹配规则来判断是否需要触发目标触点对应的数据任务。
4.根据权利要求1所述的方法，其特征在于，所述数据获取任务中包括数据加工规则，在所述根据所述数据获取任务获取对应的数据之后，还包括：
根据所述数据获取任务中的数据加工规则对获取的数据进行加工，得到加工后的数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述数据获取任务中的数据加工规则对获取的对应的数据进行加工，得到加工后的数据，包括：
根据所述数据获取任务中的数据加工规则对获取的数据进行封装处理，得到json格式的数据。
6.根据权利要求1所述的方法，其特征在于，所述分布式消息中间件为rabbitMQ、ActiveMQ或kafka。
7.根据权利要求1所述的方法，其特征在于，所述目标触点信息对应的触点匹配规则为消息发送频率规则、流量使用阈值规则或语音通话时长阈值规则。
8.一种数据处理设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得执行所述计算机程序时实现如下步骤：
获取用户触发的目标触点信息；
获取所述目标触点信息对应的触点匹配规则；
根据所述目标触点信息对应的触点匹配规则判断是否需要触发所述触点信息对应的数据获取任务；
若需要触发所述触点信息对应的数据获取任务，则创建新的数据获取任务；
根据所述数据获取任务获取对应的数据，并将获取的数据发送至分布式消息中间件，以使所述分布式消息中间件将所述获取的对应的数据根据外围系统的需求对应进行数据分配。
9.根据权利要求8所述的设备，其特征在于，所述处理器执行所述计算机程序时还实现如下步骤：
获取设置的至少一个触点信息；
获取每个触点信息对应的触点匹配规则；
将每个触点信息与对应的触点匹配规则进行存储。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099670.9A CN111338795A (zh) | 2020-02-18 | 2020-02-18 | 数据处理方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099670.9A CN111338795A (zh) | 2020-02-18 | 2020-02-18 | 数据处理方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111338795A true CN111338795A (zh) | 2020-06-26 |
Family
ID=71185391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010099670.9A Pending CN111338795A (zh) | 2020-02-18 | 2020-02-18 | 数据处理方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111338795A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
| CN106843908A (zh) * | 2017-03-07 | 2017-06-13 | 北京中交创新投资发展有限公司 | 数据综合采集方法及系统 |
| CN106971254A (zh) * | 2017-02-13 | 2017-07-21 | 上海瀚之友信息技术服务有限公司 | 一种业务监控系统及方法 |
| CN110413673A (zh) * | 2019-07-08 | 2019-11-05 | 中国人民银行清算总中心 | 数据库数据统一采集与分发方法及系统 |
| CN110472102A (zh) * | 2019-08-22 | 2019-11-19 | 北京锐安科技有限公司 | 一种数据处理方法、装置、设备和存储介质 |
-
2020
- 2020-02-18 CN CN202010099670.9A patent/CN111338795A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101969475A (zh) * | 2010-11-15 | 2011-02-09 | 张军 | 基于云计算的商业数据可控分发与融合应用系统 |
| CN106971254A (zh) * | 2017-02-13 | 2017-07-21 | 上海瀚之友信息技术服务有限公司 | 一种业务监控系统及方法 |
| CN106843908A (zh) * | 2017-03-07 | 2017-06-13 | 北京中交创新投资发展有限公司 | 数据综合采集方法及系统 |
| CN110413673A (zh) * | 2019-07-08 | 2019-11-05 | 中国人民银行清算总中心 | 数据库数据统一采集与分发方法及系统 |
| CN110472102A (zh) * | 2019-08-22 | 2019-11-19 | 北京锐安科技有限公司 | 一种数据处理方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111104664B (zh) | 一种电子设备的风险识别方法及服务器 | |
| CN112311617A (zh) | 一种配置化数据监控告警方法及系统 | |
| US20200257749A1 (en) | Method and a device for friend recommendation | |
| CN112383585A (zh) | 消息处理系统、方法及电子设备 | |
| CN111371772A (zh) | 基于redis的智能网关限流方法、系统和计算机设备 | |
| CN108366098B (zh) | 一种网络节点的数据交互方法及装置 | |
| US20150067066A1 (en) | Provisioning Communication Services using Proxy Server in a Cloud | |
| CN111538572A (zh) | 任务处理方法、装置、调度服务器及介质 | |
| EP3850790B1 (en) | Methods, policy node and charging node for enabling spending limit control | |
| CN111949421B (zh) | Sdk调用方法、装置、电子设备和计算机可读存储介质 | |
| CN107329832B (zh) | 一种数据接收方法及装置 | |
| CN111338795A (zh) | 数据处理方法及设备 | |
| CN112989323B (zh) | 进程检测方法、装置、终端及存储介质 | |
| CN113890906A (zh) | 呼叫转移方法及装置、电子设备、计算机可读存储介质 | |
| CN108076119B (zh) | 一种预服务处理方法及系统 | |
| CN110602187A (zh) | 终端共享方法、装置及设备 | |
| CN117294578B (zh) | 一种通信方法、系统、计算机设备和存储介质 | |
| CN112581150A (zh) | 一种信息管理方法、装置、设备及存储介质 | |
| CN104780252A (zh) | 一种通讯录管理方法 | |
| US20160316061A1 (en) | Method and system for leaving messages | |
| CN113055419B (zh) | 一种信息发送方法及装置 | |
| CN110659139A (zh) | 一种远程过程调用方法、计算机设备和存储介质 | |
| CN112968825B (zh) | 一种消息发送方法、装置、设备及存储介质 | |
| CN112491589B (zh) | 一种对象存储网络预警方法、系统、终端及存储介质 | |
| CN114238832A (zh) | 一种离线消息推送方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200626 |