CN109660620A - 数据分发框架 - Google Patents

数据分发框架 Download PDF

Info

Publication number
CN109660620A
CN109660620A CN201811562639.3A CN201811562639A CN109660620A CN 109660620 A CN109660620 A CN 109660620A CN 201811562639 A CN201811562639 A CN 201811562639A CN 109660620 A CN109660620 A CN 109660620A
Authority
CN
China
Prior art keywords
data
distributed
distribution frame
frame
consumer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811562639.3A
Other languages
English (en)
Other versions
CN109660620B (zh
Inventor
王安宇
刘震
陈英豪
王慧倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Rootcloud Technology Co ltd
Changsha Rootcloud Technology Co ltd
Jiansu Rootcloud Technology Co ltd
Shanghai Rootcloud Technology Co ltd
Rootcloud Technology Co Ltd
Original Assignee
Changsha Tree Root Interconnection Technology Co Ltd
Guangzhou Tree Root Interconnection Technology Co Ltd
Jiangsu Tree Root Interconnection Technology Co Ltd
Root Interconnect Technology Ltd
Shanghai Tree Root Interconnection Technology Co Ltd
Beijing Tree Root Interconnection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Tree Root Interconnection Technology Co Ltd, Guangzhou Tree Root Interconnection Technology Co Ltd, Jiangsu Tree Root Interconnection Technology Co Ltd, Root Interconnect Technology Ltd, Shanghai Tree Root Interconnection Technology Co Ltd, Beijing Tree Root Interconnection Technology Co Ltd filed Critical Changsha Tree Root Interconnection Technology Co Ltd
Priority to CN201811562639.3A priority Critical patent/CN109660620B/zh
Publication of CN109660620A publication Critical patent/CN109660620A/zh
Application granted granted Critical
Publication of CN109660620B publication Critical patent/CN109660620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例提供一种数据分发框架。该框架包括连接的数据生产者、数据通道、数据消费者及数据接收者。所述数据生产者,用于获得待分发数据,并将所述待分发数据经所述数据通道发送给所述数据消费者。所述数据消费者,用于对接收的所述待分发数据进行过滤及分类,并将分类后的待分发数据传递给对应的数据接收者或下一层框架。上述数据分发框架在对待分发数据进行数据分发前,会进行过滤及分类,然后根据分类结果进行数据传递,由此可保证将数据传递给需要该数据的系统,实现业务的解耦,并避免仅通过后续系统对获得的该数据进行过滤处理而影响业务处理效率。

Description

数据分发框架
技术领域
本申请涉及物联网技术领域,具体而言,涉及一种数据分发框架。
背景技术
中间件技术是当前物联网技术中的核心技术之一。目前大部分中间件的本质作用仅在于数据的透传及系统的解耦,无法进行一些数据的过滤。因而导致只能通过收到由中间件发送的数据的系统对该数据件过滤处理,由此将对业务处理效率产生影响。并且,目前利用中间件在进行业务解耦时,存在大量的相互调用,浪费了数据传输的时间,在一定程序上限制了数据传输、过滤及业务处理的效率。
发明内容
为了克服现有技术中的上述不足,本申请实施例的目的在于提供一种数据分发框架,其能够在对待分发数据进行数据分发前,会进行过滤及分类,然后根据分类结果进行数据传递,由此可保证将数据传递给需要该数据的系统,实现业务的解耦,并避免仅通过后续系统对获得的该数据进行过滤处理而影响业务处理效率。
本申请实施例提供一种数据分发框架,包括连接的数据生产者、数据通道、数据消费者及数据接收者,
所述数据生产者,用于获得待分发数据,并将所述待分发数据经所述数据通道发送给所述数据消费者;
所述数据消费者,用于对接收的所述待分发数据进行过滤及分类,并将分类后的待分发数据传递给对应的数据接收者或下一层框架。
可选地,在本申请实施例中,所述数据消费者包括过滤器,
所述过滤器,由多个过滤单元以链式结构组成,用于根据存储的过滤条件对所述待分发数据进行多层次的过滤处理。
可选地,在本申请实施例中,所述数据消费者还包括分类器,
所述分类器,用于计算过滤后的每条待分发数据的HASH值,并根据过滤后的每条待分发数据的HASH值及分发策略对该条待分发数据进行分类。
可选地,在本申请实施例中,所述数据通道包括缓存单元,
所述缓存单元,用于缓存由所述数据生产者发送的所述待分发数据。
可选地,在本申请实施例中,所述数据通道还包括限流单元,
所述限流单元,用于获得所述缓存单元的容量信息,并根据所述容量信息判断是否进行限流,其中,所述容量信息包括剩余的可使用容量。
可选地,在本申请实施例中,还包括本地终端,所述本地终端包括监听器及控制单元,
所述监听器,用于获得所述数据通道的容量信息,并将所述容量信息发送给所述控制单元;
所述控制单元,用于根据所述容量信息判断是否向上一层框架中的监听器发送对本框架所在层进行横向扩容的扩容请求,以使上一层框架中的控制单元对本框架所在层进行横向扩容;
所述控制单元,还用于对下一层框架进行横向扩容。
可选地,在本申请实施例中,所述本地终端还包括本地存储单元,
所述本地存储单元,用于存储HASH计算规则、分发策略及过滤后的待分发数据;
所述分类器,具体用于获取所述HASH计算规则及分发策略,根据所述HASH计算规则计算得到过滤后的每条待分发数据的HASH值,并根据所述HASH值从所述分发策略中得到该待分发数据的分类结果,以便根据所述分类结果对过滤后的待分发数据进行分发。
可选地,在本申请实施例中,所述数据接收者包括单向输出端组,所述数据生产者、单向输出端组及本地终端中均包括状态机,
所述状态机中存储有一组状态信息,用于根据存储的状态信息控制所在的数据生产者或单向输出端组或本地终端实现业务逻辑。
可选地,在本申请实施例中,所述监听器,还用于获得所述状态机的当前状态信息,并将所述当前状态信息发送给所述控制单元;
所述控制单元,还用于根据所述当前状态信息控制所述状态机所在的数据生产者、单向输出端组及本地终端建立连接或断开连接,以及,控制所述数据生产者和/或单向输出端组开启或关闭。
可选地,在本申请实施例中,所述数据通道为至少一个,所述数据消费者为至少一个,所述数据通道对应至少一个数据消费者,每个数据消费者中的过滤器中的过滤条件不同,以隔离不同业务数据。
相对于现有技术而言,本申请具有以下有益效果:
本申请实施例提供一种数据分发框架,包括数据生产者、数据通道、数据消费者及数据接收者。上述数据生产者用于获得待分发数据,并将所述待分发数据经所述数据通道发送给所述数据消费者。所述数据消费者用于对接收的所述待分发数据进行过滤及分类,并将分类后的待分发数据传递给对应的数据接收者或下一层框架。该数据分发框架在对待分发数据进行数据分发前,会进行过滤及分类,然后根据分类结果进行数据传递,由此可保证将数据传递给需要该数据的系统,实现业务的解耦,并避免仅通过后续系统对获得的该数据进行过滤处理而影响业务处理效率。
为使申请的上述目的、特征和优点能更明显易懂,下文特举本申请较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的数据分发系统的方框示意图。
图2是本申请实施例提供的数据分发框架的方框示意图之一。
图3是本申请实施例提供的数据分发框架的方框示意图之二。
图4是图3中的过滤器的方框示意图。
图5是本申请实施例提供的数据分发框架的方框示意图之三。
图6是本申请实施例提供的数据分发框架的方框示意图之四。
图7是图6中的状态机的状态信息示意图。
图8是本申请实施例提供的数据分发框架的应用场景示意图之一。
图9是本申请实施例提供的数据分发框架的应用场景示意图之二。
图标:10-数据分发系统;100-数据分发框架;101-状态机;110-数据生产者;120-数据通道;121-缓存单元;122-限流单元;130-数据消费者;131-过滤器;132-分类器;140-数据接收者;150-本地终端;151-监听器;152-控制单元;153-本地存储单元。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1是本申请实施例提供的数据分发系统10的方框示意图。所述数据分发系统10可包括多个数据分发框架100,该数据分发系统10为多层结构。每层中的数据分发框架100在对获得数据进行过滤、分类后,可将最后得到的数据传递给下一层的数据分发框架100,以经下一层的数据分发框架100对其进行进一步处理,进而得到最终需要的数据。该方式既可以对数据完成所有处理,同时也可以避免每个数据分发框架100的任务量过大,影响数据传输速度。
或者,上一层中的数据分发框架100主要用于分发,下一层中的数据分发框架100主要用于对数据进行处理。由此,可避免所有数据都通过一个数据分发框架100进行处理,而导致该数据分发框架100的工作量过大,严重影响数据传递速度。比如,若该数据分发系统10包括三层,第一层中的数据分发框架100做第一次分发,第二层中的数据分发框架100做第二次分发,第三层中的数据分发框架100用于进行处理,以得到相应的处理后的数据。
请参照图2,图2是本申请实施例提供的数据分发框架100的方框示意图之一。所述数据分发框架100可以包括连接的数据生产者110、数据通道120、数据消费者130及数据接收者140。所述数据生产者110用于通过采集数据或接收其他系统发送的数据等方式获得待分发数据,并将所述待分发数据经所述数据通道120发送给所述数据消费者130。所述数据消费者130用于对接收到的待分发数据进行过滤及分类,并将分类后的待分发数据传递给对应的数据接收者140或下一层框架。
其中,下一层框架是指如图1所示的当前数据分发框架100所在层的下一层中的数据分发框架100,比如,第二层中的数据分发框架100a的下一层为第三层,与数据分发框架100a对应的下一层框架具体则为数据分发框架100b及数据分发框架100c。
上述数据分发框架100在对待分发数据进行数据分发前,会进行过滤及分类,然后根据分类结果进行数据传递,由此可保证将数据传递给需要该数据的系统,实现业务的解耦,并避免仅通过后续系统对获得的该数据进行过滤处理而影响业务处理效率。
请参照图3及图4,图3是本申请实施例提供的数据分发框架100的方框示意图之二,图4是图3中的过滤器131的方框示意图。在本实施例中,所述数据消费者130可以包括过滤器131。所述过滤器131由多个过滤单元以链式结构组成,用于根据存储的过滤条件对所述待分发数据进行多层的过滤处理。其中,上述过滤单元可以是业务过滤单元,也可以是逻辑过滤单元。不同的过滤单元中存储有不同的过滤条件,由此,在实际应用时,不需要根据实际需求经过一系列处理得到需要的过滤器,仅通过组合过滤单元即可得到一符合需求的过滤器131,该过滤器131中的过滤条件符合实际需求。
如图4所示,过滤器131中的第一个过滤单元接收到未过滤处理的数据(message)后,第一个过滤单元根据自身存储的过滤条件对其进行过滤处理,然后传递给下一个过滤单元;下一个过滤单元根据自身存储的过滤对由第一个过滤单元传递的数据进行过滤处理,再传递给下一个过滤单元……直到完成所有的过滤处理后得到数据(data message),再依次返回,直至返回给第一个过滤单元,从第一个过滤单元得到经过所有过滤处理的数据(data message)。
请再次参照图3,所述数据消费者130还可以包括分类器132。所述分类器132用于计算过滤后的每条待分发数据的HASH值,并根据过滤后的每条待分发数据的HASH及获得的分发测量对该条待分发数据进行分类,然后按照分类将过滤后的该条待分发数据传递给对应的数据接收者140或下一层框架。由此,可保证将过滤处理后的待分发数据被传递给需要该数据的系统。
请再次参照图3,所述数据通道120可以包括缓存单元121,所述缓存单元121用于缓存由所述数据生产者110发送的所述待分发数据。
请再次参照图3,所述数据通道120还可以包括限流单元122。所述限流单元122用于获得所述缓存单元121的容量信息,并根据所述容量信息判断是否进行限流。其中,所述容量信息包括剩余的可使用容量。其中,具体判断是否进行限流的判断条件可以根据实际需求进行设置,比如,根据剩余的可使用容量的百分比、剩余的可使用容量的具体值、业务场景等。
下面对限流单元122如何判断是否进行限流进行具体说明。
在缓存单元121中可加入读标识、写标识。数据生产者110在向所述缓存单元121中写入数据后,可根据数据写入情况对写标识进行更新。数据消费者130在从所述缓存单元121中读出数据后,可根据数据读出情况对所述读标识进行更新。所述限流单元122用于获得上述读标识及写标识,在写标识减去所述读标识得到的差值大于预设的限流阈值时,即读标识远远小于写标识时,则判定需要进行限流。比如,缓存单元121的容量是存储100条数据,写标识为130条,读标识为40条,若预设的限流阈值为80条,则可以判定限流。
本领域技术人员应当理解,上述根据读标识及写标识判断是否进行限流仅为举例说明,这并不构成对本方案的限制。
请参照图5,图5是本申请实施例提供的数据分发框架100的方框示意图之三。所述数据分发框架100还包括本地终端150,所述本地终端150包括连接的监听器151及控制单元152。所述监听器151用于获得的所述数据通道120的容量信息,并将所述容量信息发送给所述控制单元152。所述控制单元152用于根据所述容量信息判断是否向上一层框架中的监听器151发送对本框架所在层进行横向扩容的扩容请求,以使上一层框架中的控制单元152对本框架所在层进行横向扩容。
如图1所示,假如在第二层中,数据分发框架100a中的控制单元152根据由监听器151获得的数据通道120的容量信息判定需要发送扩容请求,则向与第一层中与该数据分发框架100a对应的数据分发框架100发送扩容请求。在第一层中,与数据分发框架100a对应的数据分发框架100中的监听器151监听到该扩容请求后,将该扩容请求发送给控制单元152。所述控制单元152对相关连接设置进行修改,以增加第二层中与自身连接的数据分发框架100的数量,从而实现横向扩容,减小第二层中与自身连接的数据分发框架100a的任务量。
比如,第一层中的数据分发框架100原本与第二层中的三个数据分发框架100对应连接,若第二层中的数据分发框架100a发送扩容请求,表示第二层中的数据分发框架100a的任务量大。而经过扩容后,原本第一层中的数据分发框架100分发给第二层中的数据分发框架100a的数据,被分发给第二层中的数据分发框架100a及第二层中新增的数据分发框架100。
在本实施例中,所述控制单元152还用于对下一层框架进行横向扩容。即,如图1所示,若第三层中的数据分发框架100b向第二层中的数据分发框架100b发送扩容请求,第二层中的数据分发框架100a中的监听器151监听到该请求后,将其发送给控制单元152,使得第二层中的数据分发框架100a中的控制单元152对第三层进行横向扩容,以增加与第二层中的数据分发框架100a对应的数据分发框架100的数量。
当然可以理解的是,所述控制单元152还可以根据所述数据通道120的容量信息向上一层框架中的监听器151发送关闭本框架所在层中部分数据分发框架100的请求。所述控制单元152还用于关闭下一层框架中的部分数据分发框架100。比如,如图1所示,第三层中的数据分发框架100b中的控制单元152可向第二层中与其对应的数据分发框架100a发送关闭数据分发框架100的请求。数据分发框架100a中的控制单元152在接收到该请求后,则可以关闭数据分发框架100b或数据分发框架100c。
请再次参照图5,所述本地终端150还可以包括本地存储单元153。所述本地存储单元153用于存储HASH计算规则、分发策略及过滤后的待分发数据。进一步地,本地存储单元153在存储过滤后的待分发数据时,也可以同时该数据对应的HASH值,以便于后续查询。所述分类器132,具体用于获取所述HASH计算规则及分发策略,根据所述HASH计算规则计算得到过滤后的每条待分发数据的HASH值,并根据所述HASH值从所述分发策略中得到该待分发数据的分类结果,以便根据所述分类结果对过滤后的待分发数据进行分发。
可选地,所述分类器132与所述本地存储单元153连接,从所述本地存储单元153中获得HASH计算规则、分发策略,然后根据HASH计算规则计算经过滤处理后的每条待分发数据的HASH值,然后从分发策略中获得与该HASH值对应的分类结果,最后即可按照分类结果传递该条待分发数据。比如,假设分发策略包括HAHS值及对应的发送地址,那么在计算得到一条过滤后的待分发数据的HASH值后,可获得该HASH值对应的发送地址,接着即可按照该发送地址发送该数据。
请参照图6,图6是本申请实施例提供的数据分发框架100的方框示意图之四。所述数据接收者140包括单向输出端组,所述数据生产者110、单向输出端组及本地终端150中均包括状态机101。所述状态机101中存储有一组状态信息,用于根据存储的状态信息控制所在的数据生产者110或单向输出端组或本地终端150实现业务逻辑。也就是说,所述状态机101用于控制所在的数据生产者110或单向输出端组或本地终端150的工作状态。由此可知,每个数据生产者110、单向输出端组、本地终端150内都封装实现了一组状态机101,并抽象出了每一状态的实现方法,用来实现自主的调用或业务逻辑。
请参照图7,图7是图6中的状态机101的状态信息示意图。该状态机101用于实现:connect(建立连接)、idle(长连接检测、及重连)、busy(存在待收发消息)、close(连接关闭)。由此,在连接状态,会执行重连动作。在连接成功时,若存在待分发消息(即待分发数据),则分发待分发消息;若不存在待分发消息,或完成消息的分发后,则可关闭。
可选地,单向输出端组中可包括多个单向输出端,每个单向输出端中均包括状态机101。该单向输出端可以是,但不限于,数据库、服务器等。
在本实施例中,所述监听器151还用于获得所述状态机101的当前状态信息,并将所述当前状态信息发送给所述控制单元152。所述控制单元152还用于根据所述当前状态信息控制所述状态机101所在的数据生产者110、单向输出端组及本地终端150建立连接或断开连接,以及,控制所述数据生产者110和/或单向输出端组开启或关闭。
单向输出端、数据生产者110及本地终端150均包括connect接口及close接口。在所述当前状态信息为连接时,所述控制单元152通过调用connect接口及close接口即可使单向输出端或数据生产者110或本地终端150建立连接或断开连接。
可选地,所述控制单元152还用于在某些情况下控制所述数据生产者110、单向输出端或本地终端150建立连接或断开连接,以节省资源。比如,若所述数据生产者110或单向输出端与其他系统的连接一直失败,并一直重复建立连接的动作,在这种情况下,则可控制数据生产者110或单向输出端断开连接。若所述本地终端150断开连接,则该数据分发框架100不与其他系统连接。
可选地,所述控制单元152还可以在某些情况下开启或关闭所述数据生产者110和/或单向输出端。比如,若所述数据生产者110获取数据的速度过快,而数据消费者130处理数据的速度过慢,则可以关闭所述数据生产者110。对于单向输出端而言,比如,若所述数据生产者110已停止获取数据,而所述数据通道120内也无数据,则是则可以关闭单向输出端,避免单向输出端重复从所述数据消费者130获取数据的动作。当然可以理解的是,上述仅为距离说明,具体对应的应用场景可以根据实际需求设置。
在本实施例中,所述数据通道120为至少一个,所述数据消费者130为至少一个,所述数据通道120对应至少一个数据消费者130,每个数据消费者130中的过滤器131中的过滤条件不同,以隔离不同业务数据。其中,每个数据数据通道120用于存储同源数据,同源数据是指获取位置可能不同、但数据类型相同的数据。由此,上述设置即可实现对数据的过滤处理,同时可以保证对应的系统可以收到需要的数据。若双源的数据要在数据分发框架100内传输,则可搭建两个数据通道120,分别负责数据的上行及下行操作。
比如,若有一条业务A需要的数据,该数据被数据消费者1、2处理,其中,数据消费者1中的过滤器131中的过滤条件对应业务A。那么,虽然数据消费者1、2均会对该数据进行过滤处理,但是由于分类器132的分类作用,数据消费者2不会将过滤处理后的该数据发送给业务A对应的系统,与业务A对应的系统仅会接收到由数据消费者1传递的数据。
可选地,作为一种实施方式中,本地终端150为多个,多个本地终端150可共享一个监听器151。若因业务需要,也可以部分本地终端150共享一个监听器151。进一步地,也可以多个本地终端150共享一个控制单元152。
请参照图8,图8是本申请实施例提供的数据分发框架100的应用场景示意图之一。该应用场景为进行数据分发,MQTT服务器将订阅的消息进行分发存储,通过数据的HASH值将数据HASH到本地设备或其他设备或其他数据分发框架100处。图8中DataAdapter表示数据分发框架100。由图8可知,与MQTT服务器连接的DataAdapter用于数据分发,其他DataAdapter用于数据存储。
请参照图9,图9是本申请实施例提供的数据分发框架100的应用场景示意图之二。在图9中,DataAdapter(即数据分发框架100)对数据实施过滤后传送到目标。其中,图9中DataAdapter处理的是kafka数据。DataAdapter可以通过过滤算法分别对数据进行如下处理:每秒内的不同数据存入Mysql;取消Mysql查询,利用Filter(即过滤器131)实时处理每10分钟数据,并将其整理成邮件分发给订阅的客户。
综上所述,本申请实施例提供一种数据分发框架,包括数据生产者、数据通道、数据消费者及数据接收者。上述数据生产者用于获得待分发数据,并将所述待分发数据经所述数据通道发送给所述数据消费者。所述数据消费者用于对接收的所述待分发数据进行过滤及分类,并将分类后的待分发数据传递给对应的数据接收者或下一层框架。该数据分发框架在对待分发数据进行数据分发前,会进行过滤及分类,然后根据分类结果进行数据传递,由此可保证将数据传递给需要该数据的系统,实现业务的解耦,并避免仅通过后续系统对获得的该数据进行过滤处理而影响业务处理效率。
进一步地,所述数据通道还可以用于存储由所述数据生产者110发送的待分发数据,并根据存储情况判断是否进行限流。
进一步地,所述数据分发框还可以包括本地终端,该本地终端用于存储HASH计算规则、分发策略及过滤后的待分发数据,以便于数据消费者可基于该HASH计算规则、分发策略计算待分发数据的HASH值,并进行分发,并便于后续从本地终端处获得过滤后的数据。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据分发框架,其特征在于,包括连接的数据生产者、数据通道、数据消费者及数据接收者,
所述数据生产者,用于获得待分发数据,并将所述待分发数据经所述数据通道发送给所述数据消费者;
所述数据消费者,用于对接收的所述待分发数据进行过滤及分类,并将分类后的待分发数据传递给对应的数据接收者或下一层框架。
2.根据权利要求1所述的数据分发框架,其特征在于,所述数据消费者包括过滤器,
所述过滤器,由多个过滤单元以链式结构组成,用于根据存储的过滤条件对所述待分发数据进行多层次的过滤处理。
3.根据权利要求2所述的数据分发框架,其特征在于,所述数据消费者还包括分类器,
所述分类器,用于计算过滤后的每条待分发数据的HASH值,并根据过滤后的每条待分发数据的HASH值及分发策略对该条待分发数据进行分类。
4.根据权利要求3所述的数据分发框架,其特征在于,所述数据通道包括缓存单元,
所述缓存单元,用于缓存由所述数据生产者发送的所述待分发数据。
5.根据权利要求4所述的数据分发框架,其特征在于,所述数据通道还包括限流单元,
所述限流单元,用于获得所述缓存单元的容量信息,并根据所述容量信息判断是否进行限流,其中,所述容量信息包括剩余的可使用容量。
6.根据权利要求4或5所述的数据分发框架,其特征在于,还包括本地终端,所述本地终端包括监听器及控制单元,
所述监听器,用于获得所述数据通道的容量信息,并将所述容量信息发送给所述控制单元;
所述控制单元,用于根据所述容量信息判断是否向上一层框架中的监听器发送对本框架所在层进行横向扩容的扩容请求,以使上一层框架中的控制单元对本框架所在层进行横向扩容;
所述控制单元,还用于对下一层框架进行横向扩容。
7.根据权利要求6所述的数据分发框架,其特征在于,所述本地终端还包括本地存储单元,
所述本地存储单元,用于存储HASH计算规则、分发策略及过滤后的待分发数据;
所述分类器,具体用于获取所述HASH计算规则及分发策略,根据所述HASH计算规则计算得到过滤后的每条待分发数据的HASH值,并根据所述HASH值从所述分发策略中得到该待分发数据的分类结果,以便根据所述分类结果对过滤后的待分发数据进行分发。
8.根据权利要求7所述的数据分发框架,其特征在于,所述数据接收者包括单向输出端组,所述数据生产者、单向输出端组及本地终端中均包括状态机,
所述状态机中存储有一组状态信息,用于根据存储的状态信息控制所在的数据生产者或单向输出端组或本地终端实现业务逻辑。
9.根据权利要求8所述的数据分发框架,其特征在于,
所述监听器,还用于获得所述状态机的当前状态信息,并将所述当前状态信息发送给所述控制单元;
所述控制单元,还用于根据所述当前状态信息控制所述状态机所在的数据生产者、单向输出端组及本地终端建立连接或断开连接,以及,控制所述数据生产者和/或单向输出端组开启或关闭。
10.根据权利要求4所述的数据分发框架,其特征在于,所述数据通道为至少一个,所述数据消费者为至少一个,所述数据通道对应至少一个数据消费者,每个数据消费者中的过滤器中的过滤条件不同,以隔离不同业务数据。
CN201811562639.3A 2018-12-20 2018-12-20 数据分发系统 Active CN109660620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811562639.3A CN109660620B (zh) 2018-12-20 2018-12-20 数据分发系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811562639.3A CN109660620B (zh) 2018-12-20 2018-12-20 数据分发系统

Publications (2)

Publication Number Publication Date
CN109660620A true CN109660620A (zh) 2019-04-19
CN109660620B CN109660620B (zh) 2021-08-03

Family

ID=66115905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811562639.3A Active CN109660620B (zh) 2018-12-20 2018-12-20 数据分发系统

Country Status (1)

Country Link
CN (1) CN109660620B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929961A (zh) * 2012-10-10 2013-02-13 北京锐安科技有限公司 基于构建快速数据分级通道的数据处理方法及其装置
CN103024014A (zh) * 2012-12-03 2013-04-03 北京京东世纪贸易有限公司 通过消息队列的海量数据分发处理的方法和系统
CN103281252A (zh) * 2013-05-14 2013-09-04 华为技术有限公司 一种基于多路径传输的报文流量控制方法和装置
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN105429852A (zh) * 2015-11-16 2016-03-23 武汉日电光通信工业有限公司 适用于大容量分组传送系统的自适应消息处理系统
US20160224430A1 (en) * 2013-06-13 2016-08-04 DataGravity, Inc. Triggering discovery points based on change
US20160344751A1 (en) * 2015-05-19 2016-11-24 Fastly, Inc. Customized record handling in a content delivery network
CN108768826A (zh) * 2018-05-16 2018-11-06 华南理工大学 基于MQTT和Kafka高并发场景下的消息路由方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929961A (zh) * 2012-10-10 2013-02-13 北京锐安科技有限公司 基于构建快速数据分级通道的数据处理方法及其装置
CN103024014A (zh) * 2012-12-03 2013-04-03 北京京东世纪贸易有限公司 通过消息队列的海量数据分发处理的方法和系统
CN103281252A (zh) * 2013-05-14 2013-09-04 华为技术有限公司 一种基于多路径传输的报文流量控制方法和装置
US20160224430A1 (en) * 2013-06-13 2016-08-04 DataGravity, Inc. Triggering discovery points based on change
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
US20160344751A1 (en) * 2015-05-19 2016-11-24 Fastly, Inc. Customized record handling in a content delivery network
CN105429852A (zh) * 2015-11-16 2016-03-23 武汉日电光通信工业有限公司 适用于大容量分组传送系统的自适应消息处理系统
CN108768826A (zh) * 2018-05-16 2018-11-06 华南理工大学 基于MQTT和Kafka高并发场景下的消息路由方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIWEI CHEN,TAO ZHU,QIANG GAO: "Research on Connection Capacity Planning of The Distribution Network Line Based on "One Library and Three Centers"", 《2018 CHINA INTERNATIONAL CONFERENCE ON ELECTRICITY DISTRIBUTION》 *
林文辉: "基于Hadoop的海量网络数据处理平台的关键技术研究", 《中国博士学位论文信息科技辑》 *

Also Published As

Publication number Publication date
CN109660620B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN110535965A (zh) 一种数据处理方法及装置、存储介质
CN105978728B (zh) 智能监控系统及业务指标的监控方法
CN106373396A (zh) 基于智能交通云控制系统的控制服务器
CN106506673B (zh) 一种大规模分布式数据管理系统及其方法
EP1877924A2 (en) Network data distribution system and method
CN109657003A (zh) 一种将硬件数据直接接入大数据平台的方法
CN107948092A (zh) 实时数据采集方法和实时数据采集系统
CN105991412A (zh) 消息推送方法及装置
CN107730647A (zh) 一种基于scada的智能手机巡检系统及其巡检方法
CN107181637A (zh) 一种心跳信息发送方法、装置及心跳发送节点
CN106097092A (zh) 用于对账的数据处理方法和装置
WO2022105090A1 (zh) 基于回调机制的细粒度数据流可靠卸载方法
CN105047021A (zh) 一种lng船舶远传监控系统及实现方法
CN108614450A (zh) 一种物联网下的机械系统及其方法
CN110941850A (zh) 基于跨链技术的物联网数据共享方法及系统
CN106993043A (zh) 基于代理的数据通信系统和方法
CN106530438B (zh) 一种海量实时行车记录仪数据采集方法及系统
CN109495530A (zh) 一种实时交通数据传输方法、传输装置及传输系统
CN109164720A (zh) 基于IIoT的注塑机机群远程监控系统和方法
CN107579858A (zh) 云主机的告警方法及装置、通信系统
CN106973078A (zh) 业务数据处理的方法及信息交换控制系统
CN105210335B (zh) 用于数据分发的网络路由修改
CN109660620A (zh) 数据分发框架
CN109862094B (zh) 一种基于流计算的水务设备数据共享方法及装置
CN105406989B (zh) 处理报文的方法、网卡及系统、更新信息的方法及主机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100000 Beijing Haidian District, Northwest Wangdong Road, No. 10 East Courtyard 5 Building, 6th Floor 606-1

Applicant after: BEIJING ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant after: Shugen Internet Co.,Ltd.

Applicant after: GUANGZHOU ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant after: JIANSU ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant after: SHANGHAI ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant after: CHANGSHA ROOTCLOUD TECHNOLOGY Co.,Ltd.

Address before: 100000 Beijing Haidian District, Northwest Wangdong Road, No. 10 East Courtyard 5 Building, 6th Floor 606-1

Applicant before: BEIJING ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant before: IROOTECH TECHNOLOGY Co.,Ltd.

Applicant before: GUANGZHOU ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant before: JIANSU ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant before: SHANGHAI ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant before: CHANGSHA ROOTCLOUD TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210514

Address after: 606-1, 6th floor, building 5, East District, No.10 courtyard, northwest Wangdong Road, Haidian District, Beijing

Applicant after: BEIJING ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant after: Shugen Internet Co.,Ltd.

Applicant after: JIANSU ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant after: SHANGHAI ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant after: CHANGSHA ROOTCLOUD TECHNOLOGY Co.,Ltd.

Address before: 606-1, 6th floor, building 5, East District, No.10 courtyard, northwest Wangdong Road, Haidian District, Beijing

Applicant before: BEIJING ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant before: Shugen Internet Co.,Ltd.

Applicant before: GUANGZHOU ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant before: JIANSU ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant before: SHANGHAI ROOTCLOUD TECHNOLOGY Co.,Ltd.

Applicant before: CHANGSHA ROOTCLOUD TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant