CN105099738A - 数据获取方法、装置及系统 - Google Patents
数据获取方法、装置及系统 Download PDFInfo
- Publication number
- CN105099738A CN105099738A CN201410202112.5A CN201410202112A CN105099738A CN 105099738 A CN105099738 A CN 105099738A CN 201410202112 A CN201410202112 A CN 201410202112A CN 105099738 A CN105099738 A CN 105099738A
- Authority
- CN
- China
- Prior art keywords
- message
- server
- network element
- distribution table
- event number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/021—Ensuring consistency of routing table updates, e.g. by using epoch numbers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据获取方法、装置及系统。其中,该数据获取方法包括:与第二网元对应的第二网管服务器接收与第一网元对应的第一网管服务器发送的第一消息,其中,第一消息中携带有第一事件号;第二网管服务器查找预先配置的消息分发表,获取与第一事件号对应的第一消息处理方法,其中,消息分发表中用于记录数据传输的各步流程以及各步流程中需要执行的消息处理方法、下一步流程中的消息接收方和该消息接收方需要处理的事件号,第一消息处理方法中定制了第二网管服务器从其他网元获取数据的传输方法;第二网管服务器执行第一消息处理方法,从其它网元的网管服务器请求并获取数据。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种数据获取方法、装置及系统。
背景技术
在通讯网络中,为了实现特定的功能,经常需要在多个网元之间进行数据传输,在需要传输的数据量较大时,现有的传输方式容易造成通讯信道拥塞、系统不稳定、及数据丢包等问题。
例如,为了提高系统的容灾能力,需要在多个网元之间进行数据互备,当其中一个网元发生故障时,其他网元的备用数据可以立即启用。采用这种数据备份方案,需要在多个网元之间进行频繁的数据交互,数据量可达数百兆,其中还要进行复杂的数据校验和转换。采用现有的数据传输方式不仅容易使消息通道拥塞,影响系统稳定性,而且对数据的纠错能力也达不到要求,如果数据传输了一半而出现网络故障导致数据不完整可能会出现灾难性后果。
因此需要一种可靠的数据获取方案,在确保系统稳定和数据安全的前提下,实现高性能的数据传输。
发明内容
针对相关技术中数据传输使消息通道拥塞,影响系统稳定性的问题,本发明提供了一种数据获取方法、装置及系统,以至少解决上述问题。
根据本发明的一个方面,提供了一种数据获取方法,包括:与第二网元对应的第二网管服务器接收与第一网元对应的第一网管服务器发送的第一消息,其中,所述第一消息中携带有第一事件号;所述第二网管服务器查找预先配置的消息分发表,获取与所述第一事件号对应的第一消息处理方法,其中,所述消息分发表中用于记录数据传输的各步流程以及各步流程中需要执行的消息处理方法、下一步流程中的消息接收方和该消息接收方需要处理的事件号,所述第一消息处理方法中定制了所述第二网管服务器从其他网元获取数据的传输方法;所述第二网管服务器执行所述第一消息处理方法,从所述其它网元的网管服务器请求并获取数据。
可选地,在从所述其它网元请求并获取数据之后,所述方法还包括:所述第二网管服务器对请求到的数据进行处理,然后对处理后的数据进行入库操作。
可选地,在所述第二网管服务器从所述其它网元获取到数据之后,所述方法还包括:所述第二网管服务器判断所述消息分发表中是否还有下一步流程,如果有,则所述第二网管服务器从所述消息分发表中获取下一步流程中第二消息的接收网元标识及需要执行的第二消息处理方法的第二事件号;所述第二网管服务器向所述接收网元标识的对应的网管服务器发送所述第二消息,其中,所述第二消息中携带有所述第二事件号。
可选地,所述方法还包括:所述第二网管服务器接收携带有第三事件号的第三消息;所述第二网管服务器查找所述消息分发表,获取与所述第三事件号对应的第三消息处理方法,其中,所述第三消息处理方法包括将所述第二网管服务器请求到的数据同步到所述第二网元的方法;所述第二网管服务器执行所述第三消息处理方法,将请求到的数据同步到所述第二网元。
可选地,如果所述第二网管服务器在执行所述第一消息处理方法的过程中出现异常,则所述方法包括:所述第二网管服务器查询预先配置的异常码与事件号的对应关系,获取与本次异常的异常码对应的第四事件号;所述第二网管服务器发送携带第四事件号的消息。
可选地,所述方法还包括:接收配置所述消息分发表的操作指令;根据输入的各个参数,配置所述消息分发表,其中,所述消息分发表中的消息处理方法符合预先设定的消息处理规范;加载配置完成的所述消息分发表。
可选地,所述方法还包括:接收修改所述消息分发表的操作指令;根据输入的参数,修改所述消息分发表中对应的表项,其中,修改后的所述消息分发表中的消息处理方法符合预先设定的消息处理规范;加载修改后的所述消息分发表。
根据本发明的另一个方面,提供了一种数据获取装置,位于与第二网元对应的第二网管服务器,所述装置包括:第一接收模块,用于接收与第一网元对应的第一网管服务器发送的第一消息,其中,所述第一消息中携带有第一事件号;第一获取模块,用于查找预先配置的消息分发表,获取与所述第一事件号对应的第一消息处理方法,其中,所述消息分发表中用于记录数据传输的各步流程以及各步流程中需要执行的消息处理方法、下一步流程中的消息接收方和该消息接收方需要处理的事件号,所述第一消息处理方法中定制了所述第二网管服务器从其他网元获取数据的传输方法;执行模块,用于执行所述第一消息处理方法,从所述其它网元的网管服务器请求并获取数据。
可选地,还包括:判断模块,用于判断所述消息分发表中是否还有下一步流程,如果有,则触发第二获取模块;所述第二获取模块,用于从所述消息分发表中获取下一步流程中第二消息的接收网元标识及需要执行的第二消息处理方法的第二事件号;发送模块,用于向所述接收网元标识的对应的网管服务器发送所述第二消息,其中,所述第二消息中携带有所述第二事件号。
可选地,所述第一接收模块还用于接收携带有第三事件号的第三消息;所述第一获取模块还用于查找所述消息分发表,获取与所述第三事件号对应的第三消息处理方法,其中,所述第三消息处理方法包括将所述第二网管服务器请求到的数据同步到所述第二网元的方法;所述装置还包括:同步模块,用于执行所述第三消息处理方法,将请求到的数据同步到所述第二网元。
可选地,还包括:异常处理模块,用于在执行所述第一消息处理方法的过程中出现异常时,查询预先配置的异常码与事件号的对应关系,获取与本次异常的异常码对应的第四事件号,然后发送携带所述第四事件号的消息。
可选地,还包括:第二接收模块,用于接收配置所述消息分发表的操作指令;配置模块,用于根据输入的各个参数,配置所述消息分发表,其中,所述消息分发表中的消息处理方法符合预先设定的消息处理规范;加载模块,加载配置完成的所述消息分发表。
可选地,所述第二接收模块还用于接收修改所述消息分发表的操作指令;所述配置模块还用于根据输入的参数,修改所述消息分发表中对应的表项,其中,修改后的所述消息分发表中的消息处理方法符合预先设定的消息处理规范;所述加载模块还用于加载修改后的所述消息分发表。
根据本发明的又一个方面,提供了一种数据获取系统,包括:网元和与所述网元对应的网管服务器,其中,所述网管服务器包括上述装置,用于将从其他网元请求到的数据同步到所述网元;所述网元,用于接收所述网管服务器传输的数据。
通过本发明,在网管服务器之间传输消息,通过事件号指示传输数据的方法,接收方通过执行事件号指示的消息处理方法获取数据,将消息通道和数据通道分离,用户可以定制消息处理的具体方法,在网管服务器(即后台通讯驱动网)间的数据传输。从而使得数据传输不会使消息通道拥塞,提高了影响系统稳定性,并且,由于通过网管服务器传输数据,从而也避免了数据没有传输完全而出现网络故障时导致数据不完整的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据获取方法的流程图;
图2是根据本发明实施例的数据获取装置的结构示意图;
图3是根据本发明可选实施例的数据获取装置的结构示意图;
图4是根据本发明实施例的数据获取系统的结构示意图;
图5是本发明可选实施例的系统结构示意图;
图6是本发明实施例的数据传输模块的结构示意图;
图7是本发明可选实施例中的消息分发表的示意图;
图8是本发明可选实施例中的异常分发表的示意图;
图9是本发明可选实施例中的数据备份的系统内部流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
针对相关技术中数据传输存在的上述问题,本发明实施例提供了一种多个网元之间的通讯方案,在本发明实施例中,采用消息和数据分离的双通道传输方式,以消息来驱动数据传输,用户可以定制数据传输方式,并且,本发明实施例提供的技术方案支持动态加载,支持不同网元类型和大数据量信息传输。
图1为根据本发明实施例的数据获取方法的流程图,如图1所示,该方法主要包括以下步骤:
步骤S102,与第二网元对应的第二网管服务器接收与第一网元对应的第一网管服务器发送的第一消息,其中,所述第一消息中携带有第一事件号;
在本发明实施例的具体实施过程中,一次通讯过程可以由网管客户端发起,也可以由用户设定好定时任务,由网管服务器定时发起。在通讯发起后,首先执行发起方(例如,步骤S102中的第一网元对应的第一网管服务器)的事件号对应的处理方法,处理完成后,根据消息分发表中配置的顺序,将消息发送到下一个事件号对应的网元的网管服务器(例如,步骤S102中的第二网络服务器)继续处理。
步骤S104,所述第二网管服务器查找预先配置的消息分发表,获取与所述第一事件号对应的第一消息处理方法,其中,所述第一消息处理方法中定制了所述第二网管服务器从其他网元获取数据的传输方法;
在本发明实施例的一个可选实施方式中,消息分发表可以为一个二维映射表,包含:事件号、消息处理方法、接收网元号以及发送事件号四个关键信息。表1为消息分发表的一个示例。
表1
事件号 | 消息处理方法 | 接收网元 | 发送事件号 |
1 | Begin | 13 | 2 |
2 | Event1 | 11 | 100 |
100 | Event2 | 13 | 101 |
101 | End | 11 | 200 |
200 | End | 0 | 0 |
其中,消息分发表可以以文件、数据库等方式存储在网管服务器中。
步骤S106,所述第二网管服务器执行所述第一消息处理方法,从所述其它网元请求并获取数据。
在本发明实施例的可选实施方案中,第二网管服务器在从其它网元请求并获取到数据后,可以对请求到的数据进行处理,然后对处理后的数据进行入库操作。
在一个可选的实施方案中,第二网管服务器在从其它网元请求并获取数据后,可以在消息分发表中设置一个流程,指示第二网管服务器将将请求到的数据同步到所述第二网元,因此,该方法还可以包括:所述第二网管服务器接收携带有第三事件号的第三消息;所述第二网管服务器查找所述消息分发表,获取与所述第三事件号对应的第三消息处理方法,其中,所述第三消息处理方法包括将所述第二网管服务器请求到的数据同步到所述第二网元的方法;所述第二网管服务器执行所述第三消息处理方法,将请求到的数据同步到所述第二网元。通过该可选实施方式,避免了数据直接传输到网元,在数据没有传输完全时,传输中断而导致第二网元中的数据不可用的问题。
在本发明实施例的一个可选实施方式中,在所述第二网管服务器从所述其它网元获取到数据之后,所述第二网管服务器可以判断所述消息分发表中是否还有下一步流程,如果有,则所述第二网管服务器从所述消息分发表中获取下一步流程中第二消息的接收网元标识及需要执行的第二消息处理方法的第二事件号;所述第二网管服务器向所述接收网元标识的对应的网管服务器发送所述第二消息,其中,所述第二消息中携带有所述第二事件号。
在一个可选实施方式中,还可以对异常情况进行处理。如果所述第二网管服务器在执行所述第一消息处理方法的过程中出现异常,则所述第二网管服务器查询预先配置的异常码与事件号的对应关系(即异常分发表),获取与本次异常的异常码对应的第四事件号,然后发送携带第四事件号的消息,进行异常处理流程。在该可选实施方式中,可以在网管服务器中配置异常处理方法,即配置异常码与处理该异常码对应的消息处理方法的事件号的对应关系,发生异常时,获取与该异常码对应的事件号,然后发送消息,接收到该消息的网管服务器,从消息分发表中获取与该事件号对应的表项,并按照所述消息分发表中与所述第四事件号对应的表项进行处理。
在本发明实施例的一个可选实施方式中,用户可以对消息分发表进行配置,网管服务器接收配置所述消息分发表的操作指令,然后根据输入的各个参数,配置所述消息分发表,其中,所述消息分发表中的消息处理方法符合预先设定的消息处理规范(可以通过一个专用接口(例如,消息处理接口)来定义),然后,加载配置完成的所述消息分发表。
另外,在本发明实施例的另一个可选实施方式中,用户还可以修改配置好的消息分发表。在该可选实施方式中,网络服务器接收修改所述消息分发表的操作指令,然后根据输入的参数,修改所述消息分发表中对应的表项,其中,修改后的所述消息分发表中的消息处理方法符合预先设定的消息处理规范,最后加载修改后的所述消息分发表。通过该可选实施方式,可以动态的配置消息分发表,即动态的配置数据传输过程。
根据本发明实施例,还提供了一种数据获取装置,该装置位于与第二网元对应的第二网管服务器,用于实现上述的数据方法。
图2为根据本发明实施例的数据获取装置的结构示意图,如图2所示,该装置主要包括:第一接收模块210,用于接收与第一网元对应的第一网管服务器发送的第一消息,其中,所述第一消息中携带有第一事件号;第一获取模块220,用于查找预先配置的消息分发表,获取与所述第一事件号对应的第一消息处理方法,其中,所述第一消息处理方法中定制了所述第二网管服务器从其他网元获取数据的传输方法;执行模块230,用于执行所述第一消息处理方法,从所述其它网元的网管服务器请求并获取数据。
可选地,如图3所示,该装置还可以包括:判断模块240,用于判断所述消息分发表中是否还有下一步流程,如果有,则触发第二获取模块250;所述第二获取模块250,用于从所述消息分发表中获取下一步流程中第二消息的接收网元标识及需要执行的第二消息处理方法的第二事件号;发送模块260,用于向所述接收网元标识的对应的网管服务器发送所述第二消息,其中,所述第二消息中携带有所述第二事件号。可选地,所述第一接收模块210还用于接收携带有第三事件号的第三消息;所述第一获取模块220还用于查找所述消息分发表,获取与所述第三事件号对应的第三消息处理方法,其中,所述第三消息处理方法包括将所述第二网管服务器请求到的数据同步到所述第二网元的方法。则,如图3所示,该装置还可以包括:同步模块270,用于执行所述第三消息处理方法,将请求到的数据同步到所述第二网元。
可选地,如图3所示,该装置还可以包括:异常处理模块280,用于在执行所述第一消息处理方法的过程中出现异常时,查询预先配置的异常码与事件号的对应关系,获取与本次异常的异常码对应的第四事件号,然后发送携带第四事件号的消息,进入异常处理流程。
可选地,该装置还可以包括:第二接收模块,用于接收配置所述消息分发表的操作指令;配置模块,用于根据输入的各个参数,配置所述消息分发表,其中,所述消息分发表中的消息处理方法符合预先设定的消息处理规范;加载模块,加载配置完成的所述消息分发表。
可选地,所述第二接收模块还用于接收修改所述消息分发表的操作指令;所述配置模块还用于根据输入的参数,修改所述消息分发表中对应的表项,其中,修改后的所述消息分发表中的消息处理方法符合预先设定的消息处理规范;所述加载模块还用于加载修改后的所述消息分发表。
根据本发明实施例,还提供了一种数据获取系统。
图4为根据本发明实施例的数据获取系统的结构示意图,如图4所示,该系统主要包括:网元40及与该网元对应的网管服务器42。其中,网管服务器42可以包括上述的数据获取装置,用于将请求到的数据同步到网元40,网元40用于接收网管服务器42传输的数据。
在具体实施过程中,可以通过在网管服务器中加入一个新的模块(即上述装置),在本发明实施例的一个可选实施方案中,将该模块称为数据传输模块,数据传输模块除了可以采取上述的功能结构形式之外,还可以采用其它的功能结构实现方式。
例如,在图5所示的系统中,网管服务器中增加了一个数据传输模块105。其中,在图5所示的系统中,网管服务器包括:消息通讯模块103、网管服务器和网元间的传送模块102以及系统底层的数据传输服务(如sftp,http等)模块104。
在图5中,前台网元101(即上述的网元)为承担一定业务功能的网元单元,为通讯系统的核心。传送模块102负责将网管服务器的数据传送到前台网元102,是前后台的唯一通道。消息通讯模块103,为现有网管系统提供的用于消息通讯的模块,在本发明实施例中通过该模块发送消息。数据传输服务模块104,为底层系统提供的,网管服务器进一步封装的基于文件的传输通道,本发明实施例中通过该模块进行数据传输。数据传输模块105为本发明实施例增加的核心模块,其结构如图6所示。
图6为本发明实施例的数据传输模块的结构示意图,如图6所示,该数据传输模块主要包括:消息分发表201、消息处理接口301、消息监听装置401和动态加载装置501。
消息分发表201可以为一个二维映射表。其中包括事件号202、消息处理方法203、接收网元204、及发送事件号205四个子组件,即其记载了事件号202、消息处理方法203、接收网元204、及发送事件号205的对应关系。其中,事件号是消息分发的主键,要求是唯一的,没有顺序要求;消息处理方法是用户自定义的本网元对接收到的消息的处理方法,该方法必须符合消息处理接口的规范要求;接收网元是本消息处理完成后,将要发送消息的目标网元号,根据实际情况定义,该值是正整数;发送事件号是目标网元将要处理的事件号,该字段如果配置为结束标志(一般用0表示,也可以使用其他约定的数值),表示消息流程结束。消息分发表201可以以文件、数据库等方式存储。
消息处理接口301,用于定义通用的消息处理规范。该接口一般由消息的接收方网元来实现,以定制自己的消息处理方法。该接口只定义规范,以便消息监听装置401能够正确监听到,消息分发表201中配置的每个消息处理方法都是本接口的一个具体实现。
消息监听装置401,负责本网元消息的接收、处理和发送。其中,消息监听装置401可以包括:消息接收器402,用于监听并接收发往本网元(即网元对应的网管服务器)的消息;消息处理器403,用于根据消息分发表201中配置的消息处理方法来处理消息,并根据异常分发表进行异常处理;消息发送器404,用于消息处理完成后,根据消息分发表的配置,将消息发往下一个网元;异常分发表405用于配置遇到特定异常时的处理方式,异常分发表包括异常码和发送事件号两个关键字段。
在本实施例中,消息监听模块401负责监听其他网元对应的网管服务器发送到本网元对应的网管服务器的消息,当监听到有消息过来时,本装置中的消息接收器负责接收消息,并查找消息分发表中事件号对应的消息处理方法,然后由消息处理器执行该方法和进行异常处理。执行完成后,根据消息分发表中配置的数据,由消息发送器将消息发送到下一个网元。
在本发明实施例中,异常分发表405的作用是在消息处理器处理的过程中,如果发生某种异常,决定消息的发送方向。也就是说,在发生异常的情况下,消息分发表201配置的发送事件号就不起作用了,由异常分发表405中配置的事件号来取代。表2是一个异常分发表的示例。
表2.
异常码 | 发送事件号 |
120001 | 4001 |
120006 | 4002 |
在具体实施过程中,异常码对应的具体含义是系统内部定义的,表2所示的异常分发表指示在处理过程中如果发送了代号为120001的异常情况,则转到事件号4001来处理,如果遇到120006,则转到4002来处理,这里的4001和4002也必须在消息分发表中配置并实现。
动态加载装置501用于加载消息分发表在用户配置或修改消息分发表后,执行动态加载装置501,从而使得消息分发表可以立即生效。在本实施例中,动态加载装置501,用来完成消息分发表的解析和加载。用户实现或修改了消息分发列表的内容后,首先执行动态加载装置501,即可使消息分发列表的内容生效,不影响服务器的正常运行和网元的正常工作。通过动态加载装置,提高了数据传输的灵活性和适用范围,例如可以在用户不知情的情况下,实现对特定网元的监听,对特定信息的收集等。
在本发明实施例中,一次通讯过程可以由网管客户端发起,也可以由用户设定好定时任务,由网管服务器定时发起。通讯发起后,消息监听装置401首先执行发起方的事件号对应的处理方法,处理完成后,根据消息分发表中配置的顺序,将消息发送到下一个事件号对应的网元继续处理。
如果某网元需要请求其他网元的数据,可以在消息处理方法中实现,使用定制的方法下载其他网元准备好的数据,网管服务器对请求到的数据进行处理后可以进行入库等操作,这时,如果消息分发表中还有下一步流程,则将消息发到下一网元继续处理,如果没有下一步流程,则本次通讯结束,传送模块102将通讯后变化的数据同步到对应网元。
以表1所示的消息分发表为例,11号网元对应的网管服务器首先发起会话(哪个网元侧首先发起并不在消息分发表中体现,是由客户端或定时任务等触发的),执行【Begin】方法,然后通过消息把事件号2发给13号网元对应的网管服务器;13号网元对应的网管服务器收到消息后,执行事件号2对应的方法【Event1】,执行完后,把事件号100发回11号网元对应的网管服务器;11号网元对应的网管服务器收到消息后,执行【Event2】,完成后发101给13号网元对应的网管服务器;13号网元对应的网管服务器接收到消息,执行【End】方法,然后发消息给11号网元对应的网管服务器,事件号是200,其中,事件号200对应的也是【End】方法;11号网元对应的网管服务器执行【End】方法,执行到这里,接收网元和发送事件号都是0,表示流程结束了。
从上述示例中可以看出,在数据传输过程中,消息通道和数据通道是分离的。每个消息中仅仅包含接收网元号和发送事件号两个整型数值,消息体非常小,这样保证了传输的可靠和安全。
在上述示例中并不能直接看出数据是如何传输的,数据传输是在消息处理方法中实现的,如【Event1】或【Event2】。用户可以定制任意的传输方式,依靠系统底层的成熟方案进行,例如可以利用加密的sftp服务,而数据的格式本身,用户可以使用自定义的方式进行压缩或加密,应用非常灵活。
并且,在本发明实施例中,所有数据传输的中间过程都是在后台网管服务器上进行的,网元毫不知情,只有在数据传输结束后,发生数据改变的情况下,才由网管的数据传送功能(即上述传送模块)通知网元更新状态。传输过程中如果发生任何网络故障等问题,可以安全的结束本次会话,而不影响网元的工作状态。
通过本发明实施例提供的上述技术方案,将消息通道和数据通道分离,用户可以安照消息处理接口的规范定制消息处理的具体方法,以后台通讯驱动网间的数据传输。因此,具有安全、隐蔽、使用灵活、支持大数据量传输等有益效果。
下面以图7所示的消息分发表及图8所示异常分发表来实现双归属容灾备份为例,对本发明实施例提供的技术方案作进一步说明。其中51、52是主用网元,61是备用网元,51网元是消息的发起方,需要把51和52网元的数据备份到61网元。
在实施时,按照图7和图8在各个网元的对应网管服务器中配置消息分发表和异常分发表,同时实现消息分发表中配置的消息处理方法,然后执行动态加载即可。
图9为本实施例中执行数据备份的系统内部流程图,左边虚线框中表示的是正常流程,右边表示异常流程,仅表示了异常码14001的处理流程,其他异常处理流程类似。正常流程中的多个步骤都可能出现异常而转到异常流程,图中用虚线做了标示。
如图9所示,将51和52网元的数据备份到61网元主要包括以下步骤:
步骤901:网元51对应的网管服务器发起双归属请求,指定事件号是1001。
步骤902:网元51对应的网管服务器的消息监听装置收到事件号为1001的消息,并执行该事件号对应的消息处理方法(Begin),执行完成后,将消息发送到51和52网元对应的网管服务器,事件号是1002。
说明,在本实施例中,本网管服务器内发送消息也是支持的。
步骤903:网元51、52对应的网管服务器同时收到消息,并执行事件1002(进行主用端的数据校验,如果校验不通过,会自动转到异常流程,下同),然后发消息到网元61对应的网管服务器。
步骤904:网元61对应的网管服务器执行事件2001(执行备用端数据校验),完成后发消息给网元51、52对应的网管服务器。
步骤905:网元51、52对应的网管服务器同时执行事件1003(主用端进行数据导出),完成后发消息给网元61对应的网管服务器。
步骤906:网元61对应的网管服务器执行事件2002(从主用网元51、52获取数据,并处理后导入),完成后发消息给网元51对应的网管服务器。说明:因为网元51对应的网管服务器是发起方,要把执行情况告知发起方,而不需要通知网元52对应的网管服务器。
步骤907:网元51对应的网管服务器执行事件1004(上报进度,告知用户对方网元已经成功获取数据),完成后发消息给网元61对应的网管服务器;
步骤908:网元61对应的网管服务器收到消息,执行事件2003(传送数据,即把变化的数据通知前台网元。因为流程中,只有61号网元的数据发生了变化,所以只有61号网元对应的网管服务器需要传送数据),消息分发表中发送事件号是0,表示流程结束。
步骤909:判断异常码是否是14001,如果是,转到本异常的处理流程910,否则,转到其他异常的处理流程(略)。在上述步骤中,如果任何一步发生异常,即转到本步骤。
步骤910:根据异常分发表,找到14001对应的事件号4000,将消息的发送事件号改为4000,发送的网元不变,发送消息。
步骤911:接收方网元收到4000的消息,进行异常处理(即执行消息分发表中事件号4000对应的消息处理方法Errorhandler1)。
步骤912:处理异常的网元发送消息到所有网元(51、52、61),携带事件号5000。
步骤913:所有网元接收到事件号5000的消息,进行善后处理,终止流程。
步骤914:流程结束。
从以上的描述中,可以看出,本发明实施例在数据传输过程中,消息通道和数据通道是分离的。每个消息中仅仅包含接收网元号和发送事件号两个整型数值,消息体非常小,这样保证了传输的可靠和安全。并且,在本发明实施例中,用户可以定制任意的传输方式,依靠系统底层的成熟方案进行,例如可以利用加密的sftp服务,而数据的格式本身,用户可以使用自定义的方式进行压缩或加密,应用非常灵活。另外,在本发明实施例中,所有数据传输的中间过程都是在后台网管服务器上进行的,网元毫不知情,只有在数据传输结束后,发生数据改变的情况下,才由网管的数据传送功能(即上述传送模块)通知网元更新状态。传输过程中如果发生任何网络故障等问题,可以安全的结束本次会话,而不影响网元的工作状态。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种数据获取方法,其特征在于,包括:
与第二网元对应的第二网管服务器接收与第一网元对应的第一网管服务器发送的第一消息,其中,所述第一消息中携带有第一事件号;
所述第二网管服务器查找预先配置的消息分发表,获取与所述第一事件号对应的第一消息处理方法,其中,所述消息分发表中用于记录数据传输的各步流程以及各步流程中需要执行的消息处理方法、下一步流程中的消息接收方和该消息接收方需要处理的事件号,所述第一消息处理方法中定制了所述第二网管服务器从其他网元获取数据的传输方法;
所述第二网管服务器执行所述第一消息处理方法,从所述其它网元的网管服务器请求并获取数据。
2.根据权利要求1所述的方法,其特征在于,在从所述其它网元请求并获取数据之后,所述方法还包括:所述第二网管服务器对请求到的数据进行处理,然后对处理后的数据进行入库操作。
3.根据权利要求1所述的方法,其特征在于,在所述第二网管服务器从所述其它网元获取到数据之后,所述方法还包括:
所述第二网管服务器判断所述消息分发表中是否还有下一步流程,如果有,则所述第二网管服务器从所述消息分发表中获取下一步流程中第二消息的接收网元标识及需要执行的第二消息处理方法的第二事件号;
所述第二网管服务器向所述接收网元标识的对应的网管服务器发送所述第二消息,其中,所述第二消息中携带有所述第二事件号。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第二网管服务器接收携带有第三事件号的第三消息;
所述第二网管服务器查找所述消息分发表,获取与所述第三事件号对应的第三消息处理方法,其中,所述第三消息处理方法包括将所述第二网管服务器请求到的数据同步到所述第二网元的方法;
所述第二网管服务器执行所述第三消息处理方法,将请求到的数据同步到所述第二网元。
5.根据权利要求1至4中任一项所述的方法,其特征在于,如果所述第二网管服务器在执行所述第一消息处理方法的过程中出现异常,则所述方法包括:
所述第二网管服务器查询预先配置的异常码与事件号的对应关系,获取与本次异常的异常码对应的第四事件号;
所述第二网管服务器发送携带第四事件号的消息。
6.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
接收配置所述消息分发表的操作指令;
根据输入的各个参数,配置所述消息分发表,其中,所述消息分发表中的消息处理方法符合预先设定的消息处理规范;
加载配置完成的所述消息分发表。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
接收修改所述消息分发表的操作指令;
根据输入的参数,修改所述消息分发表中对应的表项,其中,修改后的所述消息分发表中的消息处理方法符合预先设定的消息处理规范;
加载修改后的所述消息分发表。
8.一种数据获取装置,位于与第二网元对应的第二网管服务器,其特征在于,所述装置包括:
第一接收模块,用于接收与第一网元对应的第一网管服务器发送的第一消息,其中,所述第一消息中携带有第一事件号;
第一获取模块,用于查找预先配置的消息分发表,获取与所述第一事件号对应的第一消息处理方法,其中,所述消息分发表中用于记录数据传输的各步流程以及各步流程中需要执行的消息处理方法、下一步流程中的消息接收方和该消息接收方需要处理的事件号,所述第一消息处理方法中定制了所述第二网管服务器从其他网元获取数据的传输方法;
执行模块,用于执行所述第一消息处理方法,从所述其它网元的网管服务器请求并获取数据。
9.根据权利要求8所述的装置,其特征在于,还包括:
判断模块,用于判断所述消息分发表中是否还有下一步流程,如果有,则触发第二获取模块;
所述第二获取模块,用于从所述消息分发表中获取下一步流程中第二消息的接收网元标识及需要执行的第二消息处理方法的第二事件号;
发送模块,用于向所述接收网元标识的对应的网管服务器发送所述第二消息,其中,所述第二消息中携带有所述第二事件号。
10.根据权利要求8所述的装置,其特征在于,
所述第一接收模块还用于接收携带有第三事件号的第三消息;
所述第一获取模块还用于查找所述消息分发表,获取与所述第三事件号对应的第三消息处理方法,其中,所述第三消息处理方法包括将所述第二网管服务器请求到的数据同步到所述第二网元的方法;
所述装置还包括:同步模块,用于执行所述第三消息处理方法,将请求到的数据同步到所述第二网元。
11.根据权利要求8至10中任一项所述的装置,其特征在于,还包括:
异常处理模块,用于在执行所述第一消息处理方法的过程中出现异常时,查询预先配置的异常码与事件号的对应关系,获取与本次异常的异常码对应的第四事件号,然后发送携带所述第四事件号的消息。
12.根据权利要求8至10中任一项所述的装置,其特征在于,还包括:
第二接收模块,用于接收配置所述消息分发表的操作指令;
配置模块,用于根据输入的各个参数,配置所述消息分发表,其中,所述消息分发表中的消息处理方法符合预先设定的消息处理规范;
加载模块,加载配置完成的所述消息分发表。
13.根据权利要求12所述的装置,其特征在于,
所述第二接收模块还用于接收修改所述消息分发表的操作指令;
所述配置模块还用于根据输入的参数,修改所述消息分发表中对应的表项,其中,修改后的所述消息分发表中的消息处理方法符合预先设定的消息处理规范;
所述加载模块还用于加载修改后的所述消息分发表。
14.一种数据获取系统,其特征在于,包括:网元和与所述网元对应的网管服务器,其中,
所述网管服务器包括权利要求8至13中任一项所述装置,用于将从其他网元请求到的数据同步到所述网元;
所述网元,用于接收所述网管服务器传输的数据。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410202112.5A CN105099738B (zh) | 2014-05-13 | 2014-05-13 | 数据获取方法、装置及系统 |
PCT/CN2014/088777 WO2015172512A1 (zh) | 2014-05-13 | 2014-10-16 | 数据获取方法、装置及系统 |
EP14892142.2A EP3145120B1 (en) | 2014-05-13 | 2014-10-16 | Data acquisition method, device and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410202112.5A CN105099738B (zh) | 2014-05-13 | 2014-05-13 | 数据获取方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105099738A true CN105099738A (zh) | 2015-11-25 |
CN105099738B CN105099738B (zh) | 2019-08-02 |
Family
ID=54479255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410202112.5A Active CN105099738B (zh) | 2014-05-13 | 2014-05-13 | 数据获取方法、装置及系统 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3145120B1 (zh) |
CN (1) | CN105099738B (zh) |
WO (1) | WO2015172512A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112994917B (zh) * | 2019-12-17 | 2022-12-13 | 华为技术有限公司 | 网络管理方法和网络管理装置 |
CN111049762A (zh) * | 2019-12-23 | 2020-04-21 | 上海金仕达软件科技有限公司 | 数据采集方法、装置、存储介质及交换机 |
CN111314139A (zh) * | 2020-02-19 | 2020-06-19 | 北京安帝科技有限公司 | 一种工控环境下数据采集中设备和事件的标识方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6430188B1 (en) * | 1998-07-08 | 2002-08-06 | Broadcom Corporation | Unified table for L2, L3, L4, switching and filtering |
CN101772007A (zh) * | 2008-12-31 | 2010-07-07 | 中兴通讯股份有限公司 | 一种改进的全网信令跟踪系统及方法 |
US20130339825A1 (en) * | 2012-06-13 | 2013-12-19 | International Business Machines Corporation | External settings that reconfigure the error handling behavior of a distributed pcie switch |
CN103563430A (zh) * | 2012-11-13 | 2014-02-05 | 华为技术有限公司 | 获取报文信息的方法及网元 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101789963A (zh) * | 2010-01-05 | 2010-07-28 | 深圳中兴网信科技有限公司 | 数据同步系统 |
CN102523605B (zh) * | 2011-12-13 | 2016-01-06 | 华为技术有限公司 | 一种通信方法及设备 |
GB2499418A (en) * | 2012-02-15 | 2013-08-21 | Renesas Mobile Corp | Transmitting a message comprising information related to device to device communication from a User Equipment to a Network Entity |
-
2014
- 2014-05-13 CN CN201410202112.5A patent/CN105099738B/zh active Active
- 2014-10-16 WO PCT/CN2014/088777 patent/WO2015172512A1/zh active Application Filing
- 2014-10-16 EP EP14892142.2A patent/EP3145120B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6430188B1 (en) * | 1998-07-08 | 2002-08-06 | Broadcom Corporation | Unified table for L2, L3, L4, switching and filtering |
CN101772007A (zh) * | 2008-12-31 | 2010-07-07 | 中兴通讯股份有限公司 | 一种改进的全网信令跟踪系统及方法 |
US20130339825A1 (en) * | 2012-06-13 | 2013-12-19 | International Business Machines Corporation | External settings that reconfigure the error handling behavior of a distributed pcie switch |
CN103563430A (zh) * | 2012-11-13 | 2014-02-05 | 华为技术有限公司 | 获取报文信息的方法及网元 |
Also Published As
Publication number | Publication date |
---|---|
WO2015172512A1 (zh) | 2015-11-19 |
CN105099738B (zh) | 2019-08-02 |
EP3145120A4 (en) | 2018-01-03 |
EP3145120A1 (en) | 2017-03-22 |
EP3145120B1 (en) | 2019-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107070613B (zh) | 分布式网络环境下数据可靠传输方法 | |
CN104243216A (zh) | 集群服务器的维护方法及装置 | |
CN105939201A (zh) | 服务器状态的检查方法和装置 | |
CN103457802A (zh) | 一种信息传输系统及方法 | |
CN102882704A (zh) | 一种issu的软重启升级过程中的链路保护方法和设备 | |
CN105099738A (zh) | 数据获取方法、装置及系统 | |
CN103548315A (zh) | 用于高性能低等待时间实时通知递送的方法和装置 | |
EP3272079B1 (en) | Method and system for transferring messages between messaging systems | |
CN110838970A (zh) | 消息分发方法、装置及系统 | |
CN106789587B (zh) | 一种云计算环境下可靠消息的通信装置及方法 | |
CN107172112B (zh) | 一种计算机文件传输方法及装置 | |
CN103546427B (zh) | 一种实现加密机应用的高可用性的方法和系统 | |
CN105281940B (zh) | 一种基于netconf协议的hello报文交互的方法、设备和系统 | |
CN103501298B (zh) | 一种不中断业务升级过程中保证链路不断流的方法和设备 | |
CN105871806A (zh) | 流媒体文件切片的方法、装置及系统 | |
DE102016206739A1 (de) | Systeme und Verfahren zum Absichern einer Remotekonfiguration | |
CN105243002A (zh) | 一种消息中间件的监控方法和系统 | |
CN112615901A (zh) | 一种客户端发送用户请求的方法和存储系统 | |
CN107193663A (zh) | 一种业务消息处理方法及装置 | |
EP4351160A1 (en) | Bandwidth adjustment method and apparatus, storage medium, and electronic device | |
CN113992740B (zh) | 一种基于自主可控的中间件及数据传输方法 | |
CN106961687B (zh) | 一种信息交互方法及系统 | |
CN106973065A (zh) | 一种服务器事件处理系统及方法 | |
CN108882185A (zh) | 补充业务的配置方法、装置及移动终端 | |
CN106529965A (zh) | 一种数据处理方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |