CN106933602A - 一种基于面向服务架构soa的数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种基于面向服务架构SOA的数据处理方法及装置，该方法包括：获取交换机所记录的用户的行为数据并将行为数据并转发至提取转换组件，行为数据至少包括用户的呼叫记录数据；通过提取转换组件对行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中；通过实时监控组件接收到用户请求的请求参数之后，调用内存数据库以及文件数据库中相关的数据，并将相关的数据生成图形或者报表。本发明使SOA在移动通讯的信令大数据场景下，实现可扩展的支撑架构，对物理上分布的各个组件进行管理，保证了在负荷较大时的扩展能力，提高了系统的性能。

Description

一种基于面向服务架构SOA的数据处理方法及装置

技术领域

本发明涉及移动通信领域，特别涉及一种基于面向服务架构SOA的数据处理方法及装置。

背景技术

随着移动网络业务和技术的复杂性不断增加以及市场竞争的加剧，网络维护工作从原来的面向网络设备向面向业务、注重客户感知的方向转变。为了更好地满足故障处理、客户投诉或网络性能实时分析等网络管理需求，“呼叫记录”技术逐步产生并得到发展。目前已经有设备商涉及到了基于呼叫记录的网络运行情况的分析，然而并没有对这些数据的深层挖掘和扩展，比如系统要能灵活的部署，小的局点单个服务器就可以部署全部应用，而大型的局点需要做到分布式部署，各个分布式组件如何部署通讯成本较低，如何做到跨主机，跨网段的进程间通讯都是目前需要面对的难题，特别是需要面对的数据是海量的大数据，通讯机制和模块拆分部署方式必须能经受住考验。

目前现有的分布式部署方式很多无法满足网络管理需求，比如实现业务识别、内容计费，这样增加了运营商的运营成本，降低了客户的满意度。

发明内容

本发明提供了一种基于面向服务架构SOA的数据处理方法及装置，其目的是为了解决现有的分布式部署方式很多无法满足网络管理需求的问题。

为了达到上述目的，本发明的实施例提供了一种基于面向服务架构SOA的数据处理方法，包括：

获取交换机所记录的用户的行为数据并将行为数据并转发至提取转换组件，行为数据至少包括用户的呼叫记录数据；

通过提取转换组件对行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中；

通过实时监控组件接收到用户请求的请求参数之后，调用内存数据库以及文件数据库中相关的数据，并将相关的数据生成图形或者报表。

优选地，通过提取转换组件对行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中，包括：

通过提取转换组件根据内存数据库中的表模型对行为数据进行提取，并根据预设的过滤规则对提取后的行为数据进行过滤；

将经过过滤的行为数据存储至内存数据库，并通过加载组件发送至文件数据库。优选地，通过实时监控组件接收到用户请求的请求参数之后，调用内存数据库以及文件数据库中相关的数据，并将相关的数据生成图形或者报表，包括：

当接收到用户请求时，通过控制组件对用户请求进行分析得出请求参数，并将请求参数发送至实时监控组件；

通过实时监控组件根据请求参数，调用内存数据库以及文件数据库中相关的数据，将相关的数据生成图形或者报表；

通过控制组件将相关的数据生成图形或者报表反馈给用户。

优选地，通过实时监控组件根据请求参数，调用内存数据库以及文件数据库中相关的数据，将相关的数据生成图形或者报表，包括：

通过实时监控组件根据请求参数，调用内存数据库中相关的数据，将相关的数据生成图形；

将内存数据库与文件数据库中的数据结合生成报表，并通过控制组件反馈给用户。

优选地，该方法还包括：

通过导出组件根据预设的周期对文件数据库或内存数据库中过期的数据进行清除或与向文件数据库或内存数据库发送数据导出请求的发送方对接，提供数据输出。

优选地，该方法还包括：

通过路由组件监控第一组件之间的数据传输，第一组件包括：提取转换组件、加载组件、实时监控组件；

按照第一预设规则通过第一组件之间的数据传输经过路由组件转发，或者，

按照第二预设规则通过路由组件记录不经过路由组件转发的第一组件之间的数据传输的发送方和接收方。

为了达到上述目的，本发明的实施例还提供了一种基于面向服务架构SOA的数据处理装置，包括：

获取模块，用于获取交换机所记录的用户的行为数据并将行为数据并转发至提取转换组件，行为数据至少包括用户的呼叫记录数据；

提取模块，用于通过提取转换组件对行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中；

生成模块，用于通过实时监控组件接收到用户请求的请求参数之后，调用内存数据库以及文件数据库中相关的数据，并将相关的数据生成图形或者报表。

优选地，提取模块包括：

过滤子模块，用于通过提取转换组件根据内存数据库中的表模型对行为数据进行提取，并根据预设的过滤规则对提取后的行为数据进行过滤；

发送子模块，用于将经过过滤的行为数据存储至内存数据库，并通过加载组件发送至文件数据库。

优选地，生成模块包括：

分析子模块，用于当接收到用户请求时，通过控制组件对用户请求进行分析得出请求参数，并将请求参数发送至实时监控组件；

调用子模块，通过实时监控组件根据请求参数，调用内存数据库以及文件数据库中相关的数据，将相关的数据生成图形或者报表；

反馈子模块，用于通过控制组件将相关的数据生成图形或者报表反馈给用户。

优选地，反馈子模块具体用于：

通过实时监控组件根据请求参数，调用内存数据库中相关的数据，将相关的数据生成图形；

将内存数据库与文件数据库中的数据结合生成报表，并通过控制组件反馈给用户。

优选地，该装置还包括：

处理模块，用于通过导出组件根据预设的周期对文件数据库或内存数据库中过期的数据进行清除或与向文件数据库或内存数据库发送数据导出请求的发送方对接，提供数据输出。

优选地，该装置还包括：

路由管理模块，用于通过路由组件监控第一组件之间的数据传输，第一组件包括：提取转换组件、加载组件、实时监控组件；

按照第一预设规则通过第一组件之间的数据传输经过路由组件转发，或者，

按照第二预设规则通过路由组件记录不经过路由组件转发的第一组件之间的数据传输的发送方和接收方。

本发明的上述方案至少包括以下有益效果：

本发明提供的基于SOA的数据处理方法及装置，通过获取交换机上的用户行为数据的采集与转发，同时对数据的进行提取和转换，生成与内存数据库中的表模型相对应的数据文件并经加载组件存储至数据库，并根据用户请求将相应数据以图像化或者表格化显示；本发明使SOA在移动通讯的信令大数据场景下，实现可扩展的支撑架构，对物理上分布的各个组件进行管理，保证了在负荷较大时的扩展能力，提高了系统的性能，既可以满足某些用户数量较小的运营商简单组网配置，也可以满足大容量局点复杂组网配置，对于分布式部署的各个组件实现通讯成本较低，解决了跨主机、跨网段的SOA组件间的大数据通讯性能问题。

附图说明

图1为本发明的第一实施例提供的基于SOA的数据处理方法的基本步骤流程图；

图2为本发明的第二实施例提供的基于SOA的数据处理方法的基本步骤流程图；

图3为本发明的第三实施例提供的基于SOA的数据处理装置的结构示意图。

具体实施方式

为通过本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的问题，提供了一种基于面向服务架构SOA的数据处理方法及装置。面向服务架构(SOA)的体系结构是一个组件模型，它将应用程序的不同功能单元(称为服务)，通过这些服务之间定义良好的接口和契约联系起来，接口是采用中立的方式进行定义的，SOA独立于实现服务的硬件平台、操作系统和编程语言，这使得构建在各种各样的系统中的服务可以使用一种统一和通用的方式进行交互。

第一实施例

参见图1，本发明的第一实施例提供了一种基于面向服务架构SOA的数据处理方法，包括：

步骤101，获取交换机所记录的用户的行为数据并将行为数据并转发至提取转换组件，行为数据至少包括用户的呼叫记录数据。

具体地，可通过在交换机上设置代理来获取并转发交换机所记录的用户的行为数据。其中，交换机所记录的原始数据通常为返回以数值表达式值为编码的字符(CHR)数据、拜访位置寄存器(VLR)用户数据以及部分配置数据等；且这些原始数据需通过不同的机制转发至提取转换组件，常见的基于套接字(SOCKET，源IP地址和目的IP地址以及源端口号和目的端口号的组合)的消息交互机制包括有数据经过TLV(Type-length-value)编码处理、文件传输协议(FTP)文件传输机制、人工导入离线文档的机制等。

步骤102，通过提取转换组件对行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中。其中，内存数据库即将数据放在内存中直接操作的数据库，相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能；文件数据库即嵌入式数据库，将整个数据库的内容保存在单个索引文件中，以便于数据库的发布。

具体地，步骤102包括：

通过提取转换组件根据内存数据库中的表模型对行为数据进行提取，并根据预设的过滤规则对提取后的行为数据进行过滤；

将经过过滤的行为数据存储至内存数据库，并通过加载组件发送至文件数据库。

其中，数据的提取即使数据与内存数据库中的表模型相对应，比如，CHR信息中的号码信息可能是千差万别的，不符合数据库所指定的规范，要对这样的数据来做转换，保证最终保存到数据库中的数据是与表模型相对应的；数据的转换即将经过提取的数据进行“数据清洗”，按照一定的预设规则过滤掉不符合要求的数据，比如一些错误数据或者冲突数据，这样可以减少一部分的存储压力。

其中，发送至加载组件的行为数据可以是本地文件或者是来自远端网络的。在简单组网模式下，提取组件和加载组件都在网元服务器上，因此提取组件输出的数据文件可以直接作为加载组件入库的输入信息，同时加载组件也可以把数据文件读入内存以后有选择的装载到实时监控组件中；而在复杂组网模式下，提取组件的输出可以作为加载组件通过FTP获取的输入。

参见表1，表1为本发明的第一实施例的一个数据表模型：

表1：

步骤103，通过实时监控组件接收到用户请求的请求参数之后，调用内存数据库以及文件数据库中相关的数据，并将相关的数据生成图形或者报表。

其中，当实时监控组件接收到用户请求的请求参数时，调用相关数据，生成与用户的请求参数相对应的结果。

其中，用户请求可以包括故障处理、客户投诉或网络性能实时分析等，以用户投诉为例，当接收到用户投诉的请求参数时，调用呼叫记录数据中标识号(Call ID)、模块号、主叫号码、被叫号码、失败原因、呼叫时间等，将上述数据生成图形或者报表反馈给用户。如果按照以上的内容保存呼叫记录数据，那么每一个CHR记录可以压缩至40个字节左右(Call ID、模块号、主叫号码、被叫号码、失败原因、呼叫时间)。这里做一个数据量的估算，假设实时监控组件所在服务器物理内存大小为M(字节)、接入网元平均呼叫量为C(CPAS，每秒建立呼叫数量)、呼叫的接通率为R、系统能够保存D天供客服人员处理客户投诉的数据，则：

D＝0.25*M/{C*24*3600*40*(1-R)}

即：

D＝M/{13824000*C*(1-R)}

如果网元服务器的物理内存为4G，接入网元的平均呼叫量为100CAPS，那么，系统能够保存15.3天的数据，而面对如此海量的大数据，现有的通讯机制和模块拆分部署方式难以实现合理部署。

本发明的上述实施例中，该方法还包括：

通过导出组件根据预设的周期对文件数据库或内存数据库中过期的数据进行清除或与向文件数据库或内存数据库发送数据导出请求的发送方对接，提供数据输出。

其中，定期对文件数据库或内存数据库中过期的数据进行清除，以节省存储空间；或向文件数据库或内存数据库发送数据导出请求的发送方(比如第三方软件)对接，以实现数据输出。

本发明的上述实施例中，不同进程的消息交互过程实际上仅是内存操作，交互过程便捷快速，且由于内存不是动态释放或者动态申请的，所以交互过程不会产生内存碎片，避免造成消息堆积导致内存溢出。

本发明的上述实施例中，通过获取交换机上的用户行为数据的采集与转发，同时对数据的进行提取和转换，生成与内存数据库中的表模型相对应的数据文件并经加载组件存储至文件数据库，并根据用户请求将相应数据以图像化或者表格化显示；本发明使SOA在移动通讯的信令大数据场景下，实现可扩展的支撑架构，对物理上分布的各个组件进行管理，保证了在负荷较大时的扩展能力，提高了系统的性能，既可以满足某些用户数量较小的运营商简单组网配置，也可以满足大容量局点复杂组网配置，对于分布式部署的各个组件实现通讯成本较低，解决了跨主机、跨网段的SOA组件间的大数据通讯性能问题。

本发明可以实现了可以运用在多种类型的无线通讯网络中的用户行为分析功能，可以更好地满足故障处理、客户投诉或网络性能实时分析等网络管理需求。

第二实施例

参见图2，本发明的第二实施例提供了一种基于面向服务架构SOA的数据处理方法，包括：

步骤201，获取交换机所记录的用户的行为数据并将行为数据并转发至提取转换组件，行为数据至少包括用户的呼叫记录数据。

步骤202，通过提取转换组件对行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中；

步骤203，当接收到用户请求时，通过控制组件对用户请求进行分析得出请求参数，并将请求参数发送至实时监控组件；

其中，以故障定位为例，若用户请求为故障定位，则请求参数需包括背景参数，比如设备商内部字段，用于分析分析单通，掉话，长途来话接通率，超短通话，IP承载质量等问题。

步骤204，通过实时监控组件根据请求参数，调用内存数据库以及文件数据库中相关的数据，将相关的数据生成图形或者报表；

其中，以用户投诉为例，当接收到用户投诉的请求参数时，调用呼叫记录数据中标识号(Call ID)、模块号、主叫号码、被叫号码、失败原因、呼叫时间等。

具体地，步骤204包括：

通过实时监控组件根据请求参数，调用内存数据库中相关的数据，将相关的数据生成图形；

将内存数据库与文件数据库中的数据结合生成报表，并通过控制组件反馈给用户。

其中，SOA需内置一套报表框架或图形框架，当调用与用户请求相关的数据后，直接将数据嵌入到相应框架中，能够较好的提高数据处理效率。比如生成接通率曲线图或者报表等。

步骤205，通过控制组件将相关的数据生成图形或者报表反馈给用户。

本发明的上述实施例中，该方法还包括：

通过路由组件监控第一组件之间的数据传输，第一组件包括：提取转换组件、加载组件、实时监控组件；

按照第一预设规则通过第一组件之间的数据传输经过路由组件转发，或者，

按照第二预设规则通过路由组件记录不经过路由组件转发的第一组件之间的数据传输的发送方和接收方。

其中，按照第一预设规则规定的第一组件之间的数据传输必须经过路由组件转发；按照第二预设规则规定的第一组件之间的数据传输可以不经过路由组件转发，可以直接在组件之间转发，比如同在前台的2个组件间的数据传输或者同在后台的2个组件之间的数据传输，在共享内存上操作即可，只需记录发送方与接收方之间的地址绑定关系即可，达到合理部署组件间的消息交互的效果。

本发明的上述实施例中，通过获取交换机上的用户行为数据的采集与转发，并根据用户请求将相应数据以图像化或者表格化显示以及对组件间消息交互过程进行合理的部署，使SOA在移动通讯的信令大数据场景下，实现可扩展的支撑架构，保证了在负荷较大时的扩展能力，提高了系统的性能，实现通讯成本较低，解决了跨主机、跨网段的SOA组件间的大数据通讯性能问题。

第三实施例

参见图3，本发明的第三实施例提供了一种基于面向服务架构SOA的数据处理装置，包括：

获取模块301，用于获取交换机所记录的用户的行为数据并将行为数据并转发至提取转换组件，行为数据至少包括用户的呼叫记录数据；

提取模块302，用于通过提取转换组件对行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中；

生成模块303，用于通过实时监控组件接收到用户请求的请求参数之后，调用内存数据库以及文件数据库中相关的数据，并将相关的数据生成图形或者报表。

优选地，提取模块302包括：

过滤子模块，用于通过提取转换组件根据内存数据库中的表模型对行为数据进行提取，并根据预设的过滤规则对提取后的行为数据进行过滤；

发送子模块，用于将经过过滤的行为数据存储至内存数据库，并通过加载组件发送至文件数据库。

优选地，生成模块303包括：

分析子模块，用于当接收到用户请求时，通过控制组件对用户请求进行分析得出请求参数，并将请求参数发送至实时监控组件；

调用子模块，通过实时监控组件根据请求参数，调用内存数据库以及文件数据库中相关的数据，将相关的数据生成图形或者报表；

反馈子模块，用于通过控制组件将相关的数据生成图形或者报表反馈给用户。

优选地，反馈子模块具体用于：

通过实时监控组件根据请求参数，调用内存数据库中相关的数据，将相关的数据生成图形；

将内存数据库与文件数据库中的数据结合生成报表，并通过控制组件反馈给用户。

优选地，该装置还包括：

处理模块，用于通过导出组件根据预设的周期对文件数据库或内存数据库中过期的数据进行清除或与向文件数据库或内存数据库发送数据导出请求的发送方对接，提供数据输出。

优选地，该装置还包括：

路由管理模块，用于通过路由组件监控第一组件之间的数据传输，第一组件包括：提取转换组件、加载组件、实时监控组件；

按照第一预设规则通过第一组件之间的数据传输经过路由组件转发，或者，

按照第二预设规则通过路由组件记录不经过路由组件转发的第一组件之间的数据传输的发送方和接收方。

需要说明的是，本发明实施例提供的面向服务架构SOA的数据处理装置是应用上述装置的装置，即上述装置的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种基于面向服务架构SOA的数据处理方法，其特征在于，包括：

获取交换机所记录的用户的行为数据并将所述行为数据并转发至提取转换组件，所述行为数据至少包括用户的呼叫记录数据；

通过所述提取转换组件对所述行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中；

通过实时监控组件接收到用户请求的请求参数之后，调用所述内存数据库以及文件数据库中相关的数据，并将所述相关的数据生成图形或者报表。

2.根据权利要求1所述的数据处理方法，其特征在于，所述通过所述提取转换组件对所述行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中，包括：

通过所述提取转换组件根据内存数据库中的表模型对所述行为数据进行提取，并根据预设的过滤规则对所述提取后的行为数据进行过滤；

将经过过滤的行为数据存储至所述内存数据库，并通过所述加载组件发送至文件数据库。

3.根据权利要求1所述的数据处理方法，其特征在于，所述通过实时监控组件接收到用户请求的请求参数之后，调用所述内存数据库以及文件数据库中相关的数据，并将所述相关的数据生成图形或者报表，包括：

当接收到用户请求时，通过控制组件对所述用户请求进行分析得出请求参数，并将请求参数发送至实时监控组件；

通过所述实时监控组件根据所述请求参数，调用所述内存数据库以及文件数据库中相关的数据，将所述相关的数据生成图形或者报表；

通过所述控制组件将所述相关的数据生成图形或者报表反馈给用户。

4.根据权利要求3所述的数据处理方法，其特征在于，所述通过所述实时监控组件根据所述请求参数，调用所述内存数据库以及文件数据库中相关的数据，将所述相关的数据生成图形或者报表，包括：

通过所述实时监控组件根据所述请求参数，调用所述内存数据库中相关的数据，将所述相关的数据生成图形；

将所述内存数据库与所述文件数据库中的数据结合生成报表，并通过所述控制组件反馈给用户。

5.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

通过导出组件根据预设的周期对所述文件数据库或内存数据库中过期的数据进行清除或与向所述文件数据库或内存数据库发送数据导出请求的发送方对接，提供数据输出。

6.根据权利要求1-5任一项所述的数据处理方法，其特征在于，所述方法还包括：通过路由组件监控第一组件之间的数据传输，所述第一组件包括：提取转换组件、加载组件、实时监控组件；

按照第一预设规则通过所述第一组件之间的数据传输经过所述路由组件转发，或者，

按照第二预设规则通过所述路由组件记录不经过所述路由组件转发的所述第一组件之间的数据传输的发送方和接收方。

7.一种基于面向服务架构SOA的数据处理装置，其特征在于，包括：

获取模块，用于获取交换机所记录的用户的行为数据并将所述行为数据并转发至提取转换组件，所述行为数据至少包括用户的呼叫记录数据；

提取模块，用于通过所述提取转换组件对所述行为数据进行提取与转换，将经过提取与转换的数据存储至内存数据库，并通过加载组件将存储至内存数据库的行为数据加载到文件数据库中；

生成模块，用于通过实时监控组件接收到用户请求的请求参数之后，调用所述内存数据库以及文件数据库中相关的数据，并将所述相关的数据生成图形或者报表。

8.根据权利要求7所述的数据处理装置，其特征在于，所述提取模块包括：

过滤子模块，用于通过所述提取转换组件根据内存数据库中的表模型对所述行为数据进行提取，并根据预设的过滤规则对所述提取后的行为数据进行过滤；

发送子模块，用于将经过过滤的行为数据存储至所述内存数据库，并通过所述加载组件发送至文件数据库。

9.根据权利要求7所述的数据处理装置，其特征在于，所述生成模块包括：

分析子模块，用于当接收到用户请求时，通过控制组件对所述用户请求进行分析得出请求参数，并将请求参数发送至所述实时监控组件；

调用子模块，通过实时监控组件根据所述请求参数，调用所述内存数据库以及文件数据库中相关的数据，将所述相关的数据生成图形或者报表；

反馈子模块，用于通过所述控制组件将所述相关的数据生成图形或者报表反馈给用户。

10.根据权利要求9所述的数据处理装置，其特征在于，所述反馈子模块具体用于：

通过所述实时监控组件根据所述请求参数，调用所述内存数据库中相关的数据，将所述相关的数据生成图形；

将所述内存数据库与所述文件数据库中的数据结合生成报表，并通过所述控制组件反馈给用户。

11.根据权利要求7所述的数据处理装置，其特征在于，所述装置还包括：

处理模块，用于通过导出组件根据预设的周期对所述文件数据库或内存数据库中过期的数据进行清除或与向所述文件数据库或内存数据库发送数据导出请求的发送方对接，提供数据输出。

12.根据权利要求7-11任一项所述的数据处理装置，其特征在于，所述装置还包括：

路由管理模块，用于通过路由组件监控第一组件之间的数据传输，所述第一组件包括：提取转换组件、加载组件、实时监控组件；

按照第一预设规则通过所述第一组件之间的数据传输经过所述路由组件转发，或者，

按照第二预设规则通过所述路由组件记录不经过所述路由组件转发的所述第一组件之间的数据传输的发送方和接收方。