CN107092530B - 一种基于分布式内存的信令数据处理方法及系统 - Google Patents

一种基于分布式内存的信令数据处理方法及系统 Download PDF

Info

Publication number
CN107092530B
CN107092530B CN201710117666.9A CN201710117666A CN107092530B CN 107092530 B CN107092530 B CN 107092530B CN 201710117666 A CN201710117666 A CN 201710117666A CN 107092530 B CN107092530 B CN 107092530B
Authority
CN
China
Prior art keywords
data
processing
memory
signaling
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710117666.9A
Other languages
English (en)
Other versions
CN107092530A (zh
Inventor
方海鹰
陈志强
刘盼
胡纪绅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU GOLDEN TREE NETWORK COMMUNICATIONS CO Ltd
Original Assignee
GUANGZHOU GOLDEN TREE NETWORK COMMUNICATIONS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU GOLDEN TREE NETWORK COMMUNICATIONS CO Ltd filed Critical GUANGZHOU GOLDEN TREE NETWORK COMMUNICATIONS CO Ltd
Priority to CN201710117666.9A priority Critical patent/CN107092530B/zh
Publication of CN107092530A publication Critical patent/CN107092530A/zh
Application granted granted Critical
Publication of CN107092530B publication Critical patent/CN107092530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本发明提供了一种基于分布式内存的信令数据处理方法及系统，所述方法包括：S1、数据采集；S2、数据预处理；S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。本发明提供的一种基于分布式内存的信令数据处理方法及系统，既可以减少内存的使用又能提高容错率，大大提高了系统的处理速度，同时当磁盘内数据处理完成后就丢弃内存中的数据保证了空间的开销和处理的实时性。

Description

一种基于分布式内存的信令数据处理方法及系统
技术领域
本发明涉及网络通信领域，具体涉及一种基于分布式内存的信令数据处理方法及系统。
背景技术
随着数据业务需求的猛增，我们获取的数据正在以指数的形式增长。虽然信令分析系统可以全面的记录网络信令情况，但是由于数据量巨大，现有的信令分析系统的分析时间较长，应用效果不是很理想。
发明内容
有鉴于此，有必要针对现有技术中存在的问题，提供一种基于分布式内存的信令数据处理方法及系统，其能够有效地提高数据的处理速度，保证数据的实时性。
为实现上述目的，本发明采用以下技术方案：
一种移动通信网络的信令数据处理方法，包括以下步骤：
S1、数据采集；
S2、数据预处理；
S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；
S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；具体包括以下步骤：
S401、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息；
S402、将S401中处理后得到的新的数据集转化成键值对形式的数据集；
S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。
进一步地，所述S1具体包括以下步骤：
S101、通过数据采集端的各个接口实时监控信令数据文件的变化，当发生改变时，对信令数据进行采集；
S102、将数据采集端的信令数据进行缓冲，提供给数据发送端，保证数据采集和发送之间的同步；
S103、数据发送端将采集到的信令数据按照一定的数据格式发送到文件数据库进行储存，以供进行S2时调用。
进一步地，所述S2具体包括以下步骤：
S201、检测并去除异常点；
S202、比例缩放、编码和特征选择。
进一步地，在S3中，将信令数据处理成数据集的方法包括以下步骤：
S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；
S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。
进一步地，在S4中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。
一种移动通信网络的信令数据处理系统，包括：
数据采集模块，用于对信令数据进行采集、缓存，并发送到数据预处理模块；
数据预处理模块，用于检测并去除信令数据的异常点，并对信令数据进行比例缩放、编码和特征选择；
分布式数据处理模块，用于将经数据预处理模块处理后，等待存入内存的信令数据处理成由数据块构建成的数据集；还用于读取内存中存储的数据集，对数据集进行分布式处理，并将处理后的数据集存入磁盘；
内存，用于实时数据；
磁盘，用于存储历史数据。
进一步地，在分布式数据处理模块中，将信令数据处理成数据集的方法包括以下步骤：
S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；
S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。
进一步地，在分布式数据处理模块中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。
进一步地，还包括查询模块，用于查询磁盘中的数据。
本发明提供的一种基于分布式内存的信令数据处理方法及系统，将数据处理成数据块的形式，处理数据时对数据集的每个数据采取分布式内存并行处理的，将需要实时处理的数据集存储于内存中，根据内存存取速度快的特点，把重要的中间数据集在内存中缓存。进一步地，根据数据块中的键字将一个或多个数据块同时进行分布式内存处理，将得到的数据集采用键值对的方式存入数据库，其中所进行的转换和执行操作都是在每个独立的数据块上各自进行。
本发明提供的一种基于分布式内存的信令数据处理方法及系统，既可以减少内存的使用又能提高容错率，大大提高了系统的处理速度，同时当磁盘内数据处理完成后就丢弃内存中的数据保证了空间的开销和处理的实时性。
附图说明
图1是本发明提供的一种移动通信网络的信令数据处理方法的流程示意图。
图2是本发明提供的一种移动通信网络的信令数据处理系统的结构示意图。
具体实施方式
下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。
实施例一
如图1所示，本发明实施例提供了一种移动通信网络的信令数据处理方法，其具体包括以下步骤。
S1、数据采集；其中，具体包括以下步骤：
S101、通过数据采集端的各个接口实时监控信令数据文件的变化，当发生改变时，对信令数据进行采集；
S102、将数据采集端的信令数据进行缓冲，提供给数据发送端，保证数据采集和发送之间的同步；
S103、数据发送端将采集到的信令数据按照一定的数据格式发送到文件数据库进行储存，以供进行S2时调用。
S2、数据预处理；S1中釆集到的信令数据如果不经过预处理的话，是无法直接分析的，在数据预处理过程中，一般要完成以下两个基本任务：
S201、检测并去除异常点；
在数据采集过程中，难免发生测量偏差、编码和记录错误等等问题，从而造成数据集中含有一定量不符合客观规律的记录值，对于这些异常点，首先要分清它是纯粹错误数据还是有实际含义的异常点，错误数据要剔除，有意义的数据则应该保留。
S202、比例缩放、编码和特征选择；
适当地对数据进行成比例的放大缩小，以及对分类型数据做数值编码，还有基于特征选择的数据维度规约，都能大大化简数据集的规模，减轻后面数据处理的负担。
S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中。
具体地，采用以下方法将信令数据处理成数据集：
S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；
S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。
S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；其中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。具体包括以下步骤：
S401、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息；这一步不会改变已有的数据集中的数据，该操作会返回一个全新的数据集，通过新数据集中的信息可以计算每个数据块，也可以恢复所丢失的数据。
S402、将S401中处理后得到的新的数据集转化成键值对形式的数据集；这一步产生的新的数据集和其中包含的数据块都有相关的键值对，键值对的形式能够快速的进行分布式数据处理，把需要处理新数据集的相同键的元素进行统计，处理节点执行运算，并将数据进行合并，去重等相关操作。因为数据集和数据块中可能包含大量的键和值的内容，将多个数据集的一个或多个键进行处理就可以得到相应的内容。
S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中。
实施例二
如图2所示，本发明实施例还提供了一种移动通信网络的信令数据处理系统，其包括：
数据采集模块，用于对信令数据进行采集、缓存，并发送到数据预处理模块；
数据预处理模块，用于检测并去除信令数据的异常点，并对信令数据进行比例缩放、编码和特征选择；
分布式数据处理模块，用于将经数据预处理模块处理后，等待存入内存的信令数据处理成由数据块构建成的数据集；还用于读取内存中存储的数据集，对数据集进行分布式处理，并将处理后的数据集存入磁盘；
内存，用于实时数据；
磁盘，用于存储历史数据。
进一步地，在分布式数据处理模块中，将信令数据处理成数据集的方法包括以下步骤：
S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；
S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。
进一步地，在分布式数据处理模块中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。
进一步地，还包括查询模块，用于查询磁盘中的数据。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种移动通信网络的信令数据处理方法，其特征在于，包括以下步骤：
S1、数据采集；
S2、数据预处理；
S3、数据存储：将经过预处理的原始信令数据转化为对应的格式分别存入磁盘和内存中；其中，等待存入内存中的信令数据被先处理成由数据块构建成的数据集后，再存入内存中；
S4、分布式数据处理：读取内存中存储的数据集，对数据集进行分布式处理；具体包括以下步骤：
S401、针对数据集中的每一个数据块，删除其中冗余的运算信息，只记录下不同数据块之间的依赖关系信息；
S402、将S401中处理后得到的新的数据集转化成键值对形式的数据集；
S5、转存：将键值对形式的数据集实时地保存在磁盘存储的键值数据库中；
在S3中，将信令数据处理成数据集的方法包括以下步骤：
S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；
S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。
2.根据权利要求1所述的信令数据处理方法，其特征在于，所述S1具体包括以下步骤：
S101、通过数据采集端的各个接口实时监控信令数据文件的变化，当发生改变时，对信令数据进行采集；
S102、将数据采集端的信令数据进行缓冲，提供给数据发送端，保证数据采集和发送之间的同步；
S103、数据发送端将采集到的信令数据按照一定的数据格式发送到文件数据库进行储存，以供进行S2时调用。
3.根据权利要求1所述的信令数据处理方法，其特征在于，所述S2具体包括以下步骤：
S201、检测并去除异常点；
S202、比例缩放、编码和特征选择。
4.根据权利要求1所述的信令数据处理方法，其特征在于，在S4中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。
5.一种移动通信网络的信令数据处理系统，其特征在于，包括：
数据采集模块，用于对信令数据进行采集、缓存，并发送到数据预处理模块；
数据预处理模块，用于检测并去除信令数据的异常点，并对信令数据进行比例缩放、编码和特征选择；
分布式数据处理模块，用于将经数据预处理模块处理后，等待存入内存的信令数据处理成由数据块构建成的数据集；还用于读取内存中存储的数据集，对数据集进行分布式处理，并将处理后的数据集存入磁盘；
内存，用于实时数据；
磁盘，用于存储历史数据；
在分布式数据处理模块中，将信令数据处理成数据集的方法包括以下步骤：
S301、使用分布式系统将内存中等待存储的数据划分到至少一个分布式节点上，并且使得每个分布式节点都对应着一个索引，将所有的索引数据存储到一个包含索引信息的分布式节点中；
S302、通过查找分布式节点的索引，快速的读取内存中存储的信令数据，进而把信令数据按照一定规律切分成一批一批的批数据，按照先进先出的规则，把这些批数据分别封装为数据块，接着对每个数据块进行归并处理，用数据块构建成数据集，处理结束后将数据集存放入内存中。
6.根据权利要求5所述的信令数据处理系统，其特征在于，在分布式数据处理模块中，对数据块进行处理时，根据数据集中数据块的数量，提供相应数量的处理节点进行处理。
7.根据权利要求5所述的信令数据处理系统，其特征在于，还包括查询模块，用于查询磁盘中的数据。
CN201710117666.9A 2017-03-01 2017-03-01 一种基于分布式内存的信令数据处理方法及系统 Active CN107092530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710117666.9A CN107092530B (zh) 2017-03-01 2017-03-01 一种基于分布式内存的信令数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710117666.9A CN107092530B (zh) 2017-03-01 2017-03-01 一种基于分布式内存的信令数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN107092530A CN107092530A (zh) 2017-08-25
CN107092530B true CN107092530B (zh) 2021-01-05

Family

ID=59646199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710117666.9A Active CN107092530B (zh) 2017-03-01 2017-03-01 一种基于分布式内存的信令数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN107092530B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255793A (zh) * 2017-11-22 2018-07-06 中国平安财产保险股份有限公司 一种信息核查方法及终端设备
CN108446352A (zh) * 2018-03-09 2018-08-24 深圳市网信联动通信技术股份有限公司 一种处理海量数据的方法以及系统
CN109634786A (zh) * 2018-11-27 2019-04-16 佛山科学技术学院 一种用于智能制造的大数据处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118709A (zh) * 2011-02-22 2011-07-06 中兴通讯股份有限公司 提高彩信群发业务时格式转换效率的方法及系统
CN102969011A (zh) * 2012-10-08 2013-03-13 山东省计算中心 基于dsp和usb的实时语音存储系统及存储方法
CN103853727A (zh) * 2012-11-29 2014-06-11 深圳中兴力维技术有限公司 提高大数据量查询性能的方法及系统
CN104156395A (zh) * 2014-07-14 2014-11-19 上海东方延华节能技术服务股份有限公司 数据存储系统
WO2015073526A1 (en) * 2013-11-15 2015-05-21 Qualcomm Incorporated Vector processing engine employing format conversion circuitry in data flow paths between vector data memory and execution units, and related method
CN105550371A (zh) * 2016-01-27 2016-05-04 华中科技大学 一种面向大数据环境的元数据组织方法和系统
CN105912687A (zh) * 2016-04-19 2016-08-31 江苏物联网研究发展中心 海量分布式数据库存储单元

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118709A (zh) * 2011-02-22 2011-07-06 中兴通讯股份有限公司 提高彩信群发业务时格式转换效率的方法及系统
CN102969011A (zh) * 2012-10-08 2013-03-13 山东省计算中心 基于dsp和usb的实时语音存储系统及存储方法
CN103853727A (zh) * 2012-11-29 2014-06-11 深圳中兴力维技术有限公司 提高大数据量查询性能的方法及系统
WO2015073526A1 (en) * 2013-11-15 2015-05-21 Qualcomm Incorporated Vector processing engine employing format conversion circuitry in data flow paths between vector data memory and execution units, and related method
CN104156395A (zh) * 2014-07-14 2014-11-19 上海东方延华节能技术服务股份有限公司 数据存储系统
CN105550371A (zh) * 2016-01-27 2016-05-04 华中科技大学 一种面向大数据环境的元数据组织方法和系统
CN105912687A (zh) * 2016-04-19 2016-08-31 江苏物联网研究发展中心 海量分布式数据库存储单元

Also Published As

Publication number Publication date
CN107092530A (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
US9081829B2 (en) System for organizing and fast searching of massive amounts of data
CN107092530B (zh) 一种基于分布式内存的信令数据处理方法及系统
CN110019218B (zh) 数据存储与查询方法及设备
CN104462606B (zh) 一种基于日志数据确定诊断处理措施的方法
CN109978499B (zh) 一种多测站事后遥测数据快速处理方法
WO2017162086A1 (zh) 任务调度方法和装置
CN111143158B (zh) 一种监控数据实时存储方法、系统、电子设备及存储介质
CN112632127B (zh) 设备运行实时数据采集及时序的数据处理方法
CN113946294A (zh) 一种分布式储存系统及其数据处理方法
CN106354772A (zh) 具有数据清洗的海量数据系统
CN111258978A (zh) 一种数据存储的方法
CN103778203B (zh) 一种网络管理数据无损压缩存储与检索的方法与系统
WO2017020735A1 (zh) 一种数据处理方法、备份服务器及存储系统
CN116821646A (zh) 数据处理链构建方法、数据缩减方法、装置、设备及介质
CN113761059A (zh) 数据处理方法及装置
CN103368790B (zh) 一种针对电子交易系统的性能延迟监测方法及其系统
CN113468866B (zh) 非标准json串的解析方法及装置
CN116340388A (zh) 一种基于异常检测的时序数据的压缩存储方法及装置
CN106599326B (zh) 一种云化架构下的记录数据剔重处理方法及系统
CN111966655B (zh) 日志采集过程中管理内存中文件对象的方法和装置
CN114297037A (zh) 一种告警聚类方法及装置
CN109143878B (zh) 多路采集通道的遥信消息和soe消息处理方法
CN115470235A (zh) 一种数据处理方法、装置以及设备
CN110797082A (zh) 基因测序数据的存储读取方法及系统
CN111628996A (zh) 一种基于物联网的电子数据通信方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant