CN112532611A - 一种实时越线流量拓扑数据生成方法及装置 - Google Patents
一种实时越线流量拓扑数据生成方法及装置 Download PDFInfo
- Publication number
- CN112532611A CN112532611A CN202011335114.3A CN202011335114A CN112532611A CN 112532611 A CN112532611 A CN 112532611A CN 202011335114 A CN202011335114 A CN 202011335114A CN 112532611 A CN112532611 A CN 112532611A
- Authority
- CN
- China
- Prior art keywords
- circuit
- ipv6
- ipv4
- flow
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种实时越线流量拓扑数据生成方法及装置，其中，该方法包括：接收前端获取实时越线流量拓扑数据请求，解析参数，从关系型数据库中获取符合条件的电路，并根据这些电路生成省份节点拓扑；以电路作为查询条件，批量从Redis内存数据库中一次性获取全部当前流量，并记录电路id和采集时间；以具有当前流量的电路id和采集时间作为入参，每500条数据查询一次ES，计算单电路越线次数和越线率；遍历省份拓扑和电路列表，汇总单电路越线次数和越线率。该方法及装置从Redis内存数据库读取实时流量，从ES读取基线流量，并且全部都在内存中进行计算，提高了越线流量拓扑数据的查询速度，满足实时性要求。
Description
技术领域
本发明涉及越线流量拓扑数据获取及展示领域，尤其是一种实时越线流量拓扑数据生成方法及装置。
背景技术
越线流量是一种通过当前流量与基线流量进行比对得到的一项指标，其计算公式为(当前流量-基线流量)/基线流量，通过该指标可以监控流量异常数据，如非法攻击等。通过对越线流量进行省间拓扑汇总，可以直观展示省间流量拓扑的实时动态变化情况。
现有的流量拓扑数据，一种是从关系型数据库中获取，但由于关系型数据库对于IO消耗较大，因此实时性并不好，会产生较大时延；另一种是展示前一段时间的流量数据，不能达到真实和实时的目的。因此，目前没有一种高效且实时动态生成越线流量拓扑数据的模型。
发明内容
为解决上述存在的问题，本发明提供一种实时越线流量拓扑数据生成方法及装置，从Redis内存数据库读取实时流量，从ES读取基线流量，并且全部都在内存中进行计算，提高了越线流量拓扑数据的查询速度，满足实时性要求。
为实现上述目的，本发明采用下述技术方案：
在本发明一实施例中，提出了一种实时越线流量拓扑数据生成方法，该方法包括：
步骤一，获取电路，生成省份拓扑
接收前端获取实时越线流量拓扑数据请求，解析参数，从关系型数据库中获取符合条件的电路，并根据这些电路生成省份节点拓扑；
步骤二，Redis获取当前流量
以电路作为查询条件，批量从Redis内存数据库中一次性获取全部当前流量，并记录电路id和采集时间；
步骤三，ES获取基线流量
以具有当前流量的电路id和采集时间作为入参，每500条数据查询一次ES，计算单电路越线次数和越线率；
步骤四，按省份汇总越线流量
遍历省份拓扑和电路列表，汇总单电路越线次数和越线率。
进一步地，获取电路，生成省份拓扑，具体包括：
解析获取实时越线流量拓扑数据请求参数，校验参数必填与合法性，若不满足条件，则记录错误日志，格式为时间戳+方法名称+不合法参数名称：值，并返回消息，提示参数格式不正确，否则进行下一步；
从获取实时越线流量拓扑数据请求中获取电路节点和用户id；
判断电路结果集是否为空，若是，则将信息输出到错误存储日志，格式为时间戳+方法名称+没有查询到符合条件电路，并退出，否则进行下一步；
根据电路节点和用户id从关系型数据库中查询符合条件的电路，遍历电路数据。
进一步地，遍历电路数据，具体包括：
按照电路所属的A、B端省份，生成省份拓扑，同时对重复的拓扑进行去重，判断拓扑中是否包含A至B或者B至A的数据，若有，则跳过，否则新增；
将电路添加至该拓扑的电路列表中；
将所有电路id存储到一个列表中，用于从Redis查询当前流量的限制条件。
进一步地，Redis获取当前流量，具体包括：
获取存储所有电路id的列表，转为数组格式，调用Redis批量查询api，获取入参中指定的电路id对应的全部流量数据，加载到内存；
遍历当前流量数据。
进一步地，遍历当前流量数据，具体包括：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取当前流量的ipv4流入流量和ipv4流出流量，存储到map1中；
获取当前流量的ipv6流入流量和ipv6流出流量，存储到map2中；
获取当前电路id和流量采集时间，按照电路id_采集时间的格式，生成key值，将ipv4和ipv6的当前流量map作为值，存储到map3中。
进一步地，ES获取基线流量，具体包括：
遍历map3，按照_分割key值，获取电路id和当前流量采集时间，分别记录电路id和采集时间，每500条数据进行一次ES查询；
以电路id和采集时间作为查询条件，批量获取电路的基线流量数据，遍历每条基线流量数据。
进一步地，遍历每条基线流量数据，具体包括：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取基线流量的电路id和采集时间，按照电路id_采集时间的格式，生成key值；
判断当前流量map3中是否存在此key值，若不存在，则记录日志，格式时间戳+方法名+key+没有查询到基线流量，并跳过，进入下一次循环，否则获取当前流量；
获取当前流量的ipv4流入流量和ipv4流出流量；
获取基线流量的ipv6流入流量和ipv6流出流量；
计算ipv4越线数和ipv4越线率；
计算ipv6越线数和ipv6越线率；
按照电路记录ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率。
进一步地，计算ipv4越线数，具体包括：
计算ipv4流入流量是否越线：当前ipv4流入流量-基线ipv4流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv4流出流量是否越线：当前ipv4流出流量-基线ipv4流出流量，若大于0，则越线数加一，否则越线数不变。
进一步地，计算ipv4越线率，具体包括：
计算ipv4流入越线率：(当前ipv4流入流量-基线ipv4流入流量)/基线ipv4流入流量；
计算ipv4流出越线率：(当前ipv4流出流量-基线ipv4流出流量)/基线ipv4流出流量；
取ipv4流入越线率和ipv4流出越线率中较大且大于0的，记为电路越线率，否则为0。
进一步地，计算ipv6越线数，具体包括：
计算ipv6流入流量是否越线：当前ipv6流入流量-基线ipv6流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv6流出流量是否越线：当前ipv6流出流量-基线ipv6流出流量，若大于0，则越线数加一，否则越线数不变。
进一步地，计算ipv6越线率，具体包括：
计算ipv6流入越线率：(当前ipv6流入流量-基线ipv6流入流量)/基线ipv6流入流量；
计算ipv6流出越线率：(当前ipv6流出流量-基线ipv6流出流量)/基线ipv6流出流量；
取ipv6流入越线率和ipv6流出越线率中较大且大于0的，记为电路越线率，否则为0。
进一步地，按省份汇总越线流量，具体包括：
遍历省份拓扑数据，获取省份下的电路列表；
定义ipv4越线总数和ipv4总越线率变量以及ipv6越线总数和ipv6总越线率变量；
遍历电路列表，获取电路id；
按照省份拓扑，记录ipv4越线总数和ipv4总越线率以及ipv6越线总数和ipv6总越线率；
所有省份汇总一个列表，以json格式返回。
进一步地，遍历电路列表，获取电路id，具体包括：
根据电路获取ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率；
ipv4越线总数和ipv6越线总数，分别加上当前电路的ipv4越线数和ipv6越线数；
ipv4总越线率和ipv6总越线率，分别加上当前电路的ipv4越线率和ipv6越线率并取平均数。
在本发明一实施例中，还提出了一种实时越线流量拓扑数据生成装置，该装置包括：
省份拓扑生成模块，用于接收前端获取实时越线流量拓扑数据请求，解析参数，从关系型数据库中获取符合条件的电路，并根据这些电路生成省份节点拓扑；
Redis获取当前流量模块，用于以电路作为查询条件，批量从Redis内存数据库中一次性获取全部当前流量，并记录电路id和采集时间；
ES获取基线流量模块，用于以具有当前流量的电路id和采集时间作为入参，每500条数据查询一次ES，计算单电路越线次数和越线率；
越线流量汇总模块，用于遍历省份拓扑和电路列表，汇总单电路越线次数和越线率。
进一步地，省份拓扑生成模块，具体用于：
解析获取实时越线流量拓扑数据请求参数，校验参数必填与合法性，若不满足条件，则记录错误日志，格式为时间戳+方法名称+不合法参数名称：值，并返回消息，提示参数格式不正确，否则进行下一步；
从获取实时越线流量拓扑数据请求中获取电路节点和用户id；
判断电路结果集是否为空，若是，则将信息输出到错误存储日志，格式为时间戳+方法名称+没有查询到符合条件电路，并退出，否则进行下一步；
根据电路节点和用户id从关系型数据库中查询符合条件的电路，遍历电路数据。
进一步地，遍历电路数据，具体包括：
按照电路所属的A、B端省份，生成省份拓扑，同时对重复的拓扑进行去重，判断拓扑中是否包含A至B或者B至A的数据，若有，则跳过，否则新增；
将电路添加至该拓扑的电路列表中；
将所有电路id存储到一个列表中，用于从Redis查询当前流量的限制条件。
进一步地，Redis获取当前流量模块，具体用于：
获取存储所有电路id的列表，转为数组格式，调用Redis批量查询api，获取入参中指定的电路id对应的全部流量数据，加载到内存；
遍历当前流量数据。
进一步地，遍历当前流量数据，具体包括：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取当前流量的ipv4流入流量和ipv4流出流量，存储到map1中；
获取当前流量的ipv6流入流量和ipv6流出流量，存储到map2中；
获取当前电路id和流量采集时间，按照电路id_采集时间的格式，生成key值，将ipv4和ipv6的当前流量map作为值，存储到map3中。
进一步地，ES获取基线流量模块，具体用于：
遍历map3，按照_分割key值，获取电路id和当前流量采集时间，分别记录电路id和采集时间，每500条数据进行一次ES查询；
以电路id和采集时间作为查询条件，批量获取电路的基线流量数据，遍历每条基线流量数据。
进一步地，遍历每条基线流量数据，具体包括：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取基线流量的电路id和采集时间，按照电路id_采集时间的格式，生成key值；
判断当前流量map3中是否存在此key值，若不存在，则记录日志，格式时间戳+方法名+key+没有查询到基线流量，并跳过，进入下一次循环，否则获取当前流量；
获取当前流量的ipv4流入流量和ipv4流出流量；
获取基线流量的ipv6流入流量和ipv6流出流量；
计算ipv4越线数和ipv4越线率；
计算ipv6越线数和ipv6越线率；
按照电路记录ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率。
进一步地，计算ipv4越线数，具体包括：
计算ipv4流入流量是否越线：当前ipv4流入流量-基线ipv4流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv4流出流量是否越线：当前ipv4流出流量-基线ipv4流出流量，若大于0，则越线数加一，否则越线数不变。
进一步地，计算ipv4越线率，具体包括：
计算ipv4流入越线率：(当前ipv4流入流量-基线ipv4流入流量)/基线ipv4流入流量；
计算ipv4流出越线率：(当前ipv4流出流量-基线ipv4流出流量)/基线ipv4流出流量；
取ipv4流入越线率和ipv4流出越线率中较大且大于0的，记为电路越线率，否则为0。
进一步地，计算ipv6越线数，具体包括：
计算ipv6流入流量是否越线：当前ipv6流入流量-基线ipv6流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv6流出流量是否越线：当前ipv6流出流量-基线ipv6流出流量，若大于0，则越线数加一，否则越线数不变。
进一步地，计算ipv6越线率，具体包括：
计算ipv6流入越线率：(当前ipv6流入流量-基线ipv6流入流量)/基线ipv6流入流量；
计算ipv6流出越线率：(当前ipv6流出流量-基线ipv6流出流量)/基线ipv6流出流量；
取ipv6流入越线率和ipv6流出越线率中较大且大于0的，记为电路越线率，否则为0。
进一步地，越线流量汇总模块，具体用于：
遍历省份拓扑数据，获取省份下的电路列表；
定义ipv4越线总数和ipv4总越线率变量以及ipv6越线总数和ipv6总越线率变量；
遍历电路列表，获取电路id；
按照省份拓扑，记录ipv4越线总数和ipv4总越线率以及ipv6越线总数和ipv6总越线率；
所有省份汇总一个列表，以json格式返回。
进一步地，遍历电路列表，获取电路id，具体包括：
根据电路获取ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率；
ipv4越线总数和ipv6越线总数，分别加上当前电路的ipv4越线数和ipv6越线数；
ipv4总越线率和ipv6总越线率，分别加上当前电路的ipv4越线率和ipv6越线率并取平均数。
在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述实时越线流量拓扑数据生成方法。
在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行实时越线流量拓扑数据生成方法的计算机程序。
有益效果：
1、当前流量和基线流量分别从Redis和ES查询，提高数据获取效率，满足海量数据实时查询需求。
2、流量越线数据的计算，全部通过程序在内存中进行计算，减少数据查询api的调用，达到拓扑数据实时展示需求。
3、以具有当前流量的电路和采集时间作为基线流量的查询条件，缩小查询范围，避免内存浪费，提高运算效率。
附图说明
图1是本发明一实施例的实时越线流量拓扑数据生成方法流程框图；
图2是本发明一实施例的实时越线流量拓扑数据生成装置结构示意图；
图3是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神，应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种实时越线流量拓扑数据生成方法及装置，由于越线流量大屏对于越线流量实时动态展示的需要，当前流量的获取方式为从Redis内存数据库读取，基线流量的获取方式是从ES读取，并且全部计算都在内存中进行，提高了越线流量拓扑的查询速度，满足实时性要求。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
图1是本发明一实施例的实时越线流量拓扑数据生成方法流程框图。电路当前流量采集完毕，发送通知消息给越线流量拓扑大屏展示模块，越线流量拓扑大屏展示模块发送越线流量拓扑数据查询请求给实时越线流量拓扑数据生成装置，装置接收到越线流量拓扑数据查询请求后，如图1所示，进行如下操作：
一、获取电路，生成省份拓扑
1、解析请求参数，校验参数必填与合法性，若不满足条件，则记录错误日志，格式为时间戳+方法名称+不合法参数名称：值；返回消息，提示参数格式不正确；否则进行下一步；
2、从请求中获取电路节点和用户id；
3、判断电路结果集是否为空，若是，则将信息输出到存储错误日志，格式为时间戳+方法名称+没有查询到符合条件电路，退出；否则进行下一步；
4、根据电路节点和用户id从关系型数据库中查询符合条件的电路，遍历电路数据：
(1)按照电路所属的A、B端省份，生成省份拓扑，由于拓扑不具有方向性，A至B和B至A是同一条拓扑，因此在生成省份拓扑时需要对重复的拓扑进行去重，判断拓扑中是否包含A至B或者B至A的数据，若有，则跳过，否则新增；
(2)将电路添加至该拓扑的电路列表中；
(3)将所有电路id存储到一个列表中，用于从Redis查询当前流量的限制条件，尽量缩小查询数据范围，一次查询获取所有数据，避免重复查询造成资源浪费。
二、Redis获取当前流量
1、获取存储所有电路id的列表，转为数组格式，调用Redis批量查询api，获取入参中指定的电路id对应的全部流量数据，加载到内存；
2、遍历当前流量数据：
(1)判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，跳过当前循环；否则进行下一步；
(2)将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，跳过当前循环；若解析正确，则进行下一步；
(3)获取当前流量的ipv4流入流量和ipv4流出流量，存储到map1中；
(4)获取当前流量的ipv6流入流量和ipv6流出流量，存储到map2中；
(5)获取当前电路id和流量采集时间，按照电路id_采集时间的格式，生成key值，将ipv4和ipv6的当前流量map作为值，存储到map3中。
三、ES获取基线流量
遍历map3：
(1)按照_分割key，获取电路id和当前流量采集时间，分别记录电路id和采集时间，每500条数据进行一次ES查询(备注：ES不支持指定过多的查询条件，所以每500条进行一次查询，既能避免过多重复查询也能支持ES对于查询条件的限制)；
(2)以电路id和采集时间作为查询条件，批量获取电路的基线流量数据，遍历每条基线流量数据：
A、判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，跳过当前循环；否则进行下一步；
B、将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，跳过当前循环；若解析正确，则进行下一步；
C、获取基线流量的电路id和采集时间，按照电路id_采集时间的格式，生成key值；
D、判断当前流量map3中是否存在此key值，若不存在，则记录日志，格式时间戳+方法名+key+没有查询到基线流量，跳过，进入下一次循环；否则获取当前流量；
E、获取当前流量的ipv4流入流量和流出流量；
F、获取基线流量的ipv6流入流量和流出流量；
G、计算ipv4越线数：
计算ipv4流入流量是否越线：当前ipv4流入流量-基线ipv4流入流量，大于0，则越线数加一，否则越线数不变；
计算ipv4流出流量是否越线：当前ipv4流出流量-基线ipv4流出流量，大于0，则越线数加一，否则越线数不变；
H、计算ipv4越线率
计算ipv4流入越线率：(当前ipv4流入流量-基线ipv4流入流量)/基线ipv4流入流量；
计算ipv4流出越线率：(当前ipv4流出流量-基线ipv4流出流量)/基线ipv4流出流量；
取ipv4流入和流出越线率中较大并且大于0的，记为电路越线率，否则为0；
I、计算ipv6越线数
计算ipv6流入流量是否越线：当前ipv6流入流量-基线ipv6流入流量，大于0，则越线数加一，否则越线数不变；
计算ipv6流出流量是否越线：当前ipv6流出流量-基线ipv6流出流量，大于0，则越线数加一，否则越线数不变；
J、计算ipv6越线率
计算ipv6流入越线率：(当前ipv6流入流量-基线ipv6流入流量)/基线ipv6流入流量；
计算ipv6流出越线率(当前ipv6流出流量-基线ipv6流出流量)/基线ipv6流出流量；
取ipv6流入和流出越线率中较大并且大于0的，记为电路越线率，否则为0；
K、按照电路记录ipv4和ipv6越线数和越线率。
四、按省份拓扑，汇总越线流量
1、遍历省份拓扑数据，获取省份下的电路列表；
2、定义ipv4和ipv6越线总数和总越线率变量；
3、遍历电路列表，获取电路id：
(1)根据电路获取ipv4和ipv6越线数和越线率；
(2)ipv4和ipv6越线总数，分别加上当前电路的ipv4和ipv6越线数；
(3)ipv4和ipv6总越线率，分别加上当前电路的ipv4和ipv6越线率并取平均数；
4、按照省份拓扑，记录ipv4和ipv6越线总数和总越线率；
5、所有省份汇总一个列表，以json格式返回。
注意：流量越线率计算涉及到精确计算和除法，对于数据类型的选取需要保证准确度和对除数不为0的判断。
需要说明的名词释义如下：
ES：Elasticsearch是一个分布式、高扩展和高实时的搜索与数据分析引擎，它能很方便的使大量数据具有搜索、分析和探索的能力。
Redis：Redis(Remote Dictionary Server)，即远程字典服务，是一个高性能的key-value数据库，数据都是缓存在内存中。
map：一种数据存储结构，提供key(键)到value(值)的映射的集合。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
为了对上述实时越线流量拓扑数据生成方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。
实施例：华电大屏的实时流量监控
一、后台处理流程：
1、大屏按照一定的间隔频率进行定时刷新，调用后台服务获取实时越线流量拓扑数据；
2、后台服务接收到请求后，根据请求的用户节点和权限，生成地理视图拓扑；
3、查询用户权限下的电路，按照用户的A、B端节点汇总到地理视图拓扑；
4、循环生成每条电路的当前流量和基线流量，生成越线流量数据；
5、将越线流量数据汇总到地理视图拓扑。
二、返回json数据格式：
三、页面最终呈现效果：
页面通过“网络流量监控视图”实现最终呈现效果，包含：流量攻击次数、流量越线次数和流量越线幅度。
基于同一发明构思，本发明还提出一种实时越线流量拓扑数据生成装置。该装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是本发明一实施例的实时越线流量拓扑数据生成装置结构示意图。如图2所示，该装置包括：
省份拓扑生成模块101，用于接收前端获取实时越线流量拓扑数据请求，解析参数，从关系型数据库中获取符合条件的电路，并根据这些电路生成省份节点拓扑；
解析获取实时越线流量拓扑数据请求参数，校验参数必填与合法性，若不满足条件，则记录错误日志，格式为时间戳+方法名称+不合法参数名称：值，并返回消息，提示参数格式不正确，否则进行下一步；
从获取实时越线流量拓扑数据请求中获取电路节点和用户id；
判断电路结果集是否为空，若是，则将信息输出到错误存储日志，格式为时间戳+方法名称+没有查询到符合条件电路，并退出，否则进行下一步；
根据电路节点和用户id从关系型数据库中查询符合条件的电路，遍历电路数据：
按照电路所属的A、B端省份，生成省份拓扑，同时对重复的拓扑进行去重，判断拓扑中是否包含A至B或者B至A的数据，若有，则跳过，否则新增；
将电路添加至该拓扑的电路列表中；
将所有电路id存储到一个列表中，用于从Redis查询当前流量的限制条件。
Redis获取当前流量模块102，用于以电路作为查询条件，批量从Redis内存数据库中一次性获取全部当前流量，并记录电路id和采集时间；
获取存储所有电路id的列表，转为数组格式，调用Redis批量查询api，获取入参中指定的电路id对应的全部流量数据，加载到内存；
遍历当前流量数据：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取当前流量的ipv4流入流量和ipv4流出流量，存储到map1中；
获取当前流量的ipv6流入流量和ipv6流出流量，存储到map2中；
获取当前电路id和流量采集时间，按照电路id_采集时间的格式，生成key值，将ipv4和ipv6的当前流量map作为值，存储到map3中。
ES获取基线流量模块103，用于以具有当前流量的电路id和采集时间作为入参，每500条数据查询一次ES，计算单电路越线次数和越线率；
遍历map3，按照_分割key值，获取电路id和当前流量采集时间，分别记录电路id和采集时间，每500条数据进行一次ES查询；
以电路id和采集时间作为查询条件，批量获取电路的基线流量数据，遍历每条基线流量数据：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取基线流量的电路id和采集时间，按照电路id_采集时间的格式，生成key值；
判断当前流量map3中是否存在此key值，若不存在，则记录日志，格式时间戳+方法名+key+没有查询到基线流量，并跳过，进入下一次循环，否则获取当前流量；
获取当前流量的ipv4流入流量和ipv4流出流量；
获取基线流量的ipv6流入流量和ipv6流出流量；
计算ipv4越线数和ipv4越线率：
计算ipv4流入流量是否越线：当前ipv4流入流量-基线ipv4流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv4流出流量是否越线：当前ipv4流出流量-基线ipv4流出流量，若大于0，则越线数加一，否则越线数不变；
计算ipv4流入越线率：(当前ipv4流入流量-基线ipv4流入流量)/基线ipv4流入流量；
计算ipv4流出越线率：(当前ipv4流出流量-基线ipv4流出流量)/基线ipv4流出流量；
取ipv4流入越线率和ipv4流出越线率中较大且大于0的，记为电路越线率，否则为0；
计算ipv6越线数和ipv6越线率：
计算ipv6流入流量是否越线：当前ipv6流入流量-基线ipv6流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv6流出流量是否越线：当前ipv6流出流量-基线ipv6流出流量，若大于0，则越线数加一，否则越线数不变；
计算ipv6流入越线率：(当前ipv6流入流量-基线ipv6流入流量)/基线ipv6流入流量；
计算ipv6流出越线率：(当前ipv6流出流量-基线ipv6流出流量)/基线ipv6流出流量；
取ipv6流入越线率和ipv6流出越线率中较大且大于0的，记为电路越线率，否则为0；
按照电路记录ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率。
越线流量汇总模块104，用于遍历省份拓扑和电路列表，汇总单电路越线次数和越线率；
遍历省份拓扑数据，获取省份下的电路列表；
定义ipv4越线总数和ipv4总越线率变量以及ipv6越线总数和ipv6总越线率变量；
遍历电路列表，获取电路id：
根据电路获取ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率；
ipv4越线总数和ipv6越线总数，分别加上当前电路的ipv4越线数和ipv6越线数；
ipv4总越线率和ipv6总越线率，分别加上当前电路的ipv4越线率和ipv6越线率并取平均数；
按照省份拓扑，记录ipv4越线总数和ipv4总越线率以及ipv6越线总数和ipv6总越线率；
所有省份汇总一个列表，以json格式返回。
应当注意，尽管在上文详细描述中提及了实时越线流量拓扑数据生成装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思，如图3所示，本发明还提出一种计算机设备200，包括存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序230，处理器220执行计算机程序230时实现前述实时越线流量拓扑数据生成方法。
基于前述发明构思，本发明还提出一种计算机可读存储介质，计算机可读存储介质存储有执行前述实时越线流量拓扑数据生成方法的计算机程序。
本发明提出的实时越线流量拓扑数据生成方法及装置，当前流量和基线流量分别从Redis和ES查询，提高数据获取效率，满足海量数据实时查询需求；流量越线数据的计算，全部通过程序在内存中进行计算，减少数据查询api的调用，达到拓扑数据实时展示需求；以具有当前流量的电路和采集时间作为基线流量的查询条件，缩小查询范围，避免内存浪费，提高运算效率。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包含的各种修改和等同布置。
对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (28)
1.一种实时越线流量拓扑数据生成方法，其特征在于，该方法包括：
步骤一，获取电路，生成省份拓扑
接收前端获取实时越线流量拓扑数据请求，解析参数，从关系型数据库中获取符合条件的电路，并根据这些电路生成省份节点拓扑；
步骤二，Redis获取当前流量
以电路作为查询条件，批量从Redis内存数据库中一次性获取全部当前流量，并记录电路id和采集时间；
步骤三，ES获取基线流量
以具有当前流量的电路id和采集时间作为入参，每500条数据查询一次ES，计算单电路越线次数和越线率；
步骤四，按省份汇总越线流量
遍历省份拓扑和电路列表，汇总单电路越线次数和越线率。
2.根据权利要求1所述的实时越线流量拓扑数据生成方法，其特征在于，获取电路，生成省份拓扑，具体包括：
解析获取实时越线流量拓扑数据请求参数，校验参数必填与合法性，若不满足条件，则记录错误日志，格式为时间戳+方法名称+不合法参数名称：值，并返回消息，提示参数格式不正确，否则进行下一步；
从获取实时越线流量拓扑数据请求中获取电路节点和用户id；
判断电路结果集是否为空，若是，则将信息输出到错误存储日志，格式为时间戳+方法名称+没有查询到符合条件电路，并退出，否则进行下一步；
根据电路节点和用户id从关系型数据库中查询符合条件的电路，遍历电路数据。
3.根据权利要求2所述的实时越线流量拓扑数据生成方法，其特征在于，遍历电路数据，具体包括：
按照电路所属的A、B端省份，生成省份拓扑，同时对重复的拓扑进行去重，判断拓扑中是否包含A至B或者B至A的数据，若有，则跳过，否则新增；
将电路添加至该拓扑的电路列表中；
将所有电路id存储到一个列表中，用于从Redis查询当前流量的限制条件。
4.根据权利要求1所述的实时越线流量拓扑数据生成方法，其特征在于，Redis获取当前流量，具体包括：
获取存储所有电路id的列表，转为数组格式，调用Redis批量查询api，获取入参中指定的电路id对应的全部流量数据，加载到内存；
遍历当前流量数据。
5.根据权利要求4所述的实时越线流量拓扑数据生成方法，其特征在于，遍历当前流量数据，具体包括：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取当前流量的ipv4流入流量和ipv4流出流量，存储到map1中；
获取当前流量的ipv6流入流量和ipv6流出流量，存储到map2中；
获取当前电路id和流量采集时间，按照电路id_采集时间的格式，生成key值，将ipv4和ipv6的当前流量map作为值，存储到map3中。
6.根据权利要求1所述的实时越线流量拓扑数据生成方法，其特征在于，ES获取基线流量，具体包括：
遍历map3，按照_分割key值，获取电路id和当前流量采集时间，分别记录电路id和采集时间，每500条数据进行一次ES查询；
以电路id和采集时间作为查询条件，批量获取电路的基线流量数据，遍历每条基线流量数据。
7.根据权利要求6所述的实时越线流量拓扑数据生成方法，其特征在于，遍历每条基线流量数据，具体包括：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取基线流量的电路id和采集时间，按照电路id_采集时间的格式，生成key值；
判断当前流量map3中是否存在此key值，若不存在，则记录日志，格式时间戳+方法名+key+没有查询到基线流量，并跳过，进入下一次循环，否则获取当前流量；
获取当前流量的ipv4流入流量和ipv4流出流量；
获取基线流量的ipv6流入流量和ipv6流出流量；
计算ipv4越线数和ipv4越线率；
计算ipv6越线数和ipv6越线率；
按照电路记录ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率。
8.根据权利要求7所述的实时越线流量拓扑数据生成方法，其特征在于，计算ipv4越线数，具体包括：
计算ipv4流入流量是否越线：当前ipv4流入流量-基线ipv4流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv4流出流量是否越线：当前ipv4流出流量-基线ipv4流出流量，若大于0，则越线数加一，否则越线数不变。
9.根据权利要求7所述的实时越线流量拓扑数据生成方法，其特征在于，计算ipv4越线率，具体包括：
计算ipv4流入越线率：(当前ipv4流入流量-基线ipv4流入流量)/基线ipv4流入流量；
计算ipv4流出越线率：(当前ipv4流出流量-基线ipv4流出流量)/基线ipv4流出流量；
取ipv4流入越线率和ipv4流出越线率中较大且大于0的，记为电路越线率，否则为0。
10.根据权利要求7所述的实时越线流量拓扑数据生成方法，其特征在于，计算ipv6越线数，具体包括：
计算ipv6流入流量是否越线：当前ipv6流入流量-基线ipv6流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv6流出流量是否越线：当前ipv6流出流量-基线ipv6流出流量，若大于0，则越线数加一，否则越线数不变。
11.根据权利要求7所述的实时越线流量拓扑数据生成方法，其特征在于，计算ipv6越线率，具体包括：
计算ipv6流入越线率：(当前ipv6流入流量-基线ipv6流入流量)/基线ipv6流入流量；
计算ipv6流出越线率：(当前ipv6流出流量-基线ipv6流出流量)/基线ipv6流出流量；
取ipv6流入越线率和ipv6流出越线率中较大且大于0的，记为电路越线率，否则为0。
12.根据权利要求1所述的实时越线流量拓扑数据生成方法，其特征在于，按省份汇总越线流量，具体包括：
遍历省份拓扑数据，获取省份下的电路列表；
定义ipv4越线总数和ipv4总越线率变量以及ipv6越线总数和ipv6总越线率变量；
遍历电路列表，获取电路id；
按照省份拓扑，记录ipv4越线总数和ipv4总越线率以及ipv6越线总数和ipv6总越线率；
所有省份汇总一个列表，以json格式返回。
13.根据权利要求12所述的实时越线流量拓扑数据生成方法，其特征在于，遍历电路列表，获取电路id，具体包括：
根据电路获取ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率；
ipv4越线总数和ipv6越线总数，分别加上当前电路的ipv4越线数和ipv6越线数；
ipv4总越线率和ipv6总越线率，分别加上当前电路的ipv4越线率和ipv6越线率并取平均数。
14.一种实时越线流量拓扑数据生成装置，其特征在于，该装置包括：
省份拓扑生成模块，用于接收前端获取实时越线流量拓扑数据请求，解析参数，从关系型数据库中获取符合条件的电路，并根据这些电路生成省份节点拓扑；
Redis获取当前流量模块，用于以电路作为查询条件，批量从Redis内存数据库中一次性获取全部当前流量，并记录电路id和采集时间；
ES获取基线流量模块，用于以具有当前流量的电路id和采集时间作为入参，每500条数据查询一次ES，计算单电路越线次数和越线率；
越线流量汇总模块，用于遍历省份拓扑和电路列表，汇总单电路越线次数和越线率。
15.根据权利要求14所述的实时越线流量拓扑数据生成装置，其特征在于，所述省份拓扑生成模块，具体用于：
解析获取实时越线流量拓扑数据请求参数，校验参数必填与合法性，若不满足条件，则记录错误日志，格式为时间戳+方法名称+不合法参数名称：值，并返回消息，提示参数格式不正确，否则进行下一步；
从获取实时越线流量拓扑数据请求中获取电路节点和用户id；
判断电路结果集是否为空，若是，则将信息输出到错误存储日志，格式为时间戳+方法名称+没有查询到符合条件电路，并退出，否则进行下一步；
根据电路节点和用户id从关系型数据库中查询符合条件的电路，遍历电路数据。
16.根据权利要求15所述的实时越线流量拓扑数据生成装置，其特征在于，遍历电路数据，具体包括：
按照电路所属的A、B端省份，生成省份拓扑，同时对重复的拓扑进行去重，判断拓扑中是否包含A至B或者B至A的数据，若有，则跳过，否则新增；
将电路添加至该拓扑的电路列表中；
将所有电路id存储到一个列表中，用于从Redis查询当前流量的限制条件。
17.根据权利要求14所述的实时越线流量拓扑数据生成装置，其特征在于，所述Redis获取当前流量模块，具体用于：
获取存储所有电路id的列表，转为数组格式，调用Redis批量查询api，获取入参中指定的电路id对应的全部流量数据，加载到内存；
遍历当前流量数据。
18.根据权利要求17所述的实时越线流量拓扑数据生成装置，其特征在于，遍历当前流量数据，具体包括：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取当前流量的ipv4流入流量和ipv4流出流量，存储到map1中；
获取当前流量的ipv6流入流量和ipv6流出流量，存储到map2中；
获取当前电路id和流量采集时间，按照电路id_采集时间的格式，生成key值，将ipv4和ipv6的当前流量map作为值，存储到map3中。
19.根据权利要求14所述的实时越线流量拓扑数据生成装置，其特征在于，所述ES获取基线流量模块，具体用于：
遍历map3，按照_分割key值，获取电路id和当前流量采集时间，分别记录电路id和采集时间，每500条数据进行一次ES查询；
以电路id和采集时间作为查询条件，批量获取电路的基线流量数据，遍历每条基线流量数据。
20.根据权利要求19所述的实时越线流量拓扑数据生成装置，其特征在于，遍历每条基线流量数据，具体包括：
判断是否为null或者为空，若是，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，否则进行下一步；
将流量数据转为json格式，若转换失败，则将错误信息输出到错误存储日志，格式为时间戳+方法名称+详细错误原因，并跳过当前循环，若解析正确，则进行下一步；
获取基线流量的电路id和采集时间，按照电路id_采集时间的格式，生成key值；
判断当前流量map3中是否存在此key值，若不存在，则记录日志，格式时间戳+方法名+key+没有查询到基线流量，并跳过，进入下一次循环，否则获取当前流量；
获取当前流量的ipv4流入流量和ipv4流出流量；
获取基线流量的ipv6流入流量和ipv6流出流量；
计算ipv4越线数和ipv4越线率；
计算ipv6越线数和ipv6越线率；
按照电路记录ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率。
21.根据权利要求20所述的实时越线流量拓扑数据生成装置，其特征在于，计算ipv4越线数，具体包括：
计算ipv4流入流量是否越线：当前ipv4流入流量-基线ipv4流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv4流出流量是否越线：当前ipv4流出流量-基线ipv4流出流量，若大于0，则越线数加一，否则越线数不变。
22.根据权利要求20所述的实时越线流量拓扑数据生成方法，其特征在于，计算ipv4越线率，具体包括：
计算ipv4流入越线率：(当前ipv4流入流量-基线ipv4流入流量)/基线ipv4流入流量；
计算ipv4流出越线率：(当前ipv4流出流量-基线ipv4流出流量)/基线ipv4流出流量；
取ipv4流入越线率和ipv4流出越线率中较大且大于0的，记为电路越线率，否则为0。
23.根据权利要求20所述的实时越线流量拓扑数据生成装置，其特征在于，计算ipv6越线数，具体包括：
计算ipv6流入流量是否越线：当前ipv6流入流量-基线ipv6流入流量，若大于0，则越线数加一，否则越线数不变；
计算ipv6流出流量是否越线：当前ipv6流出流量-基线ipv6流出流量，若大于0，则越线数加一，否则越线数不变。
24.根据权利要求20所述的实时越线流量拓扑数据生成装置，其特征在于，计算ipv6越线率，具体包括：
计算ipv6流入越线率：(当前ipv6流入流量-基线ipv6流入流量)/基线ipv6流入流量；
计算ipv6流出越线率：(当前ipv6流出流量-基线ipv6流出流量)/基线ipv6流出流量；
取ipv6流入越线率和ipv6流出越线率中较大且大于0的，记为电路越线率，否则为0。
25.根据权利要求14所述的实时越线流量拓扑数据生成装置，其特征在于，所述越线流量汇总模块，具体用于：
遍历省份拓扑数据，获取省份下的电路列表；
定义ipv4越线总数和ipv4总越线率变量以及ipv6越线总数和ipv6总越线率变量；
遍历电路列表，获取电路id；
按照省份拓扑，记录ipv4越线总数和ipv4总越线率以及ipv6越线总数和ipv6总越线率；
所有省份汇总一个列表，以json格式返回。
26.根据权利要求25所述的实时越线流量拓扑数据生成装置，其特征在于，遍历电路列表，获取电路id，具体包括：
根据电路获取ipv4越线数和ipv4越线率以及ipv6越线数和ipv6越线率；
ipv4越线总数和ipv6越线总数，分别加上当前电路的ipv4越线数和ipv6越线数；
ipv4总越线率和ipv6总越线率，分别加上当前电路的ipv4越线率和ipv6越线率并取平均数。
27.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-13任一项所述方法。
28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-13任一项所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011335114.3A CN112532611B (zh) | 2020-11-25 | 2020-11-25 | 一种实时越线流量拓扑数据生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011335114.3A CN112532611B (zh) | 2020-11-25 | 2020-11-25 | 一种实时越线流量拓扑数据生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112532611A true CN112532611A (zh) | 2021-03-19 |
| CN112532611B CN112532611B (zh) | 2022-12-06 |
Family
ID=74993229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011335114.3A Active CN112532611B (zh) | 2020-11-25 | 2020-11-25 | 一种实时越线流量拓扑数据生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112532611B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107612779A (zh) * | 2017-10-10 | 2018-01-19 | 云南电网有限责任公司 | 调度数据网二次安全防护网络设备及业务运行监视系统 |
| CN109120461A (zh) * | 2018-09-29 | 2019-01-01 | 广州源典科技有限公司 | 一种业务性能端到端监控方法、系统及装置 |
| CN110034956A (zh) * | 2019-03-27 | 2019-07-19 | 广州供电局有限公司 | 网络数据监控方法、装置、计算机设备和存储介质 |
| CN111064635A (zh) * | 2019-12-10 | 2020-04-24 | 中盈优创资讯科技有限公司 | 一种异常流量的监视方法及系统 |
| CN111600746A (zh) * | 2020-04-15 | 2020-08-28 | 新浪网技术(中国)有限公司 | 网络故障定位方法、装置及设备 |
-
2020
- 2020-11-25 CN CN202011335114.3A patent/CN112532611B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107612779A (zh) * | 2017-10-10 | 2018-01-19 | 云南电网有限责任公司 | 调度数据网二次安全防护网络设备及业务运行监视系统 |
| CN109120461A (zh) * | 2018-09-29 | 2019-01-01 | 广州源典科技有限公司 | 一种业务性能端到端监控方法、系统及装置 |
| CN110034956A (zh) * | 2019-03-27 | 2019-07-19 | 广州供电局有限公司 | 网络数据监控方法、装置、计算机设备和存储介质 |
| CN111064635A (zh) * | 2019-12-10 | 2020-04-24 | 中盈优创资讯科技有限公司 | 一种异常流量的监视方法及系统 |
| CN111600746A (zh) * | 2020-04-15 | 2020-08-28 | 新浪网技术(中国)有限公司 | 网络故障定位方法、装置及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 张旺等: "数据通信网网元拓扑动态管理设计研究", 《通信管理与技术》, no. 03, 15 June 2020 (2020-06-15) * |
| 徐砚等: "电力监控网大数据分析平台研究与设计", 《通信技术》, no. 08, 10 August 2018 (2018-08-10) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112532611B (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9946801B2 (en) | Real-time search term popularity determination, by search origin geographic location | |
| CN110413599A (zh) | 数据实时处理与存储系统及方法 | |
| CN111258978B (zh) | 一种数据存储的方法 | |
| CN111639092B (zh) | 一种人员流动分析方法、装置、电子设备及存储介质 | |
| CN111221791A (zh) | 一种多源异构数据导入数据湖的方法 | |
| CN112052134A (zh) | 一种业务数据的监控方法及装置 | |
| CN108363741B (zh) | 大数据统一接口方法、装置、设备及存储介质 | |
| CN105405070A (zh) | 一种分布式内存电网系统构建方法 | |
| CN111382182A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN106599190A (zh) | 基于云计算的动态Skyline查询方法 | |
| CN107491463A (zh) | 数据查询的优化方法和系统 | |
| CN106599189A (zh) | 基于云计算的动态Skyline查询装置 | |
| CN108337100B (zh) | 一种云平台监测的方法和装置 | |
| CN114510708A (zh) | 实时数据仓库构建、异常检测方法、装置、设备及产品 | |
| CN112532611B (zh) | 一种实时越线流量拓扑数据生成方法及装置 | |
| CN113986947A (zh) | 一种数据流转的展示方法、装置、设备及可读存储介质 | |
| CN111813773B (zh) | 一种电网抄表数据存储方法、上传方法、装置和存储装置 | |
| CN110851758A (zh) | 一种网页访客数量统计方法及装置 | |
| CN111259062A (zh) | 一种能够保证分布式数据库全表查询语句结果集顺序的方法和装置 | |
| CN115374109B (zh) | 数据访问方法、装置、计算设备和系统 | |
| CN116170352A (zh) | 网络流量的处理方法、装置、电子设备及存储介质 | |
| CN110990472A (zh) | 基于Hbase的数据导出方法及装置 | |
| CN115695216A (zh) | 一种互联网流量流向的大数据分析的方法 | |
| CN107943807B (zh) | 一种数据处理方法及存储设备 | |
| CN110704436B (zh) | 基于Hbase的索引生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 200000 room 702-2, No. 4811 Cao'an Road, Jiading District, Shanghai Patentee after: CHINA UNITECHS Address before: Room 1004-4, 10 / F, 1112 Hanggui Road, Anting Town, Jiading District, Shanghai Patentee before: CHINA UNITECHS |