CN111479287B - 非独立组网核心网仿真测试方法、装置、设备及存储介质 - Google Patents
非独立组网核心网仿真测试方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111479287B CN111479287B CN202010252390.7A CN202010252390A CN111479287B CN 111479287 B CN111479287 B CN 111479287B CN 202010252390 A CN202010252390 A CN 202010252390A CN 111479287 B CN111479287 B CN 111479287B
- Authority
- CN
- China
- Prior art keywords
- test
- core network
- network element
- tested
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 79
- 230000006855 networking Effects 0.000 title claims abstract description 38
- 238000010998 test method Methods 0.000 title claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 245
- 230000001419 dependent effect Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 11
- 208000018910 keratinopathic ichthyosis Diseases 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 15
- 230000011664 signaling Effects 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000008685 targeting Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种非独立组网核心网仿真测试方法、装置、设备及存储介质。该非独立组网的核心网仿真测试方法，包括：获取非独立组网的核心网待测网元的测试类型信息；当检查设有预约测试时，基于预设的预约检查定时器检查当前时间是否达到预约测试对应的预约时间；当当前时间达到预约时间时，基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作。根据本发明实施例，能够提高非独立组网的核心网测试效率，进而及时发现业务质量问题和网络隐患。
Description
技术领域
本发明属于网络运维技术领域，尤其涉及一种非独立组网的核心网仿真测试方法、装置、电子设备及计算机存储介质。
背景技术
随着5G网络的建设和业务的逐步商用，给电信运营商的运维工作带来了挑战。在5G早期部署阶段，传统EPC(4G核心网络)升级为EPC+，为了满足5G业务的需求，需要监控非独立组网(Non-Standalone，NSA)的核心网网元的质量并及时预警。
目前运维方式主要有设备网管手段、人工/自动无线终端拨测手段、信令监测手段等方式。设备网管手段是基于单个网元设备自身性能和告警数据对网络进行监控；人工/自动无线终端拨测手段是从无线侧发起业务拨测，感知业务质量，反映用户感知。信令监测手段是对网络信令数据进行镜像采集处理的被动式监测。
其中，人工/自动无线终端拨测手段由于核心网路由的动态变化，其不具备针对网元的靶向性测试能力，测试效率低下，导致难以及时发现业务质量问题和网络隐患。
因此，如何提高非独立组网的核心网测试效率，进而及时发现业务质量问题和网络隐患是本领域技术人员亟需解决的技术问题。
发明内容
本发明实施例提供一种非独立组网的核心网仿真测试方法、装置、电子设备及计算机存储介质，能够提高非独立组网的核心网测试效率，进而及时发现业务质量问题和网络隐患。
第一方面，提供了一种非独立组网的核心网仿真测试方法，包括：
获取非独立组网的核心网待测网元的测试类型信息；
当检查设有预约测试时，基于预设的预约检查定时器检查当前时间是否达到预约测试对应的预约时间；
当当前时间达到预约时间时，基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作。
可选地，当当前时间达到预约时间时，基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作，包括：
根据测试类型信息，确定测试间隔周期和测试结束时间；
当当前时间达到预约时间时，控制核心网待测网元，依据测试间隔周期执行仿真测试任务；
每当一个仿真测试任务执行结束时，利用预设的相对时间扫描定时器判断当前时间是否不小于测试结束时间；
当当前时间不小于测试结束时间时，停止执行仿真测试任务。
可选地，在针对核心网待测网元执行测试类型信息对应的仿真测试操作之后，方法还包括：
基于质量区间评分算法和权重分析算法，针对核心网待测网元进行质量分析，得到业务质量信息；
基于业务质量信息，确定网元质量评分；
当网元质量评分低于预设的告警门限阈值时，执行告警操作。
可选地，基于质量区间评分算法和权重分析算法，针对核心网待测网元进行质量分析，得到业务质量信息，包括：
基于质量区间评分算法，确定核心网待测网元的各个业务的总关键绩效指标(KeyPerformance Indicator，KPI)评分；
基于权重分析算法和各个业务的总KPI评分，确定业务质量信息。
可选地，基于质量区间评分算法，确定核心网待测网元的各个业务的总关键绩效指标KPI评分，包括：
确定核心网待测网元的任一业务的各个KPI的KPI评分；
基于各个KPI的KPI评分及预设权重，确定任一业务的总KPI评分。
第二方面，提供了一种非独立组网的核心网仿真测试装置，包括：
获取模块，用于获取非独立组网的核心网待测网元的测试类型信息；
检查模块，用于当检查设有预约测试时，基于预设的预约检查定时器检查当前时间是否达到预约测试对应的预约时间；
执行模块，用于当当前时间达到预约时间时，基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作。
可选地，执行模块，用于根据测试类型信息，确定测试间隔周期和测试结束时间；当当前时间达到预约时间时，控制核心网待测网元，依据测试间隔周期执行仿真测试任务；每当一个仿真测试任务执行结束时，利用预设的相对时间扫描定时器判断当前时间是否不小于测试结束时间；当当前时间不小于测试结束时间时，停止执行仿真测试任务。
可选地，执行模块，还用于基于质量区间评分算法和权重分析算法，针对核心网待测网元进行质量分析，得到业务质量信息；基于业务质量信息，确定网元质量评分；当网元质量评分低于预设的告警门限阈值时，执行告警操作。
可选地，执行模块，还用于基于质量区间评分算法，确定核心网待测网元的各个业务的总KPI评分；基于权重分析算法和各个业务的总KPI评分，确定业务质量信息。
可选地，执行模块，还用于确定核心网待测网元的任一业务的各个KPI的KPI评分；基于各个KPI的KPI评分及预设权重，确定任一业务的总KPI评分。
第三方面，提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现第一方面或者第一方面任一可选的实现方式中的非独立组网的核心网仿真测试方法。
第四方面，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面任一可选的实现方式中的核心网仿真测试方法。
本发明实施例的非独立组网的核心网仿真测试方法、装置、电子设备及计算机存储介质，能够提高非独立组网的核心网测试效率，进而及时发现业务质量问题和网络隐患。该非独立组网的核心网仿真测试方法，获取非独立组网的核心网待测网元的测试类型信息后，若设有预约测试，基于预设的预约检查定时器检查当前时间是否达到预约测试对应的预约时间，若当前时间达到预约时间，则基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作。可见，该方法基于预约检查定时器，可以自动地针对核心网待测网元进行靶向性测试，提高了非独立组网的核心网测试效率，进而能够及时发现业务质量问题和网络隐患。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种非独立组网的核心网仿真测试方法的流程示意图；
图2是本发明实施例提供的另一种非独立组网的核心网仿真测试方法的流程示意图；
图3是本发明实施例提供的一种测试计划与实例化测试任务关系示意图；
图4是本发明实施例提供的一种实例化测试任务的流程示意图；
图5是本发明实施例提供的一种业务测试调度逻辑示意图；
图6是本发明实施例提供的一种告警输出流程示意图；
图7是本发明实施例提供的一种非独立组网的核心网仿真测试装置的结构示意图；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前，传统运维方式中人工/自动无线终端拨测手段，由于核心网路由的动态变化，其不具备针对网元的靶向性测试能力，测试效率低下，导致难以及时发现业务质量问题和网络隐患。
为了解决现有技术问题，本发明实施例提供了一种非独立组网的核心网仿真测试方法、装置、电子设备及计算机存储介质。下面首先对本发明实施例所提供的非独立组网的核心网仿真测试方法进行介绍。
图1是本发明实施例提供的一种非独立组网的核心网仿真测试方法的流程示意图。如图1所示，该非独立组网的核心网仿真测试方法可以包括：
S101、获取非独立组网的核心网待测网元的测试类型信息。
S102、当检查设有预约测试时，基于预设的预约检查定时器检查当前时间是否达到预约测试对应的预约时间。
S103、当当前时间达到预约时间时，基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作。
为了提升仿真测试操作执行效率，在一个实施例中，当当前时间达到预约时间时，基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作，可以包括：根据测试类型信息，确定测试间隔周期和测试结束时间；当当前时间达到预约时间时，控制核心网待测网元，依据测试间隔周期执行仿真测试任务；每当一个仿真测试任务执行结束时，利用预设的相对时间扫描定时器判断当前时间是否不小于测试结束时间；当当前时间不小于测试结束时间时，停止执行仿真测试任务。
为了增加执行仿真测试操作的安全性，在一个实施例中，在针对核心网待测网元执行测试类型信息对应的仿真测试操作之后，该方法还可以包括：基于质量区间评分算法和权重分析算法，针对核心网待测网元进行质量分析，得到业务质量信息；基于业务质量信息，确定网元质量评分；当网元质量评分低于预设的告警门限阈值时，执行告警操作。
为了更准确地确定核心网待测网元的业务质量，在一个实施例中，基于质量区间评分算法和权重分析算法，针对核心网待测网元进行质量分析，得到业务质量信息，包括：基于质量区间评分算法，确定核心网待测网元的各个业务的总KPI评分；基于权重分析算法和各个业务的总KPI评分，确定业务质量信息。
为了更准确地确定核心网待测网元的任一业务的总KPI评分，在一个实施例中，基于质量区间评分算法，确定核心网待测网元的各个业务的总关键绩效指标KPI评分，可以包括：确定核心网待测网元的任一业务的各个KPI的KPI评分；基于各个KPI的KPI评分及预设权重，确定任一业务的总KPI评分。
本发明实施例提供的非独立组网的核心网仿真测试方法，获取非独立组网的核心网待测网元的测试类型信息后，若设有预约测试，基于预设的预约检查定时器检查当前时间是否达到预约测试对应的预约时间，若当前时间达到预约时间，则基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作。可见，该方法基于预约检查定时器，可以自动地针对核心网待测网元进行靶向性测试，提高了非独立组网的核心网测试效率，进而能够及时发现业务质量问题和网络隐患。
下面以一个实施例对该核心网仿真测试方法进行具体说明：
采用软件模拟5G NSA标准信令接口，通过网际互连协议(Internet Protocol，IP)承载网，物理接入电信运营商5G NSA网络，仿真演进型基站(evolved Node B，eNB)和5G基站(gNodeB)，非独立组网移动管理实体(Non-Standalone Mobility-Management Entity，NSA-MME)，非独立组网服务网关(Non-Standalone-Serving Gate Way，NSA-SGW)等NSA网元设备，使用业务协议栈构造，模拟5G用户从下级仿真网元向核心网发起业务测试，从而实现：
1、5G NSA核心网监控：
(1)遍历接入EPC+核心网网元：通过仿真eNodeB和gNodeB、NSA MME、NSA SGW全量对接现网EPC+网元。
(2)5G业务场景测试：实现5G服务质量(Quality of Service，QoS)监测、增强移动宽带(Enhanced Mobile Broadband，eMBB)下载、控制面时延/丢包率、用户面速率/丢包率、5G切换等场景测试。
2、5G NSA用户感知监控：
(1)5G业务用户感知测试：实现5G重点业务用户感知测试，包括eMBB下载、网页浏览、高清视频、游戏等业务。
(2)5G业务用户感知指标监控：实现对下载速率、页面加载时长、视频播放流畅度、游戏时延等关键感知指标的监控。
3、5G NSA网络调整拨测验证：
(1)5G NSA新网元入网：实现一键式自动化拨测验证功能，降低试割接风险，提前预知网元及业务的可用性。
(2)5G NSA网元升级：NSA网元工程升级或局数据变动，选取特定业务进行测试，及时发现升级前后业务承载是否正常。
图2是本发明实施例提供的另一种非独立组网的核心网仿真测试方法的流程示意图，由图2可知，该方法可以包括如下步骤：
S201、网络接入：
协调电信运营商分配仿真测试所需的网络资源，包括硬资源和软资源。
硬资源：IP接入的用户网络边缘设备(Customer Edge，CE)、传输线路、测试SIM卡资源等。
软资源：仿真测试系统的网管地址、仿真网元的信令面IP地址、业务用户面IP地址、测试对象网元的信令面IP地址、业务用户面IP地址、链路参数等。
另外还需要打通5G NSA仿真测试系统与被测5G NSA网元之间的IP路由。
S202、与被测网元互通：
根据国际/国内标准的网络接口协议规范，本发明仿真NSA核心网信令接口，仿真网元与核心网被测网元对象的信令面、用户面互通对接。如表1所示：
表1
| 仿真接口 | 仿真网元 | 对接网元 |
| S1 | eNodeB+gNodeB | NSA-MME |
| S11 | NSA-MME | NSA-SGW |
| S5/S8 | NSA-SGW | NSA-PGW |
S203、配置测试计划：
配置测试5G网元对象、测试业务、测试策略、测试模板配置、业务质量门限阈值设置等。其中，测试策略类型配置如下：
表2立即测试策略类型配置参数
| 字段名称 | 字段类型 | 字段最大个数 |
| 开始时间 | O | 1 |
| 结束时间 | O | 1 |
| 执行次数 | O | 1 |
表3循环测试策略类型配置参数
| 字段名称 | 字段类型 | 字段最大个数 |
| 开始时间 | O | 1 |
| 结束时间 | O | 1 |
| 执行次数 | O | 1 |
| 执行间隔 | M | 1 |
| 屏蔽时间段 | O | N |
表4例行测试策略类型配置参数
针对上述表1、表2和表3作如下说明：
(1)字段类型：O表示可选字段，M表示必选字段。字段最大个数：1表示本字段最多只能有一个，N表示可以有多个同一字段。
(2)开始时间、结束时间：测试计划的生命周期。
(3)执行时间：例行测试策略时，在生命周期内，按月份、星期、天来调度业务测试。
(4)执行次数：业务测试的总次数限制。
(5)执行间隔：测试计划实例化相邻两个测试任务之间的时间间隔。
(6)屏蔽时间段：在指定时间段内，测试自动停止不再执行，当时间超过后，自动恢复测试。
S204、业务测试：
根据测试计划，实例化测试任务，按照业务协议流程，构造信令协议栈，进行业务测试。测试计划与实例化测试任务关系如图3所示，图3是本发明实施例提供的一种测试计划与实例化测试任务关系示意图。由图3可知，测试计划包括三种类型，分别为立即型、循环型及例行型，测试任务是由就绪队列的排队节点转换为工作节点去执行。其中，对于循环型和例行型，当测试周期超时的时候，检查此时是否到结束时间，若已经到结束时间，则任务停止，释放任务记录节点。否则，动态生成任务节点，进入就绪队列。
实例化测试任务的流程如图4所示，用户配置立即类型测试计划后，系统检查是否已经超过次数限制，若已经超过次数限制，则不执行测试任务，等待测试任务全部结束后删除测试计划；若没有超过次数限制，则判断是否落在时间窗口，也即判断是否到了预约测试的开始时间，若没有到预约测试的开始时间，则启动一个预约检查定时器T1(绝对时间扫描定时器)，定时检查是否到预约时间。若到了预约测试的开始时间，则根据执行次数配置，实例化N个任务放入工作节点或就绪队列，并在任务全部结束后删除测试计划。此外，如果没有预约测试，则动态生成任务节点，进入就绪队列或直接为工作节点。
用户配置循环类型、例行类型的测试计划后，系统检查是否已经超过次数限制，若已经超过次数限制，则不执行测试任务，等待测试任务全部结束后删除测试计划；若没有超过次数限制，则判断是否落在时间窗口，也即判断是否到了预约测试的开始时间，若没有到预约测试的开始时间，则启动一个预约检查定时器T1(绝对时间扫描定时器)，定时检查是否到预约时间。若到了预约测试的开始时间，则动态生成任务节点，进入就绪队列。同时，根据测试计划中的间隔周期，启动定时器T2(相对时间扫描定时器)，当T2定时超时后，检查此时是否到结束时间(如果设置)，若已经到结束时间，则任务停止，释放任务记录节点。否则，动态生成任务节点，进入就绪队列继续执行任务，待任务全部结束后删除测试计划。
一次实例化测试任务执行结束，工作节点释放。如果排队队列为空，根据节点中记录的测试计划标识号(Identity document，ID)，查找测试计划配置表。对于立即型测试计划，则直接释放测试计划节点；对于循环或例行型测试计划，检查执行次数或结束时间，如果满足，则释放测试计划节点。如果排队队列不为空，从排队队列取出首节点，移至工作节点执行测试。
在一个实施例中，业务测试调度逻辑如图5所示，起始时间和结束时间之间的时间段为测试有效时间段，测试有效时间段包含非屏蔽时间段，基于绝对时间扫描定时器T1和相对时间扫描定时器T2，判断当前时间是否不小于非屏蔽时间段中的测试触发时间点。
S205、业务监控分析：
(1)业务对象分析：
以业务为对象，基于业务测试记录(XDR)以及关联信令进行分析，将5G业务信令交互流程分解为多个环节，通过分析各环节的成功率、时延、失败原因分类等指标，形成业务流程环节分析结果。在业务指标下降时，快速进行预定位分析，确定问题环节和问题落点。
(2)网元对象分析：
不同类型的网元，承载的业务类型不同，网元的工作状态与业务质量优劣直接相关，通过区间划分和权重分析算法对网元进行质量分析，为网络维护提供直观的数据基础。
对于每个KPI指标，可以采用质量区间的评分方法，即根据KPI指标值划分为若干个区间，每个区间有相应的得分范围，区间内采用直线内插法，KPI指标得分计算公式如下：
其中：v1为区间KPI值下限，v2为区间KPI值上限，S1为区间得分下限，S2为区间得分上限，v为KPI指标值。
单个业务会有多个KPI指标(每个网元会执行多个业务的)，例如：成功率和时延等，对于不同业务，用户对不同KPI指标的敏感度是有差异的，因此对单个业务的质量分析，采用权重计算方法来评估，越容易影响用户感知的KPI，赋予的权重越大，反之越小，例如eMBB业务的下载速率指标赋予的权重高，而因特网包探索器(Packet Internet Groper，PING)业务的丢包率指标权重高。业务质量分数计算公式如下：
其中，n为此业务的KPI指标个数，Ki为KPI指标得分，Wi为KPI指标对应的权重，权重取值[0,1]，所有KPI的权重和为1。
网元对象的质量分析也采用权重分析法，依据业务的重要程度，赋予不同的权重，例如：附着业务是业务测试的重要步骤，权重赋值可以相对高。网元质量评估分数计算公式如下：
其中，n为网元承载的业务种类数量，Si为单个业务的质量得分，Wi为业务对应的权重，权重取值[0,1]，所有权重和为1。
通过上述计算，就可以获得测试网元对象的质量得分(Ns)，为了提高监控的直观性，可以对Ns进一步进行等级划分，每个等级对应一个分值区间，从而获得直观的质量分析评价，例如：分为“优”、“良”、“中”、“差”四个等级，如表5所示。
表5
| 质量区间 | 评价 | 分值区间(分) |
| 1 | 优 | (90,100] |
| 2 | 良 | (80,90] |
| 3 | 中 | (60,80] |
| 4 | 差 | ＜60 |
(3)业务预警分析：
5G业务周期性测试过程中，监控到关键业务指标(成功率、时延等)或网元质量得分低于告警门限阈值或与动态基线偏离劣化超过门限，自动触发立即型业务复测，提高告警实时性。
基于5G NSA测试接口、网元对象、业务目标、业务类型等测试维度，对多个单测试任务组合为测试任务组，在业务降质时，为故障域的界定以及故障点定位提供有力支撑，大大提高告警准确性。
S206、告警输出：
告警的输出需要经过多种过滤器，包括：告警屏蔽过滤器、实时告警开关、短信告警开关、网管告警开关等，根据不同的过滤器配置，控制输出使能以及告警流向。
告警输出流程示意图如图6所示，由图6可知，在任务执行完并提交结果后，判断是否满足告警触发条件，若不满足告警触发条件，则直接结束；若满足告警触发条件，则生成告警，也即告警入库，再判断是否处于告警屏蔽时段。若处于告警屏蔽时段，则直接结束；若不处于告警屏蔽时段，则分别判断短信告警开关是否开启，实时告警开关是否开启，网管告警开关是否开启。若短信告警开关没有开启，则直接结束；若短信告警开关已经开启，则输出短信告警。若实时告警开关没有开启，则直接结束；若实时告警开关已经开启，则判断实时告警过滤器是否允许输出，若不允许输出，则直接结束；若允许输出，则输出实时告警。若网管告警开关没有开启，则直接结束；若网管告警开关已经开启，则判断网管告警过滤器是否允许输出，若不允许输出，则直接结束；若允许输出，则输出网管告警。
本发明实施例提供的非独立组网的核心网仿真测试方法，具有如下有益效果：
1、通过自动化测试手段，对5G NSA核心网网元进行7*24小时靶向性遍历测试，实现对网络及业务的实时性监控。
2、业务测试场景覆盖面广，对人工因资源、协调、环境等条件受限而无法拨打的场景做全面支撑，测试不留死角，杜绝安全隐患。
3、多场景、多测试号码、大容量并发测试，大幅提升测试效率，能够快速、准确地评估5G NSA网元入网、升级改造割接后的效果。
4、软件方式构造5G NSA信令接口协议栈，可以实现测试过程信令的“可跟踪”、“可回溯”、“可关联”，为网元和业务的故障分析、定位提供支撑。
5、快速发现隐患及业务降质，在用户感知业务劣化之前或初期即输出告警派单、辅助故障定位，大大缩短故障发现及解决的时间。
本发明实施例还提供了一种非独立组网的核心网仿真测试装置，如图7所示，该非独立组网的核心网仿真测试装置可以包括：
获取模块701，用于获取非独立组网的核心网待测网元的测试类型信息；
检查模块702，用于当检查设有预约测试时，基于预设的预约检查定时器检查当前时间是否达到预约测试对应的预约时间；
执行模块703，用于当当前时间达到预约时间时，基于测试类型信息，针对核心网待测网元执行测试类型信息对应的仿真测试操作。
可选地，在一个实施例中，执行模块703，用于根据测试类型信息，确定测试间隔周期和测试结束时间；当当前时间达到预约时间时，控制核心网待测网元，依据测试间隔周期执行仿真测试任务；每当一个仿真测试任务执行结束时，利用预设的相对时间扫描定时器判断当前时间是否不小于测试结束时间；当当前时间不小于测试结束时间时，停止执行仿真测试任务。
可选地，在一个实施例中，执行模块703，还用于基于质量区间评分算法和权重分析算法，针对核心网待测网元进行质量分析，得到业务质量信息；基于业务质量信息，确定网元质量评分；当网元质量评分低于预设的告警门限阈值时，执行告警操作。
可选地，在一个实施例中，执行模块703，还用于基于质量区间评分算法，确定核心网待测网元的各个业务的总KPI评分；基于权重分析算法和各个业务的总KPI评分，确定业务质量信息。
可选地，在一个实施例中，执行模块703，还用于确定核心网待测网元的任一业务的各个KPI的KPI评分；基于各个KPI的KPI评分及预设权重，确定任一业务的总KPI评分。
图7提供的非独立组网的核心网仿真测试装置中的各个模块具有实现图1所示实例中各个步骤的功能，并达到与图1所示非独立组网的核心网仿真测试方法相同的技术效果，为简洁描述，在此不再赘述。
图8是本发明实施例提供的一种电子设备的结构示意图。
电子设备可以包括处理器801以及存储有计算机程序指令的存储器802。
具体地，上述处理器801可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器802可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器802可在综合网关容灾设备的内部或外部。在特定实施例中，存储器802是非易失性固态存储器。在特定实施例中，存储器802包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器801通过读取并执行存储器802中存储的计算机程序指令，以实现图1所示的非独立组网的核心网仿真测试方法。
在一个示例中，电子设备还可包括通信接口803和总线810。其中，如图8所示，处理器801、存储器802、通信接口803通过总线810连接并完成相互间的通信。
通信接口803，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线810包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线810可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现图1所示的非独立组网的核心网仿真测试方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种非独立组网的核心网仿真测试方法，其特征在于，包括：
获取非独立组网的核心网待测网元的测试类型信息；
当检查设有预约测试时，基于预设的预约检查定时器检查当前时间是否达到所述预约测试对应的预约时间；
当所述当前时间达到所述预约时间时，基于所述测试类型信息，针对所述核心网待测网元执行所述测试类型信息对应的仿真测试操作；
其中，在所述针对所述核心网待测网元执行所述测试类型信息对应的仿真测试操作之后，所述方法还包括：基于质量区间评分算法和权重分析算法，针对所述核心网待测网元进行质量分析，得到业务质量信息；基于所述业务质量信息，确定网元质量评分；当所述网元质量评分低于预设的告警门限阈值时，执行告警操作；
其中，所述基于质量区间评分算法和权重分析算法，针对所述核心网待测网元进行质量分析，得到业务质量信息，包括：基于所述质量区间评分算法，确定所述核心网待测网元的各个业务的总关键绩效指标KPI评分；基于所述权重分析算法和各个所述业务的所述总KPI评分，确定所述业务质量信息；
其中，所述基于所述质量区间评分算法，确定所述核心网待测网元的各个业务的总关键绩效指标KPI评分，包括：确定所述核心网待测网元的任一业务的各个KPI的KPI评分；基于各个所述KPI的所述KPI评分及预设权重，确定所述任一业务的所述总KPI评分。
2.根据权利要求1所述的非独立组网的核心网仿真测试方法，其特征在于，所述当前时间达到所述预约时间时，基于所述测试类型信息，针对所述核心网待测网元执行所述测试类型信息对应的仿真测试操作，包括：
根据所述测试类型信息，确定测试间隔周期和测试结束时间；
当所述当前时间达到所述预约时间时，控制所述核心网待测网元，依据所述测试间隔周期执行仿真测试任务；
每当一个所述仿真测试任务执行结束时，利用预设的相对时间扫描定时器判断所述当前时间是否不小于所述测试结束时间；
当所述当前时间不小于所述测试结束时间时，停止执行所述仿真测试任务。
3.一种非独立组网的核心网仿真测试装置，其特征在于，包括：
获取模块，用于获取非独立组网的核心网待测网元的测试类型信息；
检查模块，用于当检查设有预约测试时，基于预设的预约检查定时器检查当前时间是否达到所述预约测试对应的预约时间；
执行模块，用于当所述当前时间达到所述预约时间时，基于所述测试类型信息，针对所述核心网待测网元执行所述测试类型信息对应的仿真测试操作；
其中，所述执行模块，还用于基于质量区间评分算法和权重分析算法，针对所述核心网待测网元进行质量分析，得到业务质量信息；基于所述业务质量信息，确定网元质量评分；当所述网元质量评分低于预设的告警门限阈值时，执行告警操作；
其中，执行模块，还用于基于质量区间评分算法，确定核心网待测网元的各个业务的总KPI评分；基于权重分析算法和各个业务的总KPI评分，确定业务质量信息；
其中，执行模块，还用于确定核心网待测网元的任一业务的各个KPI的KPI评分；基于各个KPI的KPI评分及预设权重，确定任一业务的总KPI评分。
4.根据权利要求3所述的非独立组网的核心网仿真测试装置，其特征在于，所述执行模块，用于根据所述测试类型信息，确定测试间隔周期和测试结束时间；当所述当前时间达到所述预约时间时，控制所述核心网待测网元，依据所述测试间隔周期执行仿真测试任务；每当一个所述仿真测试任务执行结束时，利用预设的相对时间扫描定时器判断所述当前时间是否不小于所述测试结束时间；当所述当前时间不小于所述测试结束时间时，停止执行所述仿真测试任务。
5.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-2任意一项所述的非独立组网的核心网仿真测试方法。
6.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-2任意一项所述的非独立组网的核心网仿真测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010252390.7A CN111479287B (zh) | 2020-04-01 | 2020-04-01 | 非独立组网核心网仿真测试方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010252390.7A CN111479287B (zh) | 2020-04-01 | 2020-04-01 | 非独立组网核心网仿真测试方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111479287A CN111479287A (zh) | 2020-07-31 |
| CN111479287B true CN111479287B (zh) | 2023-04-18 |
Family
ID=71749501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010252390.7A Active CN111479287B (zh) | 2020-04-01 | 2020-04-01 | 非独立组网核心网仿真测试方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111479287B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114205837B (zh) * | 2020-09-02 | 2023-09-05 | 中国移动通信集团安徽有限公司 | 5g核心网操作的排期方法、装置、计算设备与存储介质 |
| CN112260856A (zh) * | 2020-09-27 | 2021-01-22 | 北京拓明科技有限公司 | 一种基于5g xdr数据质量评价方法及系统 |
| CN114095957A (zh) * | 2021-11-11 | 2022-02-25 | 中国电信股份有限公司 | 基于5g双拨的拨测诊断方法、装置和系统、存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101888658A (zh) * | 2010-07-16 | 2010-11-17 | 北京市万网元通信技术有限公司 | Gprs核心网仿真测试系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864563A (en) * | 1996-07-15 | 1999-01-26 | At&T Corp | Method for testing network |
-
2020
- 2020-04-01 CN CN202010252390.7A patent/CN111479287B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101888658A (zh) * | 2010-07-16 | 2010-11-17 | 北京市万网元通信技术有限公司 | Gprs核心网仿真测试系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111479287A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111479287B (zh) | 非独立组网核心网仿真测试方法、装置、设备及存储介质 | |
| EP3866395B1 (en) | Method and system for determining root-cause diagnosis of events occurring during the operation of a communication network | |
| CN105744553B (zh) | 一种网络关联分析方法及装置 | |
| US10334490B2 (en) | Overall network performance and/or overall quality of service of a mobile communication network by assigning a physical cell identifier information to a plurality of radio cells | |
| WO2017219855A1 (zh) | 根因定位方法及装置 | |
| CN103650569A (zh) | 无线网络故障诊断方法和设备 | |
| CN111817868B (zh) | 一种网络质量异常的定位方法与装置 | |
| CN105519153A (zh) | 终端用户识别方法、设备和系统 | |
| Shayea et al. | Performance analysis of mobile broadband networks with 5g trends and beyond: Urban areas scope in malaysia | |
| CN103096356A (zh) | 无线网络性能的分析方法 | |
| WO2014032505A1 (zh) | 一种仿真测试方法及设备 | |
| CN107667504A (zh) | 使用回声定位进行用户体验质量的分析 | |
| JP5152176B2 (ja) | 無線セル監視方法、その装置及びそのプログラム | |
| CN108024222B (zh) | 流量话单生成方法和装置 | |
| CN111343647B (zh) | 用户感知评估的方法、装置、设备和介质 | |
| CN104064198A (zh) | 一种评估语音质量的方法及装置 | |
| CN109788518A (zh) | 移动终端的追踪方法和装置 | |
| CN113015080A (zh) | 伪基站识别定位方法、装置、电子设备及存储介质 | |
| CN107196815A (zh) | 一种流量分析能力的差异的确定方法及设备 | |
| CN112637881B (zh) | 可靠性测试方法、装置和计算机存储介质 | |
| CN112488491B (zh) | 基于Petri网列控车载设备接入过程可靠性评估方法 | |
| CN105630503B (zh) | 一种基于用户操作记录的应用开发移动设备选取方法 | |
| CN109982373A (zh) | Lte频繁回落点分析方法、装置、计算设备及存储介质 | |
| US20150229744A1 (en) | Method and Device for Service Analysis | |
| EP2760234A1 (en) | Technique for monitoring wireless terminal behavior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231201 Address after: Building 6, Jiangsu Industrial Technology Research Institute, No. 7, Huafu Road, Jiangbei New District, Nanjing, Jiangsu, 210000 Patentee after: China Mobile Zijin (Jiangsu) Innovation Research Institute Co.,Ltd. Patentee after: CHINA MOBILE GROUP JIANGSU Co.,Ltd. Patentee after: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd. Address before: No.59 Huju Road, Gulou District, Nanjing, Jiangsu 210029 Patentee before: CHINA MOBILE GROUP JIANGSU Co.,Ltd. Patentee before: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd. |