CN111372073B - 视频质量的评价方法、装置、设备和介质 - Google Patents

视频质量的评价方法、装置、设备和介质 Download PDF

Info

Publication number
CN111372073B
CN111372073B CN201811600957.4A CN201811600957A CN111372073B CN 111372073 B CN111372073 B CN 111372073B CN 201811600957 A CN201811600957 A CN 201811600957A CN 111372073 B CN111372073 B CN 111372073B
Authority
CN
China
Prior art keywords
video
call
ticket
cluster
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811600957.4A
Other languages
English (en)
Other versions
CN111372073A (zh
Inventor
谈澄秋
林静
杨荒
余颖
古靖
陈果
张欢
王旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Sichuan Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Sichuan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Sichuan Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201811600957.4A priority Critical patent/CN111372073B/zh
Publication of CN111372073A publication Critical patent/CN111372073A/zh
Application granted granted Critical
Publication of CN111372073B publication Critical patent/CN111372073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Abstract

本发明公开了视频质量的评价方法、装置、设备和介质。该方法包括：获取同一用户的M条XDR话单；基于统计时间段对M条XDR话单进行聚类，得到N个话单簇；计算每个话单簇中所有话单的视频数据的传输质量数据的和值，将和值作为该话单簇的传输质量数据；利用每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。根据本发明实施例提供的视频质量的评价方法、装置、设备和介质，能够提高视频质量的评价准确性。

Description

视频质量的评价方法、装置、设备和介质
技术领域
本发明涉及通信领域，尤其涉及视频质量的评价方法、装置、设备和介质。
背景技术
网络视频业务是移动上网用户最普遍使用的业务之一。然而，往往由于网络质量等因素影响，会导致用户满意度下降、投诉量增加甚至离网等后果。
为此，通信运营商需要精确评估和掌握用户在使用网络视频业务过程中的网络质量，以便于提前发现质量问题。
现有技术中，通过采用流量探针分析方法对网络质量进行评估：
具体地，在网络关键节点(如城域网路由器)部署流量探针，对网络中的视频流进行采集、分析，利用深度包检测(Deep Packet Inspection，DPI)或深度/动态流检测(Deep/Dynamic Flow Inspection)DFI技术直接从网络报文序列中提取视频质量指标，完成质量评价。该评价方法的视频质量评估准确度较低。
发明内容
本发明实施例提供的视频质量的评价方法、装置、设备和介质，能够提高视频质量的评价准确性。
根据本发明的一方面，提供了一种视频质量的评价方法，包括：
获取同一用户的M条XDR话单，话单包括一段视频数据的统计时间段和传输质量数据，M为正整数；
基于统计时间段对M条XDR话单进行聚类，得到N个话单簇，每个话单簇中的所有话单的视频数据来源于同一个视频，N为不大于M的正整数；
计算每个话单簇中所有话单的视频数据的传输质量数据的和值，将和值作为该话单簇的传输质量数据；
利用每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。
在一种可选的实施方式中，在基于统计时间段对M条XDR话单进行聚类之后，方法还包括：
获得每个话单簇的统计时间段；
将每个话单簇的统计时间段分为多个子时间段，每个子时间段对应一个时间窗口；
基于获取的每个时间窗口的传输质量数据，计算与该时间窗口对应的视频分段的质量评分。
在一种可选的实施方式中，基于统计时间段对M条XDR话单进行聚类，得到N个话单簇，具体包括：
选取当前未聚类话单集合中的目标话单的统计时间段作为当前核心时间段；
基于当前核心时间段对当前未聚类话单集合中的话单进行聚类，得到与目标话单对应的话单簇，并更新当前未聚类话单集合，直到更新后的当前未聚类话单集合为空集；
其中，初始未聚类话单集合包括M条XDR话单，初始目标话单是当前未聚类话单集合中的任一话单。
在一种可选的实施方式中，基于当前初始核心时间段对当前未聚类话单集合中的话单进行聚类，得到与当前目标话单对应的话单簇，具体包括：
从当前未聚类话单集合的除目标话单之外的其他话单中选取第一话单，将第一话单的统计时间段与核心时间段的和值作为新的核心时间段，第一话单的统计时间段与核心时间段至少部分重合的话单；
确定新的待聚类话单集合，根据新的核心时间段，直到待聚类话单集合中话单的统计时间段全部与新的核心时间段不重叠，将新的新的核心时间段作为话单簇的统计时间段，并将统计时间段包含于话单簇的统计时间段的话单划分入话单簇。
在一种可选的实施方式中，方法还包括：
基于视频的质量评分，生成该视频的网络视频质量特征信息。
在一种可选的实施方式中，基于每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分，具体包括：
基于每个话单簇的传输质量数据，计算该话单簇的质量评价参数值；
依次质量评价参数值，计算与该话单簇对应的视频的质量评分。
在一种可选的实施方式中，网络视频质量特征信息还包括视频的基本特征信息，视频对应的话单簇的传输质量数据。
在一种可选的实施方式中，视频的基本特征信息包括：用户的身份标识信息，视频对应的话单簇的统计时间段，视频应用类型信息和用户的互联网IP地址信息。
在一种可选的实施方式中，视频的质量评分包括：表征视频的清晰度的推测码率评分、表征视频的快推能力的推测快推质量标记得分，和表征网络对视频的承载能力的推测视频下载质量得分。
在一种可选的实施方式中，话单簇的传输质量数据包括下载数据包的数量、下载数据包的丢包数量、上传数据包的数量、上传数据包的丢包数量。
在一种可选的实施方式中，推测码率评分的计算公式为：
Figure BDA0001922482120000031
其中，MR表示视频的推测码率评分，AVG_IP_INBPS表示视频对应的话单簇的平均下载速率，SERVER_PLR表示视频对应的话单簇的下载丢包率，α为经验值，
视频对应的话单簇的平均下载速率是基于下载数据包的下载字节数得到的，
视频对应的话单簇的下载丢包率是基于视频对应的话单簇的下载数据包的数量和视频对应的话单簇的下载数据包的丢包数量得到的。
在一种可选的实施方式中，推测快推质量标记得分的计算公式为：
FASTPUSH_FLAG＝min(2V,1)
其中，FASTPUSH_FLAG表示视频的推测快推质量标记得分，V表示视频对应的话单簇的下载数据包的数量的离散系数。
在一种可选的实施方式中，推测视频下载质量得分的计算公式为：
LABEL_SCORE
＝max(100×AVG_IP_INBPS/MR,100×FASTPUSH_FLAG)
其中，LABEL_SCORE表示视频的推测视频下载质量得分，AVG_IP_INBPS表示视频对应的话单簇的平均下载速率，MR表示视频的推测码率评分，FASTPUSH_FLAG表示视频的推测快推质量标记得分。
根据本发明的另一方面，提供一种视频质量的评价装置，包括：
第一获取模块，用于获取同一用户的M条XDR话单，话单包括一段视频数据的统计时间段和传输质量数据，M为正整数；
聚类处理模块，用于基于统计时间段对M条XDR话单进行聚类，得到N个话单簇，每个话单簇中的所有话单的视频数据来源于一个视频，N为不大于M的正整数；
第一计算模块，用于计算每个话单簇中所有话单的视频数据的传输质量数据的和值，将和值作为该话单簇的传输质量数据；
第二计算模块，用于利用每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。
在一种可选的实施方式中，装置还包括：
第二获取模块，用于获得每个话单簇的统计时间段；
划分处理模块，用于将每个话单簇的统计时间段分为多个子时间段，每个子时间段对应一个时间窗口；
第三计算模块，用于基于获取的每个时间窗口的传输质量数据，计算与该时间窗口对应的视频分段的质量评分。
在一种可选的实施方式中，聚类处理模块，具体用于：
选取当前未聚类话单集合中的目标话单的统计时间段作为当前核心时间段；
基于当前核心时间段对当前未聚类话单集合中的话单进行聚类，得到与目标话单对应的话单簇，并更新当前未聚类话单集合，直到更新后的当前未聚类话单集合为空集；
其中，初始未聚类话单集合包括M条原始XDR话单，初始目标话单是当前未聚类话单集合中的任一话单。
根据本发明的又一方面，提供一种视频质量的评价设备，包括：
存储器，用于存储程序；
处理器，用于运行存储器中存储的程序，以执行本发明实施例提供的视频质量的评价方法。
根据本发明的再一方面，提供一种计算机存储介质，述计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现本发明实施例提供的视频质量的评价方法。
根据本发明实施例中的视频质量的评价方法、装置、设备和介质，能够基于统计时间段对M条XDR话单进行聚类，得到N个话单簇。根据每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。由于每个话单簇中的所有话单的视频数据来源于同一个视频，话单簇的传输质量数据能够真实反映视频的传输质量数据，从而提高视频质量的评价准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出根据本发明实施例的视频质量的评价方法的示意流程图；
图2是本发明实施例的示例性的话单簇的示意图；
图3是本发明实施例的示例性的时间窗口的示意图；
图4示出了根据本发明一实施例提供的视频质量的评价装置的结构示意图；
图5是本发明实施例中视频质量的评价设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在时间维度上，可以将一个视频划分为多个视频分段。视频分段在网络传输过程中，往往需要分为多段视频数据进行传输。
外部数据表示法(External Data Representation，XDR)话单对网络传输中的视频数据进行监控，并记录了视频数据的基本特征信息和传输质量数据。
为了能够评价视频质量，本发明实施例提供了视频质量的评价方法、装置、设备和介质。
为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的视频质量的评价方法、装置、设备和介质，应注意，这些实施例并不用来限制本发明公开的范围。
图1是示出根据本发明实施例的视频质量的评价方法的示意流程图。如图1所示，本实施例中的视频质量的评价方法100可以包括步骤S110至S140：
S110，获取同一用户的M条XDR话单，话单包括一段视频数据的统计时间段和传输质量数据。其中，M为正整数。
在本发明的一些实施例中，视频数据表示网络用户在观看视频节目过程中，用户与核心网之间传输的视频数据。
在本发明的一些实施例中，通信运营商的深度报文解析技术(Deep PacketInspection，DPI)系统中集中存储了大量的XDR数据。其中，DPI系统指运营商的网络通道中的互联网流量监控、分析管理的系统。可以由硬件和软件组成。
具体地，XDR数据可以存储于DPI系统的XDR话单记录库中。
在本发明的一些实施例中，本发明实施例的XDR话单特指在监控一段视频数据的传输过程中，采集的该段视频数据的主要信息的XDR话单。
相应地，S110的具体实施方式可以包括：
依据用户的身份标识信息，从XDR话单记录库中选取属于该用户的M条XDR视频话单。
在一些实施例中，为了减小运算数据量以及增强质量评价的针对性，可以选取统计时间段位于预设时间段内的视频话单。
在本发明的一些实施例中，XDR话单所包含的统计时间段可以是开始采集该话单对应的视频数据的时刻至停止采集该视频数据的时刻之间的时间段。或者，统计时间段可以是该XDR信令的生成时间段。
在本发明的一些实施例中，XDR话单所包含的传输质量数据，可以是能够表征该话单对应的视频数据的传输质量的数据。
示例性的，传输质量数据可以包括：视频数据对应的下载数据包的数量(简称下载包数)、该视频数据对应的下载数据包的丢包数量(简称下载丢包数)、该视频数据对应的上传数据包的数量(简称上传包数)和该视频数据对应的上传数据包的丢包数量(简称上传丢包数)。
在一些示例中，传输质量数据还可以包括以下数据的一个或多个：
视频数据的上传和下载过程中用户与服务器之间的往来数据包的数目(简称往来包数)、该视频数据对应的下载字节数(简称下载字节数)、该视频数据对应的下载过程中重传数据包的数目(简称下载重传包数)、该视频数据对应的上传字节数(简称上传字节数)、该视频数据对应的上传过程中重传数据包的数目(简称上传重传包数)、端到端时延、端到端时延抖动和该视频数据对应的下载数据包的最大包长(简称下载最大包长)。
在本发明的一些实施例中，用户的一条XDR话单中记录的信息还包括：一段视频数据的基本特征信息。其中，统计时间段可以归纳于基本特征信息。
在一些实施例中，一段视频数据的基本特征信息包括：能够唯一识别用户的身份标识信息和统计时间段。除此之外，基本特征信息还可以包括：视频应用类型信息和/或用户的网络之间互连的协议(Internet Protocol，IP)地址信息等。
例如，用户的身份标识信息可以为：移动用户的移动台国际用户识别码(MobileSubscriber International ISDN/PSTN number，MSISDN)、或移动用户的移动用户号码簿(Mobile Directory Number，MDN)号码或用户随身携带的移动通信设备的国际移动设备识别码(International Mobile Equipment Identity，IMEI)。
其中，MSISDN码的具体格式可以为：MSISDN＝CC+NDC+SN。
CC：国家码。例如，中国的国家码86。
NDC：网络接入号。例如某运营商的网络接入号为134至139。
SN：客户号码。
视频应用类型信息可以是按照视频来源网站划分的。例如，某酷、某异、某讯。
具体地，视频应用类型信息的具体形式可以是视频来源网站的IP地址。
作一个具体的示例，XDR信令包含的信息，可以具体如表1所示。
表1
Figure BDA0001922482120000081
Figure BDA0001922482120000091
S120，基于统计时间段对M条XDR话单进行聚类，得到N个话单簇，每个话单簇中的所有话单的视频数据来源于一个视频。其中，N为不大于M的正整数。
其中，若一个话单簇x包括了n条XDR话单c1至cn。此时，该话单簇可表示为x＝{c1,c2,…,cn}。
在S120中，每一话单簇中的任意一条XDR话单ck，均能在该话单簇中找到至少一条XDR话单cl，cl与ck的统计时间段至少部分重合。其中，k和l均为不大于n的正整数。
具体地，cl和ck满足公式(1)或公式(2)：
stk≥stl,且，stk≤stl (1)
stk≤stl,且，ftk≥stl (2)
其中，ck的统计时间段表示为[stk,ftk]，cl的统计时间段表示为[stl,ftl]。
作一个示例，图2是本发明实施例的示例性的话单簇的示意图。如图2所示，图2中的每条线段表示一个XDR话单，该XDR话单的长度表示XDR话单对应的统计时间段。
按照XDR话单的统计时间段，可以将图2中的XDR话单聚类成两个话单簇：话单簇xj和话单簇xj+1。以话单簇xj为例，任选一个XDR话单，例如cj,4，话单簇xj中的cj,1和cj,3的统计时间段，与cj,4的统计时间段部分重合。
在本发明的一些实施例中，为了能够增强话单簇的聚类准确性，在聚类后，若初步得到了K个话单簇x1至xK，还需要根据话单簇的统计时间段对K个话单簇进行处理。
具体地，首先按照统计时间段的先后次序，对K个话单簇进行排序。
然后，按照排序结果，判断后一个话单簇xj+1的统计时间段的开始时刻
Figure BDA0001922482120000101
与前一个话单簇xj的统计时间段的截止时刻
Figure BDA0001922482120000104
的时刻差值dj是否小于预设时刻阈值T。
最后，若小于预设时刻阈值T，即
Figure BDA0001922482120000102
判定上述两个话单簇对应同一视频，将上述的后一个话单簇与前一个话单簇聚合为一个话单簇。
若不小于预设时刻阈值T，即
Figure BDA0001922482120000103
确定上述的后一个话单簇与前一个话单簇为两个不相同的话单簇，分别对应于两个不同的视频。
其中，预设时刻阈值T可以是经验值。示例性的，可以根据实际情况中，相邻两个视频的最小时间间隔，确定T。例如T为5s。
在本发明的一些实施例中，针对S120，确定话单簇的方法，具体包括：
S121，选取当前未聚类话单集合中的目标话单的统计时间段作为当前核心时间段。
在S121中，初始未聚类话单集合包括M条原始XDR话单，初始目标话单是当前未聚类话单集合中的任一话单。
作一个示例，继续参照图2，可以选择图2中的任意一个XDR话单为初始目标话单，初始未聚类话单集合C包括图2中的所有XDR话单，此时M＝11。
若选取cj,1作为初始目标话单，将cj,1的统计时间段[stj,1,ftj,1]作为当前核心时间段。
S122，基于当前核心时间段对当前未聚类话单集合中的话单进行聚类，得到与目标话单对应的话单簇，并更新当前未聚类话单集合，直到更新后的当前未聚类话单集合为空集。
其中，更新未聚类话单集合，具体包括：将目标话单对应的话单簇中的所有XDR话单，从当前未聚类话单集合中取出。
在S122中，在更新当前未聚类话单集合之后，需要判断当前未聚类话单集合是否为空集。
若为空集，则确定完成M条XDR话单的聚类。
若不为空集，返回执行S121。
作一个示例，继续参照图2，若初始目标话单为cj,1，在S122中得到与cj,1对应的话单簇xj之后，将话单簇xj中的所有XDR话单从初始未聚类话单集合中取出，更新后的当前未聚类话单集合C＝{cj+1,1至cj+1,6}。
返回S121，从当前未聚类话单集合C＝{cj+1,1至cj+1,6}中任意选取一个新的目标话单，例如cj+1,1。当再次执行到S122，得到与cj+1,1对应的话单簇xj+1之后，将话单簇xj+1中的所有XDR话单从当前未聚类话单集合中取出，得到新的当前未聚类话单
Figure BDA0001922482120000111
此时，确定完成M条XDR话单的聚类，共得到两个话单簇。
在一些实施例中，S122的具体循环过程，具体包括S1221和S1222：
S1221，从当前未聚类话单集合的除目标话单之外的其他话单中选取第一话单，将第一话单的统计时间段与核心时间段的和值作为新的核心时间段，第一话单的统计时间段与核心时间段至少部分重合的话单。
作一个示例，继续参照图2，首次执行S1221时，可以从初始未聚类话单集合中选取除初始目标话单cj,1之外的其他话单中选取第一话单。此时，第一话单包括：与cj,1的统计时间段部分重合的cj,3和cj,4。
此时，新的统计时间段，可以是cj,1、cj,3和cj,4的统计时间段叠加后的值。从图2中可知，在cj,1、cj,3和cj,4的统计时间段中，cj,3的统计时间段的开始时刻stj,3是最小值，cj,1的统计时间段的截止时刻ftj,1是最大值。此时，可以将新的核心时间段更新为[stj,3,ftj,1]。
S1222，确定新的待聚类话单集合，根据新的核心时间段，直到待聚类话单集合中话单的统计时间段全部与新的核心时间段不重叠，将新的新的核心时间段作为话单簇的统计时间段，并将统计时间段包含于话单簇的统计时间段的话单划分入话单簇。
接着上一示例，将目标话单cj,1和第一话单cj,3、cj,4从初始待聚类话单集合取出后，生成新的待聚类话单集合。
由于新生成的待聚类话单集合不为空集，返回步骤S1221，根据新的核心时间段[stj,3,ftj,1]，从新的待聚类话单集合中筛选出新的第一话单cj,2和cj,5，此时，将核心时间段更新为[stj,2,ftj,1]，并将cj,2和cj,5从待聚类话单集合中取出后，生成新的待聚类话单集合C＝{cj+1,1至cj+1,6}。
由于新生成的待聚类话单集合中的话单cj+1,1至cj+1,6的统计时间段全部与新的核心时间段[stj,2,ftj,1]不重叠，话单簇xj的统计时间段为[stj,2,ftj,1]。由于cj+1,1至cj+1,6的统计时间段包含于[stj,2,ftj,1]，话单簇xj＝{cj,1至cj,5}。
需要说明的是，通过S1222，生成了一个话单簇之后，若新的待聚类话单集合不为空集。返回执行S121，以生成新的话单簇。
例如，话单簇xj生成之后，重新执行步骤S121和S122，生成新的话单簇xj+1。此时，未聚类话单簇集合为空集，确定M个XDR话单均已完成聚类，此时，可以继续向下执行本发明实施例的视频质量的评价方法100。
S130，计算每个话单簇中所有话单的视频数据的传输质量数据的和值，将该和值作为该话单簇的传输质量数据。
在本发明的一些实施例中，话单簇的传输质量数据表示能够反映话单簇对应的视频数据的传输质量的指标值。
话单簇的传输质量数据包括下载数据包的数量、下载数据包的丢包数量、上传数据包的数量、上传数据包的丢包数量。
作一个示例，由于话单簇的各传输质量数据的计算方法基本相同，因此，以话单簇的下载数据包的数量为例，对S130中的计算过程进行具体的说明。
第j个话单簇xj包含n个XDR话单，话单簇xj的下载数据包的数量
Figure BDA0001922482120000121
其中，SERVER_COUNTj，i表示话单簇xj中第i个XDR话单对应的下载数据包的数量。j为不小于N的正整数，i为不大于n的正整数。
S140，利用每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。
根据本发明实施例中的视频质量的评价方法、装置、设备和介质，能够基于统计时间段对M条XDR话单进行聚类，得到N个话单簇。根据每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。由于每个话单簇中的所有话单的视频数据来源于一个视频，话单簇的传输质量数据能够真实反映视频的传输质量数据，从而提高视频质量的评价准确性。
在本发明的一些实施例中，视频的质量评分为能够反映视频的网络质量的各项指标的评分。
视频的质量评分可包括：表征视频的清晰度的推测码率评分MR、表征视频的快推能力的推测快推质量标记得分FASTPUSH_FLAG，和表征网络对视频的承载能力的推测视频下载质量得分LABEL_SCORE。
在本发明的一些实施例中，S140，具体包括：
S141，基于每个话单簇的传输质量数据，计算该话单簇的质量评价参数值。
在一些实施例中，话单簇的质量评价参数值包括：话单簇的平均下载速率AVG_IP_INBPS、话单簇的下载丢包率SERVER_PLR。
在一个实施例中，话单簇xj的平均下载速率，满足下述公式(3)：
AVG_IP_INBPSj＝8×SERVER_BYTESj/(ftj,2-stj,1) (3)
其中，SERVER_BYTESj表示话单簇xj的下载数据包的字节数。
在一个实施例中，话单簇xj的下载丢包率，满足下述公式(4)：
Figure BDA0001922482120000131
其中，SERVER_COUNTj表示话单簇xj的下载数据包的数量。
在另一些实施例中，话单簇的质量评价参数值还包括话单簇的上传丢包率。
需要说明的是，本实施例中的话单簇的上传丢包率的计算方法与话单簇的下载丢包率的计算方法相似，在此不再赘述。
S142，依次质量评价参数值，计算与该话单簇对应的视频的质量评分。
在一些实施例中，第j个话单簇xj所对应的视频的推测码率评分MRj满足公式(5)：
Figure BDA0001922482120000141
其中，α为经验值，例如可取200。
需要说明的是，通过公式(5)计算得到的推测码率评分，评分越高，表示视频越清晰。进一步的，视频越清晰，该视频对网络的要求越高。
在一些实施例中，第j个话单簇xj所对应的视频的推测快推质量标记得分FASTPUSH_FLAGj满足公式(6)：
FASTPUSH_FLAGj＝min(2V,1) (6)
其中，V表示SERVER_COUNTj的离散系数。V可以是根据话单簇xj包含的所有XDR话单的下载数据包的数量计算得到的。或者，话单簇xj对应的视频的所有子时间段的下载数据包的数量计算得到的。
需要说明的是，通过公式(6)计算得到的推测快推质量标记得分越高，话单簇xj对应的视频的快推能力越强，该视频受网络劣化的影响越小。
在一些实施例中，第j个话单簇xj所对应的视频的推测视频下载质量得分LABEL_SCOREj满足公式(7)：
LABEL_SCOREj＝
max(100×AVG_IP_INBPSj/MRj,100×FASTPUSH_FLAGj) (7)
需要说明的是，通过公式(7)计算得到的推测视频下载质量得分越高，网络对视频的承载能力越强。
在本发明的一些实施例中，由于一个视频跨越了一定的、完整的时间周期，其视频的质量可具体表现为一个完整周期中不同时段的质量。
为了更加细致而准确的评价视频的质量，在S120之后，视频质量的评价方法100还包括S150至S170：
S150，获得每个话单簇的统计时间段。
在一些实施例中，S150的具体实施方式包括：
分别确定话单簇x包含的n个XDR话单的统计时间段的开始时刻：
Figure BDA0001922482120000142
至
Figure BDA0001922482120000143
以及话单簇x包含的n个XDR话单的统计时间段的截止时刻：
Figure BDA0001922482120000144
至
Figure BDA0001922482120000145
将
Figure BDA0001922482120000151
至
Figure BDA0001922482120000152
中的最小值，作为该话单簇x的统计时间段的开始时刻stx；以及将
Figure BDA0001922482120000153
至
Figure BDA0001922482120000154
中的最小值，作为该话单簇x的统计时间段的截止时刻ftx。
具体的，话单簇的统计时间段[stx,ftx]满足公式(8)和(9)：
Figure BDA0001922482120000155
Figure BDA0001922482120000156
S160，将每个话单簇的统计时间段分为多个子时间段，每个子时间段对应一个时间窗口。
作一个示例，图3是本发明实施例的示例性的时间窗口的示意图。如图3所示，可将话单簇xj划分为m个子时间段，m个子时间段分别对应于m个时间窗口：时间窗口1、时间窗口2、……、时间窗口m。
其中，线段DE的长度等于第一个子时间段的长度。
在一些实施例中，若将话单簇的统计时间段[stx,ftx]分为m个子时间段，其中，第i个子时间段的开始时刻和截止时刻分别满足公式(10)和公式(11)：
Figure BDA0001922482120000157
Figure BDA0001922482120000158
相应地，第i个时间窗口的统计时间段为[wnd_sti,wnd_fti]。
S170，基于获取的每个时间窗口的传输质量数据，计算与该时间窗口对应的视频分段的质量评分。
在一些实施例中，每个时间窗口的传输质量数据为：话单簇中的所有XDR话单在该时间窗口内的传输质量数据。
相应地，时间窗口的传输质量数据的类型与XDR话单的传输质量数据的类型相同。
在一个实施例中，时间窗口的传输质量数据的具体计算方法相同，为了便于理解，本示例以时间窗口的下载数据包的数量为例，对时间窗口的传输质量数据的计算方式进行说明。
第j个话单簇xj＝{cj,1，……，cj,n}的第l个时间窗口的下载数据包的数量，满足公式(12)：
Figure BDA0001922482120000159
其中，Toverlapj,i表示话单簇xj的第i个XDR话单与第l个时间窗口的重合时长，满足公式(13)：
Figure BDA0001922482120000161
作一个示例，继续参照图3，XDR话单cj,2和cj,5的统计时间段，与时间窗口1部分重合，线段DE的长度表征Toverlapj,2，线段AB的长度表征Toverlapj,5。
此时，时间窗口1的的下载数据包的数量为：
wnd_SERVER_COUNTj,l
＝(SERVER_COUNTj,2×Toverlapj,2+SERVER_COUNTj,5
×Toverlapj,5)/(wnd_ftl-wnd_stl)
在S170中，计算时间窗口对应的视频分段的质量评分的方法与S140中计算视频质量评分的方法相同，在此不再赘述。
在本发明的一些实施例中，视频质量的评价方法100还包括：
S180，基于视频的质量评分，生成该视频的网络视频质量特征信息。
值得一提的是，本发明实施例的网络视频质量特征信息，从大量XDR话单中加工出与视频质量强相关的少量信息，在进行视频业务质量监测时，监测的准确性更高，且对减小了对系统的存储压力。
同时，本发明实施例能够从大规模、低价值的XDR话单包含的数据中提取出高价值、小规模的视频质量数据，大幅度降低视频业务质量监测实施的资源成本，大幅度提升视频业务质量监测准确性，为提升运维水平奠定坚实基础。和现有的视频业务质量监测方法相比，具有投入成本低，样本覆盖面广、实时性高、不依赖APP厂商，且视频业务质量监测准确性高的优势。
还值得一提的是，当后续过程中，需要在网络视频质量特征信息的基础上，应用机器学习与人工智能算法建立视频质量评价模型。利用本发明实施例的方案，能够大幅度降低建立视频质量评价模型的成本，大幅度提升视频质量监测准确性，提升用户满意度。
在一些实施例中，网络视频质量特征信息还包括视频的基本特征信息，视频对应的话单簇的传输质量数据。
其中，本实施例中的话单簇的传输质量数据与S130中的话单簇的传输质量数据相同，在此不再赘述。
在一个实施例中，视频的基本特征信息包括：用户的身份标识信息，视频对应的话单簇的统计时间段，视频应用类型信息和用户的互联网IP地址信息。
其中，本实施例中的视频的基本特征信息，与S110中的视频的基本特征信息相同，在此不再赘述。
作一个具体的示例，话单簇xj对应的网络视频质量特征信息的具体内容的可以如表2所示：
Figure BDA0001922482120000171
Figure BDA0001922482120000181
下面结合附图，详细介绍根据本发明实施例的视频质量的评价装置。
基于相同的发明构思，本发明另一实施例提供了视频质量的评价装置。图4示出了根据本发明一实施例提供的视频质量的评价装置的结构示意图。如图4所示，视频质量的评价装置400包括第一获取模块410、聚类处理模块420、第一计算模块430和第二计算模块440：
第一获取模块410，用于获取同一用户的M条XDR话单，话单包括一段视频数据的统计时间段和传输质量数据，M为正整数。
聚类处理模块420，用于基于统计时间段对M条XDR话单进行聚类，得到N个话单簇，每个话单簇中的所有话单的视频数据来源于同一个视频，N为不大于M的正整数。
第一计算模块430，用于计算每个话单簇中所有话单的视频数据的传输质量数据的和值，将和值作为该话单簇的传输质量数据。
第二计算模块440，用于利用每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。
在本发明的一些实施例中，视频质量的评价装置400还包括第二获取模块、划分处理模块和第三计算模块：
第二获取模块，用于获得每个话单簇的统计时间段。
划分处理模块，用于将每个话单簇的统计时间段分为多个子时间段，每个子时间段对应一个时间窗口。
第三计算模块，用于基于获取的每个时间窗口的传输质量数据，计算与该时间窗口对应的视频分段的质量评分。
在本发明的一些实施例中，聚类处理模块420，具体用于：
选取当前未聚类话单集合中的目标话单的统计时间段作为当前核心时间段。
基于当前核心时间段对当前未聚类话单集合中的话单进行聚类，得到与目标话单对应的话单簇，并更新当前未聚类话单集合，直到更新后的当前未聚类话单集合为空集。
其中，初始未聚类话单集合包括M条XDR话单，初始目标话单是当前未聚类话单集合中的任一话单。
在本发明的一些实施例中，聚类处理模块420，具体用于：
从当前未聚类话单集合的除目标话单之外的其他话单中选取第一话单，将第一话单的统计时间段与核心时间段的和值作为新的核心时间段，第一话单的统计时间段与核心时间段至少部分重合的话单；
确定新的待聚类话单集合，根据新的核心时间段，直到待聚类话单集合中话单的统计时间段全部与新的核心时间段不重叠，将新的新的核心时间段作为话单簇的统计时间段，并将统计时间段包含于话单簇的统计时间段的话单划分入话单簇。
在本发明的一些实施例中，视频质量的评价装置400还包括
生成处理模块，用于基于视频的质量评分，生成该视频的网络视频质量特征信息。
在本发明的一些实施例中，第二计算模块440，具体用于：
基于每个话单簇的传输质量数据，计算该话单簇的质量评价参数值。
依次质量评价参数值，计算与该话单簇对应的视频的质量评分。
在本发明的一些实施例中，网络视频质量特征信息还包括视频的基本特征信息，视频对应的话单簇的传输质量数据。
在本发明的一些实施例中，视频的基本特征信息包括：用户的身份标识信息，视频对应的话单簇的统计时间段，视频应用类型信息和用户的互联网IP地址信息。
在本发明的一些实施例中，视频的质量评分包括：表征视频的清晰度的推测码率评分、表征视频的快推能力的推测快推质量标记得分，和表征网络对视频的承载能力的推测视频下载质量得分。
在一些实施例中，推测码率评分的计算公式满足公式(5)。
在一些实施例中，推测快推质量标记得分的计算公式满足公式(6)。
在一些实施例中，推测视频下载质量得分的计算公式满足公式(7)。
在本发明的一些实施例中，话单簇的传输质量数据包括下载数据包的数量、下载数据包的丢包数量、上传数据包的数量、上传数据包的丢包数量。
根据本发明实施例的视频质量的评价装置的其他细节与以上结合图1至图3描述的根据本发明实施例的视频质量的评价方法类似，在此不再赘述。
图5是本发明实施例中视频质量的评价设备的示例性硬件架构的结构图。
如图5所示，视频质量的评价设备500包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505、以及输出设备506。其中，输入接口502、中央处理器503、存储器504、以及输出接口505通过总线510相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线510连接，进而与视频质量的评价设备500的其他组件连接。
具体地，输入设备501接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到视频质量的评价设备500的外部供用户使用。
也就是说，图5所示的视频质量的评价设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图3描述的视频质量的评价设备的方法和装置。
在一个实施例中，图5所示的视频质量的评价设备500可以被实现为一种设备，该设备可以包括：存储器，用于存储程序；处理器，用于运行所述存储器中存储的所述程序，以执行本发明实施例的视频质量的评价方法。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现本发明实施例提供的视频质量的评价方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

Claims (10)

1.一种视频质量的评价方法，其特征在于，所述方法包括：
获取同一用户的M条外部数据表示法XDR话单，所述话单包括一段视频数据的统计时间段和传输质量数据，M为正整数；
基于所述统计时间段对所述M条XDR话单进行聚类，得到N个话单簇，每个话单簇中的所有话单的视频数据来源于同一个视频，N为不大于M的正整数；
计算每个话单簇中所有话单的视频数据的传输质量数据的和值，将所述和值作为该话单簇的传输质量数据；
利用每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。
2.根据权利要求1所述的方法，其特征在于，在基于所述统计时间段对所述M条XDR话单进行聚类之后，所述方法还包括：
获得每个话单簇的统计时间段；
将每个话单簇的统计时间段分为多个子时间段，每个子时间段对应一个时间窗口；
基于获取的每个时间窗口的传输质量数据，计算与该时间窗口对应的视频分段的质量评分。
3.根据权利要求1所述的方法，其特征在于，
基于所述统计时间段对所述M条XDR话单进行聚类，得到N个话单簇，具体包括：
选取当前未聚类话单集合中的目标话单的统计时间段作为当前核心时间段；
基于所述当前核心时间段对所述当前未聚类话单集合中的话单进行聚类，得到与所述目标话单对应的话单簇，并更新所述当前未聚类话单集合，直到所述更新后的当前未聚类话单集合为空集；
其中，初始未聚类话单集合包括所述M条XDR话单，初始目标话单是当前未聚类话单集合中的任一话单。
4.根据权利要求3所述的方法，其特征在于，所述基于所述当前核心时间段对所述当前未聚类话单集合中的话单进行聚类，得到与所述目标话单对应的话单簇，具体包括：
从所述当前未聚类话单集合的除目标话单之外的其他话单中选取第一话单，将所述第一话单的统计时间段与所述核心时间段的和值作为新的核心时间段，所述第一话单的统计时间段与所述核心时间段至少部分重合的话单；
确定新的待聚类话单集合，根据新的核心时间段，直到所述待聚类话单集合中话单的统计时间段全部与所述新的核心时间段不重叠，将所述新的核心时间段作为所述话单簇的统计时间段，并将统计时间段包含于所述话单簇的统计时间段的话单划分入所述话单簇。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述视频的质量评分，生成该视频的网络视频质量特征信息。
6.根据权利要求1所述的方法，其特征在于，所述利用每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分，具体包括：
基于所述每个话单簇的传输质量数据，计算该话单簇的质量评价参数值；
依据所述质量评价参数值，计算与该话单簇对应的视频的质量评分，
其中，所述话单簇的传输质量数据包括下载数据包的数量、下载数据包的丢包数量、上传数据包的数量、上传数据包的丢包数量，
所述视频的质量评分包括：表征所述视频的清晰度的推测码率评分、表征所述视频的快推能力的推测快推质量标记得分，和表征网络对所述视频的承载能力的推测视频下载质量得分；
其中，所述推测码率评分的计算公式为：
Figure FDA0003216386770000021
其中，MR表示视频的推测码率评分，AVG_IP_INBPS表示所述视频对应的话单簇的平均下载速率，SERVER_PLR表示所述视频对应的话单簇的下载丢包率，α为经验值，
所述视频对应的话单簇的平均下载速率是基于下载数据包的下载字节数得到的，
所述视频对应的话单簇的下载丢包率是基于所述视频对应的话单簇的下载数据包的数量和所述视频对应的话单簇的下载数据包的丢包数量得到的；
其中，所述推测快推质量标记得分的计算公式为：
FASTPUSH_FLAG＝min(2V,1)
其中，FASTPUSH_FLAG表示视频的推测快推质量标记得分，V表示所述视频对应的话单簇的下载数据包的数量的离散系数，其中，V是根据话单簇xj包含的所有XDR话单的下载数据包的数量计算得到的，或者，V是根据话单簇xj对应的视频的所有子时间段的下载数据包的数量计算得到的；
其中，所述推测视频下载质量得分的计算公式为：
LABEL_SCORE＝max(100×AVG_IP_INBPS/MR,100×FASTPUSH_FLAG)
其中，LABEL_SCORE表示视频的推测视频下载质量得分，AVG_IP_INBPS表示所述视频对应的话单簇的平均下载速率，MR表示视频的推测码率评分，FASTPUSH_FLAG表示视频的推测快推质量标记得分。
7.根据权利要求5所述的方法，其特征在于，
所述网络视频质量特征信息还包括所述视频的基本特征信息、所述视频对应的话单簇的传输质量数据，
其中，所述视频的基本特征信息包括：所述用户的身份标识信息、所述视频对应的话单簇的统计时间段、视频应用类型信息和所述用户的互联网IP地址信息。
8.一种视频质量的评价装置，其特征在于，所述装置包括：
第一获取模块，用于获取同一用户的M条XDR话单，所述话单包括一段视频数据的统计时间段和传输质量数据，M为正整数；
聚类处理模块，用于基于所述统计时间段对所述M条XDR话单进行聚类，得到N个话单簇，每个话单簇中的所有话单的视频数据来源于一个视频，N为不大于M的正整数；
第一计算模块，用于计算每个话单簇中所有话单的视频数据的传输质量数据的和值，将所述和值作为该话单簇的传输质量数据；
第二计算模块，用于利用每个话单簇的传输质量数据，计算与该话单簇对应的视频的质量评分。
9.一种视频质量的评价设备，其特征在于，所述设备包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1-7任一权利要求所述的视频质量的评价方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1-7任一权利要求所述的视频质量的评价方法。
CN201811600957.4A 2018-12-26 2018-12-26 视频质量的评价方法、装置、设备和介质 Active CN111372073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811600957.4A CN111372073B (zh) 2018-12-26 2018-12-26 视频质量的评价方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811600957.4A CN111372073B (zh) 2018-12-26 2018-12-26 视频质量的评价方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111372073A CN111372073A (zh) 2020-07-03
CN111372073B true CN111372073B (zh) 2021-12-10

Family

ID=71212502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811600957.4A Active CN111372073B (zh) 2018-12-26 2018-12-26 视频质量的评价方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111372073B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333442B (zh) * 2020-11-03 2023-06-27 成都华栖云科技有限公司 一种基于微服务架构的超高清内容技术质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038500A (zh) * 2017-12-07 2018-05-15 东软集团股份有限公司 聚类方法、装置、计算机设备、存储介质和程序产品
CN108768702A (zh) * 2018-05-15 2018-11-06 华为技术有限公司 网络分析方法及设备
CN109040744A (zh) * 2018-07-27 2018-12-18 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7114147B2 (en) * 2000-03-09 2006-09-26 Electronic Data Systems Corporation Method and system for reporting XML data based on precomputed context and a document object model
WO2013029214A1 (en) * 2011-08-26 2013-03-07 Huawei Technologies Co., Ltd. Video quality monitor and method for determining a network video quality measure in a communication network
CN105873113B (zh) * 2015-01-21 2019-05-28 中国移动通信集团福建有限公司 无线质量问题定位方法及系统
CN107222319B (zh) * 2016-03-22 2020-02-11 中国移动通信集团河北有限公司 一种通信操作分析方法及装置
CN106899843B (zh) * 2016-03-24 2019-03-26 中国移动通信集团设计院有限公司 一种视频业务质量评估方法及装置
CN107734534B (zh) * 2016-08-10 2020-10-30 中国移动通信集团黑龙江有限公司 一种网络负荷评估方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038500A (zh) * 2017-12-07 2018-05-15 东软集团股份有限公司 聚类方法、装置、计算机设备、存储介质和程序产品
CN108768702A (zh) * 2018-05-15 2018-11-06 华为技术有限公司 网络分析方法及设备
CN109040744A (zh) * 2018-07-27 2018-12-18 华为技术有限公司 预测视频业务的关键质量指标的方法、装置及存储介质

Also Published As

Publication number Publication date
CN111372073A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
US20200322237A1 (en) Traffic detection method and traffic detection device
CN108429701B (zh) 网络加速系统
CN110365503B (zh) 一种指标确定方法及其相关设备
CN109992427B (zh) Dpi关联规则回填处理方法、装置、设备及介质
CN108235149B (zh) 一种优化视频播放流畅度的方法及装置
CN108234345B (zh) 一种终端网络应用的流量特征识别方法、装置和系统
US8599684B1 (en) Congestion estimation
CN108901035B (zh) 物联网终端的识别方法和装置
CN111224831B (zh) 用于生成话单的方法和系统
CN105678596A (zh) 移动终端的更换预测方法及其更换预测系统
JP2016208445A (ja) 無線通信システム、サーバ、基地局
CN111372073B (zh) 视频质量的评价方法、装置、设备和介质
WO2018024497A1 (en) Estimation of losses in a video stream
CN114095876A (zh) 广播数据的处理方法和装置、存储介质及电子装置
CN108702302A (zh) 计算服务性能指标
US9130827B2 (en) Sampling from distributed streams of data
CN110972199A (zh) 一种流量拥塞监测方法及装置
CN117812376A (zh) 5g及未来移动通信网络中手机视频质量的评价方法和装置
CN111988271B (zh) 一种通信流处理方法及装置
CN111417142A (zh) 用户识别方法、装置、设备及存储介质
CN116569530A (zh) 提供与网络用户的至少一个设备相关的数据的方法、获得数据的方法和实施这些方法的实体
CN108024222A (zh) 流量话单生成方法和装置
CN114640600A (zh) 网络服务质量分析方法、系统以及存储介质
CN109314717B (zh) 用于通信网络的上下文信息处理器、简档分配单元以及方法
CN108093423A (zh) 一种基于Ransac算法的用户话单大数据中基站位置异常的发现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant