CN113329221B - 视频问题定界方法、装置及电子设备 - Google Patents
视频问题定界方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113329221B CN113329221B CN202010127252.6A CN202010127252A CN113329221B CN 113329221 B CN113329221 B CN 113329221B CN 202010127252 A CN202010127252 A CN 202010127252A CN 113329221 B CN113329221 B CN 113329221B
- Authority
- CN
- China
- Prior art keywords
- delimiting
- video
- sub
- model
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本申请公开一种视频问题定界方法、装置及电子设备,涉及通信技术领域。其中,方法包括获取用于视频问题定界的多个指定参数,形成第一定界参数集;将第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型,分析得到第一视频问题定界结果;其中,分层次视频问题定界模型中包括对应不同视频问题的多个问题定界子模型,各问题定界子模型按照视频问题影响范围的大小排列。本申请能够有效提高视频问题定界结果的准确性。
Description
技术领域
本申请涉及通信技术领域,具体而言,涉及一种视频问题定界方法、装置及电子设备。
背景技术
随着通信技术的发展,用户对视频业务的感知已经越来越高,亟需从基于网络本身的质量管理向注重客户感知的端到端横向一体化质量保障机制转变,但现有的移动视频业务质量评估体系依然是在移动终端或者视频解码器中提取的数据,研究用户的主观感知,并没有和网络关联起来。
举例而言,目前主要采用传统的设备侧数据采集和网管OMC(Operation andMaintenance Center,操作维护中心)手段进行移动视频业务质量评估,但其至少存在以下问题:
(1)不能精确地映射到业务层面,无法从设备侧获得视频播放成功率、视频播放等待时长、和视频播放流畅度等视频关键评价指标;
(2对网络指标设置阈值,采取“一刀切”的方法进行分析和定界,忽视了指标之间的差异性以及其它端到端数据之间的关联性.
(3)缺乏端到端定界的方法,如移动视频端到端的问题定界,受用户自身、业务、终端、无线指标等因素所影响,更是这些因素共同发生作用的结果,很难通过单一的指标进行视频问题定界。
发明内容
对于上述问题,本申请实施例提供了一种视频问题定界方法、装置及电子设备,以解决上述至少一个技术问题,具体如下。
第一方面,本申请实施例提供一种视频问题定界方法,所述方法包括:
获取用于视频问题定界的多个指定参数,形成第一定界参数集;
将所述第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型,分析得到第一视频问题定界结果;其中,所述分层次视频问题定界模型中包括对应不同视频问题的多个问题定界子模型,各所述问题定界子模型按照视频问题影响范围的大小排列。
第二方面,本申请实施例还提供一种视频问题定界装置,所述装置包括:
参数获取模块,用于获取用于视频问题定界的多个指定参数,形成第一定界参数集;
问题定界模块,用于将所述第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型中,分析得到第一视频问题定界结果;其中,所述分层次视频问题定界模型中包括对应不同视频问题的多个问题定界子模型,各所述问题定界子模型按照视频问题影响范围的大小排列。
第三方面,本申请实施例还提供一种电子设备,包括:
至少一个处理器;
与所述处理器连接的至少一个存储器;
其中,所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如上所述的方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述存储介质存储有计算机指令,所述计算机指令使所述计算机执行如上所述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
本申请基于预先训练的分层次视频问题定界模型,从细粒度、微观级实现对视频问题的端到端定界,能够有效提高视频问题定界结果的准确性、可靠性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的视频问题定界方法的应用场景示意图。
图2为本申请实施例提供的视频问题定界方法的流程示意图。
图3为SP业务场景下的三种分类算法的性能仿真结果示意图。
图4为本申请实施例提供的分层次视频问题定界模型的结构示意图。
图5为本申请实施例提供的视频问题定界方法的另一流程示意图。
图6为本申请实施例提供的视频问题定界装置的框图。
图7为本申请实施例提供的电子设备的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
实施例一
如图1所示,为本申请实施例提供的视频问题定界方法的一种可能的应用场景示意图,该应用场景为LTE移动业务实现场景,该场景至少可以包括图1所示的用户、终端、无线小区、EPC核心网以及SP业务。可以知道的是,在LTE移动业务的实现过程中,在业务端到端覆盖用户、终端、小区、EPC核心网、SP业务网络等五类功能域中,一旦EPC核心网出现问题,将会导致移动业务无法附着,用户无法驻留LTE网络、更无法上网(如4G网络等)等,也就不会出现视频观看过程中的卡顿或者花屏等视频问题。鉴于此,本申请在进行视频问题定界过程中,暂不考虑EPC核心网问题,也就是,基于移动上网中存在的前述业务特点,本申请中主要从用户限速问题、终端问题、无线小区问题、SP业务问题以及非共性问题这几个更加微观、更加细粒度的问题场景对视频观看过程中出现的卡顿、花屏等视频问题,进行移动视频端到端定界。
下面对前述用户限速问题、终端问题、无线小区问题、SP业务问题以及非共性问题的问题场景进行简单说明。
(1)用户限速问题:对于订购使用达量限速的流量套餐的用户,一旦用户已使用的流量到达流量门限就会进行限速,导致视频观看过程中出现卡顿或花屏问题出现。
(2)终端问题:随着视频播放的演进,以及IPv6的不断推进,对于某些品牌或型号的终端可能会出现各种终端适配问题,导致视频观看过程中出现卡顿或花屏问题出现。其中,在实际应用中,终端问题可能会覆盖多个用户甚至影响无线小区的网络性能。
(3)无线小区问题:一个无线小区可以包含几个扇区,通过样本分析获知,相对于终端问题,无线小区问题的影响范围相对较小。
(4)SP业务问题:将通过样本分析获知,SP(Service Provider,服务提供商)业务维度的质差会影响一个省上千个无线小区指标,以及几十万个用户流畅度指标,进而导致视频观看过程中出现卡顿或花屏问题出现,因此,相对于终端问题和无线小区问题,SP业务问题的影响范围较大。
(5)非共性问题:除前述(1)-(4)中的视频问题外,本实施例中将不具有集中性的视频问题,统称为非共性问题。
基于前述描述,请结合参阅图2,为本申请实施例给出的视频问题定界方法的流程示意图,该视频问题定界方法可以由电子设备执行,具体可以由,但不限于电子设备中的硬件或/和软件执行。参照图2,视频问题定界方法包括如下步骤。
S11,获取用于视频问题定界的多个指定参数,形成第一定界参数集;
可选地,指定参数可以是,但不限于移动视频底层DPI(Deep Packet Inspection,基于数据包的深度检测技术)单据、无线指标数据(如下行流量(MB)、上行流量(MB)、合成视频下载平均速率_加权分子等、小区名、地市、区县、无线厂家等)、限速用户数据(如掉线率(ERAB_NU)、UP_BYTE、DOWN_BYTE、)投诉数据以及人工拨测数据(如LTE探针)等。
应注意,在本实施例中,按照参数类型划分,指定参数至少可以包括数值变量和特征变量(即分类变量)。例如,数值变量可以是下行流量、上行流量、合成视频下载平均速率_加权分子等;特征变量可以包括小区名、地市、区县、无线厂家等。
进一步,在一些实现方式中,为了提高后续视频问题定界结果的准确率,本申请在执行S13之前,还可通过下述S12对第一定界参数集中的各指定参数进行参数预处理,内容如下。
S121,分别对第一定界参数集中的各指定参数进行缺失值处理。
其中,首先对各指定参数的缺失情况进行判定,如列缺失、行缺失等。实际实施时,针对列缺失情况,可以对缺失占比大于预设值(如20%)的参数进行删除。而针对行缺失情况,由于行数据缺失较少,从优化效率角度考虑可对缺失行进行删除处理。
S122,对完成缺失值处理后的各指定参数中的特征变量进行哑变量处理。
其中,哑变量(Dummy Variable),又称为虚拟变量、虚设变量或名义变量。哑变量是人为虚设的变量,通常取值0或1,以反映不同特征变量不同的属性。实际实施时,对于有n个分类属性的特征变量,通常可以先选取1个分类作为参照,从而产生n-1个哑变量。应注意的是,在将哑变量引入分层次视频问题定界(参照S13)模型时,虽然使得模型变得较为复杂,但可以更直观反映模型中的自变量的不同属性对因变量的影响。本实施例中,通过对特征变量进行进行哑变量处理,能够提高模型输出结果的精度和准确度。
S123,对完成缺失值处理的数值变量以及完成哑变量处理的特征变量进行归一化处理。
其中,由于不同指定参数(评价指标)往往具有不同的量纲和量纲单位,因此,为了消除各指定参数之间的量纲影响,本申请通过归一化对各指定参数进行数据标准化处理,使得各指定参数之间具有可比性。例如,第一定界参数集中的各指定参数经过数据归一化处理后,能够使得各指定参数处于同一数量级,进而用于后续的视频问题定界分析。
S124,基于归一化处理后的各数值变量,计算得到各数值变量在预设时间周期内的均值,以及基于均值以及所值变量构造形成候选数值变量。
可选地,预设时间周期可以是一周、一月等。本实施例中,可通过指定参数的波动特性体现用户使用感知不流畅的问题,对此,可基于数值变量构造能够体现指标波动变化的新特征(如表3所示),如各数值变量在预设时间周期内的均值。
示例性地,可选取如表1所示的指定参数进行如表3所示的候选数值变量(一周内的均值)的构造。表2中所示为基于数值变量(如http_down、http_up)的波动特性,构造得到的周均值(如avgthrouputdl_a、avgthrouputdl_b)。表3中所示为由原始数值变量(如http_down、http_up)和构造得到的周均值(如avgthrouputdl_a、avgthrouputdl_b)构造得到的用于视频问题定界分析的候选特征。
表1
指定参数 | 周均值 |
http_down(下行流量(MB) | 20.97553 |
http_up(上行流量(MB)) | 0.3656 |
avgthrouputdl_a(合成视频下载平均速率_加权分子) | 165021.7 |
avgthrouputdl_b(合成视频下载平均速率_加权分母) | 88.41114 |
avgthrouputdl2_a(合成视频下载平均速率_算术分子) | 56459.02 |
avgthrouputdl2_b(合成视频下载平均速率_算术分母) | 3.142886 |
smooth_playback_a(视频播放流畅度分子) | 3.030913 |
smooth_playback_b(视频播放流畅度分母) | 3.145118 |
succrate_a(合成视频播放成功率分子) | 3.815642 |
succrate_b(合成视频播放成功率分母) | 3.864394 |
waittime_a(合成视频播放等待时长分子) | 3928.184 |
waittime_b(合成视频播放等待时长分母) | 3.815642 |
play_durationrate_a(视频可观看时长占比分子) | 255769.8 |
play_durationrate_b(视频可观看时长占比分母) | 88411.14 |
fack_delay_a(视频首帧时延分子) | 146.2717 |
fack_delay_b(视频首帧时延分母) | 3.815264 |
pause_cnt_a(视频播放卡顿次数分子) | 0.319796 |
pause_cnt_b(视频播放卡顿次数分母) | 0.071047 |
pause_cnt_c(视频播放卡顿次数分母(同上)) | 920771.4 |
play_durationavg_a(视频播放平均卡顿间隔分子) | 255769.8 |
play_durationavg_b(视频播放平均卡顿间隔分母) | 0.319796 |
Mos_a(mos分子) | 12.78119 |
Mos_a(mos分母) | 3.815642 |
表2
序号 | http_down | http_up | avgthrouputdl_a | avgthrouputdl_b | …… |
A | 34 | 1 | 17730 | 50 | …… |
B | 14 | 0.2 | 16091 | 100 | …… |
C | 20 | 0.1 | 19686 | 90 | …… |
S125,从完成归一化处理的特征变量以及各所述候选数值变量中选取满足预设条件的参数,形成第一定界参数集。
实际实施时,由于很多变量之间具有极高的相关性,从而影响视频问题分析
表3
结果的准确性。鉴于此,作为一种可能的实现方式,S125可通过下述S1251至S1254中给出的处理流程以去除变量中相关系数大于预设值的变量,内容如下。S1251,基于完成归一化处理的特征变量以及各候选数值变量形成候选特征集;
S1252,计算候选特征集中各候选特征的相关系数矩阵,以及将相关系数矩阵的对角元进行赋零处理;
S1253,从完成赋零处理的相关系数矩阵中选取大于预设值的相关系数,作为目标系数;
S1254,从候选特征集中剔除目标系数对应的两个候选特征中的任一个,以及将完成特征剔除的候选特征集作为第一定界参数集。
在前述S1251至S1254中,有效考量变量之间的差异性以及其它端到端变量之间的关联性,以提高问题定界结果的准确性。如通过计算各变量之间的相关系数矩阵,并对对角元赋值为0,并在两两变量间的相关系数的绝对值大于预设值(如0.75)时,将大于预设值的相关系数对应的变量中的至少一个变量剔除,进而基于剩余的变量形成第一定界参数集,用于后续的视频问题定界分析。
进一步,作为一种可能的实现方式,在执行S13之前,S11的实现过程还可以包括:在基于多个指定参数检测得到存在用户限速问题时,从多个指定参数中去除与用户限速问题对应的指定参数,形成第一定界参数集。
同时,将用户限速问题作为第二视频问题定界结果,与下述S13中的第一视频问题定界结果共同作为视频定界结果。
S13,将第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型,分析得到第一视频问题定界结果。
其中,分层次视频问题定界模型中包括对应不同视频问题的多个问题定界子模型,各问题定界子模型是按照视频问题影响范围的大小排列。例如,在第一视频问题包括SP业务问题、终端问题和无线小区问题时,由于SP业务问题影响的范围相对最大,无线小区问题影响的范围相对最小,因此,可按照SP业务问题对应的问题定界子模型、终端问题对应的问题定界子模型以及无线小区问题对应的问题定界子模型这一顺序构建分层次视频问题定界模型。可选地,各问题定界子模型的模型类型可以是但不限于随机森林、XGBoost算法等,本实施例对此不作赘述。
在一些实现方式中,根据视频问题场景、以及问题定界子模型的不同,S13的实现过程存在差别。例如,在本实施例中,如果视频问题包括SP业务问题、终端问题以及无线小区问题,那么,分层次视频问题定界模型可以包括对应SP业务问题的第一问题定界子模型、对应终端问题的第二问题定界子模型以及对应无线小区问题的第三问题定界子模型,S13的实现过程可以包括S131至S134,内容如下。
S131,将第一定界参数集中的各指定参数输入第一问题定界子模型,分析得到对应于SP业务问题的第一定界子结果;
S132,基于第一定界参数集中除SP业务问题对应的指定参数之外的其他指定参数形成第二定界参数集,以及将第二定界参数集中的各指定参数输入第二问题定界子模型,分析得到对应于终端问题的第二定界子结果;
S133,基于第二定界参数集中除终端问题对应的指定参数之外的其他参数形成第三定界参数集,以及将第三定界参数集中的各指定参数输入第三问题定界子模型,分析得到对应于无线小区问题的第三定界子结果;
S134,基于第一定界子结果、第二定界子结果以及第三定界子结果得到第一视频问题定界结果。
可选地,前述第一定界子结果可以是SP业务问题或非SP业务问题、第一定界子结果可以是终端问题或非终端问题、第三定界子结果可以是无线小区或非无线小区问题,具体可根据实际需求进行灵活调整。
在前述S131至S134中给出的视频问题定界过程中,每在完成一次定界子结果的分析后,需要剔除与该定界子结果对应的指定参数,从而避免在视频问题定界过程中,可能存在质差记录之间的干扰问题,进而提高视频问题定界子结果的准确性。
进一步,在一些实现方式中,电子设备在执行S13之前,本申请给出的视频问题定界方法还可以包括:基于第一定界参数集中包含的指定参数检测视频流畅度是否满足预设需求,在不满足预设需求时,执行将第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型的步骤;反之,则停止视频问题定界流程。
可选地,在本实施例中,可以基于各运营商等预定义的视频流畅度规范,并结合测试记录的不流畅的XDR(External Data Representation,外部数据表示法)数据,来检测视频流畅度是否满足预设需求。示例性地,视频播放流畅度=N1/N2*100%,其中,N1=∑[(视频平均下载速率/视频码率)>=1.2]的单据量;N2=∑视频单据量视频平均下载速率=视频XDR里的视频下载数据量/视频下载时间。
进一步,如前述所述,由于本申请给出的视频定界方法的端到端定界结果涉及SP业务、无线小区、终端等多个环节,且这几个问题按照问题影响范围存在从大到小的分层关系,无法通过单一的模型实现视频问题的精确定位。基于此,本申请在实现下述S11至S13给出的视频问题定界方法之前,可遵循从大到小的层次分析方法,训练一个分层次视频问题定界模型(即S13中涉及的分层次视频问题定界模型),以用于视频问题定界,内容如下。
(1)选取构成分层次视频问题定界模型的多个初始定界子模型。
考虑到视频端到端问题定界属于分类问题,因此,初始定界子模型可考虑选取逻辑回归、随机森林和XGBoost三种算法中的一种或多种。本实施例中,以SP业务问题场景为例,通过样本对前述三种分类算法的性能进行仿真验证,其结果如图3所示,也就是,从准确率、召回率以及整体准确率这三方面进行对比分析可以看出:逻辑回归算法的准确率和召回率最低,而随机森林和XGBoost这两种算法的召回率和准确率相差不大,但是从概率密度分布来看,XGBoost相对于随机森林更稳定、均匀,因此,SP业务问题场景对应的初始定界子模型可以选用XGBoost算法。同理可分析得到,终端问题场景对应的初始定界子模型可选用随机森林算法,无线小区问题场景对应的初始定界子模型可以选用XGBoost算法。示例性地,如图4所示,为本实施例给出的分层次视频问题定界模型的模型示意图。
需要理解的是,前述不同问题场景对应的子模型算法的类型可以是但不限于前述算法。
(2)获取用于模型训练的样本参数,形成样本参数集。
其中,可以,但不限于基于DPI采集LTE上网数据,并通过如二次识别以及视频单据合成算法等获取用户观看视频的底层数据,并关联网优指标数据、用户流量套餐数据、投诉数据等获取样本参数。应注意,样本参数的参数类型等于前述S11中的指定参数相同,本实施例在此不做限制。此外,为了提高模型的准确率,样本参数集中可以包括正样本以及不同视频问题场景下关联的负样本。
(3)对样本参数集中包括的各样本参数进行参数预处理。
其中,参数预处理过程可以包括缺失值处理、哑变量处理、归一化处理、特征构造、特征筛选等,具体可参照前述S121至S125中的详细描述,本实施例在此不做赘述。需要说明的是,本实施例在进行缺失值处理时,所涉及的量级不影响后续模型的训练。
(4)将完成参数预处理的样本参数集划分为训练数据集和测试数据集;
其中,可按照预设比例进行数据集的划分,如7:3等。
(5)基于训练数据集中的各样本参数对预设的分层次机器学习模型进行模型训练,直到分层次机器学习模型能够根据训练数据集,分析得到对应不同视频问题的视频定界结果,其中,分层次机器学习模型包括对应不同视频问题的多个初始定界子模型,各所述初始定界子模型按照视频问题影响范围的大小排列。
其中,在进行模型训练时,如果样本出现正负量级不平衡的状况,可通过重抽样bootstrap方法进行反复抽样,最终使正负样本比例接近1:1,并且整理后的数据分布能够接近总体分布,进行1000次bootstrap,求平均值的置信区间,可以对每个伪样本计算平均值。获得1000个平均值,对1000个平均值的分位数进行计算,得到置信区间,在初始样本足够大的情况下,bootstrap抽样能够无限接近总体分布。
(6)基于测试数据集中各样本参数输入对训练后的分层次机器学习模型进行模型测试,如果训练后的分层次机器学习模型分析得到的视频问题定界结果的准确率达到预设值,将训练后的分层次机器学习模型作为分层次视频问题定界模型。
需要说明的是,在基于XGBOOST算法和随机森林建立初始定界模型时,可分别设置两个模型的参数组合,再遍历所有的参数组合,且每个参数组合重复5次,每次重复按等比例抽取标本方式,随机把10%用作测试集,20%用作验证集,剩下的70%用作训练集,用训练集建立当前模型,用验证集决定是否提前停止训练,用测试集评价当前模型的准确率,最后,统计5次重复综合评价每种组合的平均准确率,选取准确率最高的超参数组合作为模型的参数组合。前述过程中涉及的数值仅为示意,实际实施过程可根据需求进行设定。
基于前述视频问题定界方法的描述,下面结合图5,对本申请给出的视频问题定界流程进行说明。
(1)用户限速问题定界
对于用户限速场景,观看视频时候基本都会出现卡顿问题。因此,本实施例可直接通过指定参数判断用户是否处于用户限速场景,若是,则判定存在用户限速问题,反之,进入下一环节(2)进行分析。
(2)检测视频流畅度是否满足预设需求
基于运营商等定义的视频流畅度规范,通过测试记录不流畅的XDR,定义流畅度指标低于一定值的记录数为非流畅,进入下一环节(3)进行视频问题定界分析,反之,判定不存在视频问题(即视频问题定界流程结束)。
(3)SP业务问题定界
由于SP业务维度出问题一般影响范围很大,如影响到全省业务或者好几个地市的业务,因此对SP业务维度进行视频问题定界分析,预测出SP业务问题,若非SP业务问题,则转下一环节(4)处理。
(4)终端问题定界
由于终端问题会覆盖多个用户,甚至影响无线小区,因此将终端问题场景作为置于SP业务问题场景之后进行建模分析,定界出是否为终端问题,若否,转下一环节(5)处理。
(5)无线小区问题定界
基于无线小区维度进行视频问题的定界,若非无线小区问题,则判定为非共性问题并输出。
由前述内容可以看出,本申请给出的视频问题定界方法,至少具有以下技术效果:
本申请是基于用户级的信令大数据得到纯视频单据,并结合无线指标、用户套餐流量、投诉数据、LTE拨测数据、以及每条XDR数据的问题情况,训练一个适应当前视频业务体验的分层次视频问题定界模型,以从细粒度、微观级实现对视频问题的端到端定界,从而达到以下技术效果:
一方面,打破了传统的基于网元级别的用户感知评估方法,基于用户粒度的网络性能大数据,实现细粒度、微观级别的感知客户,能定界出用户观看移动视频的质差情况。
另一方面,创新地将二次识别的视频底层数据、无线指标数据、限速用户、投诉数据以及LTE探针以及人工拨测数据进行关联,作为建模样本参数,解决了单一指标对比定界造成的问题局限性,以及端到端指标关联难等问题。
实施例二
图6是根据一示例性实施例示出的一种视频问题定界装置100的框图,该视频问题定界装置100可应用于电子设备。参照图6,视频问题定界装置100包括参数获取模块110和问题定界模块120。
参数获取模块110,用于获取用于视频问题定界的多个指定参数,形成第一定界参数集;可选地,参数获取模块110,具体用于在基于所述多个指定参数检测得到存在用户限速问题时,从所述多个指定参数中去除与所述用户限速问题对应的指定参数,形成第一定界参数集。
问题定界模块120,用于将第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型中,分析得到第一视频问题定界结果;其中,分层次视频问题定界模型中包括对应不同视频问题的多个问题定界子模型,各问题定界子模型按照视频问题影响范围的大小排列。
可选地,在一些实现方式中,问题定界模块120可以包括:
第一定界子模块,用于将第一定界参数集中的各指定参数输入第一问题定界子模型,分析得到对应于SP业务问题的第一定界子结果;
第二定界子模块,用于基于第一定界参数集中除SP业务问题对应的指定参数之外的其他指定参数形成第二定界参数集,以及将第二定界参数集中的各指定参数输入第二问题定界子模型,分析得到对应于终端问题的第二定界子结果;
第三定界子模块,用于基于第二定界参数集中除终端问题对应的指定参数之外的其他参数形成第三定界参数集,以及将第三定界参数集中的各指定参数输入第三问题定界子模型,分析得到对应于无线小区问题的第三定界子结果;
定界结果处理子模块,用于基于第一定界子结果、第二定界子结果以及第三定界子结果得到第一视频问题定界结果。
在又一些实现方式中,问题定界模块还可用于将用户限速问题作为第二视频问题定界结果。
进一步,装置100还可包括:
流畅度检测模块,用于基于第一定界参数集中包含的指定参数检测视频流畅度是否满足预设需求,在不满足预设需求时,调用问题界定模块120执行将第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型的步骤。
进一步,指定参数至少包括数值变量和特征变量,装置100还可包括预处理模块,该预处理模块包括:
缺失值处理子模块,用于分别对第一定界参数集各指定参数进行缺失值处理;
哑变量处理子模块,用于对完成缺失值处理后的各指定参数中的特征变量进行哑变量处理;
归一化处理子模块,用于对完成缺失值处理的数值变量以及完成哑变量处理的特征变量进行归一化处理;
候选变量构造子模块,用于基于归一化处理后的各数值变量,计算得到各所述数值变量在预设时间周期内的均值,以及基于所述均值以及所述数值变量构造形成候选数值变量;
特征选取子模块,用于从完成归一化处理的特征变量以及各所述候选数值变量中选取满足预设条件的参数,形成第一定界参数集。
可选地,特征选取子模块可以包括:
特征集形成单元,用于基于所述完成归一化处理的特征变量以及各所述候选数值变量形成候选特征集;
系数矩阵计算单元,用于计算候选特征集中各候选特征的相关系数矩阵,以及将相关系数矩阵的对角元进行赋零处理;
系数选取单元,用于从完成赋零处理的相关系数矩阵中选取大于预设值的相关系数,作为目标系数;
特征选取单元,用于从候选特征集中剔除目标系数对应的两个候选特征中的任一个,以及将完成特征剔除的候选特征集作为第一定界参数集。
进一步,装置100还可包括模型训练模块,该模型训练模块可以包括;
样本获取子模块,用于获取样本参数,形成样本参数集;
样本预处理子模块,用于对所述样本参数集中包括的各所述样本参数进行参数预处理;
数据集划分子模块,用于将完成参数预处理的所述样本参数集划分为训练数据集和测试数据集;
模型训练子模块,用于基于所述训练数据集中的各样本参数对预设的分层次机器学习模型进行模型训练,直到所述分层次机器学习模型能够根据所述训练数据集,分析得到对应不同视频问题的视频定界结果,其中,所述分层次机器学习模型包括对应不同视频问题的多个初始定界子模型,各所述初始定界子模型按照视频问题影响范围的大小排列;
模型测试子模块,用于基于所述测试数据集中各样本参数输入对训练后的分层次机器学习模型进行模型测试,如果所述训练后的分层次机器学习模型分析得到的视频问题定界结果的准确率达到预设值,将训练后的分层次机器学习模型作为分层次视频问题定界模型。
关于本实施例中的装置100,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例三
请参阅图7,为根据一实施例性实施例提供的一种电子设备10的框图,该电子设备10可至少包括处理器11,用于存储处理器11可执行指令的存储器12。其中,处理器11被配置为执行指令,以实现如上述实施例中的视频问题定界方法的全部步骤或部分步骤。
处理器11、存储器12之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,处理器11用于读/写存储器中存储的数据或程序,并执行相应地功能。
存储器12用于存储程序或者数据,如存储处理器110可执行指令。该存储器12可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read OnlyMemory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
进一步,作为一种可能的实现方式,电子设备10还可包括电源组件、多媒体组件、音频组件、输入/输出(I/O)接口、传感器组件以及通信组件等。
电源组件为电子设备10的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源、以及其他与为电子设备10生成、管理和分配电力相关联的组件。
多媒体组件包括在电子设备10和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件包括一个前置摄像头和/或后置摄像头。当电子设备10处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当电子设备10处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。
I/O接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件包括一个或多个传感器,用于为电子设备10提供各个方面的状态评估。例如,传感器组件可以检测到电子设备10的打开/关闭状态,组件的相对定位,例如组件为电子设备10的显示器和小键盘,传感器组件还可以检测电子设备10或电子设备10一个组件的位置改变,用户与电子设备10接触的存在或不存在电子设备10方位或加速/减速和电子设备10的温度变化。传感器组件可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件被配置为便于电子设备10和其他设备之间有线或无线方式的通信。电子设备10可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备10可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
应当理解的是,图7所示的结构仅为电子设备10的结构示意图,该电子设备10还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
实施例四
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器12,上述指令可由电子设备10的处理器11执行以完成上述视频问题定界方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (9)
1.一种视频问题定界方法,其特征在于,所述方法包括:
获取用于视频问题定界的多个指定参数,形成第一定界参数集;
将所述第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型,分析得到第一视频问题定界结果;其中,所述分层次视频问题定界模型中包括对应不同视频问题的多个问题定界子模型,各所述问题定界子模型按照视频问题影响范围的大小排列;
所述视频问题包括SP业务问题、终端问题以及无线小区问题,所述分层次视频问题定界模型包括对应所述SP业务问题的第一问题定界子模型、对应所述终端问题的第二问题定界子模型、以及对应所述无线小区问题的第三问题定界子模型,将所述第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型,分析得到第一视频问题定界结果的步骤,包括:
将所述第一定界参数集中的各指定参数输入所述第一问题定界子模型,分析得到对应于所述SP业务问题的第一定界子结果;
基于所述第一定界参数集中除所述SP业务问题对应的指定参数之外的其他指定参数形成第二定界参数集,以及将所述第二定界参数集中的各指定参数输入所述第二问题定界子模型,分析得到对应于所述终端问题的第二定界子结果;
基于所述第二定界参数集中除所述终端问题对应的指定参数之外的其他参数形成第三定界参数集,以及将所述第三定界参数集中的各指定参数输入所述第三问题定界子模型,分析得到对应于所述无线小区问题的第三定界子结果;
基于所述第一定界子结果、所述第二定界子结果以及所述第三定界子结果得到第一视频问题定界结果。
2.根据权利要求1所述的视频问题定界方法,其特征在于,获取用于视频问题定界的多个指定参数,形成第一定界参数集的步骤,包括:
在基于所述多个指定参数检测得到存在用户限速问题时,从所述多个指定参数中去除与所述用户限速问题对应的指定参数,形成第一定界参数集;
所述方法还包括:
将所述用户限速问题作为第二视频问题定界结果。
3.根据权利要求1所述的视频问题定界方法,其特征在于,所述方法还包括:
基于所述第一定界参数集中包含的指定参数检测视频流畅度是否满足预设需求,在不满足预设需求时,执行所述将所述第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型的步骤。
4.根据权利要求1所述的视频问题定界方法,其特征在于,所述指定参数至少包括数值变量和特征变量,将所述第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型的步骤之前,所述方法还包括对所述第一定界参数集中各指定参数进行参数预处理的步骤,该步骤包括:
分别对所述第一定界参数集中的各所述指定参数进行缺失值处理;
对完成缺失值处理后的各所述指定参数中的特征变量进行哑变量处理;
对完成缺失值处理的数值变量以及完成所述哑变量处理的特征变量进行归一化处理;
基于归一化处理后的各数值变量,计算得到各所述数值变量在预设时间周期内的均值,以及基于所述均值以及所述数值变量构造形成候选数值变量;
从完成归一化处理的特征变量以及各所述候选数值变量中选取满足预设条件的参数,形成第一定界参数集。
5.根据权利要求4所述的视频问题定界方法,其特征在于,从完成归一化处理的特征变量以及各所述候选数值变量中选取满足预设条件的参数,形成第一定界参数集的步骤,包括:
基于所述完成归一化处理的特征变量以及各所述候选数值变量形成候选特征集;
计算所述候选特征集中各候选特征两两之间的相关系数组成的矩阵,以及将所述相关系数矩阵的对角元进行赋零处理;
从完成赋零处理的相关系数矩阵中选取大于预设值的相关系数,作为目标系数;
从所述候选特征集中剔除所述目标系数对应的两个候选特征中的任一个,以及将完成特征剔除的所述候选特征集作为第一定界参数集。
6.根据权利要求1所述的视频问题定界方法,其特征在于,获取用于视频问题定界的多个指定参数的步骤之前,所述方法还包括对所述分层次视频问题定界模型的模型训练过程,所述模型训练过程包括:
获取样本参数,形成样本参数集;
对所述样本参数集中包括的各所述样本参数进行参数预处理;
将完成参数预处理的所述样本参数集划分为训练数据集和测试数据集;
基于所述训练数据集中的各样本参数对预设的分层次机器学习模型进行模型训练,直到所述分层次机器学习模型能够根据所述训练数据集,分析得到对应不同视频问题的视频定界结果,其中,所述分层次机器学习模型包括对应不同视频问题的多个初始定界子模型,各所述初始定界子模型按照视频问题影响范围的大小排列;
基于所述测试数据集中各样本参数输入对训练后的分层次机器学习模型进行模型测试,如果所述训练后的分层次机器学习模型分析得到的视频问题定界结果的准确率达到预设值,将训练后的分层次机器学习模型作为分层次视频问题定界模型。
7.一种视频问题定界装置,其特征在于,所述装置包括:
参数获取模块,用于获取用于视频问题定界的多个指定参数,形成第一定界参数集;
问题定界模块,用于将所述第一定界参数集中的各指定参数输入预训练的分层次视频问题定界模型中,分析得到第一视频问题定界结果;其中,所述分层次视频问题定界模型中包括对应不同视频问题的多个问题定界子模型,各所述问题定界子模型按照视频问题影响范围的大小排列;
所述视频问题包括SP业务问题、终端问题以及无线小区问题,所述分层次视频问题定界模型包括对应所述SP业务问题的第一问题定界子模型、对应所述终端问题的第二问题定界子模型、以及对应所述无线小区问题的第三问题定界子模型,所述问题定界模块,包括:
第一定界子模块,用于将所述第一定界参数集中的各指定参数输入所述第一问题定界子模型,分析得到对应于所述SP业务问题的第一定界子结果;
第二定界子模块,用于基于所述第一定界参数集中除所述SP业务问题对应的指定参数之外的其他指定参数形成第二定界参数集,以及将所述第二定界参数集中的各指定参数输入所述第二问题定界子模型,分析得到对应于所述终端问题的第二定界子结果;
第三定界子模块,用于基于所述第二定界参数集中除所述终端问题对应的指定参数之外的其他参数形成第三定界参数集,以及将所述第三定界参数集中的各指定参数输入所述第三问题定界子模型,分析得到对应于所述无线小区问题的第三定界子结果;
定界结果处理子模块,用于基于所述第一定界子结果、所述第二定界子结果以及所述第三定界子结果得到第一视频问题定界结果。
8.一种电子设备,其特征在于,包括:
至少一个处理器;
与所述处理器连接的至少一个存储器;
其中,所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机指令,所述计算机指令使所述计算机执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010127252.6A CN113329221B (zh) | 2020-02-28 | 2020-02-28 | 视频问题定界方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010127252.6A CN113329221B (zh) | 2020-02-28 | 2020-02-28 | 视频问题定界方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113329221A CN113329221A (zh) | 2021-08-31 |
CN113329221B true CN113329221B (zh) | 2023-08-15 |
Family
ID=77412547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010127252.6A Active CN113329221B (zh) | 2020-02-28 | 2020-02-28 | 视频问题定界方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113329221B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104641595A (zh) * | 2013-09-18 | 2015-05-20 | 华为技术有限公司 | 一种问题定界的方法及装置 |
CN104991549A (zh) * | 2015-05-27 | 2015-10-21 | 中国铁路总公司 | 基于fta与多层次模糊神经子网络的轨道电路红光带故障诊断方法 |
CN107332681A (zh) * | 2016-04-28 | 2017-11-07 | 中国移动通信集团福建有限公司 | 一种故障维度分析方法及网络设备 |
CN108768702A (zh) * | 2018-05-15 | 2018-11-06 | 华为技术有限公司 | 网络分析方法及设备 |
CN108776900A (zh) * | 2018-07-02 | 2018-11-09 | 北京市天元网络技术股份有限公司 | 网络投诉智能定界方法及系统 |
CN109063886A (zh) * | 2018-06-12 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 一种异常检测方法、装置以及设备 |
CN110019321A (zh) * | 2017-10-11 | 2019-07-16 | 华为技术有限公司 | 问题定界方法、装置及设备 |
-
2020
- 2020-02-28 CN CN202010127252.6A patent/CN113329221B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104641595A (zh) * | 2013-09-18 | 2015-05-20 | 华为技术有限公司 | 一种问题定界的方法及装置 |
CN104991549A (zh) * | 2015-05-27 | 2015-10-21 | 中国铁路总公司 | 基于fta与多层次模糊神经子网络的轨道电路红光带故障诊断方法 |
CN107332681A (zh) * | 2016-04-28 | 2017-11-07 | 中国移动通信集团福建有限公司 | 一种故障维度分析方法及网络设备 |
CN110019321A (zh) * | 2017-10-11 | 2019-07-16 | 华为技术有限公司 | 问题定界方法、装置及设备 |
CN108768702A (zh) * | 2018-05-15 | 2018-11-06 | 华为技术有限公司 | 网络分析方法及设备 |
CN109063886A (zh) * | 2018-06-12 | 2018-12-21 | 阿里巴巴集团控股有限公司 | 一种异常检测方法、装置以及设备 |
CN108776900A (zh) * | 2018-07-02 | 2018-11-09 | 北京市天元网络技术股份有限公司 | 网络投诉智能定界方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113329221A (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110446057B (zh) | 直播辅助数据的提供方法、装置、设备及可读介质 | |
CN110475155B (zh) | 直播视频热度状态识别方法、装置、设备及可读介质 | |
US20170289619A1 (en) | Method for positioning video, terminal apparatus and cloud server | |
CN109783656B (zh) | 音视频数据的推荐方法、系统及服务器和存储介质 | |
CN112426724B (zh) | 游戏用户的匹配方法、装置、电子设备及存储介质 | |
CN108471544B (zh) | 一种构建视频用户画像方法及装置 | |
CN109685144B (zh) | 一种对视频模型做评估的方法、装置及电子设备 | |
CN111899760B (zh) | 音频事件的检测方法、装置、电子设备及存储介质 | |
CN111539443A (zh) | 一种图像识别模型训练方法及装置、存储介质 | |
CN106126592B (zh) | 搜索数据的处理方法及装置 | |
CN110909005B (zh) | 一种模型特征分析方法、装置、设备及介质 | |
CN112949172A (zh) | 一种数据处理方法、装置、机器可读介质及设备 | |
CN106599191A (zh) | 用户属性分析方法及装置 | |
CN111428032A (zh) | 内容质量评价方法及装置、电子设备、存储介质 | |
CN113779257A (zh) | 文本分类模型的解析方法、装置、设备、介质及产品 | |
CN112685799B (zh) | 设备指纹生成方法、装置、电子设备和计算机可读介质 | |
CN113329221B (zh) | 视频问题定界方法、装置及电子设备 | |
CN111047049B (zh) | 基于机器学习模型处理多媒体数据的方法、装置及介质 | |
Bisio et al. | A television channel real-time detector using smartphones | |
CN113590944B (zh) | 内容查找方法及装置 | |
CN107301188B (zh) | 一种获取用户兴趣的方法及电子设备 | |
CN116467153A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
CN114547421A (zh) | 一种搜索处理方法、装置、电子设备及存储介质 | |
CN113177162B (zh) | 搜索结果的排序方法、装置、电子设备和存储介质 | |
CN112346968B (zh) | 一种多媒体文件清晰度的自动化检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |