CN110418170B - 检测方法和装置、存储介质及电子装置 - Google Patents

检测方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110418170B
CN110418170B CN201910595418.4A CN201910595418A CN110418170B CN 110418170 B CN110418170 B CN 110418170B CN 201910595418 A CN201910595418 A CN 201910595418A CN 110418170 B CN110418170 B CN 110418170B
Authority
CN
China
Prior art keywords
target
time
image frame
video
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910595418.4A
Other languages
English (en)
Other versions
CN110418170A (zh
Inventor
甘远志
刘泓昊
曾拉娜
魏雪
韩瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910595418.4A priority Critical patent/CN110418170B/zh
Publication of CN110418170A publication Critical patent/CN110418170A/zh
Application granted granted Critical
Publication of CN110418170B publication Critical patent/CN110418170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种检测方法和装置、存储介质及电子装置。其中,该方法包括:获取目标视频中待检测的第一目标图像帧,其中,第一目标图像帧在目标视频中位于目标视频中的基准图像帧之后,目标视频为服务器发送给终端设备的视频;确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及终端设备播放第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,第一发送时间为服务器发送基准图像帧的发送时间,第一播放时间为终端设备播放基准图像帧的播放时间;在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。本发明解决了卡顿检测不准确的技术问题。

Description

检测方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种检测方法和装置、存储介质及电子装置。
背景技术
在视频播放等多种实时视频场景中,对视频的流畅度均具有较高的要求,需要对视频是否处于卡顿进行检测。
在相关技术中,通过相邻两帧的时间间隔是否大于阈值,或者接收帧率是否小于发送帧率,确定视频是否处于卡顿状态。但是,对于通过相邻帧判断卡顿的方式,即使某一帧与前一帧的时间间隔在正常范围内,仍有可能是卡顿的,因为卡顿通常有累积效应。对于采用帧率来判断卡顿的方式,在发生网络抖动时,帧率会出现忽高忽低的情况,会造成卡顿判断上的偏差。上述方法均不能准确的检测视频的卡顿。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种检测方法和装置、存储介质及电子装置,以至少解决卡顿检测不准确的技术问题。
根据本发明实施例的一个方面,提供了一种检测方法,包括:获取目标视频中待检测的第一目标图像帧,其中,第一目标图像帧在目标视频中位于目标视频中的基准图像帧之后,目标视频为服务器发送给终端设备的视频;确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及终端设备播放第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,第一发送时间为服务器发送基准图像帧的发送时间,第一播放时间为终端设备播放基准图像帧的播放时间;在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。
根据本发明实施例的另一方面,还提供了一种检测装置,包括:第一获取模块,用于获取目标视频中待检测的第一目标图像帧,其中,第一目标图像帧在目标视频中位于目标视频中的基准图像帧之后,目标视频为服务器发送给终端设备的视频;第一确定模块,用于确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及终端设备播放第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,第一发送时间为服务器发送基准图像帧的发送时间,第一播放时间为终端设备播放基准图像帧的播放时间;第二确定模块,用于在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述检测方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的检测方法。
在本发明实施例中,采用确定服务器发送待检测的第一目标图像帧与发送基准图像帧之间的第一时间间隔,以及终端设备播放第一目标图像帧与播放基准图像帧之间的第二时间间隔,在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态的方式,从而实现了准确检测目标视频中的图像帧是否处于卡顿状态的技术效果,进而解决了卡顿检测不准确的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的检测方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的检测方法的流程示意图;
图3是根据本发明实施例的一种可选的目标视频的示意图;
图4是根据本发明实施例的另一种可选的目标视频的示意图;
图5是根据本发明实施例的又一种可选的目标视频的示意图;
图6是根据本发明实施例的又一种可选的目标视频的示意图;
图7是根据本发明实施例的一种可选的检测装置的结构示意图;
图8是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种检测方法,可选地,作为一种可选的实施方式,上述检测方法可以但不限于应用于如图1所示的环境中。
服务器112通过处理引擎116执行步骤S118-S120,发送目标视频,将存储于数据库114中的目标视频发送至用户设备102,用户设备102通过存储器104存储目标视频,通过显示器108显示目标视频的视频画面。用户设备102通过处理器106执行步骤S122,获取目标视频中待检测的第一目标图像帧,其中,第一目标图像帧在目标视频中位于目标视频中的基准图像帧之后,目标视频为服务器发送给终端设备的视频;步骤S124,确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及终端设备播放第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,第一发送时间为服务器发送基准图像帧的发送时间,第一播放时间为终端设备播放基准图像帧的播放时间;步骤S126,在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。其中,服务器112发送的目标视频中第一目标图像帧与基准图像帧之间的时间间隔为第一时间间隔,对于用户设备102而言,在不存在任何卡顿延时的情况下,理想状态下用户设备102播放待检测的第一目标图像帧与基准图像帧之间的第二时间间隔应当等于第一时间间隔,故而通过对比第二时间间隔和第一时间间隔便可确定第一目标图像帧是否处于卡顿状态。由于受到数据传输、硬件设备等因素的影响,对于是否处于卡顿状态可以设置第一阈值,从而允许一定的误差,此时,在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。
可选地,在本实施例中,上述检测方法可以但不限于应用于用户设备102中,用于判断目标视频中的目标图像帧是否处于卡顿状态。其中,该用户设备102可以但不限于为手机、平板电脑、笔记本电脑、PC机等支持运行应用客户端的终端设备。上述服务器104和用户设备102可以但不限于通过网络实现数据交互,上述网络可以包括但不限于无线网络或有线网络。其中,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述仅是一种示例,本实施例中对此不作任何限定。
可以理解的是,上述目标视频可以是游戏视频,用户设备102上安装有游戏客户端,游戏服务器将进行游戏所需的游戏视频发送至用户设备102。上述目标视频还可以是云游戏所传输的视频,云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,所有游戏都在服务器端运行,并将渲染完毕后的游戏画面压缩后通过网络传送给用户。上述目标视频还可以是云桌面所传输的视频,云桌面是基于通信协议,通过云终端将桌面或应用重向发布给操作者。云终端作为实现云桌面的载体,将云端的桌面呈现在前端,显示云端桌面和将终端输入输出数据重定向到服务器上。上述目标视频还可以是视频会议所传输的视频。上述目标视频还可以是直播所传输的视频,还可以是直播时连麦所传输的视频。
可选地,作为一种可选的实施方式,如图2所示,上述检测方法包括:
步骤S202,获取目标视频中待检测的第一目标图像帧,其中,第一目标图像帧在目标视频中位于目标视频中的基准图像帧之后,目标视频为服务器发送给终端设备的视频;
这里,基准图像帧可以是在目标视频中任意选取的一个图像帧。为了便于对于每一帧图像是否处于卡顿状态进行检测,可以将目标视频中的第一个帧确定为基准图像帧。如图3所示的,可以将初始播放时间点301处目标视频中的第一个图像帧确定为基准图像帧。
步骤S204,确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及终端设备播放第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,第一发送时间为服务器发送基准图像帧的发送时间,第一播放时间为终端设备播放基准图像帧的播放时间;
这里,对于第一发送时间和第二发送时间可以由服务器在发送至终端设备的目标视频中写入时间信息,用于指示每一个图像帧的发送时间,从而使得终端设备可以根据目标视频中的时间信息,确定出第一发送时间和第二发送时间。例如,服务器可以在目标视频中写入发送时间戳,用于指示每一个图像帧的发送时间。对于第一发送时间和第二发送时间还可以由终端设备向服务器发送时间确认请求,时间确认请求用于向服务器获取第一发送时间和第二发送时间。当然可以理解的是,上述举例仅为本发明提供的可选实施例,本发明并不仅限于上述举例。
步骤S206,在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。
这里,以图4所示的时间点401处的图像帧为待检测的第一目标图像帧为例,在不存在任何卡顿的理想状态下,服务器发送第一目标图像帧与发送基准图像帧之间的第一时间间隔,应当等于终端设备播放第一目标图像帧与播放基准图像帧之间的第二时间间隔。故而在本发明实施例中,第一阈值可以设置为0。当然可以理解的是,由于受到数据传输、硬件设备等因素的影响,对于是否处于卡顿状态可以允许一定的误差,故而第一阈值可以设置大于0。
在本发明实施例中,采用确定服务器发送待检测的第一目标图像帧与发送基准图像帧之间的第一时间间隔,以及终端设备播放第一目标图像帧与播放基准图像帧之间的第二时间间隔,在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态的方式,从而可以准确检测目标视频中的图像帧是否处于卡顿状态,解决了卡顿检测不准确的技术问题。
可选的,确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔包括:获取目标视频中携带的时间信息,其中,时间信息用于指示目标视频中每一个图像帧的发送时间;将时间信息所指示的基准图像帧的发送时间,确定为第一发送时间;将时间信息所指示的第一目标图像帧的发送时间,确定为第二发送时间。这里,服务器在向终端设备发送的目标视频中可以写入时间信息,从而使得终端设备获取到目标视频的情况下,可以根据目标视频中的时间信息确定第一发送时间和第二发送时间。对于时间信息可以是时间戳,服务器在发送每一个图像帧的情况下,在每一个图像帧的数据中写入发送该图像帧的时间戳,从而使得终端设备可以根据每一个图像帧中携带的时间戳确定服务器发送该图像帧的时间。
可选的,在确定第一目标图像帧处于卡顿状态之前,方法还包括:获取目标视频在第一目标时长内的传输帧数;根据传输帧数,确定第一阈值,其中,第一阈值与传输帧数呈负相关。这里,可以理解的是,对于第一阈值的设置影响到第一目标图像帧是否处于卡顿状态的判断。对于不同的每秒传输帧数(Frames Per Second,简称FPS)而言,FPS越高的视频,每秒所需传输的帧数越高。以FPS24和FPS100为例进行说明,FPS24的视频每秒需要传输24个图像帧,FPS100的视频每秒需要传输100个图像帧,故而对于不同FPS的视频而言,相同的时间间隔的差值下,实际所相差的图像帧可能差距很大。相应的相同的时间间隔差值下,低FPS的视频由于所需传输的帧数较少可能未处于卡顿状态,而高FPS的视频由于所需传输的帧数较高则可能处于卡顿状态。故而,在本发明实施例中,根据传输帧数确定第一阈值,且第一阈值与传输帧数呈负相关,从而更加准确的判断目标视频中的图像帧是否处于卡顿状态。
可选的,根据传输帧数,确定第一阈值包括:获取第一数值除以传输帧数得到的第二数值,其中,第一数值为正整数;将第二数值与目标系数的乘积,确定为第一阈值,其中,目标系数与传输帧数呈负相关。这里的第一数值可以选为大于当前目标视频的FPS的正整数,例如,可以选为500-1500。在本发明实施例中,为了更为准确的判断出目标视频中的图像帧是否处于卡顿状态,对于第一阈值的确定中还设置了目标系数,对于目标系统其与传输帧数呈负相关。可以理解的是,对于目标视频而言,FPS越高,其对画面的流畅度要求越高。以游戏为例,类似射击类游戏中,由于需要对对手进行瞄准、射击等动作,而对手可能处于移动过程中,故而其需画面的流畅度要求极高,相应的,FPS设置的很高,从而保证画面的流畅。故而,在本发明实施例中,通过设置目标系数,且目标系数与传输帧数呈负相关,对于FPS很高的目标视频,第一阈值相对较低,使得对每一个图像帧是否处于卡顿状态的检测更为准确。
这里,可以根据公式:
Figure BDA0002117495980000081
计算获得第一阈值K,其中,a表示第一数值,可以选取为1000,FPS表示目标视频的每秒传输帧数,γ表示目标系数。
可选的,在确定第一目标图像帧处于卡顿状态之后,方法还包括:获取目标视频在第二目标时长内所确定出的处于卡顿状态的第二目标图像帧;将第二目标图像帧的时长总和确定为目标视频的目标卡顿时间;将目标卡顿时间除以目标时长所获得的第三数值,确定为目标视频的目标卡顿率。在本发明实施例中,根据第一目标时间内的卡顿时间确定出目标视频的卡顿率,例如,为了确定当前的卡顿率,则可以将当前时刻之前的第二目标时长内处于卡顿状态的第二目标图像帧的总时长确定为卡顿时长,根据卡顿时长和第二目标时长确定出当前的卡顿率。由于本发明实施例可以准确的检测出每一个图像帧是否处于卡顿状态,故而所确定出的卡顿率的准确度很高。可以理解的是,对于目标卡顿时间可以根据处于卡顿状态的所有的第二目标图像帧的总时长确定,还可以根据以下步骤确定:确定每一个第二目标图像帧所分别对应的第三目标图像帧,其中,第三目标图像帧为第二目标图像帧之后的首个未处于所述卡顿状态的图像帧;将多个第三时间间隔之和,确定为目标卡顿时间,其中,每个第三时间间隔为一个第三目标图像帧与所对应的第二目标图像帧之间的时间间隔。
其中,可以根据公式
Figure BDA0002117495980000082
计算获得目标卡顿率σ,其中,∑S表示目标卡顿时间,c表示第二目标时长。
在本发明可选实施例中,在将目标卡顿时间除以目标时长所获得的第三数值,确定为目标视频的目标卡顿率之后,还可以在目标视频上显示提示信息,该提示信息用于指示目标视频的目标卡顿率。如图5所示的,可以在目标视频上显示当前的卡顿率,从而提示用户,以便用户在卡顿率较高的情况下,作出适应性的调整,从而降低卡顿率。如图6所示的,用户可以对当前的视频分辨率601进行调整,例如在卡顿率较高的情况下,降低视频分辨率。或者,对当前的线路602进行调整,从而选择网络传输质量更高的线路。当然可以理解的是,在本发明实施例中,也可以由终端设备执行以下步骤:在卡顿率大于阈值的情况下,将当前的第一视频分辨率调整为第二视频分辨率,第二视频分辨率小于第一视频分辨率,或者将当前使用的第一连接线路切换至第二连接线路,第二连接线路的网络传输质量大于第一连接线路的网络传输质量,从而降低目标视频的卡顿率。
可选的,在确定为目标视频的目标卡顿率之后,方法还包括:在目标卡顿率大于第二阈值的情况下,将目标视频的第一视频码率调整为第二视频码率,其中,第二视频码率小于第一视频码率。可以理解的是,在本发明实施例中,在目标卡顿率大于第二阈值的情况下,终端设备还可以降低目标视频的视频码率,从而降低目标视频的卡顿率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述检测方法的检测装置。如图7所示,该装置包括:
第一获取模块702,用于获取目标视频中待检测的第一目标图像帧,其中,第一目标图像帧在目标视频中位于目标视频中的基准图像帧之后,目标视频为服务器发送给终端设备的视频;
这里,基准图像帧可以是在目标视频中任意选取的一个图像帧。为了便于对于每一帧图像是否处于卡顿状态进行检测,可以将目标视频中的第一个帧确定为基准图像帧。
第一确定模块704,用于确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及终端设备播放第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,第一发送时间为服务器发送基准图像帧的发送时间,第一播放时间为终端设备播放基准图像帧的播放时间;
这里,对于第一发送时间和第二发送时间可以由服务器在发送至终端设备的目标视频中写入时间信息,用于指示每一个图像帧的发送时间,从而使得终端设备可以根据目标视频中的时间信息,确定出第一发送时间和第二发送时间。例如,服务器可以在目标视频中写入发送时间戳,用于指示每一个图像帧的发送时间。对于第一发送时间和第二发送时间还可以由终端设备向服务器发送时间确认请求,时间确认请求用于向服务器获取第一发送时间和第二发送时间。当然可以理解的是,上述举例仅为本发明提供的可选实施例,本发明并不仅限于上述举例。
第二确定模块706,用于在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。
这里,在不存在任何卡顿的理想状态下,服务器发送第一目标图像帧与发送基准图像帧之间的第一时间间隔,应当等于终端设备播放第一目标图像帧与播放基准图像帧之间的第二时间间隔。故而在本发明实施例中,第一阈值可以设置为0。当然可以理解的是,由于受到数据传输、硬件设备等因素的影响,对于是否处于卡顿状态可以允许一定的误差,故而第一阈值可以设置大于0。
在本发明实施例中,采用确定服务器发送待检测的第一目标图像帧与发送基准图像帧之间的第一时间间隔,以及终端设备播放第一目标图像帧与播放基准图像帧之间的第二时间间隔,在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态的方式,从而可以准确检测目标视频中的图像帧是否处于卡顿状态,解决了卡顿检测不准确的技术问题。
可选的,第一确定模块包括:第一获取单元,用于获取目标视频中携带的时间信息,其中,时间信息用于指示目标视频中每一个图像帧的发送时间;第一确定单元,用于将时间信息所指示的基准图像帧的发送时间,确定为第一发送时间;第二确定单元,用于将时间信息所指示的第一目标图像帧的发送时间,确定为第二发送时间。这里,服务器在向终端设备发送的目标视频中可以写入时间信息,从而使得终端设备获取到目标视频的情况下,可以根据目标视频中的时间信息确定第一发送时间和第二发送时间。对于时间信息可以是时间戳,服务器在发送每一个图像帧的情况下,在每一个图像帧的数据中写入发送该图像帧的时间戳,从而使得终端设备可以根据每一个图像帧中携带的时间戳确定服务器发送该图像帧的时间。
可选的,上述装置还可以包括:第二获取模块,用于获取目标视频在第一目标时长内的传输帧数;第三确定模块,用于根据传输帧数,确定第一阈值,其中,第一阈值与传输帧数呈负相关。这里,可以理解的是,对于第一阈值的设置影响到第一目标图像帧是否处于卡顿状态的判断。对于不同的每秒传输帧数(Frames Per Second,简称FPS)而言,FPS越高的视频,每秒所需传输的帧数越高。以FPS24和FPS100为例进行说明,FPS24的视频每秒需要传输24个图像帧,FPS100的视频每秒需要传输100个图像帧,故而对于不同FPS的视频而言,相同的时间间隔的差值下,实际所相差的图像帧可能差距很大。相应的相同的时间间隔差值下,低FPS的视频由于所需传输的帧数较少可能未处于卡顿状态,而高FPS的视频由于所需传输的帧数较高则可能处于卡顿状态。故而,在本发明实施例中,根据传输帧数确定第一阈值,且第一阈值与传输帧数呈负相关,从而更加准确的判断目标视频中的图像帧是否处于卡顿状态。
可选的,第三确定模块包括:第二获取单元,用于获取第一数值除以传输帧数得到的第二数值,其中,第一数值为正整数;第三确定单元,用于将第二数值与目标系数的乘积,确定为第一阈值,其中,目标系数与传输帧数呈负相关。这里的第一数值可以选为大于当前目标视频的FPS的正整数,例如,可以选为500-1500。在本发明实施例中,为了更为准确的判断出目标视频中的图像帧是否处于卡顿状态,对于第一阈值的确定中还设置了目标系数,对于目标系统其与传输帧数呈负相关。可以理解的是,对于目标视频而言,FPS越高,其对画面的流畅度要求越高。以游戏为例,类似射击类游戏中,由于需要对对手进行瞄准、射击等动作,而对手可能处于移动过程中,故而其需画面的流畅度要求极高,相应的,FPS设置的很高,从而保证画面的流畅。故而,在本发明实施例中,通过设置目标系数,且目标系数与传输帧数呈负相关,对于FPS很高的目标视频,第一阈值相对较低,使得对每一个图像帧是否处于卡顿状态的检测更为准确。
这里,可以根据公式:
Figure BDA0002117495980000121
计算获得第一阈值K,其中,a表示第一数值,可以选取为1000,FPS表示目标视频的每秒传输帧数,γ表示目标系数。
可选的,上述装置还可以包括:第三获取模块,用于获取目标视频在第二目标时长内所确定出的处于卡顿状态的第二目标图像帧;第四确定模块,用于将第二目标图像帧的时长总和确定为目标视频的目标卡顿时间;第五确定模块,用于将目标卡顿时间除以目标时长所获得的第三数值,确定为目标视频的目标卡顿率。在本发明实施例中,根据第一目标时间内的卡顿时间确定出目标视频的卡顿率,例如,为了确定当前的卡顿率,则可以将当前时刻之前的第二目标时长内处于卡顿状态的第二目标图像帧的总时长确定为卡顿时长,根据卡顿时长和第二目标时长确定出当前的卡顿率。由于本发明实施例可以准确的检测出每一个图像帧是否处于卡顿状态,故而所确定出的卡顿率的准确度很高。可以理解的是,对于目标卡顿时间可以根据处于卡顿状态的所有的第二目标图像帧的总时长确定,还可以根据以下步骤确定:确定每一个第二目标图像帧所分别对应的第三目标图像帧,其中,第三目标图像帧为第二目标图像帧之后的首个未处于所述卡顿状态的图像帧;将多个第三时间间隔之和,确定为目标卡顿时间,其中,每个第三时间间隔为一个第三目标图像帧与所对应的第二目标图像帧之间的时间间隔。
其中,可以根据公式
Figure BDA0002117495980000131
计算获得目标卡顿率σ,其中,ΣS表示目标卡顿时间,c表示第二目标时长。
在本发明可选实施例中,上述装置还可以用于执行以下步骤:用于在目标视频上显示提示信息,该提示信息用于指示目标视频的目标卡顿率。在本发明实施例中,可以在目标视频上显示当前的卡顿率,从而提示用户,以便用户在卡顿率较高的情况下,作出适应性的调整,从而降低卡顿率。当然可以理解的是,在本发明实施例中,上述装置还可以执行以下步骤:在卡顿率大于阈值的情况下,将当前的第一视频分辨率调整为第二视频分辨率,第二视频分辨率小于第一视频分辨率,或者将当前使用的第一连接线路切换至第二连接线路,第二连接线路的网络传输质量大于第一连接线路的网络传输质量,从而降低目标视频的卡顿率。
可选的,上述装置还可以包括:调整模块,用于在目标卡顿率大于第二阈值的情况下,将目标视频的第一视频码率调整为第二视频码率,其中,第二视频码率小于第一视频码率。可以理解的是,在本发明实施例中,在目标卡顿率大于第二阈值的情况下,终端设备还可以降低目标视频的视频码率,从而降低目标视频的卡顿率。
根据本发明实施例的又一个方面,还提供了一种用于实施上述检测方法的电子装置,如图8所示,该电子装置包括存储器802和处理器804,该存储器802中存储有计算机程序,该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取目标视频中待检测的第一目标图像帧,其中,第一目标图像帧在目标视频中位于目标视频中的基准图像帧之后,目标视频为服务器发送给终端设备的视频;
S2,确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及终端设备播放第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,第一发送时间为服务器发送基准图像帧的发送时间,第一播放时间为终端设备播放基准图像帧的播放时间;
S3,在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。
可选地,本领域普通技术人员可以理解,图8所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图8中所示更多或者更少的组件(如网络接口等),或者具有与图8所示不同的配置。
其中,存储器802可用于存储软件程序以及模块,如本发明实施例中的检测方法和装置对应的程序指令/模块,处理器804通过运行存储在存储器802内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的检测方法。存储器802可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器802可进一步包括相对于处理器804远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器802具体可以但不限于用于存储目标视频等信息。作为一种示例,如图8所示,上述存储器802中可以但不限于包括上述检测装置中的第一获取模块702、第一确定模块704及第一确定模块704。此外,还可以包括但不限于上述检测装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置806包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置806为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器808,用于显示上述目标视频;和连接总线810,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标视频中待检测的第一目标图像帧,其中,第一目标图像帧在目标视频中位于目标视频中的基准图像帧之后,目标视频为服务器发送给终端设备的视频;
S2,确定服务器发送第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及终端设备播放第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,第一发送时间为服务器发送基准图像帧的发送时间,第一播放时间为终端设备播放基准图像帧的播放时间;
S3,在第二时间间隔与第一时间间隔的差值大于第一阈值的情况下,确定第一目标图像帧处于卡顿状态。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种检测方法,其特征在于,包括:
获取目标视频中待检测的第一目标图像帧,其中,所述第一目标图像帧在所述目标视频中位于所述目标视频中的基准图像帧之后,所述目标视频为服务器发送给终端设备的视频;
确定所述服务器发送所述第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及所述终端设备播放所述第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,所述第一发送时间为所述服务器发送所述基准图像帧的发送时间,所述第一播放时间为所述终端设备播放所述基准图像帧的播放时间;
获取所述目标视频在第一目标时长内的传输帧数;
根据所述传输帧数,确定第一阈值,其中,所述第一阈值与所述传输帧数呈负相关;
在所述第二时间间隔与所述第一时间间隔的差值大于所述第一阈值的情况下,确定所述第一目标图像帧处于卡顿状态。
2.根据权利要求1所述的方法,其特征在于,确定所述服务器发送所述第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔包括:
获取所述目标视频中携带的时间信息,其中,所述时间信息用于指示所述目标视频中每一个图像帧的发送时间;
将所述时间信息所指示的所述基准图像帧的发送时间,确定为所述第一发送时间;
将所述时间信息所指示的所述第一目标图像帧的发送时间,确定为所述第二发送时间。
3.根据权利要求1所述的方法,其特征在于,根据所述传输帧数,确定所述第一阈值包括:
获取第一数值除以所述传输帧数得到的第二数值,其中,所述第一数值为正整数;
将所述第二数值与目标系数的乘积,确定为所述第一阈值,其中,所述目标系数与所述传输帧数呈负相关。
4.根据权利要求1所述的方法,其特征在于,在确定所述第一目标图像帧处于卡顿状态之后,所述方法还包括:
获取所述目标视频在第二目标时长内所确定出的处于所述卡顿状态的第二目标图像帧;
将所述第二目标图像帧的时长总和确定为所述目标视频的目标卡顿时间;
将所述目标卡顿时间除以所述目标时长所获得的第三数值,确定为所述目标视频的目标卡顿率。
5.根据权利要求4所述的方法,其特征在于,在确定为所述目标视频的目标卡顿率之后,所述方法还包括:
在所述目标卡顿率大于第二阈值的情况下,将所述目标视频的第一视频码率调整为第二视频码率,其中,所述第二视频码率小于所述第一视频码率。
6.一种检测装置,其特征在于,包括:
第一获取模块,用于获取目标视频中待检测的第一目标图像帧,其中,所述第一目标图像帧在所述目标视频中位于所述目标视频中的基准图像帧之后,所述目标视频为服务器发送给终端设备的视频;
第一确定模块,用于确定所述服务器发送所述第一目标图像帧的第二发送时间与第一发送时间之间的第一时间间隔,以及所述终端设备播放所述第一目标图像帧的第二播放时间与第一播放时间之间的第二时间间隔,其中,所述第一发送时间为所述服务器发送所述基准图像帧的发送时间,所述第一播放时间为所述终端设备播放所述基准图像帧的播放时间;
第二获取模块,用于获取所述目标视频在第一目标时长内的传输帧数;
第三确定模块,用于根据所述传输帧数,确定第一阈值,其中,所述第一阈值与所述传输帧数呈负相关;
第二确定模块,用于在所述第二时间间隔与所述第一时间间隔的差值大于所述第一阈值的情况下,确定所述第一目标图像帧处于卡顿状态。
7.根据权利要求6所述的装置,其特征在于,所述第一确定模块包括:
第一获取单元,用于获取所述目标视频中携带的时间信息,其中,所述时间信息用于指示所述目标视频中每一个图像帧的发送时间;
第一确定单元,用于将所述时间信息所指示的所述基准图像帧的发送时间,确定为所述第一发送时间;
第二确定单元,用于将所述时间信息所指示的所述第一目标图像帧的发送时间,确定为所述第二发送时间。
8.根据权利要求6所述的装置,其特征在于,第三确定模块包括:
第二获取单元,用于获取第一数值除以所述传输帧数得到的第二数值,其中,所述第一数值为正整数;
第三确定单元,用于将所述第二数值与目标系数的乘积,确定为所述第一阈值,其中,所述目标系数与所述传输帧数呈负相关。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取所述目标视频在第二目标时长内所确定出的处于所述卡顿状态的第二目标图像帧;
第四确定模块,用于将所述第二目标图像帧的时长总和确定为所述目标视频的目标卡顿时间;
第五确定模块,用于将所述目标卡顿时间除以所述目标时长所获得的第三数值,确定为所述目标视频的目标卡顿率。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
调整模块,用于在所述目标卡顿率大于第二阈值的情况下,将所述目标视频的第一视频码率调整为第二视频码率,其中,所述第二视频码率小于所述第一视频码率。
11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至5任一项中所述的方法。
12.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至5任一项中所述的方法。
CN201910595418.4A 2019-07-03 2019-07-03 检测方法和装置、存储介质及电子装置 Active CN110418170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910595418.4A CN110418170B (zh) 2019-07-03 2019-07-03 检测方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910595418.4A CN110418170B (zh) 2019-07-03 2019-07-03 检测方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN110418170A CN110418170A (zh) 2019-11-05
CN110418170B true CN110418170B (zh) 2021-11-19

Family

ID=68360121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910595418.4A Active CN110418170B (zh) 2019-07-03 2019-07-03 检测方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN110418170B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4262222A1 (en) * 2022-04-11 2023-10-18 Volvo Truck Corporation Compressed timestamp in a videostream

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708539A (zh) * 2019-11-15 2020-01-17 成都网丁科技有限公司 一种iptv直播业务的卡顿检测方法及系统
CN111131903A (zh) * 2019-12-24 2020-05-08 中国电信股份有限公司云南分公司 Iptv高清视频业务用户卡顿监测及实时优化方法
CN112019873A (zh) * 2020-09-08 2020-12-01 北京金山云网络技术有限公司 视频码率调整方法、装置和电子设备
CN112104879B (zh) * 2020-11-13 2021-03-23 腾讯科技(深圳)有限公司 一种视频编码方法、装置、电子设备及存储介质
CN114845164A (zh) * 2021-02-02 2022-08-02 中国移动通信有限公司研究院 一种数据处理方法、装置及设备
CN113115068A (zh) * 2021-04-19 2021-07-13 北京有竹居网络技术有限公司 一种视频播放同步方法及装置
CN113395512B (zh) * 2021-05-27 2023-02-28 北京达佳互联信息技术有限公司 卡顿检测方法、装置、卡顿检测服务器及存储介质
CN113747237B (zh) * 2021-08-31 2023-03-17 深信服科技股份有限公司 数据处理方法、装置、电子设备及存储介质
CN115794268A (zh) * 2021-09-13 2023-03-14 中兴通讯股份有限公司 云桌面运行的方法、服务器、终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
CN103414956A (zh) * 2013-08-13 2013-11-27 中安消技术有限公司 基于传输控制协议的实时数据传输方法及其系统
CN105430532A (zh) * 2015-11-18 2016-03-23 南京创维信息技术研究院有限公司 一种视频数据传输自适应调整的控制方法及其系统
CN106973321A (zh) * 2017-03-31 2017-07-21 广州酷狗计算机科技有限公司 确定视频卡顿的方法及装置
CN107135091A (zh) * 2016-02-29 2017-09-05 华为技术有限公司 一种应用质量指标映射方法、服务器和客户端
CN108810522A (zh) * 2017-04-26 2018-11-13 腾讯科技(深圳)有限公司 一种流媒体数据的评估方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
CN103414956A (zh) * 2013-08-13 2013-11-27 中安消技术有限公司 基于传输控制协议的实时数据传输方法及其系统
CN105430532A (zh) * 2015-11-18 2016-03-23 南京创维信息技术研究院有限公司 一种视频数据传输自适应调整的控制方法及其系统
CN107135091A (zh) * 2016-02-29 2017-09-05 华为技术有限公司 一种应用质量指标映射方法、服务器和客户端
CN106973321A (zh) * 2017-03-31 2017-07-21 广州酷狗计算机科技有限公司 确定视频卡顿的方法及装置
CN108810522A (zh) * 2017-04-26 2018-11-13 腾讯科技(深圳)有限公司 一种流媒体数据的评估方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4262222A1 (en) * 2022-04-11 2023-10-18 Volvo Truck Corporation Compressed timestamp in a videostream

Also Published As

Publication number Publication date
CN110418170A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110418170B (zh) 检测方法和装置、存储介质及电子装置
CN112154669B (zh) 基于系统时钟的视频流帧时间戳的相关
CN108737908B (zh) 一种媒体播放方法、装置及存储介质
EP3448041A1 (en) Video player client, system, and method for live broadcast video synchronization
US11489748B2 (en) Generating playback configurations based on aggregated crowd-sourced statistics
CN108156467B (zh) 数据传输方法和装置、存储介质及电子装置
US20190394146A1 (en) Method and device for processing live commenting messages and terminal
CN107396171A (zh) 网络直播方法、装置和存储介质
US20230012840A1 (en) Method and apparatus for an interchangeable wireless media streaming device
CN108881931B (zh) 一种数据缓冲方法及网络设备
US20140362718A1 (en) Communication terminal device, communication system, communication state display method, and computer-readable recording medium
CN108632666B (zh) 一种视频检测方法及视频检测设备
US20180367827A1 (en) Player client terminal, system, and method for implementing live video synchronization
KR102086524B1 (ko) 모바일 플랫폼에 대한 미디어 모니터링을 수행하기 위해 가변 비트레이트 스트리밍과 관련된 메시징 이용
US9648064B1 (en) Method and system for stabilizing and streaming first person perspective video
CN105553939A (zh) 一种流媒体卡顿的确定方法及装置
US20150134846A1 (en) Method and apparatus for media segment request retry control
US11451879B2 (en) Controlling playout of advertisement content during video-on-demand video streaming on an end-user terminal
AU2018275194A1 (en) Temporal placement of a rebuffering event
CN112422888B (zh) 视频拼接方法、装置、电子设备及计算机可读存储介质
CN106921886B (zh) 一种终端的多媒体数据播放方法和装置
CN113973215A (zh) 数据去重方法、装置及存储介质
US9866882B1 (en) Video-based measurement of round-trip latency from user input event to corresponding video output
CN113741842B (zh) 屏幕刷新延迟的确定方法和装置、存储介质及电子设备
CN114124754B (zh) 用于处理多媒体网络中媒体数据包的方法及其相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant