CN113301368A - 视频处理方法、装置及电子设备 - Google Patents
视频处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113301368A CN113301368A CN202110440176.9A CN202110440176A CN113301368A CN 113301368 A CN113301368 A CN 113301368A CN 202110440176 A CN202110440176 A CN 202110440176A CN 113301368 A CN113301368 A CN 113301368A
- Authority
- CN
- China
- Prior art keywords
- target
- user
- algorithm
- users
- external
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 177
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 239000012634 fragment Substances 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种视频处理方法、装置及电子设备，涉及计算机技术领域。该方法包括：获取目标用户的N种外部特征，N为正整数；根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群；根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法；获取与所述目标算法对应的具有目标清晰度的目标视频；将所述目标视频发送至所述目标用户。上述方案，将具有相似特征的用户分为同一用户集群，针对不同网络场景、不同类型的目标用户对应的算法，将与不同的算法对应的不同清晰度的视频进行发送至目标用户处，可以提高用户观看体验。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频处理方法、装置及电子设备。
背景技术
为了适应变化的网络环境，用户观看的在线视频一般会提供多种码率可选，而自适应码率技术(Adaptive Bitrate Streaming，ABR)算法即通过对网络环境评估和预测，自动选择合适视频码率的算法，其目的在于提高用户在线观看时的体验，保证观看的流畅和清晰。
ABR算法通过实时调节推送视频的码率来提高用户的体验，但是不同用户网络状况差异较大，观测到同样的状态时，其未来的网络状况、带宽走向可能相差较大，同一种ABR算法难以同时应对不同场景：如同样是网络突然变差，部分用户可能只是网络抖动、很快会恢复，可以维持较高码率视频推送；而部分用户则是会在接下来一段较长的时间下都处于较差网络下，需要及时降档来避免卡顿。
发明内容
本发明提供一种视频处理方法、装置及电子设备，以便在一定程度上解决现有同一种ABR算法难以同时应对不同场景的问题。
在本发明实施的第一方面，提供了一种视频处理方法，所述方法包括：
获取目标用户的N种外部特征，N为正整数；
根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群；
根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法；
获取与所述目标算法对应的具有目标清晰度的目标视频；
将所述目标视频发送至所述目标用户。
在本发明实施的第二方面，提供了一种视频处理装置，所述装置包括：
第一获取模块，用于获取目标用户的N种外部特征，N为正整数；
第一确定模块，用于根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群；
第二确定模块，用于根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法；
第二获取模块，用于获取与所述目标算法对应的具有目标清晰度的目标视频；
第一发送模块，用于将所述目标视频发送至所述目标用户。
在本发明实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如上所述的视频处理方法中的步骤。
在本发明实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的视频处理方法。
在本发明实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的视频处理方法。
针对在先技术，本发明具备如下优点：
本发明实施例中，通过获取目标用户的N种外部特征，根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群，根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法，然后获取与目标算法对应的具有目标清晰度的目标视频，再将所述目标视频发送至所述目标用户，即将具有相似特征的用户分为同一用户集群，针对不同网络场景、不同类型的目标用户对应的算法，将与不同的算法对应的不同清晰度的视频进行发送至目标用户处，可以提高用户观看体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的视频处理方法的流程图；
图2为本发明实施例提供的视频处理方法的应用场景示意图；
图3为本发明实施例提供的视频处理方法的具体流程图；
图4为本发明实施例提供的视频处理装置的结构框图；
图5为本发明实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
现有的ABR算法主要可分为基于带宽、基于缓冲区大小以及上述两种方法混合的三种。对于基于带宽的ABR算法，根据播放过程中采集到的带宽样本来预测未来的带宽走势，再根据此预测的带宽来决定给用户推送的视频码率档位，一般选择能满足预测带宽的最高码率，即在保证用户观看流畅的前提下，尽量提高视频质量，然而此类算法受带宽预测的准确性影响十分大，在网络状况波动较大的场景下表现不佳，容易出现卡顿。
对于基于客户端播放缓冲区大小的算法，认为缓冲区数据较少时容易出现卡顿，因此会选择较低的码率，而在缓冲区数据充足的时候升高码率，此类算法较为保守，能够减少卡顿，但是容易出现平均视频质量较低、切换频繁的问题。
对于混合算法则是同时参考带宽和缓冲区大小，根据特定的规则综合两种指标来决定选择的码率档位。总体来说，各类算法分别有各自的弱势场景。
因此，本发明实施例提供了一种视频处理方法、装置及电子设备，通过关注不同用户群体网络状况的差异，将具有相似网络特征的用户分为同一类，针对不同的网络状况采用不同的ABR算法，以更好的应对网络状况的复杂多样的特性，一方面让网络较差、较不稳定的用户视频观看更为流畅，另一方面提升网络较好的用户视频清晰度，从而提升整体用户的观看体验。
具体的，如图1所示，本发明实施例提供了一种视频处理方法，以应用场景为直播间为例，上述方法具体可以包括如下步骤：
步骤101，获取目标用户的N种外部特征，N为正整数。
在上述实施例中，在目标用户进入直播间观看视频直播时，为了保证视频清晰的同时避免卡顿，需要对目标用户的网络状况进行评估，利用ABR算法实时调整推送的视频码率档位；其中，N种外部特征可以为：所处国家、所处城市、所用手机型号、所处地区的网络状况等。其中，目标用户为在直播间的线上用户。
步骤102，根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群。
在上述实施例中，根据获取的目标用户的N种外部特征，可以确定目标用户属于哪个用户集群。其中，在步骤101获取目标用户的N种外部特征之前，需要先得到多个不同类型的用户集群，然后通过步骤101和步骤102确定目标用户属于其中哪个用户集群。
步骤103，根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法。
在上述实施例中，根据确定出的目标用户所属的用户集群，可以确定与目标用户相匹配的算法，即为目标算法。具体的是根据确定出的目标用户所属的用户集群以及该用户集群对应的算法，并且由于目标用户属于该用户集群，由此可以确定目标用户匹配的目标算法。在该步骤之前，首先需要设置不同用户集群与不同算法之间的对应关系，即哪一种用户集群对应哪一个算法。
步骤104，获取与所述目标算法对应的具有目标清晰度的目标视频。
在上述实施例中，根据确定的与目标用户相匹配的目标算法，可以得到与该目标算法对应的具有目标清晰度的目标视频；换句话说，每一个算法具有其对应的具有不同清晰度的视频，即关注了用户群体间的差异性，针对不同外部特征对应的不同网络状况选择合适的算法，避免出现牺牲小部分用户的观看体验来提升其他用户体验的情况，从而更好的最大化整体用户视频观看体验。
例如：同一个视频具有高清档位、标清档位、省流档位等多个清晰度，算法可以包括A算法、B算法、C算法；A算法对应具有高清档位的视频，B算法对应具有标清档位的视频，C算法对应具有省流档位的视频。如果目标算法是B算法，则获取的目标视频是具有标清档位的视频。步骤105，将所述目标视频发送至所述目标用户。
在上述实施例中，将具有目标清晰度的目标视频发送至对应的目标用户，即目标用户显示对应档位的直播视频，可以提高用户的观看体验。
下面通过一具体应用场景示意图对上述内容进行说明：
如图2所示，主播开启直播间，直播观众进行该直播间，该直播间的直播观众(即目标用户)分别用三个圆圈、两个方形以及两个三角形来表示，即目标用户的数量为7个。通过获取每一个直播观众的N种外部特征，由此确定上述7个直播观众各自所属的用户集群。上述7个直播观众分别属于三个用户集群，分别是三个圆圈属于第一用户集群，两个方形属于第二用户集群，两个三角形属于第三用户集群；如果三个圆圈相匹配的目标算法为A算法，A算法对应的目标清晰度为省流档位，则三个圆圈看到的直播视频为省流档位的直播视频。同理，如果两个三角形相匹配的目标算法为B算法，B算法对应的目标清晰度为标清档位，则两个三角形看到的直播视频为标清档位的直播视频。同理，如果两个方形相匹配的目标算法为C算法，C算法对应的目标清晰度为高清档位，则两个方形看到的直播视频是高清档位的直播视频。
本发明实施例中，通过获取目标用户的N种外部特征，根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群，根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法，然后获取与目标算法对应的具有目标清晰度的目标视频，再将所述目标视频发送至所述目标用户，即将具有相似特征的用户分为同一用户集群，针对不同网络场景、不同类型的目标用户对应的算法，将与不同的算法对应的不同清晰度的视频发送至目标用户处，可以提高用户观看体验。
可选的，在所述步骤101获取目标用户的N种外部特征之前，所述方法还可以包括如下步骤：
步骤A1，获取M个用户的N种外部特征，M为正整数，且M大于1。
在上述实施例中，获取同一直播间的M个用户的N种外部特征，需要对M个用户的网络状况进行评估，利用ABR算法实时调整推送的视频码率档位，保证视频清晰的同时可以避免卡顿。
步骤A2，根据所述M个用户的N种外部特征，对所述M个用户进行分类，得到多个用户集群。
在上述实施例中，根据M个用户中每一个用户的N种外部特征，可以对M个用户进行分类，得到多个用户集群，即将M个用户划分为多个用户集群，每一个用户集群中至少包含一个用户。
步骤A3，根据分类后得到的多个用户集群，确定与每一用户集群相匹配的算法。
在上述实施例中，每一个用户集群中包含有至少一个用户，根据每一个用户集群中包含的用户的外部特征，确定与每一个用户集群相匹配的算法，由此可以建立起用户集群与算法之间的关联关系。可选的，上述步骤A2根据所述M个用户的N种外部特征，对所述M个用户进行分类，得到多个用户集群，具体可以包括如下内容：
对所述M个用户的N种外部特征进行数据清洗，得到清洗后的第一数据；
将所述第一数据中的连续型外部特征变换为离散型外部特征；
根据所述第一数据中的离散型外部特征，对所述M个用户进行分类，得到多个用户集群。
在上述实施例中，获取线上用户(即M个用户)的所有外部特征(N种外部特征)，如：国家、手机型号等，对上述数据进行数据清洗处理，可以得到数据清洗后的第一数据。由于第一数据中离散型外部特征(即离散型变量)较多，为了更好的比较各个外部特征的重要程度，将连续型外部特征按百分位分隔成多组，即化简为离散型外部特征，避免对分类结果产生影响。然后根据第一数据中的离散型外部特征(包括数据清洗后的离散型外部特征以及连续型外部特征化简后的离散型外部特征)，对M个用户进行分类，由此可以得到分类后的多个用户集群。
进一步的，上述根据所述第一数据中的离散型外部特征，对所述M个用户进行分类，得到多个用户集群，具体可以包括如下内容：
获取所述第一数据中的离散型外部特征中，属于第一种外部特征的取值数量；
若所述第一种外部特征的取值数量小于第一数量，则根据所述第一种外部特征的不同取值对所述M个用户进行分类，得到多个用户集群；
若所述第一种外部特征的取值数量大于或等于所述第一数量，则根据所述第一种外部特征中每一离散型外部特征对应的卡顿率，对所述M个用户进行分类，得到多个用户集群。
在上述实施例中，获取离散型外部特征中，属于第一种外部特征的取值数量，话句话说，第一数据中的离散型外部特征中，第一种外部特征有多少种不同的取值。其中，所述第一种外部特征可以是N中外部特征中的任意一种，可以是国家，可以是手机型号，也可以是网络状况等。例如：如果第一种外部特征为国家，则在第一数据的离散型外部特征中，国家有多少种不同的取值，如果仅有两种不同国家的取值，则属于第一种外部特征的取值数量为2；如果有10种不同国家的取值，则属于第一种外部特征的取值数量为10。
并且，如果第一种外部特征的取值数量小于第一数量，则可以根据第一种外部特征的不同取值对M个用户进行分类，得到多个用户集群，即如果第一种外部特征为国家，取值分别为A国家和B国家，第一数量为3，则可以将A国家的用户划分为一个用户集群，该用户集群为A国家的用户集群；将B国家的用户划分为另一个用户集群，该用户集群为B国家的用户集群。
并且，如果第一种外部特征的取值数量大于或等于所述第一数量，则可以根据第一种外部特征中每一离散型外部特征对应的卡顿率，对M个用户进行分类，由此可以得到多个用户集群，换句话说，对于取值较多的离散型外部特征，可以根据其对应的卡顿率进行分类，用户的外部特征相对稳定可靠，既方便获取数据进行线下训练，也方便后期线上的应用部署。
可选的，上述根据所述第一数据中的离散型外部特征，对所述M个用户进行分类，得到多个用户集群之后，所述方法还可以包括如下步骤：
将所述第一数据中的离散型外部特征进行模型拟合，确定所述N种外部特征中每一种外部特征的重要程度；
根据每一种外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群。
在上述实施例中，利用梯度提升决策树(Gradient Boosting Decision Tree，GBDT)算法、相关性分析等方法进行模型拟合，确定N种外部特征中每一种外部特征的重要程度，根据每一种外部特征的重要程度，可以重新调整用户集群的分类，即根据每一种外部特征的重要程度可以重新调整每一用户所属的用户集群，由此重新调整了每一个用户集群中所包含的用户。
可选的，上述根据每一种外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群，具体可以包括如下内容：
根据每一种外部特征的重要程度，选取所述外部特征中的目标外部特征；
按照所述目标外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群。
在上述实施例中，利用GBDT算法、相关性分析等方法，确定各个外部特征和由网络状况引发的卡顿的关系，选取一个或多个影响最大的外部特征(即目标外部特征)对用户进行重新分类，即可以重新调整用户集群的分类，由此可以确定调整后的每个用户集群中所包含的用户。其中，在模型拟合过程中使用外部特征，使用外部特征越多，其重要性越高，影响越大。
例如：如果第一次模型拟合选取的目标外部特征为国家，则按照国家对用户进行分类；第二次模型拟合使用的外部特征是除了国家之外的其他外部特征，如果第二次模型拟合选取的目标外部特征为手机型号，则在按照国家分类之后的基础上，对已经分类的用户进行进一步分类，以此类推，直至剩余的外部特征进行模型拟合之后目标外部特征的重要程度小于预设值，则不再进行模型拟合。其中，预设值为可以根据需要调整的表达外部特征重要程度的限值。
可选的，上述按照所述目标外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群之后，所述方法还可以包括如下内容：
将调整后的每一用户集群中的用户数量与第二数量进行比对；
将多个用户集群中，用户数量大于或等于所述第二数量的目标用户集群中的用户，按照所述目标外部特征的重要程度进行分类，得到所述目标用户集群中的多个子用户集群。
在上述实施例中，利用GBDT算法、相关性分析等方法，确定各个外部特征和由网络状况引发的卡顿的关系，首先利用所有外部特征一起拟合模型，得到每一种外部特征的重要程度，选取一个影响最大的外部特征(即目标外部特征)对用户进行分类，再重复上述操作对剩余的外部特征重新评估重要程度，再进一步进行分类。若第一次拟合模型选出的目标外部特征将用户分为数量较为悬殊的用户集群(如：A用户集群包含100个用户，B用户集群包含3个用户)，可以直接保留已分出的用户量较小的用户集群(即B用户集群)，只对剩余的用户(即对A用户集群中的用户)进行进一步分类，得到多个子用户集群。
例如：第一次拟合模型选出的目标外部特征为国家，通过国家将用户分为A用户集群和B用户集群，其中A用户集群包含100个用户，B用户集群包含3个用户，第二数量为10，则B用户集群中的用户数量小于第二数量，则直接保留B用户集群，不再对B用户集群进行进一步分类；A用户集群中的用户数量大于第二数量，则在A用户集群的基础上，根据第二次拟合模型选取的目标外部特征(如：手机型号)对A用户集群中的用户进行进一步分类，以此类推。
可选的，所述步骤A3根据分类后得到的多个用户集群，确定与每一用户集群相匹配的算法，具体可以包括如下步骤：
对每一个用户集群采用多种自适应码率技术ABR算法进行仿真计算，得到不同ABR算法对应的网络计算结果；
将不同ABR算法对应的网络计算结果进行比对，确定与每一个用户集群相匹配的ABR算法。
在上述实施例中，在仿真环境中测试不同的ABR算法与不同网络状况分类的匹配程度。首先，需要根据对M个用户的分类结果，抓取每一用户集群对应的线上带宽轨迹trace采用不同的ABR算法进行仿真，对比不同用户集群下各个ABR算法结果中的码率、卡顿率、切换频次等指标，确定令用户体验最大的匹配组合，由此可以确定每一个用户集群相匹配的ABR算法。
并且，为了更好的分配不同ABR算法，也可以同时参考多个指标的结果，对多个指标的结果求解帕累托解集，根据实际应用场合选取合适的ABR算法。其中，带宽trace指的是带宽随时间变化的曲线轨迹。
需要说明的是，上述多种ABR算法可以是不同参数的同一种算法，也可以是完全不同的算法，在此不做具体限定。
可选的，所述步骤103根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法，具体可以包括如下步骤：
根据所述目标用户所属的用户集群，确定多种ABR算法中与所述目标用户相匹配的第一算法；
根据所述第一算法，确定与所述目标用户相匹配的目标算法。
在上述实施例中，根据每一个用户集群与ABR算法之间的匹配关系，确定多种ABR算法中，与目标用户所属用户集群相匹配的第一算法，即确定与目标用户相匹配的算法为第一算法，根据该第一算法，可以确定与目标用户相匹配的目标算法，将不同参数或不同类型的ABR算法应用于合适的网络场景下，能够充分发挥各个ABR算法的优势。
可选的，上述根据所述第一算法，确定与所述目标用户相匹配的目标算法的步骤，具体可以包括如下内容：
在视频无卡顿的情况下，通过预设算法对所述目标用户进行网络估算，得到网络估算结果；
将采用所述第一算法计算得到的第一网络计算结果与所述网络估算结果进行比较；
若所述第一网络计算结果优于所述网络估算结果，则确定所述第一算法为所述目标算法；
若所述网络估算结果优于所述第一网络计算结果，则对所述第一算法进行调整，确定调整后的第一算法为目标算法。
在上述实施例中，在视频(如直播视频)无卡顿的情况下，利用预设算法(如：后见算法Hindsight等)估算不同网络状况类别的网络估算结果，与选出的第一算法得到的第一网络计算结果进行比较，可以评估当前选出的第一算法与当前目标用户的适配程度，如果第一算法与目标用户适配程度更高，则确定第一算法为目标算法；如果预设算法与目标用户适配程度更高，则可以考虑对第一算法进行替换、调参等，或者进一步细化该分类。
可选的，所述步骤104获取与所述目标算法对应的具有目标清晰度的目标视频之后，所述方法还可以包括如下步骤：
在所述目标视频卡顿的情况下，提取所述目标视频的卡顿片段；
将具有目标清晰度的卡顿片段替换为具有预设清晰度的卡顿片段。
在上述实施例中，在所述目标视频有卡顿的情况下，Hindsight算法应用在必定卡顿的trace时，可以对trace在卡顿处进行切割，得到目标视频的卡顿片段，将卡顿片段的清晰度由目标清晰度(如：高清档位)更换为预设清晰度(如：省流档位)，即目标视频中的卡顿片段通过预设清晰度进行播放，直至获得足够的缓冲；对于目标视频中除卡顿片段之外的片段，依旧通过目标清晰度进行播放，在保证视频清晰的同时可以避免卡顿。
下面通过一具体实施例对上述内容进行详细说明：
如图3所示，步骤B1，首先进行线下训练，获取外部特征列表，该外部特征列表包含多个外部特征。
步骤B2，对上述外部特征列表中的外部特征进行特征筛选，外部特征筛选的标准也可以是平均码率、用户的综合观看体验等其他可以衡量网络特征的指标。
步骤B3，通过对外部特征的筛选进一步对用户进行分类，分为网络较差的一类用户、网络一般的一类用户以及网络较好的一类用户。
步骤B4，通过线上应用，需要在用户登录直播间时将外部特征传递给ABR算法，确定与目标用户匹配的ABR算法。如：网络较差的用户对应的第一ABR算法，网络一般的用户对应的第二ABR算法，网络较好的用户对应的第三ABR算法；通过匹配的ABR算法(即目标算法)将对应的具有目标清晰度的直播视频(即目标视频)发送至目标用户。
步骤B5，在确定与目标用户匹配的ABR算法之后，可以通过预设算法评估当前选出的算法与当前目标用户的适配程度，从而确定最终的视频清晰度。
综上所述，本发明实施例在直播场景下，在用户观看直播时，需要在用户登录时将外部特征传递给ABR算法，针对不同外部特征对应的不同网络状况选择合适的ABR算法来决定合适的视频清晰度档位，关注用户群体间的差异性，为具有不同外部特征的用户集群提供更合适的视频推流方案，避免出现牺牲小部分用户的观看体验来提升其他用户体验的情况，从而更好的最大化整体用户视频观看体验。其中，利用外部特征分出的具有不同网络特征的用户类别，也可用于其他网络相关的算法处理。
如图4所示，本发明实施例提供的一种视频处理装置400，所述装置包括：
第一获取模块401，用于获取目标用户的N种外部特征，N为正整数；
第一确定模块402，用于根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群；
第二确定模块403，用于根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法；
第二获取模块404，用于获取与所述目标算法对应的具有目标清晰度的目标视频；
第一发送模块405，用于将所述目标视频发送至所述目标用户。
本发明实施例中，通过获取目标用户的N种外部特征，根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群，根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法，然后获取与目标算法对应的具有目标清晰度的目标视频，再将所述目标视频发送至所述目标用户，即将具有相似特征的用户分为同一用户集群，针对不同网络场景、不同类型的目标用户对应的算法，将与不同的算法对应的不同清晰度的视频发送至目标用户处，可以提高用户观看体验。
可选的，在所述第一获取模块401之前，所述装置还包括：
第三获取模块，用于获取M个用户的N种外部特征，M为正整数，且M大于1；
第一分类模块，用于根据所述M个用户的N种外部特征，对所述M个用户进行分类，得到多个用户集群；
第三确定模块，用于根据分类后得到的多个用户集群，确定与每一用户集群相匹配的算法。
可选的，所述第一分类模块，包括：
清洗单元，用于对所述M个用户的N种外部特征进行数据清洗，得到清洗后的第一数据；
变换单元，用于将所述第一数据中的连续型外部特征变换为离散型外部特征；
分类单元，用于根据所述第一数据中的离散型外部特征，对所述M个用户进行分类，得到多个用户集群。
可选的，所述分类单元，包括：
获取子单元，用于获取所述第一数据中的离散型外部特征中，属于第一种外部特征的取值数量；
第一分类子单元，用于若所述第一种外部特征的取值数量小于第一数量，则根据所述第一种外部特征的不同取值对所述M个用户进行分类，得到多个用户集群；
第二分类子单元，用于若所述第一种外部特征的取值数量大于或等于所述第一数量，则根据所述第一种外部特征中每一离散型外部特征对应的卡顿率，对所述M个用户进行分类，得到多个用户集群。
可选的，所述装置还包括：
第四确定模块，用于将所述第一数据中的离散型外部特征进行模型拟合，确定所述N种外部特征中每一种外部特征的重要程度；
调整模块，用于根据每一种外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群。
可选的，所述调整模块，包括：
选取单元，用于根据每一种外部特征的重要程度，选取所述外部特征中的目标外部特征；
调整单元，用于按照所述目标外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群。
可选的，所述装置还包括：
比对模块，用于将调整后的每一用户集群中的用户数量与第二数量进行比对；
第二分类模块，用于将多个用户集群中，用户数量大于或等于所述第二数量的目标用户集群中的用户，按照所述目标外部特征的重要程度进行分类，得到所述目标用户集群中的多个子用户集群。
可选的，所述第三确定模块，包括：
计算单元，用于对每一个用户集群采用多种自适应码率技术ABR算法进行仿真计算，得到不同ABR算法对应的网络计算结果；
第一确定单元，用于将不同ABR算法对应的网络计算结果进行比对，确定与每一个用户集群相匹配的ABR算法。
可选的，所述第二确定模块403，包括：
第二确定单元，用于根据所述目标用户所属的用户集群，确定多种ABR算法中与所述目标用户相匹配的第一算法；
第三确定单元，用于根据所述第一算法，确定与所述目标用户相匹配的目标算法。
可选的，所述第三确定单元，包括：
估算子单元，用于在视频无卡顿的情况下，通过预设算法对所述目标用户进行网络估算，得到网络估算结果；
比较子单元，用于将采用所述第一算法计算得到的第一网络计算结果与所述网络估算结果进行比较；
确定子单元，用于若所述第一网络计算结果优于所述网络估算结果，则确定所述第一算法为所述目标算法；
调整子单元，用于若所述网络估算结果优于所述第一网络计算结果，则对所述第一算法进行调整，确定调整后的第一算法为目标算法。
可选的，所述装置还包括：
提取模块，用于在所述目标视频卡顿的情况下，提取所述目标视频中的卡顿片段；
替换模块，用于将具有目标清晰度的卡顿片段替换为具有预设清晰度的卡顿片段。
需要说明的是，该视频处理装置实施例是与上述视频处理方法相对应的装置，上述实施例的所有实现方式均适用于该装置实施例中，也能达到与其相同的技术效果，在此不做赘述。
综上所述，本发明实施例在直播场景下，在用户观看直播时，需要在用户登录时将外部特征传递给ABR算法，针对不同外部特征对应的不同网络状况选择合适的ABR算法来决定合适的清晰度视频档位，关注用户群体间的差异性，为具有不同外部特征的用户集群提供更合适的视频推流方案，避免出现牺牲小部分用户的观看体验来提升其他用户体验的情况，从而更好的最大化整体用户视频观看体验。其中，利用外部特征分出的具有不同网络特征的用户类别，也可用于其他网络相关的算法处理。
本发明实施例还提供了一种电子设备。如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
存储器503，用于存放计算机程序。
处理器501用于执行存储器503上所存放的程序时，实现本发明实施例提供的一种视频处理方法中的部分或者全部步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的视频处理方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中所述的视频处理方法。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，包含在本发明的保护范围内。
Claims (14)
1.一种视频处理方法，其特征在于，所述方法包括：
获取目标用户的N种外部特征，N为正整数；
根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群；
根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法；
获取与所述目标算法对应的具有目标清晰度的目标视频；
将所述目标视频发送至所述目标用户。
2.根据权利要求1所述的方法，其特征在于，在所述获取目标用户的N种外部特征之前，所述方法还包括：
获取M个用户的N种外部特征，M为正整数，且M大于1；
根据所述M个用户的N种外部特征，对所述M个用户进行分类，得到多个用户集群；
根据分类后得到的多个用户集群，确定与每一用户集群相匹配的算法。
3.根据权利要求2所述的方法，其特征在于，所述根据所述M个用户的N种外部特征，对所述M个用户进行分类，得到多个用户集群，包括：
对所述M个用户的N种外部特征进行数据清洗，得到清洗后的第一数据；
将所述第一数据中的连续型外部特征变换为离散型外部特征；
根据所述第一数据中的离散型外部特征，对所述M个用户进行分类，得到多个用户集群。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一数据中的离散型外部特征，对所述M个用户进行分类，得到多个用户集群，包括：
获取所述第一数据中的离散型外部特征中，属于第一种外部特征的取值数量；
若所述第一种外部特征的取值数量小于第一数量，则根据所述第一种外部特征的不同取值对所述M个用户进行分类，得到多个用户集群；
若所述第一种外部特征的取值数量大于或等于所述第一数量，则根据所述第一种外部特征中每一离散型外部特征对应的卡顿率，对所述M个用户进行分类，得到多个用户集群。
5.根据权利要求3所述的方法，其特征在于，所述根据所述第一数据中的离散型外部特征，对所述M个用户进行分类，得到多个用户集群之后，所述方法还包括：
将所述第一数据中的离散型外部特征进行模型拟合，确定所述N种外部特征中每一种外部特征的重要程度；
根据每一种外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群。
6.根据权利要求5所述的方法，其特征在于，所述根据每一种外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群，包括：
根据每一种外部特征的重要程度，选取所述外部特征中的目标外部特征；
按照所述目标外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群。
7.根据权利要求6所述的方法，其特征在于，所述按照所述目标外部特征的重要程度，对多个用户集群进行调整，得到调整后的用户集群之后，所述方法还包括：
将调整后的每一用户集群中的用户数量与第二数量进行比对；
将多个用户集群中，用户数量大于或等于所述第二数量的目标用户集群中的用户，按照所述目标外部特征的重要程度进行分类，得到所述目标用户集群中的多个子用户集群。
8.根据权利要求2所述的方法，其特征在于，所述根据分类后得到的多个用户集群，确定与每一用户集群相匹配的算法，包括：
对每一个用户集群采用多种自适应码率技术ABR算法进行仿真计算，得到不同ABR算法对应的网络计算结果；
将不同ABR算法对应的网络计算结果进行比对，确定与每一个用户集群相匹配的ABR算法。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法，包括：
根据所述目标用户所属的用户集群，确定多种ABR算法中与所述目标用户相匹配的第一算法；
根据所述第一算法，确定与所述目标用户相匹配的目标算法。
10.根据权利要求9所述的方法，其特征在于，所述根据所述第一算法，确定与所述目标用户相匹配的目标算法，包括：
在视频无卡顿的情况下，通过预设算法对所述目标用户进行网络估算，得到网络估算结果；
将采用所述第一算法计算得到的第一网络计算结果与所述网络估算结果进行比较；
若所述第一网络计算结果优于所述网络估算结果，则确定所述第一算法为所述目标算法；
若所述网络估算结果优于所述第一网络计算结果，则对所述第一算法进行调整，确定调整后的第一算法为目标算法。
11.根据权利要求1所述的方法，其特征在于，所述获取与所述目标算法对应的具有目标清晰度的目标视频之后，所述方法还包括：
在所述目标视频卡顿的情况下，提取所述目标视频中的卡顿片段；
将具有目标清晰度的卡顿片段替换为具有预设清晰度的卡顿片段。
12.一种视频处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标用户的N种外部特征，N为正整数；
第一确定模块，用于根据所述目标用户的N种外部特征，确定所述目标用户所属的用户集群；
第二确定模块，用于根据所述目标用户所属的用户集群，确定与所述目标用户相匹配的目标算法；
第二获取模块，用于获取与所述目标算法对应的具有目标清晰度的目标视频；
第一发送模块，用于将所述目标视频发送至所述目标用户。
13.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如权利要求1至11任一项所述的视频处理方法中的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至11任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110440176.9A CN113301368B (zh) | 2021-04-21 | 2021-04-21 | 视频处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110440176.9A CN113301368B (zh) | 2021-04-21 | 2021-04-21 | 视频处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113301368A true CN113301368A (zh) | 2021-08-24 |
| CN113301368B CN113301368B (zh) | 2023-06-30 |
Family
ID=77320136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110440176.9A Active CN113301368B (zh) | 2021-04-21 | 2021-04-21 | 视频处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113301368B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130170541A1 (en) * | 2004-07-30 | 2013-07-04 | Euclid Discoveries, Llc | Video Compression Repository and Model Reuse |
| CN104729004A (zh) * | 2013-12-23 | 2015-06-24 | 广东美的制冷设备有限公司 | 空调器及其控制方法和控制终端 |
| CN106714318A (zh) * | 2015-11-12 | 2017-05-24 | 北京信威通信技术股份有限公司 | 带宽分配方法及基站 |
| CN109120884A (zh) * | 2017-06-22 | 2019-01-01 | 格局商学教育科技（深圳）有限公司 | 用于远程教学的视频采集装置、视频采集系统和直播方法 |
| CN111327865A (zh) * | 2019-11-05 | 2020-06-23 | 杭州海康威视系统技术有限公司 | 视频传输方法、装置及设备 |
| CN111654712A (zh) * | 2020-06-22 | 2020-09-11 | 中国科学技术大学 | 适用于移动边缘计算场景的动态自适应流媒体组播方法 |
| CN111726642A (zh) * | 2019-03-19 | 2020-09-29 | 北京京东尚科信息技术有限公司 | 直播方法、装置和计算机可读存储介质 |
| CN112543366A (zh) * | 2020-12-02 | 2021-03-23 | 北京五八信息技术有限公司 | 一种视频的播放方法和装置 |
| CN112637661A (zh) * | 2020-12-22 | 2021-04-09 | 广州博冠信息科技有限公司 | 视频流的切换方法及装置、计算机存储介质、电子设备 |
-
2021
- 2021-04-21 CN CN202110440176.9A patent/CN113301368B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130170541A1 (en) * | 2004-07-30 | 2013-07-04 | Euclid Discoveries, Llc | Video Compression Repository and Model Reuse |
| CN104729004A (zh) * | 2013-12-23 | 2015-06-24 | 广东美的制冷设备有限公司 | 空调器及其控制方法和控制终端 |
| CN106714318A (zh) * | 2015-11-12 | 2017-05-24 | 北京信威通信技术股份有限公司 | 带宽分配方法及基站 |
| CN109120884A (zh) * | 2017-06-22 | 2019-01-01 | 格局商学教育科技（深圳）有限公司 | 用于远程教学的视频采集装置、视频采集系统和直播方法 |
| CN111726642A (zh) * | 2019-03-19 | 2020-09-29 | 北京京东尚科信息技术有限公司 | 直播方法、装置和计算机可读存储介质 |
| CN111327865A (zh) * | 2019-11-05 | 2020-06-23 | 杭州海康威视系统技术有限公司 | 视频传输方法、装置及设备 |
| CN111654712A (zh) * | 2020-06-22 | 2020-09-11 | 中国科学技术大学 | 适用于移动边缘计算场景的动态自适应流媒体组播方法 |
| CN112543366A (zh) * | 2020-12-02 | 2021-03-23 | 北京五八信息技术有限公司 | 一种视频的播放方法和装置 |
| CN112637661A (zh) * | 2020-12-22 | 2021-04-09 | 广州博冠信息科技有限公司 | 视频流的切换方法及装置、计算机存储介质、电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 黄照翠等: "校园网络电视媒体直播系统的设计与实现", 《中国教育信息化》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113301368B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bampis et al. | Towards perceptually optimized end-to-end adaptive video streaming | |
| Duanmu et al. | A quality-of-experience database for adaptive video streaming | |
| KR100977694B1 (ko) | 비디오 코딩용 순간 품질 메트릭 | |
| Bampis et al. | Towards perceptually optimized adaptive video streaming-a realistic quality of experience database | |
| US10541894B2 (en) | Method for assessing the perceived quality of adaptive video streaming | |
| US20170347159A1 (en) | Qoe analysis-based video frame management method and apparatus | |
| Gao et al. | Content-aware personalised rate adaptation for adaptive streaming via deep video analysis | |
| CA3182110A1 (en) | Reinforcement learning based rate control | |
| US20190273925A1 (en) | Visual artifact detector | |
| Tran et al. | An LSTM-based approach for overall quality prediction in HTTP adaptive streaming | |
| Men et al. | Visual quality assessment for interpolated slow-motion videos based on a novel database | |
| Saha et al. | Perceptual video quality assessment: The journey continues! | |
| CN108810468B (zh) | 一种优化显示效果的视频传输装置及方法 | |
| Ghosh et al. | MO-QoE: Video QoE using multi-feature fusion based optimized learning models | |
| CN113301368A (zh) | 视频处理方法、装置及电子设备 | |
| CN114747225B (zh) | 用于选择流送媒体内容项的格式的方法、系统和介质 | |
| Göring et al. | Automated genre classification for gaming videos | |
| CN115052190B (zh) | 视频播放方法及装置 | |
| Zhang et al. | A QOE-driven approach to rate adaptation for dynamic adaptive streaming over http | |
| CN114629797B (zh) | 带宽预测方法、模型生成方法及设备 | |
| Lu et al. | Deep-reinforcement-learning-based user-preference-aware rate adaptation for video streaming | |
| CN117461311A (zh) | 基于解码帧率测量视频体验质量 | |
| Narwaria et al. | Machine learning based modeling of spatial and temporal factors for video quality assessment | |
| CN111526424B (zh) | 一种精彩视频段提取方法、装置、电子设备及存储介质 | |
| Zhang et al. | Online action detection in streaming videos with time buffers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |