CN102892041A - 一种应用于移动设备的视频流缓冲优化方法及系统 - Google Patents
一种应用于移动设备的视频流缓冲优化方法及系统 Download PDFInfo
- Publication number
- CN102892041A CN102892041A CN2012103957947A CN201210395794A CN102892041A CN 102892041 A CN102892041 A CN 102892041A CN 2012103957947 A CN2012103957947 A CN 2012103957947A CN 201210395794 A CN201210395794 A CN 201210395794A CN 102892041 A CN102892041 A CN 102892041A
- Authority
- CN
- China
- Prior art keywords
- decision
- download
- making
- state information
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明涉及视频流媒体技术领域,具体涉及一种应用于移动设备的视频流缓冲优化方法及系统。所述方法包括如下步骤:将视频播放周期切割成若干个时间段;在每一个时间段里,获取移动设备系统中的状态信息;根据状态信息决策出本时间段的决策下载量;根据决策下载量从视频流服务器中下载数据块并放入缓冲区,当实时下载量等于决策下载量时停止下载。本发明可以智能地决策出每个时间段内应该下载的数据量,能够在保证播放质量的前提下大大减少传统缓冲策略所浪费的开销。
Description
技术领域
本发明涉及视频流媒体技术领域,具体涉及一种应用于移动设备的视频流缓冲优化方法及系统。
背景技术
随着近年来移动终端技术的飞速发展,在智能手机上观看在线视频成为一种潮流和趋势。移动终端产生的网络流量已经呈现出指数级的增长,思科视觉网络指数(VNI)报告指出2011到2016这几年间移动终端所产生的网络流量将会增长18倍。而这其中最主要的驱动者是在线视频流的传输。
移动终端主要依靠无线网络来获取视频流数据,而无线网络的一个特点就是其带宽的不稳定性。为了保证在线视频播放的流畅度,传统而有效的方法是采用缓冲技术,通过在带宽条件好的时候缓冲一定的流数据,从而避免在带宽差的时候出现播放冻结的情况。然而另一方面,测量结果表明,用户通过移动终端观看在线视频时中途放弃播放的概率比较高。用户的这个行为将会导致处于缓冲区的数据浪费掉,也就是说系统下载了这些数据,但是不会被播放。
这种浪费对于有线网络环境来说是不足为患的,但是在无线网络中最为宝贵的就是带宽资源,而无线网络ISP一般采用按使用量计费的模式,所以用户需要为这些浪费的数据买单。另外,从大的无线网络环境来看,这种普遍存在的浪费也将增大网络生态系统的负载。缓冲区数据的浪费带来的另一个不容忽视的影响是对移动终端电池电量的消耗。电池蓄电量的不足本身就是移动终端设备发展的一大制约条件,而在线视频流数据下载过程的电量开销更增加了移动终端电量消耗,甚至成为移动终端主要的电量消耗之一。为了保持移动终端电池的续航能力,我们需要尽可能地减少浪费的数据量。
综上所述,无线网络环境下的视频流媒体服务需要缓冲技术的支持,但是传统的应用于个人PC上的缓冲策略不适用于移动终端观看在线视频。
发明内容
本发明解决的技术问题是克服现有技术的不足,提供一种在保证播放质量的前提下减少播放开销的应用于移动设备的视频流缓冲优化方法。
本发明还提供一种在保证播放质量的前提下减少播放开销的应用于移动设备的视频流缓冲优化系统。
为解决上述技术问题,本发明第一个发明目的的技术方案如下:
一种应用于移动设备的视频流缓冲优化方法,包括如下步骤:
将视频播放周期切割成若干个时间段;
在每一个时间段里,获取移动设备系统中的状态信息;
根据状态信息决策出本时间段的决策下载量;
根据决策下载量从视频流服务器中下载数据块并放入缓冲区,当实时下载量等于决策下载量时停止下载。
作为一种优选方案,所述状态信息包括缓冲区数据量、下载带宽、用户离开概率、电量开销、计费开销。
作为进一步的优选方案,所述根据状态信息通过优化策略决策出本时间段的决策下载量,优化策略具体为:
根据状态信息在每一个时间段内计算出满足min(Δ(Θ(t)) + V · H(w(t))p(t))的决策下载量,完成本时间段的决策;
其中Θ(t)表示队列数组,Δ(Θ(t))表示相邻两个时间段队列数组的变化量,V是一个可控参数,H(w(t))表示浪费的开销,p(t)表示用户离开概率;Θ(t) = (B(t), F(t),G(t)),B(t)表述缓冲区数据量队列,F(t)表示播放冻结时间队列,G(t)表示播放能耗队列。
作为更进一步的优选方案,所述浪费的开销H(w(t))根据计费开销和电量开销的加权和计算得到。
本发明第二个发明目的的技术方案如下:
一种应用于移动设备的视频流缓冲优化系统,包括:
用于将视频播放周期切割成若干个时间段的周期切割模块;
用于在每一个时间段里获取移动设备系统中的状态信息的状态信息获取模块;
用于根据状态信息决策出本时间段的决策下载量的决策模块;
用于根据决策下载量从视频流服务器中下载数据块并放入缓冲区,当实时下载量等于决策下载量时停止下载的下载模块。
作为一种优选方案,所述状态信息获取模块获取的状态信息包括缓冲区数据量、下载带宽、用户离开概率、电量开销、计费开销。
作为进一步的优选方案,所述决策模块具体用于:
根据状态信息在每一个时间段内计算出满足min(Δ(Θ(t)) + V · H(w(t))p(t))的决策下载量,完成本时间段的决策;
其中Θ(t)表示队列数组,Δ(Θ(t))表示相邻两个时间段队列数组的变化量,V是一个可控参数,H(w(t))表示浪费的开销,p(t)表示用户离开概率;Θ(t) = (B(t), F(t),G(t)),B(t)表述缓冲区数据量队列,F(t)表示播放冻结时间队列,G(t)表示播放能耗队列。
作为一种优选方案,移动设备上设有智能缓冲管理器,所述周期切割模块、状态信息获取模块、决策模块和下载模块集成在智能缓冲管理器中,智能缓冲管理器控制缓冲区的缓存数据量。
与现有技术相比,本发明技术方案的有益效果是:
(1)本发明可以智能地决策出每个时间段内应该下载的数据量,能够在保证播放质量的前提下大大减少传统缓冲策略所浪费的开销。
(2)由于本发明的优化过程仅仅是根据当前移动设备系统的状态做出本时间段的决策,数据处理量小,效率高。
附图说明
图1 为本发明中一种应用于移动设备的视频流缓冲优化方法的具体实施例流程图;
图2为本发明中一种应用于移动设备的视频流缓冲优化系统的具体实施例模型图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示,为本发明中一种应用于移动设备的视频流缓冲优化方法具体实施例的流程图。具体实施例中应用于移动设备的视频流缓冲优化方法具体步骤如下:
(S101)将视频播放周期切割成若干个时间段;
(S102)在每一个时间段里,获取移动设备系统中的状态信息;
(S103)根据状态信息决策出本时间段的决策下载量;
(S104)根据决策下载量从视频流服务器中下载数据块并放入缓冲区,当实时下载量等于决策下载量时停止下载。
在本具体实施例中,视频数据都被封转成固定大小的块,移动设备直接通过无线网络从视频流服务器获取数据块,移动设备维护一个缓冲区来提高视频播放的流畅度。在本具体实施例中,将视频播放周期切割成一个个时间段,在每个时间段里决策下载量,控制缓冲区的数据块数量,从而减少了停止播放时浪费的播放开销。
在一个具体实施方式中,所述状态信息包括缓冲区数据量、下载带宽、用户离开概率、电量开销、计费开销。根据这些状态信息通过优化策略决策出本时间段的决策下载量。
在一个具体实施方式中,本发明可以将最小化播放开销的优化问题转化为Lyapunov优化问题,将状态信息作为该优化问题的已知条件,将播放质量和播放能耗G(t)作为约束条件,其中播放质量用播放冻结时间F(t)来衡量,并同时设置一个可容忍冻结时间的上界来保证播放质量,然后解出最优解作为决策结果。为了使用Lyapunov优化框架,本发明可以将基于平均时间的约束条件转化为基于队列稳定性的条件,所以在这个优化问题中存在三个队列:缓冲区数据量B(t)以及播放冻结时间F(t)和播放能耗G(t),其中F(t)和G(t)是虚拟队列,Θ(t) = (B(t), F(t),G(t))组成队列数组,L(Θ(t))用于衡量该队列数组的大小,Δ(Θ(t))表示相邻两个时间段队列数组的变化量,也即 L(Θ(t+1)) - L(Θ(t))。具体地,
根据状态信息在每一个时间段内计算出满足min(Δ(Θ(t)) + V · H(w(t))p(t))的决策下载量n(t),,完成本时间段的决策;
其中Θ(t)表示队列数组,Δ(Θ(t))表示相邻两个时间段队列数组的变化量,用于衡量本时间段末的队列组状态和上一时间段末的队列组状态之间的差异;V是一个可控参数,p(t)表示用户离开概率,H(w(t))表示浪费的开销,其根据计费开销和电量开销的加权和计算得到;Θ(t) = (B(t), F(t),G(t)),B(t)表述缓冲区数据量队列,F(t)表示播放冻结时间队列,G(t)表示播放能耗队列;在上述公式中,n(t)的大小可以影响到Θ(t),也可以影响到w(t),其事实上是公式Δ(Θ(t)) + V · H(w(t))p(t)的变量,在本发明中选择使得Δ(Θ(t)) + V · H(w(t))p(t)取到最小值的n(t)作为决策下载量,求值的方法通过求导法或穷举法实现;F(t)是一个虚拟队列,当t时间段的决策量为n(t)时,在决策下载量为n(t)的前提下计算本时间段的冻结时间为f(t),那么F(t+1)由F(t)和f(t)计算得到,B(t+1)和G(t+1)的获取与F(t+1)同理。
具体地,f(t)跟决策下载量n(t)、时间段t开始时缓冲的数据量B(t)的大小、本时间段的下载速率D(t)有关系,其一般通过如下公式计算获取:
其中,1N(t)、1B(t)为状态判断值,r表示缓冲区中数据块消耗的速率,T0是每个时间段的长度。
基于上述的优化方法,本发明还提供了一种应用于移动设备的视频流缓冲优化系统。如图2所示,为本发明中一种应用于移动设备的视频流缓冲优化系统的具体实施例模型图。具体实施例的一种应用于移动设备的视频流缓冲优化系统,包括周期切割模块、状态信息获取模块、决策模块和下载模块,其中,
周期切割模块,用于将视频播放周期切割成若干个时间段;
状态信息获取模块,用于在每一个时间段里获取移动设备系统中的状态信息;状态信息获取模块获取的状态信息包括缓冲区数据量、下载带宽、用户离开概率、电量开销、计费开销。
决策模块,用于根据状态信息决策出本时间段的决策下载量;具体地,决策模块中封装有优化策略来对决策下载量进行优化,将获取到的状态信息直接输入到决策模块中即可决策出本时间段的决策下载量,优化策略具体为:
根据状态信息在每一个时间段内计算出满足min(Δ(Θ(t)) + V · H(w(t))p(t))的决策下载量n(t),完成本时间段的决策;
其中Θ(t)表示队列数组,Δ(Θ(t))表示相邻两个时间段队列数组的变化量,用于衡量本时间段末的队列组状态和上一时间段末的队列组状态之间的差异;V是一个可控参数,p(t)表示用户离开概率,H(w(t))表示浪费的开销,其根据计费开销和电量开销的加权和计算得到;Θ(t) = (B(t), F(t),G(t)),B(t)表述缓冲区数据量队列,F(t)表示播放冻结时间队列,G(t)表示播放能耗队列;在上述公式中,n(t)的大小可以影响到Θ(t),也可以影响到w(t),其事实上是公式Δ(Θ(t)) + V · H(w(t))p(t)的变量,在本发明中选择使得Δ(Θ(t)) + V · H(w(t))p(t)取到最小值的n(t)作为决策下载量,求值的方法通过求导法或穷举法实现;F(t)是一个虚拟队列,当t时间段的决策量为n(t)时,在决策下载量为n(t)的前提下计算出本时间段的冻结时间为f(t),那么F(t+1)由F(t)和f(t)计算得到,B(t+1)和G(t+1)的获取与F(t+1)同理。
下载模块,用于根据决策下载量从视频流服务器中下载数据块并放入缓冲区,当实时下载量等于决策下载量时停止下载。
在一个具体实施方式中,移动设备中设有智能缓冲管理器SBM,其作为一个部件组合到移动设备系统中,智能缓冲管理器SBM封装了智能缓冲策略即优化策略,通过在每个时间段决策数据下载量来实现减少播放开销。具体地,智能缓冲管理器SBM集成了周期切割模块、状态信息获取模块、决策模块和下载模块,缓冲区的缓存数据量由智能缓冲管理器SBM控制。
具体实施时,在每个时间段t的开始,智能缓冲管理器SBM观测移动设备系统的各项状态,包括当前可用的下载带宽、电量开销、计费开销、缓冲区数据量、用户离开概率等,以这些状态信息作为输入,利用优化策略解决事先封装在智能缓冲管理器SBM中的Lyapunov优化问题,得出决策下载量n(t)。在已完成决策的时间段t内,缓冲区存在一个生产与消耗的并行过程。利用下载模块从视频流服务器以D(t)的下载数率下载数据块,并放入缓冲区,当实时下载量等于决策下载量n(t)以后停止下载;移动设备中的媒体播放器从缓冲区以r的消耗速率获取数据块进行播放,当缓冲区的数据块消耗完毕以后进入播放冻结状态。
Claims (8)
1.一种应用于移动设备的视频流缓冲优化方法,其特征在于,包括如下步骤:
将视频播放周期切割成若干个时间段;
在每一个时间段里,获取移动设备系统中的状态信息;
根据状态信息决策出本时间段的决策下载量;
根据决策下载量从视频流服务器中下载数据块并放入缓冲区,当实时下载量等于决策下载量时停止下载。
2.根据权利要求1所述的应用于移动设备的视频流缓冲优化方法,其特征在于,所述状态信息包括缓冲区数据量、下载带宽、用户离开概率、电量开销、计费开销。
3.根据权利要求2所述的应用于移动设备的视频流缓冲优化方法,其特征在于,所述根据状态信息通过优化策略决策出本时间段的决策下载量,所述优化策略具体为:
根据状态信息在每一个时间段内计算出满足min(Δ(Θ(t)) + V · H(w(t))p(t))的决策下载量,完成本时间段的决策;
其中Θ(t)表示队列数组,Δ(Θ(t))表示相邻两个时间段队列数组的变化量,V是一个可控参数,H(w(t))表示浪费的开销,p(t)表示用户离开概率;Θ(t) = (B(t), F(t),G(t)),B(t)表述缓冲区数据量队列,F(t)表示播放冻结时间队列,G(t)表示播放能耗队列。
4.根据权利要求3所述的应用于移动设备的视频流缓冲优化方法,其特征在于,所述浪费的开销H(w(t))根据计费开销和电量开销的加权和计算得到。
5.一种应用于移动设备的视频流缓冲优化系统,其特征在于,包括:
用于将视频播放周期切割成若干个时间段的周期切割模块;
用于在每一个时间段里获取移动设备系统中的状态信息的状态信息获取模块;
用于根据状态信息决策出本时间段的决策下载量的决策模块;
用于根据决策下载量从视频流服务器中下载数据块并放入缓冲区,当实时下载量等于决策下载量时停止下载的下载模块。
6.根据权利要求5所述的应用于移动设备的视频流缓冲优化系统,其特征在于,所述状态信息获取模块获取的状态信息包括缓冲区数据量、下载带宽、用户离开概率、电量开销、计费开销。
7.根据权利要求6所述的应用于移动设备的视频流缓冲优化系统,其特征在于,所述决策模块具体用于:
根据状态信息在每一个时间段内计算出满足min(Δ(Θ(t)) + V · H(w(t))p(t))的决策下载量,完成本时间段的决策;
其中Θ(t)表示队列数组,Δ(Θ(t))表示相邻两个时间段队列数组的变化量,V是一个可控参数,H(w(t))表示浪费的开销,p(t)表示用户离开概率;Θ(t) = (B(t), F(t),G(t)),B(t)表述缓冲区数据量队列,F(t)表示播放冻结时间队列,G(t)表示播放能耗队列。
8.根据权利要求5-7任一项所述的应用于移动设备的视频流缓冲优化系统,其特征在于,移动设备上设有智能缓冲管理器,所述周期切割模块、状态信息获取模块、决策模块和下载模块集成在智能缓冲管理器中,智能缓冲管理器控制缓冲区的缓存数据量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210395794.7A CN102892041B (zh) | 2012-10-18 | 2012-10-18 | 一种应用于移动设备的视频流缓冲优化方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210395794.7A CN102892041B (zh) | 2012-10-18 | 2012-10-18 | 一种应用于移动设备的视频流缓冲优化方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102892041A true CN102892041A (zh) | 2013-01-23 |
CN102892041B CN102892041B (zh) | 2014-12-17 |
Family
ID=47535376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210395794.7A Active CN102892041B (zh) | 2012-10-18 | 2012-10-18 | 一种应用于移动设备的视频流缓冲优化方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102892041B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105763927A (zh) * | 2016-02-19 | 2016-07-13 | 福州瑞芯微电子股份有限公司 | 流媒体播放终端的智能视频缓存方法及装置 |
CN106231412A (zh) * | 2016-07-27 | 2016-12-14 | 宇龙计算机通信科技(深圳)有限公司 | 视频缓冲智能控制方法及系统 |
CN106376023A (zh) * | 2016-10-10 | 2017-02-01 | 西北大学 | 一种基于情景感知的数据下载方法及其系统 |
CN106385641A (zh) * | 2016-10-08 | 2017-02-08 | 中山大学 | 一种基于sdn的直播视频流媒体分发方法 |
CN109525887A (zh) * | 2018-12-27 | 2019-03-26 | 长沙理工大学 | 一种在线视频的自调节播放方法、系统及装置 |
CN110740374A (zh) * | 2019-10-31 | 2020-01-31 | 广州市网星信息技术有限公司 | 一种多媒体数据的处理方法、装置、计算机设备和存储介质 |
CN114979768A (zh) * | 2022-05-23 | 2022-08-30 | 北京字节跳动网络技术有限公司 | 视频缓存方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060099990A1 (en) * | 2004-11-09 | 2006-05-11 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | System and method for controlling access to a wireless medium |
CN101242338A (zh) * | 2008-03-10 | 2008-08-13 | 清华大学 | P2p实时流媒体缓存替换的时间权参数自适应调整方法 |
US20120089276A1 (en) * | 2009-09-11 | 2012-04-12 | Aerovironment, Inc. | Dynamic transmission control for a wireless network |
CN102571973A (zh) * | 2012-02-02 | 2012-07-11 | 瑞斯康达科技发展股份有限公司 | 一种网络控制方法及装置 |
-
2012
- 2012-10-18 CN CN201210395794.7A patent/CN102892041B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060099990A1 (en) * | 2004-11-09 | 2006-05-11 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | System and method for controlling access to a wireless medium |
CN101242338A (zh) * | 2008-03-10 | 2008-08-13 | 清华大学 | P2p实时流媒体缓存替换的时间权参数自适应调整方法 |
US20120089276A1 (en) * | 2009-09-11 | 2012-04-12 | Aerovironment, Inc. | Dynamic transmission control for a wireless network |
CN102571973A (zh) * | 2012-02-02 | 2012-07-11 | 瑞斯康达科技发展股份有限公司 | 一种网络控制方法及装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105763927A (zh) * | 2016-02-19 | 2016-07-13 | 福州瑞芯微电子股份有限公司 | 流媒体播放终端的智能视频缓存方法及装置 |
CN106231412A (zh) * | 2016-07-27 | 2016-12-14 | 宇龙计算机通信科技(深圳)有限公司 | 视频缓冲智能控制方法及系统 |
CN106385641A (zh) * | 2016-10-08 | 2017-02-08 | 中山大学 | 一种基于sdn的直播视频流媒体分发方法 |
CN106385641B (zh) * | 2016-10-08 | 2019-04-19 | 中山大学 | 一种基于sdn的直播视频流媒体分发方法 |
CN106376023A (zh) * | 2016-10-10 | 2017-02-01 | 西北大学 | 一种基于情景感知的数据下载方法及其系统 |
CN109525887A (zh) * | 2018-12-27 | 2019-03-26 | 长沙理工大学 | 一种在线视频的自调节播放方法、系统及装置 |
CN109525887B (zh) * | 2018-12-27 | 2021-06-18 | 长沙理工大学 | 一种在线视频的自调节播放方法、系统及装置 |
CN110740374A (zh) * | 2019-10-31 | 2020-01-31 | 广州市网星信息技术有限公司 | 一种多媒体数据的处理方法、装置、计算机设备和存储介质 |
CN114979768A (zh) * | 2022-05-23 | 2022-08-30 | 北京字节跳动网络技术有限公司 | 视频缓存方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102892041B (zh) | 2014-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102892041B (zh) | 一种应用于移动设备的视频流缓冲优化方法及系统 | |
CN104363635B (zh) | 快速能耗优化的流媒体应用带宽资源分配方法 | |
CN104410870B (zh) | 能耗优化的流媒体应用带宽资源分配方法 | |
CN105635755B (zh) | 直播流传输方法和装置 | |
CN104205770B (zh) | 具有请求取消能力的改善的dash客户端和接收机 | |
CN101001362B (zh) | 在线播放流媒体的方法及终端 | |
CN104125429B (zh) | 视频数据传输的调节方法及装置 | |
CN102858018B (zh) | 一种HSPDA系统中保证用户QoE性能的调度方法 | |
CN112954385B (zh) | 一种基于控制论和数据驱动的自适应分流决策方法 | |
CN108173778B (zh) | 基于业务分类的电力信息采集系统数据处理方法 | |
CN102131241B (zh) | 一种控制流媒体速率的方法、基站及系统 | |
CN104394440B (zh) | 一种http视频流调度方法及装置 | |
CN103916367A (zh) | 一种传输多媒体数据的方法及装置 | |
CN104753809B (zh) | 一种流量整形中添加令牌的方法及装置 | |
US10397664B2 (en) | Method for operating a mobile device | |
CN103795755B (zh) | 流媒体发送速率控制方法、系统和流媒体服务器 | |
CN102387076B (zh) | 一种结合整形的分级式队列调度方法 | |
CN106375790A (zh) | 一种QoE驱动的多频道HAS码率自适应调度方法 | |
Xing et al. | Rate adaptation strategy for video streaming over multiple wireless access networks | |
CN107968835A (zh) | 一种基于编码的无线异构网络视频缓存设施部署方法 | |
CN102883372A (zh) | 一种流量控制方法及终端 | |
CN109525887A (zh) | 一种在线视频的自调节播放方法、系统及装置 | |
Yang et al. | Energy-aware CPU frequency scaling for mobile video streaming | |
CN108833995A (zh) | 一种无线网络环境中自适应流媒体的传输方法 | |
Hu et al. | Energy-Aware CPU Frequency Scaling for Mobile Video Streaming. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |