CN116320354B - 360度虚拟现实视频用户接入控制系统及控制方法 - Google Patents

360度虚拟现实视频用户接入控制系统及控制方法 Download PDF

Info

Publication number
CN116320354B
CN116320354B CN202310110818.8A CN202310110818A CN116320354B CN 116320354 B CN116320354 B CN 116320354B CN 202310110818 A CN202310110818 A CN 202310110818A CN 116320354 B CN116320354 B CN 116320354B
Authority
CN
China
Prior art keywords
user
video
access
mec server
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310110818.8A
Other languages
English (en)
Other versions
CN116320354A (zh
Inventor
翁其艳
单杭冠
汤伊静
史浩然
陈积明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310110818.8A priority Critical patent/CN116320354B/zh
Publication of CN116320354A publication Critical patent/CN116320354A/zh
Application granted granted Critical
Publication of CN116320354B publication Critical patent/CN116320354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于边缘计算和主动缓存的360度虚拟现实视频用户接入控制技术,其从综合利用云服务器、边缘计算服务器和用户端的传输、存储和计算三种资源的角度设计基于边缘计算与主动缓存的360度虚拟现实视频用户接入控制系统,该系统联合考虑了视频编码、主动缓存、计算卸载、数据传输对多个用户同时做360度虚拟现实视频业务的服务质量的影响。此外,本发明为该系统提出了时延中断概率约束下的最优接入控制决策方法,可在保障每个用户服务质量的前提下,充分利用系统的资源,接入和服务尽可能多的360度虚拟现实视频用户。

Description

360度虚拟现实视频用户接入控制系统及控制方法
技术领域
本发明属于移动通信技术领域,具体涉及一种基于边缘计算和主动缓存的360度虚拟现实视频用户接入控制系统及控制方法。
背景技术
移动虚拟现实有望成为未来5G的杀手级应用之一,它是指通过多跳网络将移动虚拟现实视频和声音文件从云服务器传输到用户终端设备,从而实现云服务器或边缘服务器的存储和渲染的虚拟现实业务;借助云计算技术和稳定的千兆光纤网络,该应用已被证明是切实可行的。360度视频,也就是所谓的三自由度球形视频,可以为用户提供沉浸式体验;由于360度移动虚拟现实视频结合了5G中增强型移动宽带业务的高容量、超可靠低时延通信业务的严格时延和可靠性的多重要求,因此到目前为止要支持这一应用还存在许多技术难点。
目前,针对360度移动虚拟现实视频的研究主要集中在视频资源推送、用户视野同步预测、计算存储资源分配这三个方面。关于视频资源推送,公开号为CN112188302A的中国专利申请提出了应用于VR系统的数据多播通讯系统,该系统采用数据流多播形式进行下行数据传输,同时服务多个VR终端设备,但是该方法没有考虑到终端设备的接入、退出带来的影响。关于计算和存储资源的分配,文献[Y.Sun,Communications,caching,and computingfor mobile virtual reality:Modeling and tradeoff,IEEE Transactions onCommunications,vol.67,no.11,pp.7573-7586,Nov.2019]中提到一种主动缓存和边缘计算联合优化方法,但是该方法仅针对单个VR终端设备,没有考虑多用户设备接入处理的情况。公开号为CN112995636A的中国专利申请提出了一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统,该系统利用虚拟现实用户的视野预测来缓存视频数据,并将部分解码渲染任务卸载到MEC服务器上,但该系统不具备多用户接入功能,也是只考虑了服务一个虚拟现实用户的情况。关于用户视野同步预测,公开号为CN108965858A的中国专利申请提出了一种支持VR的多视点立体视频多用户接入控制方法及装置,但是其所设计方法及装置仅通过带宽判断用户的接入数量与视点选取来达到网络资源最大化,未考虑不同用户观看视频过程中时延的影响。
上述提到的文献或专利有针对360度移动虚拟现实视频传输中的问题提出一些技术方案,但这些方案主要集中在给定用户、固定带宽的前提下提高系统资源利用率、优化用户体验。目前还没有系统设计在综合考虑边缘计算和主动缓存等技术的前提下,给出360度移动虚拟现实视频用户的接入控制方法。因此,为了合理地设计系统工作流程并有效地调整系统接入用户的数量,以便最大限度地保障用户的服务质量和提升用户的体验质量,我们需要一种综合使用边缘计算和主动缓存等技术的360度虚拟现实视频用户接入控制系统配置方法。
发明内容
鉴于上述,本发明提供了一种基于边缘计算和主动缓存的360度虚拟现实视频用户接入控制系统及控制方法,该接入控制方法利用系统中的云服务器、边缘计算服务器和用户端的通信、计算、存储功能,联合考虑了视频编码、主动缓存、计算卸载、数据传输对360度虚拟现实视频用户的影响,可在保障每个用户服务质量的前提下充分利用系统的资源,接入和服务尽可能多的360度虚拟现实视频用户。
一种基于边缘计算和主动缓存的360度虚拟现实视频用户接入控制系统,包括云服务器、MEC服务器以及多个用户端;其中:
所述云服务器存储有360度虚拟现实视频并通过神经网络生成对应的显著图,在对视频进行编码时采用等距柱状投影的方式将其划分为N×M个tile,并将每个tile多个视频帧的数据压缩为一组图片序列,N和M均为自定义的自然数;同时云服务器根据显著图做进行预测,并向MEC服务器传输相应的视频数据包或直接将视频数据包发送给对应的用户端;
所述MEC服务器对云服务器下发的视频数据包进行缓存、解码和渲染后将视频数据发送给对应的用户端;
所述用户端用于收集不同用户的运动传感数据并上传给MEC服务器,同时对云服务器提供的视频数据包进行解码计算,完成2维视频向360度球面视频的转换并进行播放;
系统采用周期性的工作方式,每个周期由缓存阶段和计算与传输阶段组成,视频数据在时域上进行划分,分为多个视频块,每个视频块的时长为D1,并且规定在第l个工作周期内每个接入用户同时观看的视频块索引为l-1,l为大于1的自然数;在缓存阶段,云服务器根据视野预测结果向MEC服务器传输相应的视频数据包,缓存阶段时长为一个视频块时长即D1;在计算与传输阶段开始时刻,不同的用户端向MEC服务器发出视野请求,MEC服务器根据每个tile被不同用户命中的次数,按比例分配计算资源用于tile的计算卸载,并对相应的视频数据包进行解码处理后将视频数据传输给用户端,传输时按等速率为每个用户提供传输服务,不同用户端接收到来自MEC服务器或云服务器的数据后,将其中未解码的视频数据包进行解码处理并播放。
进一步地,对于缓存阶段,在第l个工作周期开始时,云服务器根据第l个视频块的显著图预测用户在第l+1个工作周期开始时的视野概率分布PF(nl,ml)=[PF(nl,ml)]N×M,其中PF(nl,ml)表示在第l+1个工作周期开始时用户视点落入坐标为(nl,ml)的tile中的概率,nl∈N,ml∈M,N={1,2,…,N},M={1,2,…,M};云服务器在缓存阶段根据各tile预测的请求概率矩阵PR(n,m)=[PR(n,m)]N×M中对应元素按从大到小的顺序为MEC服务器提供第l个视频块数据的主动缓存服务,其中PR(n,m)表示在第l+1个工作周期开始时坐标为(n,m)的tile至少有一部分落在用户视野区域内的概率,n∈N,m∈M。
进一步地,缓存阶段结束后即为计算与传输阶段,在这个阶段的开始时刻,不同的用户端会给MEC服务器发送自己的视野请求,该视野请求中包含有位于用户视野中心的tile的横纵坐标;所述计算与传输阶段包括了MEC服务器计算阶段、从MEC服务器到用户端的传输阶段、从云服务器到用户端的传输阶段、用户端计算阶段;为了利用MEC服务器的计算能力来减小用户端计算阶段的时延,可由MEC服务器完成缓存视频数据包的解码和渲染任务并将视频数据传输给用户端,而云服务器也会把MEC服务器没有缓存且用户需要的视频数据包直接发送给用户端,最后由用户端把未解码渲染的视频数据包进行解码渲染处理并进行播放。
进一步地,在MEC服务器计算阶段,当收到不同用户新的视野请求,MEC服务器会检查其缓存中是否有用户所需的视频数据包;在从MEC服务器到用户端的传输阶段,对于不同用户向MEC服务器请求的数据,MEC服务器会根据用户端的信道质量,按不同用户端间维持相同传输速率为目标给用户端分配传输带宽和发送功率;在从云服务器到用户端的传输阶段,对于MEC服务器没有缓存且用户需要的视频数据包,云服务器按不同用户端间维持相同传输速率为目标给用户端分配传输带宽;在用户端计算阶段,每个用户端对云服务器提供的视频数据包进行解码,当所有用户端完成计算解码后,此时第l个工作周期的通信和解码任务完成,用户端在第l+1个工作周期的开始时刻播放第l个视频块的视频帧。
为了最大限度地利用带宽资源并保障用户的服务质量,本发明还提供了上述系统的用户接入控制方法,若有I个用户希望同时接入系统观看相同的360度虚拟现实视频,即需要从2I个接入策略中找到用户最佳的接入策略;为了在保证每个接入用户服务质量的前提下最大化系统服务的用户数,通过以下目标函数决策用户接入策略:
其中:x=(x1,x2,...,xI)为用户接入指示向量即对应一组接入策略,xi=1表示接入用户端i,xi=0表示不接入用户端i,i=1,2,…,I;1()为指示函数,当事件Event为真时,1(Event)=1;当事件Event为假时,1(Event)=0;表示采取给定的用户接入指示向量x后用户端i的时延中断概率,δ为用于保障接入用户服务质量的时延中断概率门限。
进一步地,所述时延中断概率的计算表达式如下:
其中:L为播放视频的总周期数,为系统在第l个工作周期从用户端i发出视野请求到其可以播放第l个视频块的端到端时延,/>为关于/>的概率密度函数,Dth为给定的时延阈值,tl表示第l个工作周期内的时刻,D2,l为第l个工作周期中MEC服务器计算阶段的时延,/>为第l个工作周期中从MEC服务器到用户端i传输阶段的时延,/>为第l个工作周期中从云服务器到用户端i传输阶段的时延,/>为第l个工作周期中用户端i计算阶段的时延。
进一步地,所述概率密度函数的表达式如下:
其中:Ac,l为缓存矩阵且Ac,l=[ac,l(n,m)]N×M,其中的元素值ac,l(n,m)表示在第l个工作周期缓存阶段结束时刻坐标为(n,m)的tile在MEC服务器中的缓存情况,ac,l(n,m)=1表示该tile被MEC服务器缓存,ac,l(n,m)=0表示该tile未被MEC服务器缓存;表示采取给定的用户接入指示向量x后用于刻画所有接入用户在第l个工作周期开始时视野位置的请求矩阵集合,/>为接入用户端i的请求矩阵且其中的元素值/>表示在第l个工作周期开始时坐标为(n,m)的tile是否在用户i的视野区域内,/>表示该tile在用户i的视野区域内,表示该tile不在用户i的视野区域内;Gl表示在第l个工作周期缓存阶段MEC服务器缓存的tile数量,g表示Gl在其状态空间Gl中的任一取值,每一个已知的缓存矩阵Ac,l均对应一个确定的g,/>表示Gl的概率分布;/>表示在第l+1个工作周期开始时用户i的视点落入坐标为/>的tile中的概率,N={1,2,…,N},M={1,2,…,M};/>表示在已知缓存矩阵Ac,l和请求矩阵Ar,l的情况下/>的条件概率密度函数。
进一步地,利用扩散过程近似法,用连续过程随机变量X1(t1)代表从本周期的缓存阶段零时刻开始后的时刻t1,MEC服务器中主动缓存的数据包数量,可以得到概率分布的表达式如下:
β1=(α1)3V1/>
其中:f表示视频帧率,B表示tile中每帧视频的数据量大小,Cr为视频编码压缩后与编码压缩前的数据量大小比值,s为每个视频数据包的大小,R1(t)表示从云服务器到MEC服务器之间网络的瞬时传输速率,b1为从云服务器到MEC服务器传输阶段的吸收边界,α1和β1分别为从云服务器到MEC服务器传输阶段的漂移系数和扩散系数,E()表示均值,Var()表示方差,p(k,D10)表示当MEC服务器缓存数据包达到D1时长时缓存数据包个数k的条件概率密度函数。
进一步地,所述概率可由文献[M.Xu,Predicting head movement inpanoramic video:A deep reinforcement learning approach,IEEE Transactions onPattern Analysis and Machine Intelligence,vol.41,no.11,pp.2693-2708,Nov.2019]中提出的LSTM视点预测网络利用滑动窗口内过去16个视频帧的显著图生成。
进一步地,所述条件概率密度函数的表达式如下:
β2,x=(α2,x)3V2,x/>
β3,x=(α3,x)3V3,x/>
其中:t2表示第l个工作周期从MEC服务器到用户端i传输阶段内的时刻,t3表示第l个工作周期从云服务器到用户端i传输阶段内的时刻,为从MEC服务器到用户端i传输阶段的吸收边界,/>为从云服务器到用户端i传输阶段的吸收边界,α2,x和β2,x分别表示采取给定的用户接入指示向量x后在等速率资源分配下从MEC服务器到任一接入用户端传输阶段的漂移系数和扩散系数,α3,x和β3,x分别表示采取给定的用户接入指示向量x后在等速率资源分配下从云服务器到任一接入用户端传输阶段的漂移系数和扩散系数,/>表示在第l个工作周期内MEC服务器命中用户端i所需要缓存的总数据量,/>表示在第l个工作周期内云服务器向用户端i补传的总数据量,/>表示第l个工作周期内缓存在MEC服务器中且被用户端i请求的tile数量,/>表示第l个工作周期内用户端i请求的tile数量,R2,x(t)表示当用户接入指示向量为x,从MEC服务器到任意用户端在等速率资源分配下时刻t的瞬时传输速率,R3,x(t)表示当用户接入指示向量为x,从云服务器到任意用户端在等速率资源分配下时刻t的瞬时传输速率,Cr为视频编码压缩后与编码压缩前的数据量大小比值,s为每个视频数据包的大小,f表示视频帧率,B表示tile中每帧视频的数据量大小,h表示视频渲染后与渲染前的数据量大小比值,E()表示均值,Var()表示方差。
进一步地,对所述目标函数进行优化求解的过程如下:
步骤1:初始化单用户接入指示向量
步骤2:计算
步骤3:对所有满足的单用户接入指示向量xi,按/>从小到大排列xi的接入用户索引,得到可单独接入的用户序列;
步骤4:令用户接入指示向量
步骤5:计算仅x中的待考察用户同时接入时,通过等速率资源分配服务这些用户,得到它们视频数据包从MEC到达任意接入用户端的时间间隔变量的均值与方差V2,x,以及视频数据包从云服务器到达任意接入用户端的时间间隔的均值/>与方差V3,x
步骤6:计算当前用户接入指示向量x下的
步骤7:如果更新x为多接入一个可单独接入用户序列中的下一个考察用户,并转入步骤5;否则,更新x为去掉最后加入的用户;
步骤8:输出x。
基于上述技术方案,本发明具有以下有益技术效果:
1.本发明从综合利用云服务器、边缘计算服务器和用户端的传输、存储和计算三种资源的角度设计基于边缘计算与主动缓存的360度虚拟现实视频用户接入控制系统,该系统联合考虑了视频编码、主动缓存、计算卸载、数据传输对多个用户同时做360度虚拟现实视频业务的服务质量的影响。
2.本发明为基于边缘计算与主动缓存的360度虚拟现实视频用户接入控制系统提出了时延中断概率约束下的最优接入控制问题和相应的决策方法,可在保障每个用户服务质量的前提下,充分利用系统的资源,接入和服务尽可能多的360度虚拟现实视频用户。
附图说明
图1为本发明用户接入控制系统的结构示意图。
图2为本发明用户接入控制系统的工作流程示意图。
图3为本发明用户接入控制系统的视野预测和视频编码示意图。
图4为本发明用户接入控制方法的流程示意图。
具体实施方式
为了更具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示,本发明基于边缘计算与主动缓存的多用户360度虚拟现实视频用户接入控制系统包括云服务器、MEC服务器、I个用户头戴式显示器、云服务器到MEC服务器的多跳有线网络、MEC服务器到每个用户的单跳无线网络、云服务器到每个用户的多跳有线和单跳无线网络。
云服务器包括:
视频储存模块,用于360度虚拟现实视频的存储;
Tile编码和压缩模块,用于360度虚拟现实视频的等距柱状投影,将其划分为N×M个tile,并将每个tile的多个视频帧的数据压缩为一组图片;
Tile选择模块,用于根据显著图得到的视野预测结果,向MEC服务器传输数据包,进行主动缓存;
显著图生成模块:用于根据事先存储的视频数据,通过神经网络生成显著图;
视野预测模块:用于根据显著图预测用户的视野概率分布。
MEC服务器包括:
数据包缓存,用于对来自云服务器的数据包进行缓存;
解码器,用于数据包的解码;
图形处理单元,用于渲染图像,即完成2维视频向360度球面视频的转换;
编码器,用于将在MEC服务器中缓存或计算出来的数据包进行编码、压缩,发送给虚拟现实用户;
命中数据分析模块,用于根据各用户发来的传感器数据确定MEC服务器为每个用户命中的数据,并得到因MEC未命中而需要云服务器给每个用户补传的tile的索引。
用户头戴式显示器包括:
数据包缓存,用于对来自MEC服务器和云服务器的数据包进行缓存;
解码器,用于数据包的解码;
图形处理单元,用于渲染图像,即完成2维视频向360度球面视频的转换,并将数据包组合成视频帧;
显示屏,用于360度虚拟现实视频的播放;
运动传感器,为MEC服务器提供用户真实视野信息。
云服务器到MEC服务器的多跳有线网络,用于云服务器到MEC服务器的数据的传输,其在时刻t的瞬时传输速率为R1(t);
MEC服务器到每个用户的单跳无线网络,用于MEC服务器到用户的数据传输。当用户接入组合为x时,从MEC服务器到任意接入用户在等速率资源分配下,在时刻t的瞬时传输速率记为R2,x(t);
云服务器到每个用户的多跳有线和单跳无线网络,用于云服务器到用户的数据传输。当用户接入组合为x时,从云服务器到任意接入用户在等速率资源分配下,在时刻t的瞬时传输速率为R3,x(t)。
随着网络的动态变化和接入用户组合x的变化,数据包抵达MEC服务器或用户的时间有不同的时延。在不失一般性的前提下,令上述三种网络情况下视频数据包到达时间的间隔变量遵循给定但任意的分布,其均值记为1/λ1、1/λ2,x和1/λ3,x,方差记为V1、V2,x和V3,x,分别表示属于云服务器到MEC服务器的多跳有线网络、接入用户组合x时MEC服务器到每个用户的单跳无线网络、接入用户组合x时云服务器到每个用户的多跳有线和单跳无线网络的传输过程。那么,这些均值和方差由以下公式给出:
其中:s表示每个视频数据包的大小,以比特为单位,E()表示随机变量的均值,Var()表示随机变量的方差。
本发明用户接入控制系统的工作流程如图2所示,系统采用周期性的工作方式,每个周期由缓存阶段和计算与传输阶段组成。视频在时域上进行划分成视频块,每个视频块的时长为D1,并且规定在第l个工作周期,用户所观看的视频的索引为l-1。在缓存阶段,云服务器根据显著图提供的预测结果,向MEC服务器传输数据包,进行主动缓存,缓存阶段时长为每个视频块的时长D1;在计算与传输阶段开始时刻,接入的用户同时向MEC发出视野请求,MEC服务器对数据进行解码和渲染处理并将计算结果传输给每个接入用户i,云服务器将MEC未命中的数据传输给用户i,用户i接收到云端传来的数据后进行处理,并提供给用户进行播放观看,具体过程如下:
(1)MEC服务器的缓存部分:用Z1(t1)表示从本周期的缓存阶段零时刻开始后的时刻t1,MEC服务器中主动缓存的数据包数量。根据扩散过程近似法,用连续过程随机变量X1(t1)代表离散的数据包数Z1(t1),其满足:
其中:是一个均值为零、单位方差的标准正态分布随机变量,α1和β1分别是如下定义的漂移系数和扩散系数:
其中:Δt1表示时间t1的增量。
将X1(t1)在时刻t1的条件概率密度函数p(k,t1|l0)定义为:
p(k,t1l0)=P(k≤X1(t1)<k+dkX1(0)=l0) (6)
其中:l0为初始队列长度。
根据扩散过程分析方法可以得到X1(t1)在时刻t1的条件概率密度函数可表示为:
其中:表示时长D1的缓存阶段内MEC服务器可以缓存的所有N×M个tile的最大数据包数,称之为吸收边界;f表示视频的帧率,B为每个tile每帧的数据量,单位为比特/帧/tile;Cr为视频压缩后与压缩前的数据量大小的比值;把式(7)中的t1用D1代替,即得到MEC服务器缓存数据包达到D1时长时,MEC服务器缓存数据包个数的条件概率密度函数。
MEC服务器在此缓存阶段缓存的tile数量Gl的概率质量函数可以表示为:
其中:坐标为(n,m)的tile在缓存阶段按矩阵Ao,l的各自对应元素ao,l(n,m)的从小到大的顺序进行传输,并且ao,l(n,m)∈{1,2,…,NM},n∈N,m∈M,N={1,2,…,N},M={1,2,…,M};矩阵Ao,l=[ao,l(n,m)]N×M是在缓存阶段根据各个tile预测的请求概率矩阵PR(n,m)=[PR(n,m)]N×M中对应元素从大到小的排序来赋值的,PR(n,m)的计算方法参照后面的式(34)。
缓存矩阵Ac,l=[ac,l(n,m)]N×M用于表示在缓存阶段结束时刻坐标为(n,m)的tile是否被缓存在MEC服务器中,其中:
可以求出Ac,l的概率质量函数为:
(2)用户i的计算与传输阶段:为了利用MEC服务器的计算能力来减小计算子阶段时延,可以由MEC服务器完成数据的解码渲染任务并将数据传输给用户,而云服务器也将会把MEC服务器没有缓存但用户需要的数据发送给用户,最后由用户头戴式显示器完成解码渲染任务以提供用户继续观看。
MEC服务器的计算子阶段:MEC在计算子阶段开始时刻接收每个接入用户i实际的视野请求信息即视野的中心tile的坐标;请求矩阵/>表示每个tile是否在第i个用户的实际视野区域内,满足以下公式:
其中:和/>表示用户i实际视野区域中tile的垂直和水平坐标集合,令N={1,2,…,N},M={1,2,…,M}表示视频平面tile的坐标集合。
因为用户i实际的视野区域可能与视频平面的边界相交,所以有:
其中:k是用户的视野区域在横纵方向包含的tile的数目,
定义表示在第l周期用户i实际请求的视野区域的tile数量,在MEC服务器计算子阶段的开始时刻,根据缓存矩阵Ac,l和用户i的视点信息/>缓存在MEC服务器中同时又被用户i请求的tile数量/>可表示为:
MEC服务器命中用户i所需要的缓存数据量为:
在多个用户向MEC服务器请求自身视野区域tile的过程中,部分tile可能被请求多次,因此定义H(n,m)来表示坐标为(n,m)的tile被多少个用户请求,H(n,m)满足以下公式:
其中:H(n,m)∈{0,1,2,...,I}。
考虑到不同用户命中的tile会有重复,将MEC缓存的tile以H(n,m)为依据进行分类,定义Bq={(n,m)|H(n,m)=q}来表示被q个用户所需要的tile的集合,其中|Bq|∈{0,1,...,(k+1)2},q∈{0,1,2,...,I}。
为充分利用MEC服务器的计算资源,采用按权重分配的策略为所有的Bq分配计算资源,则Bq分配到的计算资源Wq满足以下公式:
其中:WM表示MEC服务器计算能力,单位为比特/秒。
因此Bq需要计算的数据量表示为:
Mq=|Bq|D1fB (18)
MEC服务器所需的计算时延表示为:
由式(19)可见,MEC服务器在这一阶段的计算时间针对于所有用户是一致的,那么MEC服务器的计算时延的条件概率质量函数可表示为:/>
从MEC服务器到用户i的传输子阶段:用表示从MEC服务器到用户i的传输子阶段开始时刻后的时刻t2用户i收到的数据包数量,根据扩散过程近似法,用连续的过程表示离散的数据包随机变量/>其中初始数据包数为0,吸收边界为h表示MEC服务器计算输出和输入之间的数据大小比。
根据式(7),当时,传输时延/>的条件概率密度函数由以下公式给出:
其中:α2,x和β2,x分别为用户接入组合为x时从MEC服务器到任意接入用户在等速率资源分配下传输阶段的漂移系数和扩散系数,计算方法为:
其中:Δt2表示时间t2的增量。
因此,的概率密度函数为:
从云服务器到用户i的传输子阶段:云服务器需要交付给用户i的tile的数据大小可以表示为:
根据式(24),传输时延的条件概率密度函数为:
/>
其中:为由所有需要传输的数据包数表示的吸收边界,α3,x和β3,x分别为用户接入组合为x时从云服务器到任意接入用户在等速率资源分配下传输阶段的漂移系数和扩散系数,计算方法为:
其中:Δt3表示时间t3的增量。
用户i的计算子阶段:用户i的头戴式显示器在收到MEC服务器与云服务器传输的tile后,还需完成云服务器传来的尚未处理数据的解码渲染任务,需要计算的数据的大小为因此可以得到用户i的计算子阶段时延/>的条件概率质量函数,如下所示:
其中:表示用户i头戴式显示器的计算能力,单位为比特每秒。
因此,在一个周期内从用户i发出真实的视野请求到可以重新观看新的视频块的端到端时延的条件概率密度函数可以表示为:
注意到,由于请求矩阵集合Ar,l中的是由每个用户自己决定的,在云服务器根据第l个视频段的显著图计算得到的请求矩阵的概率质量函数P(Ar,l)可被表示为:
其中:表示在第l+1周期开始时用户i的视点落入坐标为(nl,ml)的tile的概率大小。
由于缓存矩阵Ac,l与云服务器到MEC服务器的传输速率分布有关,而请求矩阵集合Ar,l中的是由用户i的视点决定的,所以对于每个用户i,/>和Ac,l都是独立的,因此在第l个周期从用户i发出真实的视野请求到可以重新观看新的视频块的端到端时延的概率密度函数/>可以进一步计算为:/>
当从用户i发出真实的视野请求到可以重新观看新的视频块的端到端时延大于预设的时延阈值Dth时,用户会感到头晕,体验质量会显著降低。因此,当用户接入组合为x时,时延中断概率可以定义为从用户i发出真实的视野请求到可以重新观看新的视频块的端到端时延/>大于阈值的概率,公式如下:
其中:L为播放视频的总周期数。
图3所示了360度视频块(也称为球形视频块)如何被编码成tile以及视野预测的结果。最初,帧率为f的360度移动虚拟现实视频块l通过等距柱状投影投射到一个二维视频平面上,其角度范围为180°×360°;然后,将其划分为N×M个tile,每帧tile的数据大小为B比特/tile/帧。由于云服务器中的编码和压缩利用了时间和空间的依赖性,用户的头戴式显示器或MEC服务器需要一个tile的所有视频帧的数据包来进行正确解码;不同的tile独立进行编码和压缩,即使视野区域只覆盖部分tile,也需要传输该完整的tile。通常情况下,如果用户的视野区域面积为k×k个tile,那么请求区域面积会是(k+1)2个tile大小,并且视点可能落在视频平面的任何tile中。
在周期l的缓存阶段开始时刻,云服务器利用显著图得到第l+1周期用户的视野预测结果。对于显著图,云服务器可以利用文献[L.Bazzani,Recurrent mixture densitynetwork for spatiotemporal visual attention,ICLR,2017,pp.1-17]中提出的Convolution neural network(CNN)+Long short-term memory(LSTM)+Gaussian mixturemodel(GMM)显著图网络来生成,其具体神经网络结构可以表示为:C64-P-C128-P-C256-C256-P-C512-C512-P-C512-P-FC4096-FC4096-softmax,其中C、P、FC和softmax分别表示三维卷积层、池化层、全连接层和softmax函数网络层,上述字母后面的数字表示相关层的核数(如C64表示有64个核),LSTM网络的视频帧滑动窗口为16个视频帧,高斯分布的数量设置为20个。然后,云服务器可以使用文献[M.Xu,Predicting head movement in panoramicvideo:A deep reinforcement learning approach,IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.41,no.11,pp.2693-2708,Nov.2019]中提出的LSTM视点预测网络,利用滑动窗口内过去16个视频帧的显著图生成未来视频帧的各个tile的被观看概率矩阵PF(nl,ml)=[PF(nl,ml)]N×M,元素PF(nl,ml)表示坐标为(nl,ml)的tile被观看的概率。因为PF(nl,ml)仅由显著图得到,所以PF(nl,ml)可以线下提前计算,且对所有接入用户i都满足/>
由于预测的视野区域可能会与视频平面的边界相交,因此预测视野区域的tile坐标集合定义为:
其中:N={1,2,…,N}和M={1,2,…,M}表示视频平面tile的垂直和水平方向的坐标集合。
然后,请求概率矩阵被定义为PR(n,m)=[PR(n,m)]N×M,其中:
表示在下一个周期开始时刻,坐标为(n,m)的tile至少有一部分落在视野区域内的概率,n∈N,m∈M。
为了最大限度地利用带宽资源并保障用户的服务质量,本发明还提出了基于边缘计算与主动缓存的360度虚拟现实视频用户接入控制方法,如图4所示。考虑有I个用户希望同时接入系统观看相同的360度虚拟现实视频,即需要从2I个接入策略中找到最佳的用户接入决策;为了在保证每个接入用户服务质量的前提下最大化系统服务的用户数,可用下面优化问题决策用户接入控制策略:
其中,x=(x1,x2,...,xI)是用于指示是接入用户的向量,xi=1表示考虑接入用户i,xi=0表示不接入用户i,i=1,2,…,I;1(·)是指示函数,当事件Event为真时,1(Event)=1,当事件Event为假时,1(Event)=0;表示当给定用户接入组合时用户i的时延中断概率;δ是为了保障360度虚拟现实视频用户服务质量需要保证的时延中断概率门限。
该用户接入控制优化问题可用如下算法求解:
步骤1:初始化
步骤2:计算
步骤3:对所有满足的单用户接入组合xi,按/>从小到大排列xi的接入用户索引,得到可单独接入的用户序列i1,i2,…,iI’
步骤4:令用户接入组合
步骤5:计算仅用户接入组合x中的待考察用户同时接入时,通过等速率资源分配服务这些用户,得到它们视频数据包从MEC到达任意接入用户的时间间隔变量的均值与方差V2,x,以及视频数据包从云服务器到达任意接入用户的时间间隔的均值/>与方差V3,x
步骤6:计算当前用户接入组合时的
步骤7:如果更新x为多接入一个可单独接入用户序列中的下一个考察用户,转步骤5;否则,更新x为去掉最后加入的用户;
步骤8:输出x。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (2)

1.一种360度虚拟现实视频用户接入控制系统的用户接入控制方法,所述系统包括云服务器、MEC服务器以及多个用户端,其中:
所述云服务器存储有360度虚拟现实视频并通过神经网络生成对应的显著图,在对视频进行编码时采用等距柱状投影的方式将其划分为N×M个tile,并将每个tile多个视频帧的数据压缩为一组图片序列,N和M均为自定义的自然数;同时云服务器根据显著图做进行预测,并向MEC服务器传输相应的视频数据包或直接将视频数据包发送给对应的用户端;
所述MEC服务器对云服务器下发的视频数据包进行缓存、解码和渲染后将视频数据发送给对应的用户端;
所述用户端用于收集不同用户的运动传感数据并上传给MEC服务器,同时对云服务器提供的视频数据包进行解码计算,完成2维视频向360度球面视频的转换并进行播放;
系统采用周期性的工作方式,每个周期由缓存阶段和计算与传输阶段组成,视频数据在时域上进行划分,分为多个视频块,每个视频块的时长为D1,并且规定在第l个工作周期内每个接入用户同时观看的视频块索引为l-1,l为大于1的自然数;在缓存阶段,云服务器根据视野预测结果向MEC服务器传输相应的视频数据包,缓存阶段时长为一个视频块时长即D1;在计算与传输阶段开始时刻,不同的用户端向MEC服务器发出视野请求,MEC服务器根据每个tile被不同用户命中的次数,按比例分配计算资源用于tile的计算卸载,并对相应的视频数据包进行解码处理后将视频数据传输给用户端,传输时按等速率为每个用户提供传输服务,不同用户端接收到来自MEC服务器或云服务器的数据后,将其中未解码的视频数据包进行解码处理并播放;
所述用户接入控制方法的特征在于:若有I个用户希望同时接入系统观看相同的360度虚拟现实视频,即需要从2I个接入策略中找到用户最佳的接入策略;为了在保证每个接入用户服务质量的前提下最大化系统服务的用户数,通过以下目标函数决策用户接入策略:
其中:x=(x1,x2,...,xI)为用户接入指示向量即对应一组接入策略,xi=1表示接入用户端i,xi=0表示不接入用户端i,i=1,2,…,I;1()为指示函数,当事件Event为真时,1(Event)=1;当事件Event为假时,1(Event)=0;表示采取给定的用户接入指示向量x后用户端i的时延中断概率,δ为用于保障接入用户服务质量的时延中断概率门限;
所述时延中断概率的计算表达式如下:
其中:L为播放视频的总周期数,为系统在第l个工作周期从用户端i发出视野请求到其可以播放第l个视频块的端到端时延,/>为关于/>的概率密度函数,Dth为给定的时延阈值,tl表示第l个工作周期内的时刻,D2,l为第l个工作周期中MEC服务器计算阶段的时延,/>为第l个工作周期中从MEC服务器到用户端i传输阶段的时延,/>为第l个工作周期中从云服务器到用户端i传输阶段的时延,/>为第l个工作周期中用户端i计算阶段的时延;
所述概率密度函数的表达式如下:
其中:Ac,l为缓存矩阵且Ac,l=[ac,l(n,m)]N×M,其中的元素值ac,l(n,m)表示在第l个工作周期缓存阶段结束时刻坐标为(n,m)的tile在MEC服务器中的缓存情况,ac,l(n,m)=1表示该tile被MEC服务器缓存,ac,l(n,m)=0表示该tile未被MEC服务器缓存;表示采取给定的用户接入指示向量x后用于刻画所有接入用户在第l个工作周期开始时视野位置的请求矩阵集合,/>为接入用户端i的请求矩阵且其中的元素值/>表示在第l个工作周期开始时坐标为(n,m)的tile是否在用户i的视野区域内,/>表示该tile在用户i的视野区域内,表示该tile不在用户i的视野区域内;Gl表示在第l个工作周期缓存阶段MEC服务器缓存的tile数量,g表示Gl在其状态空间Gl中的任一取值,每一个已知的缓存矩阵Ac,l均对应一个确定的g,/>表示Gl的概率分布;/>表示在第l+1个工作周期开始时用户i的视点落入坐标为/>的tile中的概率,N={1,2,…,N},M={1,2,…,M};/>表示在已知缓存矩阵Ac,l和请求矩阵Ar,l的情况下/>的条件概率密度函数;
所述概率分布的表达式如下:
β1=(α1)3V1/>
其中:f表示视频帧率,B表示tile中每帧视频的数据量大小,Cr为视频编码压缩后与编码压缩前的数据量大小比值,s为每个视频数据包的大小,R1(t)表示从云服务器到MEC服务器之间网络的瞬时传输速率,b1为从云服务器到MEC服务器传输阶段的吸收边界,α1和β1分别为从云服务器到MEC服务器传输阶段的漂移系数和扩散系数,E()表示均值,Var()表示方差,p(k,D1|0)表示当MEC服务器缓存数据包达到D1时长时缓存数据包个数k的条件概率密度函数;
所述条件概率密度函数的表达式如下:
β2,x=(α2,x)3V2,x/>
β3,x=(α3,x)3V3,x/>
其中:t2表示第l个工作周期从MEC服务器到用户端i传输阶段内的时刻,t3表示第l个工作周期从云服务器到用户端i传输阶段内的时刻,为从MEC服务器到用户端i传输阶段的吸收边界,/>为从云服务器到用户端i传输阶段的吸收边界,α2,x和β2,x分别表示采取给定的用户接入指示向量x后在等速率资源分配下从MEC服务器到任一接入用户端传输阶段的漂移系数和扩散系数,α3,x和β3,x分别表示采取给定的用户接入指示向量x后在等速率资源分配下从云服务器到任一接入用户端传输阶段的漂移系数和扩散系数,/>表示在第l个工作周期内MEC服务器命中用户端i所需要缓存的总数据量,/>表示在第l个工作周期内云服务器向用户端i补传的总数据量,/>表示第l个工作周期内缓存在MEC服务器中且被用户端i请求的tile数量,/>表示第l个工作周期内用户端i请求的tile数量,R2,x(t)表示当用户接入指示向量为x,从MEC服务器到任意用户端在等速率资源分配下时刻t的瞬时传输速率,R3,x(t)表示当用户接入指示向量为x,从云服务器到任意用户端在等速率资源分配下时刻t的瞬时传输速率,Cr为视频编码压缩后与编码压缩前的数据量大小比值,s为每个视频数据包的大小,f表示视频帧率,B表示tile中每帧视频的数据量大小,h表示视频渲染后与渲染前的数据量大小比值,E()表示均值,Var()表示方差。
2.根据权利要求1所述的用户接入控制方法,其特征在于:对所述目标函数进行优化求解的过程如下:
步骤1:初始化单用户接入指示向量
步骤2:计算
步骤3:对所有满足的单用户接入指示向量xi,按/>从小到大排列xi的接入用户索引,得到可单独接入的用户序列;
步骤4:令用户接入指示向量
步骤5:计算仅x中的待考察用户同时接入时,通过等速率资源分配服务这些用户,得到它们视频数据包从MEC到达任意接入用户端的时间间隔变量的均值与方差V2,x,以及视频数据包从云服务器到达任意接入用户端的时间间隔的均值/>与方差V3,x
步骤6:计算当前用户接入指示向量x下的
步骤7:如果更新x为多接入一个可单独接入用户序列中的下一个考察用户,并转入步骤5;否则,更新x为去掉最后加入的用户;
步骤8:输出x。
CN202310110818.8A 2023-01-16 2023-01-16 360度虚拟现实视频用户接入控制系统及控制方法 Active CN116320354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310110818.8A CN116320354B (zh) 2023-01-16 2023-01-16 360度虚拟现实视频用户接入控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310110818.8A CN116320354B (zh) 2023-01-16 2023-01-16 360度虚拟现实视频用户接入控制系统及控制方法

Publications (2)

Publication Number Publication Date
CN116320354A CN116320354A (zh) 2023-06-23
CN116320354B true CN116320354B (zh) 2023-09-29

Family

ID=86787955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310110818.8A Active CN116320354B (zh) 2023-01-16 2023-01-16 360度虚拟现实视频用户接入控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN116320354B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172710A (zh) * 2017-04-23 2017-09-15 西安电子科技大学 一种基于虚拟子网的资源分配和业务接入控制方法
CN110248212A (zh) * 2019-05-27 2019-09-17 上海交通大学 多用户360度视频流服务器端码率自适应传输方法及系统
WO2020216135A1 (zh) * 2019-04-25 2020-10-29 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN112333702A (zh) * 2020-10-30 2021-02-05 杭州哲达科技股份有限公司 一种基于安全noma移动边缘计算的延迟最小化的优化方法
CN112492626A (zh) * 2020-12-07 2021-03-12 南京邮电大学 一种移动用户计算任务的卸载方法
CN112860350A (zh) * 2021-03-15 2021-05-28 广西师范大学 一种边缘计算中基于任务缓存的计算卸载方法
CN112995636A (zh) * 2021-03-09 2021-06-18 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN114640870A (zh) * 2022-03-21 2022-06-17 陕西师范大学 一种QoE驱动的无线VR视频自适应传输优化方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172710A (zh) * 2017-04-23 2017-09-15 西安电子科技大学 一种基于虚拟子网的资源分配和业务接入控制方法
WO2020216135A1 (zh) * 2019-04-25 2020-10-29 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN110248212A (zh) * 2019-05-27 2019-09-17 上海交通大学 多用户360度视频流服务器端码率自适应传输方法及系统
CN112333702A (zh) * 2020-10-30 2021-02-05 杭州哲达科技股份有限公司 一种基于安全noma移动边缘计算的延迟最小化的优化方法
CN112492626A (zh) * 2020-12-07 2021-03-12 南京邮电大学 一种移动用户计算任务的卸载方法
CN112995636A (zh) * 2021-03-09 2021-06-18 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN112860350A (zh) * 2021-03-15 2021-05-28 广西师范大学 一种边缘计算中基于任务缓存的计算卸载方法
CN114640870A (zh) * 2022-03-21 2022-06-17 陕西师范大学 一种QoE驱动的无线VR视频自适应传输优化方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Design and Analysis of MEC- and Proactive Caching-Based 360◦ Mobile VR Video Streaming;Qi Cheng等;IEEE Transactions on Multimedia;全文 *
基于移动边缘计算的虚拟现实压缩与传输系统;谭彬;赵嵩源;吴俊;张文茹;;通信学报(第04期);全文 *

Also Published As

Publication number Publication date
CN116320354A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN112995636B (zh) 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
Chakareski Viewport-adaptive scalable multi-user virtual reality mobile-edge streaming
Cheng et al. Design and Analysis of MEC-and Proactive Caching-Based $360^{\circ} $ Mobile VR Video Streaming
Sun et al. Flocking-based live streaming of 360-degree video
Liu et al. Rendering-aware VR video caching over multi-cell MEC networks
US11831883B2 (en) QoE-based adaptive acquisition and transmission method for VR video
CN114640870B (zh) 一种QoE驱动的无线VR视频自适应传输优化方法及系统
Zhou et al. QoE-aware 3D video streaming via deep reinforcement learning in software defined networking enabled mobile edge computing
Yan et al. Multipoint cooperative transmission for virtual reality in 5G new radio
Huang et al. Toward holographic video communications: a promising AI-driven solution
Yu et al. Co-optimizing latency and energy with learning based 360 video edge caching policy
Sun et al. Live 360 degree video delivery based on user collaboration in a streaming flock
Liu et al. Rendered tile reuse scheme based on FoV prediction for MEC-assisted wireless VR service
Huang et al. ISCom: Interest-aware semantic communication scheme for point cloud video streaming
CN116320354B (zh) 360度虚拟现实视频用户接入控制系统及控制方法
Ramanathan et al. Rate-distortion optimized interactive light field streaming
Li et al. Utility-driven joint caching and bitrate allocation for real-time immersive videos
Mahmoud et al. A review of deep learning solutions in 360 video streaming
Yang et al. Intelligent cache and buffer optimization for mobile VR adaptive transmission in 5G edge computing networks
Huang et al. Joint optimization of task scheduling and computing resource allocation for VR video services in 5G‐advanced networks
CN114095756B (zh) 基于长期视野预测的自适应全景视频流传输系统及其方法
CN113115077B (zh) 一种静态点云服务器码率自适应传输方法及系统
Tan et al. DACOD360: Deadline-Aware Content Delivery for 360-Degree Video Streaming Over MEC Networks
Xia et al. Multi-MEC cooperation based VR video transmission and cache using K-shortest paths optimization
Maniotis et al. Smart caching for live 360° video streaming in mobile networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant