CN112911614A - 基于动态请求d2d网络中的协作编码缓存方法 - Google Patents

基于动态请求d2d网络中的协作编码缓存方法 Download PDF

Info

Publication number
CN112911614A
CN112911614A CN202110036543.9A CN202110036543A CN112911614A CN 112911614 A CN112911614 A CN 112911614A CN 202110036543 A CN202110036543 A CN 202110036543A CN 112911614 A CN112911614 A CN 112911614A
Authority
CN
China
Prior art keywords
content
user
network
caching
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110036543.9A
Other languages
English (en)
Other versions
CN112911614B (zh
Inventor
林鹏
马云鹏
宋清洋
亓伟敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110036543.9A priority Critical patent/CN112911614B/zh
Publication of CN112911614A publication Critical patent/CN112911614A/zh
Application granted granted Critical
Publication of CN112911614B publication Critical patent/CN112911614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0215—Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明请求保护一种基于动态请求D2D网络中的协作编码缓存方法，其包括以下步骤：步骤1、搭建网络架构；步骤2、建立D2D网络中的用户内容分享模型；步骤3、将网络中的内容通过最大可分码MDS处理；步骤4、用户获得内容包；步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时；步骤6、分析用户的动态请求；步骤7、将D2D网络中的编码缓存问题建立为马尔科夫决策过程MDP；步骤8、计算缓存奖励的平均值；步骤9、以最大化总时间缓存奖励的平均值为优化目标，建立优化问题；步骤10、提出基于Q‑learning的协作编码缓存算法进行求解。本发明方法减少了缓存冗余，缓解了基站流量负载压力。

Description

基于动态请求D2D网络中的协作编码缓存方法
技术领域
本发明属于无线通信技术领域，具体涉及一种基于动态请求D2D网络中的 协作编码缓存方法。
背景技术
随着无线网络技术的发展和云应用的普及，内容多样性和移动数据流量呈 爆炸式增长。移动数据流量目前呈指数级的速度增长，这种快速增长导致回程 链路负担加重，降低了移动蜂窝网络中用户的服务质量(Quality of service，QoS)， 为了解决这个问题，缓存技术引起了极大的关注，因为它可以通过消除流行内 容的多次重复数据传输来有效地减少回程流量。缓存技术的核心思想是将内容 放在不同的位置，以避免出现因同时请求该内容所导致的通信链路拥堵，其本 质是以空间换取时间的技术。
移动端设备发展之迅猛已经使我们不能忽视未来移动设备在网络中的作用， 以移动设备为中心的设备直通(Device-to-Device，D2D)通信由于可以使设备 的直接相互通信成为研究热点。尤其，D2D通信作为蜂窝网络的底层网络，可 帮助蜂窝网络负担较高的流量卸载，为用户带来更快、更好的体验质量(Quality of Experience，QoE)。缓存技术因可在非顶峰时期将核心网中流行内容与放置 在小型基站、用户设备中，以减少顶峰时期用户的大量请求带来的网络拥堵。 将缓存技术应用在D2D网络中可大大加强缓存技术的优势。
目前，在这大数据时代，流媒体视频内容越来越大。但是用户的存储空间 有限，用户无法缓存所有需要的内容。同时，由于传输容易中断，用户很难从 其他用户那里获得完整的内容。将内容分段编码是解决这些问题的一种很有前 途的方法，可以有效地提高缓存空间的利用率，提高用户的QoE。当将完整的 内容分割成多个内容段，便于用户通过D2D获取和内容传输。
但是，针对D2D网络中的缓存研究研究仍存在一些不足，D2D网络中用户 缺乏有效的协作方式，且在用户请求状态动态变化条件下的编码缓存策略如何 制定是研究较少的，这导致D2D网络中用户设备缓存效率降低，同时产生大量 缓存冗余，进而产生用户设备的缓存容量被浪费的情况。所以，本发明将以此 为切入点，提出一种基于动态请求D2D网络中的协作编码缓存方法，挖掘D2D 网络中用户间的协作性，以减少内容传输延时、提高缓存命中率作为目标，设 计协作编码缓存算法。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种减少缓存冗余，缓解基站 流量负载压力的基于动态请求D2D网络中的协作编码缓存方法。本发明的技术 方案如下：
一种基于动态请求D2D网络中的协作编码缓存方法，其包括以下步骤：
步骤1、搭建网络架构；基于动态请求D2D网络包括两层网络，由基站构 成的蜂窝网络与用户设备组成的D2D网络，其中用户对内容的请求具有动态变 化的特征，基站可满足用户对内容的需求；
步骤2、建立D2D网络中的用户内容分享模型；
步骤3、将网络中的内容通过最大可分码MDS处理，得到多个内容包，MDS 编码将内容fk先分成
Figure BDA0002894568670000021
个相等内容片段再编为
Figure BDA0002894568670000022
个互相独立、无重复的内容包；
步骤4、用户获得内容包；
步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时；
步骤6、分析用户的动态请求，用户请求将受内容流行度会影响有多个请求 状态，该现象遵循有限状态的马尔可夫过程，为了获得用户变化的请求状态， 通过观察实时内容请求来判断每个内容的受欢迎程度；
步骤7、将D2D网络中的编码缓存问题建立为马尔科夫决策过程MDP， MDP问题定义为一个元组
Figure BDA0002894568670000023
Figure BDA0002894568670000024
是网络中所有用户可能状态的集合，
Figure BDA0002894568670000025
是所有用户的可行缓存行为的行为集合，
Figure BDA0002894568670000026
代表奖励函数；
步骤8、计算缓存奖励的平均值；
步骤9、以最大化总时间缓存奖励的平均值为优化目标，建立优化问题；
步骤10、为寻找最优缓存策略，同时为应对网络中的大量用户和内容，提 出基于Q-learning的协作编码缓存算法进行求解。
进一步的，所述步骤2、建立D2D网络中的用户内容分享模型，具体如下：
步骤2-1、判断网络中的用户能否建立D2D通信，判断过程如下：
||li-lj||＜Rd (1)
其中，i表示用户ui，j表示用户uj，li表示用户ui的物理位置，lj表示用户uj的物理位置，Rd是D2D通信的最大距离；
步骤2-2、为每个用户寻找可建立D2D通信的潜在用户集合，表示为如下：
N(i)＝{i|i∈U,||li-lj||＜Rd} (2)
其中，U表示所有用户的集合；
进一步的，所述步骤4、用户获得内容包过程如下：
步骤4-1、当用户ui对内容fk发出请求时，用户ui首先查看本地缓存中是否 缓存了fk的内容包；
步骤4-2、然后通过D2D网络从其他用户处获取内容包；
步骤4-3、如果用户ui收集的内容包总数大于
Figure BDA0002894568670000031
则用户ui将能够恢复出完 整的内容fk，否则，用户ui将从基站获取其他内容包以到达到
Figure BDA0002894568670000032
来恢复内容。
进一步的，所述步骤5、计算在D2D传输过程中、基站向用户传输过程的内 容传输延时，具体如下：
步骤5-1、利用信噪比来估算内容传输的传输速率，则D2D链路以及基站 的信噪比分别表示为：
Figure BDA0002894568670000033
Figure BDA0002894568670000034
其中，PD2D、PBS分别是用户和基站内容传输的传输功率，
Figure BDA0002894568670000035
是高斯白噪声 的均方差，GD2D、GBS则代表是D2D和基站的信道增益；
步骤5-2、计算D2D和基站的信道增益，表示如下：
GD2D＝κ·dD2D -ε (5)
GBS＝κ·dBS -ε (6)
其中，κ表示路径损耗常数，ε表示路径损耗指数，d表示路径距离；
步骤5-3、计算用户通过D2D或者基站获得内容的下载速率，表示如下：
RD2D＝WD2Dlog2(1+SNRD2D) (7)
RBS＝WBSlog2(1+SNRBS) (8)
其中，WD2D，WBS表示D2D链路和基站与用户间链路的分配带宽；
步骤5-4、得到用户ui通过D2D链路或者基站获得内容包的传输延时，表示 如下：
Figure BDA0002894568670000041
Figure BDA0002894568670000042
其中，
Figure BDA0002894568670000043
为内容fk的第g个内容包的尺寸大小；
步骤5-5、以用户从基站获取内容的下载速率为标准，排除下载速率低于用 户从基站获取内容的下载速率，筛选传输内容的用户，基于用户ui的潜在用户集 合，得到用户ui的邻近用户集合N′(i)，表示如下：
Figure BDA0002894568670000044
进一步的，所述步骤6为了获得用户变化的请求状态，可以通过观察实时 内容请求来判断每个内容的受欢迎程度；，表示如下：
Figure BDA0002894568670000045
进一步的，所述步骤8、计算缓存奖励的平均值，过程如下：
步骤8-1、每次缓存行为带来的网络中可减少的平均传输延时作为缓存奖励， 在时间周期t内用户ui请求内容fk的第g个内容包可减少的内容传输延时，表示 如下：
Figure BDA0002894568670000051
其中，
Figure BDA0002894568670000052
表示用户ui向基站请求内容fk的第g个内容包的传输延时，
Figure BDA0002894568670000053
则表示用户ui获得该内容包的实际内容传输延时；
步骤8-2、计算用户ui恢复内容fk的可减少的内容传输延时，表示如下：
Figure BDA0002894568670000054
Figure BDA0002894568670000055
表示恢复内容fk所需要内容包的最小数量；
步骤8-3、计算用户ui多次恢复请求的内容可减少的内容传输延时，表示如 下：
Figure BDA0002894568670000056
F表示网络中所有内容的集合；
步骤8-4、计算总时间缓存奖励，表示如下：
Figure BDA0002894568670000057
其中，α为折扣系数；T表示总的时间周期数；
Figure BDA0002894568670000058
表示用户ui在时间周期t 时的请求状态；
步骤8-4、计算总时间缓存奖励的平均值，表示如下：
Figure BDA0002894568670000059
进一步的，所述步骤9、以最大化总时间缓存奖励的平均值为优化目标，建 立优化问题，表示如下：
Figure BDA00028945686700000510
Figure BDA0002894568670000061
其中，
Figure BDA0002894568670000062
表示内容fk的内容包集合；
Figure BDA0002894568670000063
表示内容fk的第g个内容包的大 小；
Figure BDA0002894568670000064
表示用户ui是否缓存了内容fk的第g个内容包；π表示缓存策略；Π表示 所有缓存策略的集合；
其中限制条件C1为缓存容量的限制，限制条件C2为二元缓存变量；
进一步的，所述步骤10、为寻找最优缓存策略，同时为应对网络中的大量 用户和内容，提出基于Q-learning的协作编码缓存算法进行求解，具体包括：
步骤10-1、设定初始参数；
设定初始时间周期，设定用户的请求初始状态、折扣参数和学习速率，设 定网络内用户数量及内容数量，设定初始Q值；
步骤10-2、通过∈-greedy算法来选择用户的缓存行为；
步骤10-3、缓存内容包决策；
基于用户的缓存行为，在满足用户缓存空间的限制下，寻找使优化目标可 减少的延时边际值最大的和内容包，具体如下：
Figure BDA0002894568670000065
步骤10-4、评估每一次缓存行为获得的缓存奖励；
步骤10-5、更新Q表以及策略；
步骤10-6、判断迭代次数是否达到最大时间周期数，若是执行步骤10-7， 否则，返回步骤10-2；
步骤10-7、得到最优的缓存策略。
进一步的，所述步骤10-2、通过∈-greedy算法来选择用户的缓存行为；
首先选择一个随机的概率θ，将θ与网络中设定的探索概率进行比较，如果
Figure BDA0002894568670000066
那么系统会选择用户已有的缓存行为再次学习，反之，当
Figure BDA0002894568670000067
时，系统 会选择用户的一个新缓存行为进行学习。
本发明的优点及有益效果如下：
本发明为一种基于动态请求D2D网络中的协作编码缓存方法，是在D2D通 信技术与无线网络缓存技术的基础上提出的。首先，网络中的内容通常被考虑 成完整的，但是随着大数据时代的到来，内容变得越来越大，有时会造成D2D 通信的中断，所以本方案利用内容编码的方式解决这个问题，同时又发现网络 中不同的用户会缓存相同的内容，造成缓存冗余，这就需要加强用户间的协作， 通过信息交互降低缓存冗余；此外目前大量缓存方案设计中往往以齐夫分布来 描述用户的内容请求规律，即设定网络在某个时间内的流行度是不会发生改变 的，但这与现实生活相违背，因为用户的请求状态是实时变化的。所以，本发 明通过对用户请求状态动态变化进行分析，实时对用户请求状态进行学习预测， 以此为基础，设计协作编码缓存策略。首先采用编码缓存，利用MDS将内容进 行分段编码处理后，可满足用户的多样性需求、节省用户设备的缓存空间，提 高传输的可靠性，降低链路拥堵情况，同时又加强了用户之间协作性，降低网 络的缓存冗余度，提升缓存命中率，为网络中的用户带来更好地体验质量。其 次，设计的协作编码缓存算法可以应用于大规模的网络，收敛速度较快，解决 了算法维数爆炸的问题。因此本发明可以满足用户对内容的多样性需求，有效 降低了内容传输延时、提高缓存命中率。
附图说明
图1是本发明提供优选实施例的网络系统架构示意图；
图2为本发明一种实施例的用户缓存决策过程图；
图3为本发明一种实施例的D2D网络中智能体与环境交互图；
图4为本发明一种实施例的平均传输延时与用户缓存空间大小关系曲线图；
图5为本发明一种实施例的缓存命中率与用户缓存空间大小关系曲线图；
图6为本发明一种实施例的平均传输延时与网络中内容数量关系曲线图；
图7为本发明一种实施例的缓存命中率与网络中内容数量关系曲线图；
图8为基于动态请求D2D网络中的协作编码缓存方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明基于D2D网络的系统模型，其中包括基站以及大量用户设备，用户 之间可进行D2D通信进行内容的分享。本发明主要解决用户间的缓存资源分配 问题，以提高网络的缓存资源利用率和用户的QoE。利用强化学习中的Q-learning 算法对用户的动态请求进行学习预测，随后利用MDS编码对内容分段编码处理 得到内容包。以此为基础设计基于动态请求D2D网络中的协作编码缓存方法， 降低了内容传输延时、提高缓存命中率。
一种基于动态请求D2D网络中的协作编码缓存方法，包括以下步骤：
步骤1、搭建网络架构；基于动态请求的D2D网络架构如图1所示，该架 构包括两层网络，由基站构成的蜂窝网络与用户设备组成的D2D网络，其中用 户对内容的请求具有动态变化的特征，基站可满足用户对内容的需求；
步骤2、建立D2D网络中的用户内容分享模型，具体如下：
在D2D网络中，每个用户都是具有移动的特性，此时建立D2D就需要感知 周围有哪些用户。通过发现这些用户，建立D2D通信链路进行内容分享和数据 资源传输。如今，网络中的用户密度变得越来越紧密。考虑用户在移动过程的 物理位置作为度量，因为用户是不断移动的，物理位置所对应的坐标就会实时 变化，而D2D通信是有物理距离的限制的。当在D2D网络中包含大量的移动用 户，移动用户间的距离便决定了它们之间是否有建立D2D的可能性。
步骤2-1、判断网络中的用户能否建立D2D通信，判断过程如下：
||li-lj||＜Rd (1)
其中，其中，i表示用户ui，j表示用户uj，li表示用户ui的物理位置，lj表示 用户uj的物理位置，Rd是D2D通信的最大距离；
步骤2-2、为每个用户寻找可建立D2D通信的潜在用户集合，表示为如下：
N(i)＝{i|i∈U,||li-lj||＜Rd} (2)
步骤3、将网络中的内容通过最大可分码(maximum distance separable，MDS) 处理，得到多个内容包，MDS编码将内容fk先分成
Figure BDA0002894568670000091
个相等内容片段再编为
Figure BDA0002894568670000092
个 互相独立、无重复的内容包，用户收集任意
Figure BDA0002894568670000093
个内容包
Figure BDA0002894568670000094
就可以恢复出完整的 内容fk；
步骤4、用户获得内容包过程如下：
步骤4-1、当用户ui对内容fk发出请求时，用户ui首先查看本地缓存中是否 缓存了fk的内容包；
步骤4-2、然后通过D2D网络从其他用户处获取内容包；
步骤4-3、如果用户ui收集的内容包总数大于
Figure BDA0002894568670000095
则用户ui将能够恢复出完 整的内容fk。否则，用户ui将从基站获取其他内容包以到达到
Figure BDA0002894568670000096
来恢复内容；
步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时， 表示如下：
步骤5-1、利用信噪比来估算内容传输的传输速率，D2D链路以及基站的信 噪比分别表示为：
Figure BDA0002894568670000097
Figure BDA0002894568670000098
其中，PD2D、PBS分别是用户和基站内容传输的传输功率，
Figure BDA0002894568670000099
是高斯白噪声 的均方差，GD2D、GBS则代表是D2D和基站的信道增益；
步骤5-2、计算D2D和基站的信道增益，表示如下：
GD2D＝κ·dD2D -ε (5)
GBS＝κ·dBS -ε (6)
其中，κ表示路径损耗常数，ε表示路径损耗指数，d表示路径距离；
步骤5-3、计算用户通过D2D或者基站获得内容的下载速率，表示如下：
RD2D＝WD2Dlog2(1+SNRD2D) (7)
RBS＝WBSlog2(1+SNRBS) (8)
其中，WD2D，WBS表示D2D链路和基站与用户间链路的分配带宽；
步骤5-4、得到用户ui通过D2D链路或者基站获得内容包的传输延时，表示 如下：
Figure BDA0002894568670000101
Figure BDA0002894568670000102
其中，
Figure BDA0002894568670000103
为内容fk的第g个内容包的尺寸大小；
步骤5-5、以用户从基站获取内容的下载速率为标准，排除下载速率低于用 户从基站获取内容的下载速率，进一步筛选传输内容的用户，基于用户ui的潜在 用户集合，得到用户ui的邻近用户集合N′(i)，表示如下：
Figure BDA0002894568670000104
步骤6、分析用户的动态请求；
将时间分成多个时间周期，即t＝1,2,...,T，并假设每个时间周期足够大，在 一个时间周期内可以完成内容的检索和交付。每当一个时间周期结束后，网络 中的用户会更新自己所缓存的内容方便下一个时间周期的传输。
在现实生活中，用户的请求状态是会随时间变化的，也就是说一天内的内 容流行度会不断发生变化。在凌晨的时候，用户都处于睡眠状态，对内容的请 求都较少，随着时间推移，当到了白天工作学习和晚上休息的时候，网络的负 载将达到最大，此时用户的请求也会达到顶峰，对流行的内容需求更大。还有 一种特殊情况是当出现某些受关注度较高的事件时，多数用户都会因好奇而打 开该视频，此时该内容的流行度较高。所以内容的流行度会影响用户对内容的 请求状态，也是用户决定是否缓存内容的标准之一。
内容流行度是符合Zipf分布的，内容受欢迎的程度可表示为：
Figure BDA0002894568670000111
其中，r是分布参数，决定内容受欢迎的程度；fv是内容被用户请求频率的排序。需要注意的是每个内容的内容包在网络用户中的受欢迎程度是相同的，但不同 的用户的请求是相互独立的。
用户请求将受内容流行度会影响有多个请求状态，该现象遵循有限状态的 马尔可夫过程，首先定义时间周期t内的用户ui请求内容的行为可以描述为1×G 的请求向量Pi t，其中的组成元素
Figure RE-GDA0003024596380000112
表示时间周期t内的用户ui请求内 容fk的内容包g平均期望。所以用户的请求状态遵循状态集合为
Figure RE-GDA0003024596380000113
的马尔可夫过程，其中，Pm(rm)代表用户请求状态 中的第m个状态由Zipf分布Pk的分布参数r构造，且用户的请求状态共有M个。 为了获得用户变化的请求状态，可以通过观察实时内容请求来判断每个内容的 受欢迎程度，表示如下：
Figure BDA0002894568670000114
步骤7、将D2D网络中的编码缓存问题建立为马尔科夫决策过程(Markov decisionprocess，MDP)，MDP问题可以定义为一个元组
Figure BDA0002894568670000115
Figure BDA0002894568670000116
是网络中所有用户可能状态的集合，定义si为用户ui的状态集合，可表示 为si＝{si(P1(r1)),...,si(Pm(rm)),...,si(PM(rM))}，用户们si的所有状态构成了整个系统的状态。
Figure BDA0002894568670000117
是所有用户的可行缓存行为的行为集合，D2D网络中的用户ui将是否缓 存内容fk的第g个内容包的决策视为一个动作，该动作可表示为xi,fk,g，且 xi,fk,g∈{0,1}，当xi,fk,g＝1时，代表用户ui缓存内容fk的第g个内容包，反之，用户 ui不缓存内容fk的第g个内容包时，xi,fk,g＝0。用户ui可以缓存多个内容包，但不 能超过自身的缓存容量Ci，该限制条件可以表示为：
Figure BDA0002894568670000121
所以，所有用户的缓存行为表示为
Figure BDA0002894568670000122
Figure BDA0002894568670000123
代表奖励函数，本方案中的奖励函数是如果用户在状态s的情况下执 行动作x时，可节约的平均内容传输延时。
如图2所示，用户ui在时间周期t内的MDP可以描述为：
1)用户ui首先感知当前的内容流行度情况，以此确认当前的请求状态
Figure BDA0002894568670000124
2)基于当前的请求状态
Figure BDA0002894568670000125
用户ui选择相应的缓存行为
Figure BDA0002894568670000126
3)基于用户ui选择的缓存行为
Figure BDA0002894568670000127
系统将得到奖励函数的奖励
Figure BDA0002894568670000128
然后系统将根据状态转移概率转换到下一个新状态
Figure BDA0002894568670000129
4)新状态
Figure BDA00028945686700001210
获得的奖励再返回给用户。
步骤8、计算系统缓存奖励的平均值，过程如下：
步骤8-1、每次缓存行为带来的网络中可减少的平均传输延时作为缓存奖励， 在时间周期t内用户ui请求内容fk的第g个内容包可减少的内容传输延时，表示 如下：
Figure BDA00028945686700001211
其中，
Figure BDA00028945686700001212
表示用户ui向基站请求内容fk的第g个内容包的传输延时，
Figure BDA00028945686700001213
则表示用户ui获得该内容包的实际内容传输延时，表示如下：
Figure BDA00028945686700001214
其中，
Figure BDA0002894568670000131
用来判断用户ui能否从邻接用户集合中获得内容fk的第 g个内容包，
Figure BDA0002894568670000132
表示用户ui从邻接用户集合中获得内容fk的第g个内容包的最 低内容传输延时，表示如下：
Figure BDA0002894568670000133
其中，(uj)i代表用户ui通过D2D的获得内容fk的第g个内容包的最低内容传 输延时的用户是用户uj，
Figure BDA0002894568670000134
用来判断用户ui的邻接用户集合中有哪些 用户缓存了内容fk的第g个内容包，
步骤8-2、计算用户ui恢复内容fk的可减少的内容传输延时，表示如下：
Figure BDA0002894568670000135
步骤8-3、计算用户ui多次恢复请求的内容可减少的内容传输延时，表示如 下：
Figure BDA0002894568670000136
步骤8-4、计算总时间缓存奖励，表示如下：
Figure BDA0002894568670000137
其中，α为折扣系数，可以确定当前缓存行为对未来奖励的影响，且0≤α≤1；
步骤8-4、计算总时间缓存奖励的平均值，表示如下：
Figure BDA0002894568670000138
为了找到最优策略π*，就是使总时间的系统奖励的平均值达到最大，表示 如下：
Figure BDA0002894568670000139
其中，Π是所有策略的集合，表示为Π＝{π(s1),....,π(si),....,π(sn)}。
步骤9、以最大化总时间缓存奖励的平均值为优化目标，建立优化问题，表 示如下：
Figure BDA0002894568670000141
Figure BDA0002894568670000142
Figure BDA0002894568670000143
C3:π∈Π
(24)
其中限制条件C1为缓存容量的限制，限制条件C2为二元缓存变量；
步骤10、为寻找最优缓存策略，同时为应对网络中的大量用户和内容，提 出基于Q-learning的协作编码缓存算法进行求解；
如图3所示，智能体表示的是D2D网络中的用户设备，而除了智能体以外 的一切便是环境，在智能体与环境的交互中，智能体从环境中获取到状态信息， 根据状态信息采取行动在计算行为的奖励，以此不断更新行为-状态值，即Q值， 从而获得策略。
步骤10-1、设定初始参数；
设定初始时间周期，设定用户的请求初始状态、折扣参数和学习速率，设 定网络内用户数量及内容数量，设定初始Q值；
步骤10-2、通过∈-greedy算法来选择用户的缓存行为；
在学习过程中，Q-learning一般采用∈-greedy算法来选择行为以平衡行为的“利用”与“探索”，在时间周期t时，用户ui的状态-行为对产生的奖励值为
Figure BDA0002894568670000144
且瞬时误差为
Figure BDA0002894568670000145
根据梯度下降算法，迭代方程表示如下：
Figure BDA0002894568670000151
在Q-learning算法中通过随机梯度下降的方法不断更新Q值，Q值更新公 式如下：
Figure BDA0002894568670000152
步骤10-3、缓存内容包决策；
基于用户的缓存行为，在满足用户缓存空间的限制下，寻找使优化目标可 减少的延时边际值最大的和内容包，具体如下：
Figure BDA0002894568670000153
步骤10-4、评估每一次缓存行为获得的缓存奖励
Figure BDA0002894568670000154
步骤10-5、更新Q表以及策略，表示如下：
更新Q表通过：
Figure BDA0002894568670000155
更新策略通过：
Figure BDA0002894568670000156
步骤10-6、判断迭代次数是否达到最大时间周期数，若是执行步骤10-7， 否则，返回步骤10-2；
步骤10-7、得到最优的缓存策略；
对本发明提出的基于动态请求D2D网络中的协作编码缓存方法的整体性能 进行比较分析，具体如下：
图4为本发明一种实施例的平均传输延时与用户缓存空间大小关系曲线图。 随着用户缓存容量的增加，五种缓存策略的内容平均传输延时都逐渐下降，其 中已知状态转移概率情况的内容平均传输延时是最低的，其次是我们提出的策 略，接下来分别是用户无协作情况和最大流行度编码缓存策略，而随机编码缓 存策略的内容平均传输延时是最高的。已知状态转移概率情况的内容平均传输 延时是最低的原因是该策略已经提前知道了用户请求状态的转移概率，利用该 信息缓存内容，但我们提出的策略可以通过在线学习的方式学习用户的请求状 态，从而缓存用户最需要的内容。由此，可以验证我们提出的策略是可以准确 预测到习用户的请求状态的，同时也说明该策略最大程度的利用用户的缓存容 量满足用户的需求，并加强用户间的协作，减少缓存冗余。
用户无协作情况的内容平均传输延时是略高于我们提出的策略，因为忽略了 用户间的协作，用户间会缓存大量相同的内容包造成缓存冗余，导致延时的增 长。而最大流行度编码缓存策略每次都选择最流行的内容缓存起来，但是最流 行的内容并不代表了用户所有的请求，若用户请求不流行的内容时，该策略的 缺点便显现出来。同时，随机编码缓存策略是随机缓存内容，这完全忽略了用 户的请求状态，造成较高的内容平均传输延时。
图5为本发明一种实施例的缓存命中率与用户缓存空间大小关系曲线图。随 着用户的缓存容量的增加，用户可缓存的内容包数量是不断增加的，但是内容 数量是没有发生变化的，所以，用户的缓存容量的增加导致缓存命中率的增长。 可以直观的观察到我们提出的策略的命中率与已知状态转移概率情况基本保持 一致，说明我们的算法可以较好地预测用户请求状态，缓存用户最需要的内容， 从而有效提高了缓存命中率。我们提出的策略的命中率比用户无协作情况高5％ 左右，说明我们提出的策略可以在本地缓存满足大部分用户的需求，以此充分 发挥D2D通信技术的优势，提升用户间的内容分享与协作能力，减少BS的传 输压力。
此外，提出的策略的命中率高于最大流行度编码缓存策略20％左右，与随机 编码缓存策略相比则高于30％左右，其增长趋势也较高于最大流行度编码缓存 策略、随机编码缓存策略，因为这两种策略分别是根据高的流行度和随机的概 率缓存内容包，而忽略了用户在不同时间周期的请求状态的变化，缓存的内容 不是用户所需求的，造成命中率较低。
图6为本发明一种实施例的平均传输延时与网络中内容数量关系曲线图。其 中，随机编码缓存策略的内容平均传输延时高于其他四种缓存策略，因为该策 略是随机的缓存内容包，忽略了用户的实际需求，很多时候不能够满足用户的 需要，造成了缓存容量的浪费。同时，最大流行度编码缓存策略的内容平均传 输延时是高于其他三种缓存策略而略低于随机编码缓存策略，因为它只考虑了 最流行的内容，而忽略了用户需求的多样性，只缓存流行内容会造成网络中的 用户会缓存相同的流行内容的情况，这样不仅造成了大量相同内容的缓存冗余， 也浪费了宝贵的缓存容量。
对于已知状态转移概率情况策略和用户无协作情况策略，提出的策略的内容 平均传输延时略高于已知状态转移概率情况，因为已知状态转移概率情况利用 已知的用户请求状态的转移概率提前对内容包进行预缓存。另外，可以观察到 提出的策略在内容数量较大的情况下，依然保持着较好的性能，内容平均传输 延时始终是低于用户无协作情况，因为该策略有效地减少了缓存内容包的冗余。 换句话说，提出的策略通过学习用户不同时间周期的请求状态，确定缓存决策， 让有更多不同的内容包有机会被缓存，在满足用户的多样性需求下，有效减少 了缓存重复内容的冗余度，间接提升了网络中用户间D2D通信协作能力，为网 络中的用户带来了更好的体验质量。
图7为本发明一种实施例的缓存命中率与网络中内容数量关系曲线图。与内 容平均传输延时分析相一致的是，内容数量越多，缓存命中率就越低。原因与 之前的解释是相同的，内容数量的激增导致用户的请求变得更加广泛，但是用 户的缓存空间却是固定不变的，这就需要更加精准的确认该缓存哪些内容包可 以为D2D网络中的用户带来最好的效果，缓存决策就变得尤为重要。可以发现 随机编码缓存策略的命中率最低的，随后是最大流行度编码缓存策略、用户无 协作情况，然后是我们提出的策略，命中率最高的是已知状态转移概率情况。 我们提出的策略在小规模、大规模内容两种情况下的性能都是较好的。
通过上述的仿真比较，可知本发明提出的基于动态请求D2D网络中的协作 编码缓存方法是有效的，本发明算法针对用户对网络中热点内容的动态请求进 行预测，对内容缓存部署进行优化，充分发挥了D2D网络中用户间的协作性， 降低了缓存冗余，提升了网络的整体存储空间，从而降低了内容传输延时、提 高缓存命中率。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者 设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于动态请求D2D网络中的协作编码缓存方法，其特征在于，包括以下步骤：
步骤1、搭建网络架构；基于动态请求D2D网络包括两层网络，由基站构成的蜂窝网络与用户设备组成的D2D网络，其中用户对内容的请求具有动态变化的特征，基站可满足用户对内容的需求；
步骤2、建立D2D网络中的用户内容分享模型；
步骤3、将网络中的内容通过最大可分码MDS处理，得到多个内容包，MDS编码将内容fk先分成Lfk个相等内容片段再编为Gfk个互相独立、无重复的内容包；
步骤4、用户获得内容包；
步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时；
步骤6、分析用户的动态请求，用户请求将受内容流行度会影响有多个请求状态，该现象遵循有限状态的马尔可夫过程，为了获得用户变化的请求状态，通过观察实时内容请求来判断每个内容的受欢迎程度；
步骤7、将D2D网络中的编码缓存问题建立为马尔科夫决策过程MDP，MDP问题定义为一个元组
Figure FDA0002894568660000011
Figure FDA0002894568660000012
是网络中所有用户可能状态的集合，
Figure FDA0002894568660000013
是所有用户的可行缓存行为的行为集合，
Figure FDA0002894568660000014
代表奖励函数；
步骤8、计算缓存奖励的平均值；
步骤9、以最大化总时间缓存奖励的平均值为优化目标，建立优化问题；
步骤10、为寻找最优缓存策略，同时为应对网络中的大量用户和内容，提出基于Q-learning的协作编码缓存算法进行求解。
2.根据权利要求1所述的基于动态请求D2D网络中的协作编码缓存方法，其特征在于，所述步骤2、建立D2D网络中的用户内容分享模型，具体如下：
步骤2-1、判断网络中的用户能否建立D2D通信，判断过程如下：
||li-lj||＜Rd (1)
其中，i表示用户ui，j表示用户uj，li表示用户ui的物理位置，lj表示用户uj的物理位置，Rd是D2D通信的最大距离；
步骤2-2、为每个用户寻找可建立D2D通信的潜在用户集合，表示为如下：
N(i)＝{i|i∈U,||li-lj||＜Rd} (2)，
其中，U表示所有用户的集合。
3.根据权利要求1所述的基于动态请求D2D网络中的协作编码缓存方法，其特征在于，所述步骤4、用户获得内容包过程如下：
步骤4-1、当用户ui对内容fk发出请求时，用户ui首先查看本地缓存中是否缓存了fk的内容包；
步骤4-2、然后通过D2D网络从其他用户处获取内容包；
步骤4-3、如果用户ui收集的内容包总数大于Lfk，则用户ui将能够恢复出完整的内容fk，否则，用户ui将从基站获取其他内容包以到达到Lfk来恢复内容。
4.根据权利要求1所述的基于动态请求D2D网络中的协作编码缓存方法，其特征在于，所述步骤5、计算在D2D传输过程中、基站向用户传输过程的内容传输延时，具体如下：
步骤5-1、利用信噪比来估算内容传输的传输速率，则D2D链路以及基站的信噪比分别表示为：
Figure FDA0002894568660000021
Figure FDA0002894568660000022
其中，PD2D、PBS分别是用户和基站内容传输的传输功率，
Figure FDA0002894568660000023
是高斯白噪声的均方差，GD2D、GBS则代表是D2D和基站的信道增益；
步骤5-2、计算D2D和基站的信道增益，表示如下：
GD2D＝κ·dD2D -ε (5)
GBS＝κ·dBS -ε (6)
其中，κ表示路径损耗常数，ε表示路径损耗指数，d表示路径距离；
步骤5-3、计算用户通过D2D或者基站获得内容的下载速率，表示如下：
RD2D＝WD2Dlog2(1+SNRD2D) (7)
RBS＝WBSlog2(1+SNRBS) (8)
其中，WD2D，WBS表示D2D链路和基站与用户间链路的分配带宽；
步骤5-4、得到用户ui通过D2D链路或者基站获得内容包的传输延时，表示如下：
Figure FDA0002894568660000031
Figure FDA0002894568660000032
其中，Sfk,g为内容fk的第g个内容包的尺寸大小；
步骤5-5、以用户从基站获取内容的下载速率为标准，排除下载速率低于用户从基站获取内容的下载速率，筛选传输内容的用户，基于用户ui的潜在用户集合，得到用户ui的邻近用户集合N′(i)，表示如下：
Figure FDA0002894568660000033
5.根据权利要求4所述的基于动态请求D2D网络中的协作编码缓存方法，其特征在于，所述步骤6为了获得用户变化的请求状态，可以通过观察实时内容请求来判断每个内容的受欢迎程度；，表示如下：
Figure FDA0002894568660000034
6.根据权利要求5所述的基于动态请求D2D网络中的协作编码缓存方法，其特征在于，所述步骤8、计算缓存奖励的平均值，过程如下：
步骤8-1、每次缓存行为带来的网络中可减少的平均传输延时作为缓存奖励，在时间周期t内用户ui请求内容fk的第g个内容包可减少的内容传输延时，表示如下：
Figure FDA0002894568660000041
其中，
Figure FDA0002894568660000042
表示用户ui向基站请求内容fk的第g个内容包的传输延时，
Figure FDA0002894568660000043
则表示用户ui获得该内容包的实际内容传输延时；
步骤8-2、计算用户ui恢复内容fk的可减少的内容传输延时，表示如下：
Figure FDA0002894568660000044
Figure FDA0002894568660000045
表示恢复内容fk所需要内容包的最小数量；
步骤8-3、计算用户ui多次恢复请求的内容可减少的内容传输延时，表示如下：
Figure FDA0002894568660000046
F表示网络中所有内容的集合；
步骤8-4、计算总时间缓存奖励，表示如下：
Figure FDA0002894568660000047
其中，α为折扣系数；T表示总的时间周期数；
Figure FDA0002894568660000048
表示用户ui在时间周期t时的请求状态；
步骤8-4、计算总时间缓存奖励的平均值，表示如下：
Figure FDA0002894568660000049
7.根据权利要求6所述的基于动态请求D2D网络中的协作编码缓存方法，其特征在于，所述步骤9、以最大化总时间缓存奖励的平均值为优化目标，建立优化问题，表示如下：
Figure FDA00028945686600000410
Figure FDA0002894568660000051
其中，Gfk表示内容fk的内容包集合；Sfk,g表示内容fk的第g个内容包的大小；
Figure FDA0002894568660000052
表示用户ui是否缓存了内容fk的第g个内容包；π表示缓存策略；Π表示所有缓存策略的集合；
其中限制条件C1为缓存容量的限制，限制条件C2为二元缓存变量。
8.根据权利要求7所述的基于动态请求D2D网络中的协作编码缓存方法，其特征在于，所述步骤10、为寻找最优缓存策略，同时为应对网络中的大量用户和内容，提出基于Q-learning的协作编码缓存算法进行求解，具体包括：
步骤10-1、设定初始参数；
设定初始时间周期，设定用户的请求初始状态、折扣参数和学习速率，设定网络内用户数量及内容数量，设定初始Q值；
步骤10-2、通过∈-greedy算法来选择用户的缓存行为；
步骤10-3、缓存内容包决策；
基于用户的缓存行为，在满足用户缓存空间的限制下，寻找使优化目标可减少的延时边际值最大的和内容包，具体如下：
Figure FDA0002894568660000053
步骤10-4、评估每一次缓存行为获得的缓存奖励；
步骤10-5、更新Q表以及策略；
步骤10-6、判断迭代次数是否达到最大时间周期数，若是执行步骤10-7，否则，返回步骤10-2；
步骤10-7、得到最优的缓存策略。
9.根据权利要求8所述的基于动态请求D2D网络中的协作编码缓存方法，其特征在于，所述步骤10-2、通过∈-greedy算法来选择用户的缓存行为；
首先选择一个随机的概率θ，将θ与网络中设定的探索概率进行比较，如果θ＜ε那么系统会选择用户已有的缓存行为再次学习，反之，当(1-θ)＜ε时，系统会选择用户的一个新缓存行为进行学习。
CN202110036543.9A 2021-01-12 2021-01-12 基于动态请求d2d网络中的协作编码缓存方法 Active CN112911614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110036543.9A CN112911614B (zh) 2021-01-12 2021-01-12 基于动态请求d2d网络中的协作编码缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110036543.9A CN112911614B (zh) 2021-01-12 2021-01-12 基于动态请求d2d网络中的协作编码缓存方法

Publications (2)

Publication Number Publication Date
CN112911614A true CN112911614A (zh) 2021-06-04
CN112911614B CN112911614B (zh) 2022-05-03

Family

ID=76112502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110036543.9A Active CN112911614B (zh) 2021-01-12 2021-01-12 基于动态请求d2d网络中的协作编码缓存方法

Country Status (1)

Country Link
CN (1) CN112911614B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542351A (zh) * 2021-06-07 2021-10-22 北京邮电大学 一种基于车载网络的内容缓存方法及装置
CN113783933A (zh) * 2021-08-10 2021-12-10 中山大学 基于编码缓存的双层网络通信方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107548102A (zh) * 2017-08-16 2018-01-05 北京邮电大学 一种边缘缓存网络中最小化用户时延的基站缓存方法
CN108668287A (zh) * 2018-04-19 2018-10-16 西安交通大学 一种基于用户内容流行度和移动规则的主动缓存方法
CN109639760A (zh) * 2018-11-02 2019-04-16 西北工业大学 一种基于深度强化学习的d2d网络中的缓存策略方法
CN110445825A (zh) * 2018-05-04 2019-11-12 东南大学 基于强化学习的超密集网络小站编码协作缓存方法
WO2020071882A1 (en) * 2018-10-05 2020-04-09 Samsung Electronics Co., Ltd. Method and system for enabling distributed caching in wireless network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107548102A (zh) * 2017-08-16 2018-01-05 北京邮电大学 一种边缘缓存网络中最小化用户时延的基站缓存方法
CN108668287A (zh) * 2018-04-19 2018-10-16 西安交通大学 一种基于用户内容流行度和移动规则的主动缓存方法
CN110445825A (zh) * 2018-05-04 2019-11-12 东南大学 基于强化学习的超密集网络小站编码协作缓存方法
WO2020071882A1 (en) * 2018-10-05 2020-04-09 Samsung Electronics Co., Ltd. Method and system for enabling distributed caching in wireless network
CN109639760A (zh) * 2018-11-02 2019-04-16 西北工业大学 一种基于深度强化学习的d2d网络中的缓存策略方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. JEONG等: "IP Wireless Access in Vehicular Environments (IPWAVE): Problem Statement and Use Cases amp;amp;lt;a href= amp;quot;./draft-ietf-ipwave-vehicular-networking-08 amp;quot; amp;amp;gt;draft-ietf-ipwave-vehicular-networking-08 amp;amp;lt;/a amp;amp;gt;", 《IETF 》 *
房晓阳等: "基于Q-learning的分布式基站缓存替换策略", 《信息工程大学学报》 *
杨静等: "带有特征感知的D2D内容缓存策略", 《电子与信息学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542351A (zh) * 2021-06-07 2021-10-22 北京邮电大学 一种基于车载网络的内容缓存方法及装置
CN113542351B (zh) * 2021-06-07 2022-11-25 北京邮电大学 一种基于车载网络的内容缓存方法及装置
CN113783933A (zh) * 2021-08-10 2021-12-10 中山大学 基于编码缓存的双层网络通信方法、装置及介质
CN113783933B (zh) * 2021-08-10 2022-05-24 中山大学 基于编码缓存的双层网络通信方法、装置及介质

Also Published As

Publication number Publication date
CN112911614B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
Zhong et al. A deep reinforcement learning-based framework for content caching
CN112020103B (zh) 一种移动边缘云中的内容缓存部署方法
CN112995950B (zh) 一种车联网中基于深度强化学习的资源联合分配方法
CN110213627A (zh) 基于多小区用户移动性的流媒体缓存分配装置及其工作方法
Yovita et al. Caching on Named Data Network: a Survey and Future Research.
CN108600998B (zh) 超密度蜂窝与d2d异构融合网络缓存优化决策方法
Dai et al. Edge intelligence for adaptive multimedia streaming in heterogeneous internet of vehicles
Guo et al. Dueling deep-Q-network based delay-aware cache update policy for mobile users in fog radio access networks
CN112911614B (zh) 基于动态请求d2d网络中的协作编码缓存方法
CN112218337A (zh) 一种移动边缘计算中的缓存策略决策方法
CN111885648A (zh) 基于边缘缓存的能量有效的网络内容分发机制构建方法
CN107404530A (zh) 基于用户兴趣相似度的社交网络协作缓存方法及装置
CN113472420B (zh) 一种基于区域用户兴趣感知的卫星网络缓存放置方法
Xu et al. Joint replica server placement, content caching, and request load assignment in content delivery networks
CN116321307A (zh) 一种无蜂窝网络中基于深度强化学习的双向缓存放置方法
Zheng et al. 5G network-oriented hierarchical distributed cloud computing system resource optimization scheduling and allocation
Anamalamudi et al. Cooperative caching scheme for machine-to-machine information-centric IoT networks
Li et al. Edge caching for D2D enabled hierarchical wireless networks with deep reinforcement learning
CN114245422A (zh) 一种基于簇内智能共享的边缘主动缓存方法
Tang et al. Optimal multilevel media stream caching in cloud-edge environment
Wang et al. Backhaul-Based Cooperative Caching in Small Cell Network
Khan Cooperative Content Caching for 5G and Beyond Mobile Wireless Networks
CN118250665B (zh) 基于用户兴趣偏好和活跃度水平的v2v协同缓存方法
Zhou et al. Data Caching in Industrial Edge Computing
CN111372096B (zh) 一种基于d2d辅助的视频质量自适应缓存方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant