CN110674230A - 一种边缘智能数据分类存储方法 - Google Patents
一种边缘智能数据分类存储方法 Download PDFInfo
- Publication number
- CN110674230A CN110674230A CN201910913649.5A CN201910913649A CN110674230A CN 110674230 A CN110674230 A CN 110674230A CN 201910913649 A CN201910913649 A CN 201910913649A CN 110674230 A CN110674230 A CN 110674230A
- Authority
- CN
- China
- Prior art keywords
- intelligent
- state
- entity
- data
- intelligent entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000001052 transient effect Effects 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 108010046685 Rho Factor Proteins 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种边缘智能数据分类存储方法,属于物联网领域,包括以下步骤:首先,设计数据预处理方法,将智慧实体状态数据序列进行抽象,转化为定量智慧实体状态序列和定性智慧实体状态序列;然后,基于DSAE进行特征提取;进而,将提取后的特征输出至SVM,实现对瞬变型智慧实体和缓变型智慧实体的区分;最后,将时变性较强的瞬变型智慧实体状态数据存储在边缘,时变性较弱的缓变型智慧实体状态数据存储在云端中心。本发明挖掘定性与定量状态智慧实体的状态时变性特征,依据时变程度对智慧实体分类,从而依据所属类别差异对智慧实体状态数据进行区分缓存,显著提高物联网搜索系统搜索结果准确性,降低面向海量状态时变智慧实体的搜索时延。
Description
技术领域
本发明属于物联网领域,涉及一种边缘智能数据分类存储方法。
背景技术
随着物联网(IoT)的发展和普及,越来越多的具有感知功能的海量传感器、RFID等感知设备连接到互联网。在未来20年,将会有万亿台物联网感知设备出现在我们的生活中,实现信息共享,万物互联的场景。其中低成本传感器、通信协议、嵌入式系统、执行器和小型化硬件的快速发展,促使了物联网的极速增长,能够在没有人为干预的情况下收集、处理和传递数据,并且还提供新型服务和应用的开发,如室内公共安全监控,远程医疗和环境污染管理。
近年来,物联网搜索的应用受到了越来越多的关注。物联网搜索能够减少收集的数据大小和范围,而用户也可通过搜索引擎获取物理世界的智慧实体信息,在智慧城市等物联网典型应用中存在智能化的搜索需求,例如:搜索附近空余的停车位,安静的咖啡厅,查询目前办公楼里未被占用且温度适宜的会议室,搜寻当前城市空气质量较好的公园等。目前,国内外研究人员已在物联网搜索进行了深入的研究。
Wang H,Tan C C,Li Q在“Snoogle:a search engine for pervasiveenvironment”【in IEEE Transactions on Parallel and Distributed Systems,pp.1188-1202,2010】中提出了一种基于关键字的搜索系统—Snoogle,搜索系统能够将附着物理智慧实体信息的传感器根地理位置分区域管理,当用户发出搜索请求后,通过关键字查询与之匹配的物理智慧实体,返回与查询相关的前k个智慧实体。Younan M,KhattabS,Bahgat R在“WoTSF:a framework for searching in the web of things”【InProceedings of the 10th International Conference on Informatics andSystems.ACM,pp.278-285,2016】中设计了适用于物联网的搜索框架–WoTSF,采用聚合函数为智慧实体设计了层次化的索引方案。
针对物理世界的智慧实体数量众多,状态时变程度各异,而集中存储至云端中心服务器导致搜索精度较差,搜索时延较高等问题,特别是对于时变性较强的智慧实体,短时间内状态发生改变的概率极高,智慧实体状态数据极有可能在存储至云端的过程中已经过期,无法正确反应智慧实体当前的真实状态,使用户的搜索体验较差。
发明内容
有鉴于此,本发明的目的在于针对智慧实体状态时变程度各异,而集中存储至云端中心服务器导致搜索精度较差,搜索时延较高的问题,提出了一种边缘智能数据分类存储方法。首先,设计了数据预处理方法,将智慧实体状态数据序列进行抽象,转化为定量智慧实体状态序列和定性智慧实体状态序列;然后,基于深度稀疏自动编码器进行特征提取;进而,将提取后的特征输出至支持向量机,实现对瞬变型智慧实体和缓变型智慧实体的区分;最后,将时变性较强的智慧实体状态数据存储在边缘,时变性较弱的智慧实体数据存储在云端中心。
为达到上述目的,本发明提供如下技术方案:
一种边缘智能数据分类存储方法,包括以下步骤:
S1:数据采集:各种类型的传感器感知智慧实体状态数据,并将采集的智慧实体数据周期性地上传至覆盖其感知范围的网关,进而传输至边缘服务器;
S2:数据抽象:边缘服务器将其覆盖范围内的物理智慧实体集合Φ根据其状态表现形式分为两大类:定量状态智慧实体集合Φqt和定性状态智慧实体集合Φql,其中qt代表定量状态实体,ql代表定性状态实体,将给定的较长时间T以时间间隔δ为单位进行等分,划分为t=T/δ个时间窗,并记录搜索系统在每个时间窗内的状态变化情况;并将定量状态智慧实体集合的原始状态序列Sqt和定性状态智慧实体集合的原始状态序列Sql转化为经数据抽象后的定量状态序列及定性状态序列
S3:特征提取:边缘服务器基于深度稀疏自动编码器(Deep Sparse AutoEncoder,DSAE)模型,深入挖掘智慧实体观测状态的演变特征;
S4:智慧实体分类:边缘服务器根据智慧实体状态的时变性特征,通过支持向量机(Support Vector Machine,SVM)模型实现对底层上传的智慧实体状态数据分类,将智慧实体状态数据分为两类,分别是瞬变型智慧实体数据和缓变型智慧实体数据;
S5:智慧实体缓存:将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器;
S6:用户搜索:当用户发出搜索请求后,边缘服务器快速搜索是否有搜索请求匹配的智慧实体状态数据,若有该数据,则直接返回搜索结果,若无,则判断用户搜索的实体为缓变型智慧实体,边缘服务器则将搜索请求上传至云端,云端进行搜索匹配后将结果返回边缘服务器,边缘服务器再将结果返回给用户,完成整个搜索过程。
进一步,步骤S2中具体包括以下步骤:
S21:假设任意给定定量状态智慧实体ψ∈Φqt,其原始状态序列为Sqt=[qt1,qt2,…,qtt],为衡量智慧实体的状态变化程度,将其测量值区间以测量值划分区间为单位进行划分,其中表示测量值的最小值,为测量值的最大值,ε表示状态序列划分的等级数;智慧实体状态变化序列转化为S22:假设任意给定定性状态智慧实体其原始状态序列为Sql=[ql1,ql2,…,qlt];为评估智慧实体的时变强弱,将其转化为即若当前时刻智慧实体的定性状态较前一时刻发生了变化,则当前时刻的状态变化记录为1,否则为0。
进一步,步骤S3中具体包括以下步骤:
S31:使用逐层贪婪的训练方法,依次训练深度稀疏自动编码器的每一层,进而训练整个深度神经网络;每个稀疏自动编码器由编码器、隐含层和解码器组成,其中第一层到第二层为编码过程,第二层为用于提取特征的隐含层,第二层到第三层为解码过程;随着隐含层层数的增多,提取的特征由模糊、简单的边缘特征向复杂、清晰的深层特征转变;
S32:假设深度稀疏自动编码器层数为T和每层的节点数{d(1),d(2),...,d(T)},其中第一层输入节点数为n,将智慧实体状态变化序列对应的特征向量X={x1,x2,...,xn}作为自动编码器的输入,其中xi是第i个智慧实体对应的向量,实现编码过程,得到编码hi∈Rd×1,即第i个传感器节点对应的低维向量hi=sf(Wxi+p),其中xi表示第i个传感器对应的智慧实体状态变化序列,x(tn)是tn时刻的智慧实体状态,sf是编码器的一个激活函数,如sigmoid函数sigmoid(x)=1/(1+exp(-x)),W∈Rd×n是权重矩阵,p∈Rd×1是编码层偏置向量;
S33:隐含层m,j<<n为智慧实体状态变化序列特征的提取器,将hi输入到解码层,得到解码结果x'i∈Rn×1,其中,为隐含层第一层的第m个神经元,为隐含层第T层的第j个神经元,n表示输入层最多输入的智慧实体状态数量,sg是解码器的一个激活函数,是权重矩阵,q∈Rn×1是解码层偏置向量;
S35:通过使用KL散度为自动编码器添加稀疏性限制:其中,使用ρj来表示隐含层的平均活跃度,和KL(ρ||ρj)分别表示ρj和ρ为均值的两个变量之间的相对熵,ρ是一个接近于0的常量,KL(ρ||ρj)的计算公式为:
S37:通过调整θ以最小化重构误差L(θ);
进一步,步骤S4中具体包括以下步骤:
S41:搜索系统对每一类智慧实体都标记小部分瞬变型智慧实体与缓变型智慧实体作为样本数据对构建的分类模型进行训练;假定S={(x1,y1),(x2,y2),…,(xk,yk)},yi∈{-1,+1}为标记智慧实体样本集;
S42:为实现训练样本线性可分,寻求最优分类超平面使得分类间隔最大,则该问题转化为下式:
S43:采用拉格朗日乘子法对上式进行求解,得到:
其中,α=(α1,α2,...,αk)为拉格朗日乘子,W为权值向量,b为偏置;分别对W与b求偏导,并令导数为0,求得拉格朗日乘子α,进而根据W与b与α的等式关系求得W与b的解;
S44:根据步骤S43的解,得到最优分类判别函数,并采用Gauss径向基核函数其中σ>0为高斯核的带宽,得到分类函数f(x)=sgn(WT·x+b),其中x表示将xi映射后的特征向量,根据输入的智慧实体状态变化序列对智慧实体的类别进行划分,将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器。
进一步,步骤S5具体包括以下步骤:
S51:根据步骤S4的分类方法将智慧实体状态数据分类后,网关将其覆盖范围内的数据分类上传;
S52:由于瞬变型智慧实体数据时变性强,较短时间内,其状态极有可能会发生变化,缓变型智慧实体状态变化比较缓慢,并且,缓变型智慧实体状态数据存储云端心也会降低其他区域用户对本地缓变型实体状态数据获取的时延,而瞬变型智慧实体状态数据由于距本地用户较近,则本地用户搜索其状态数据时延较低,因此网关将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器;
S53:由于物联网数据具有新鲜度和生命周期特性,因此边缘服务器和云端服务器周期性更新所存储的智慧实体状态数据,以保证数据的有效性。
进一步,步骤S6具体包括以下步骤:
S61:如步骤S5所述,缓变型智慧实体状态数据存储在云端心服务器,瞬变型智慧实体状态数据则存储在边缘服务器,以满足用户搜索需求;
S62:与传统搜索模式不同,当用户提交给定状态搜索智慧实体的命令时,搜索系统将搜索请求发出至边缘服务器,边缘服务器收到请求消息后,快速搜索是否有与搜索请求匹配的智慧实体状态数据,以判别所搜索的智慧实体类型;
S63:若边缘服务器匹配到与搜索请求相关的智慧实体状态数据信息,则说明用户搜索的是瞬变型智慧实体,直接将搜索结果返回给用户,以降低搜索时延和提高搜索精度;
S64:若用户搜索的实体状态数据不在边缘服务器,则判断用户搜索的实体为缓变型智慧实体,边缘服务器则将搜索请求上传至云端,云端进行搜索匹配后将结果返回边缘服务器,边缘服务器再将结果返回给用户。
本发明的有益效果在于:本发明提出的时变智慧实体状态数据分类存储方法能够有效地解决将时变程度不一的物理智慧实体集中存储在云端的服务中心导致搜索结果不准确,搜索时延较长等问题,从而大幅度提搜索准确性,降低搜索时延。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明所述的边缘智能数据分类存储方法系统架构图;
图2为本发明所述的边缘智能数据分类存储方法流程图;
图3为本发明所述的特征提取模型图;
图4为本发明所述的时变智慧实体状态数据分类存储模型图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
如图1、图2所示的一种边缘智能数据分类存储方法,优选的具体包含以下步骤:
步骤一、数据采集:各种类型的传感器感知智慧实体状态数据,并将采集的智慧实体数据周期性地上传至覆盖其感知范围的网关,进而传输至边缘服务器。
步骤二、数据抽象:将物理智慧实体集合Φ根据其状态表现形式可分为两大类:定量状态智慧实体Φqt、定性状态智慧实体Φql,将给定的较长时间T以时间间隔δ为单位进行等分,划分为t=Tδ个时间窗,并记录搜索系统在每个时间窗内的状态变化情况。优选的具体包括以下步骤:
步骤二(一)、假设定量状态智慧实体ψ∈Φqt,其原始状态序列为Sqt=[qt1,qt2,…,qtt]。为衡量智慧实体的状态变化程度,将其测量值区间以(ε是状态序列划分的等级数)为单位进行划分。智慧实体状态变化序列可转化为
步骤二(二)、假设定性状态智慧实体其原始状态序列为Sql=[ql1,ql2,…,qlt]。同样,为评估智慧实体的时变强弱,将其转化为即若当前时刻智慧实体的定性状态较前一时刻发生了变化,则当前时刻的状态变化记录为1,否则为0。
步骤三、特征提取:基于深度稀疏自动编码器模型,深入挖掘智慧实体观测状态的演变特征。优选的具体包括以下步骤:
步骤三(一)、如附图3所示,使用逐层贪婪的训练方法,依次训练稀疏自动编码器的每一层,进而训练整个深度神经网络。每个稀疏自动编码器由编码器、隐含层和解码器组成,其中第一层到第二层为编码过程,第二层为用于提取特征的隐含层,第二层到第三层为解码过程。随着隐含层层数的增多,提取的特征由模糊、简单的边缘特征向复杂、清晰的深层特征转变。
步骤三(二)、假设深度稀疏自动编码器层数为T和每层的节点数{d(1),d(2),...,d(T)},其中第一层输入节点数为n,将智慧实体状态变化序列对应的特征向量X={x1,x2,...,xn}作为自动编码器的输入(xi是第i个智慧实体对应的向量),实现编码过程,得到编码hi∈Rd×1(第i个传感器节点对应的低维向量),hi=sf(Wxi+p)。其中,x(ti)是ti时刻的智慧实体状态,sf是编码器的一个激活函数,如sigmoid函数sigmoid(x)=1/(1+exp(-x)),W∈Rd×n是权重矩阵,p∈Rd×1是编码层偏置向量;
步骤三(三)、隐含层m,j<<n为智慧实体状态变化序列特征的提取器,将hi输入到解码层,得到解码结果其中,为隐含层第一层的第m个神经元,为隐含层第T层的第j个神经元,sg是解码器的一个激活函数,是权重矩阵,q∈Rn×1是解码层偏置向量;
步骤三(五)、通过使用KL散度为自动编码器添加稀疏性限制:其中,使用ρj来表示隐含层的平均活跃度,和KL(ρ||ρj)分别表示ρj和ρ为均值的两个变量之间的相对熵,ρ是一个接近于0的常量,KL(ρρj)的计算公式为:
步骤三(六)、通过使用KL散度为自动编码器添加稀疏性限制,构建自动编码器的重构误差其中,β是稀疏性惩罚权重因子;
步骤三(七)、通过调整θ以最小化重构误差L(θ);
步骤四、智慧实体分类:智慧实体的状态变化序列无法直接通过观察推理其时变强弱。因此,基于时变智慧实体状态数据分类存储模型对智慧实体进行分类,其中深度稀疏自动编码器(DSAE)模型用于提取智慧实体状态变化的特征,提取后的特征输出至支持向量机(SVM),从而实现对智慧实体的分类,分类模型如附图4所示。优选的具体包括以下步骤:
步骤四(一)、搜索系统对每一类智慧实体都标记小部分瞬变型智慧实体与缓变型智慧实体作为样本数据对构建的分类模型进行训练。假定S={(x1,y1),(x2,y2),…,(xk,yk)},yi∈{-1,+1}为标记智慧实体样本集;
步骤四(二)、为实现训练样本线性可分,则需寻求最优分类超平面使得分类间隔最大,则该问题可转化为下式:
步骤四(三)、采用拉格朗日乘子法对上式进行求解,可得到:
其中,α=(α1,α2,...,αk)为拉格朗日乘子,W为权值向量,b为偏置。分别对W与b求偏导,并令导数为0,可求得拉格朗日乘子α,进而,根据W与b与α的等式关系可求得W与b的解。
步骤四(四)、根据步骤四(三)的解,可得到最优分类判别函数,并采用Gauss径向基核函数(σ>0为高斯核的带宽),得到分类函数f(x)=sgn(WT·x+b)(x表示将xi映射后的特征向量),根据输入的智慧实体状态变化序列对智慧实体的类别进行划分,将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器。
步骤五:智慧实体缓存:将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器;优选的具体包括以下步骤:
步骤五(一)、根据步骤四所述的分类方法将智慧实体状态数据分类后,网关将其覆盖范围内的数据分类上传;
步骤五(二)、由于瞬变型智慧实体数据时变性强,较短时间内,其状态极有可能会发生变化,缓变型智慧实体状态变化比较缓慢,并且,缓变型智慧实体状态数据存储云端心也可降低其他区域用户对本地缓变型实体状态数据获取的时延,而瞬变型智慧实体状态数据由于距本地用户较近,则本地用户搜索其状态数据时延较低,因此网关将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器;
步骤五(三)、由于物联网数据具有新鲜度和生命周期特性,因此边缘服务器和云端服务器周期性更新所存储的智慧实体状态数据,以保证数据的有效性。
步骤六、用户搜索:当用户发出搜索请求后,边缘服务器快速搜索是否有搜索请求匹配的智慧实体状态数据,若有该数据信息,则直接返回搜索结果,若无,则用户搜索的为缓变型智慧实体,边缘服务器则将搜索请求上传至云端,云端进行搜索匹配后将结果返回边缘服务器,边缘服务器再将结果返回给用户,完成整个搜索过程。优选的具体包括以下步骤:
步骤六(一)、与传统搜索模式不同,当用户提交给定状态搜索智慧实体的命令时,搜索系统将搜索请求发出至边缘服务器,边缘服务器收到请求消息后,快速搜索是否有与搜索请求匹配的智慧实体状态数据,以判别所搜索的智慧实体类型;
步骤六(二)、若边缘服务器匹配到与搜索请求相关的智慧实体状态数据,则说明用户搜索的是瞬变型智慧实体,直接将搜索结果返回给用户,以降低搜索时延和提高搜索精度;
步骤六(三)、若用户搜索的实体状态数据不在边缘服务器,则判断用户搜索的实体为缓变型智慧实体,边缘服务器则将搜索请求上传至云端,云端进行搜索匹配后将结果返回边缘服务器,边缘服务器再将结果返回给用户。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种边缘智能数据分类存储方法,其特征在于:包括以下步骤:
S1:数据采集:各种类型的传感器感知智慧实体状态数据,并将采集的智慧实体数据周期性地上传至覆盖其感知范围的网关,进而传输至边缘服务器;
S2:数据抽象:边缘服务器将其覆盖范围内的物理智慧实体集合Φ根据其状态表现形式分为两大类:定量状态智慧实体集合Φqt和定性状态智慧实体集合Φql,其中qt代表定量状态实体,ql代表定性状态实体,将给定的较长时间T以时间间隔δ为单位进行等分,划分为t=T/δ个时间窗,并记录搜索系统在每个时间窗内的状态变化情况;并将定量状态智慧实体集合的原始状态序列Sqt和定性状态智慧实体集合的原始状态序列Sql转化为经数据抽象后的定量状态序列及定性状态序列
S3:特征提取:边缘服务器基于深度稀疏自动编码器模型,深入挖掘智慧实体观测状态的演变特征;
S4:智慧实体分类:边缘服务器根据智慧实体状态的时变性特征,通过支持向量机模型实现对底层上传的智慧实体状态数据分类,将智慧实体状态数据分为两类,分别是瞬变型智慧实体数据和缓变型智慧实体数据;
S5:智慧实体缓存:将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器;
S6:用户搜索:当用户发出搜索请求后,边缘服务器快速搜索是否有搜索请求匹配的智慧实体状态数据,若有该数据,则直接返回搜索结果,若无,则判断用户搜索的实体为缓变型智慧实体,边缘服务器则将搜索请求上传至云端,云端进行搜索匹配后将结果返回边缘服务器,边缘服务器再将结果返回给用户,完成整个搜索过程。
3.根据权利要求1所述的边缘智能数据分类存储方法,其特征在于:步骤S3中具体包括以下步骤:
S31:使用逐层贪婪的训练方法,依次训练深度稀疏自动编码器的每一层,进而训练整个深度神经网络;每个稀疏自动编码器由编码器、隐含层和解码器组成,其中第一层到第二层为编码过程,第二层为用于提取特征的隐含层,第二层到第三层为解码过程;随着隐含层层数的增多,提取的特征由模糊、简单的边缘特征向复杂、清晰的深层特征转变;
S32:假设深度稀疏自动编码器层数为T和每层的节点数{d(1),d(2),...,d(T)},其中第一层输入节点数为n,将智慧实体状态变化序列 对应的特征向量X={x1,x2,...,xn}作为自动编码器的输入,其中xi是第i个智慧实体对应的向量,实现编码过程,得到编码hi∈Rd×1,即第i个传感器节点对应的低维向量hi=sf(Wxi+p),其中xi表示第i个传感器对应的智慧实体状态变化序列,x(tn)是tn时刻的智慧实体状态,sf是编码器的一个激活函数,W∈Rd×n是权重矩阵,p∈Rd×1是编码层偏置向量;
S33:隐含层m,j<<n为智慧实体状态变化序列特征的提取器,将hi输入到解码层,得到解码结果x'i∈Rn×1,其中,为隐含层第一层的第m个神经元,为隐含层第T层的第j个神经元,n表示输入层最多输入的智慧实体状态数量,sg是解码器的一个激活函数,是权重矩阵,q∈Rn×1是解码层偏置向量;
S35:通过使用KL散度为自动编码器添加稀疏性限制:其中,使用ρj来表示隐含层的平均活跃度,和KL(ρ||ρj)分别表示ρj和ρ为均值的两个变量之间的相对熵,ρ是一个接近于0的常量,KL(ρ||ρj)的计算公式为:
S36:通过使用KL散度为自动编码器添加稀疏性限制,构建自动编码器的重构误差其中,β是稀疏性惩罚权重因子,ρ是一个接近于0的常量;
S37:通过调整θ以最小化重构误差L(θ);
4.根据权利要求1所述的边缘智能数据分类存储方法,其特征在于:步骤S4中具体包括以下步骤:
S41:搜索系统对每一类智慧实体都标记小部分瞬变型智慧实体与缓变型智慧实体作为样本数据对构建的分类模型进行训练;假定S={(x1,y1),(x2,y2),…,(xk,yk)}, yi∈{-1,+1}为标记智慧实体样本集;
S42:为实现训练样本线性可分,寻求最优分类超平面使得分类间隔最大,则该问题转化为下式:
S43:采用拉格朗日乘子法对上式进行求解,得到:
其中,α=(α1,α2,...,αk)为拉格朗日乘子,W为权值向量,b为偏置;分别对W与b求偏导,并令导数为0,求得拉格朗日乘子α,进而根据W与b与α的等式关系求得W与b的解;
S44:根据步骤S43的解,得到最优分类判别函数,并采用Gauss径向基核函数其中σ>0为高斯核的带宽,得到分类函数f(x)=sgn(WT·x+b),其中x表示将xi映射后的特征向量,根据输入的智慧实体状态变化序列对智慧实体的类别进行划分,将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器。
5.根据权利要求1所述的边缘智能数据分类存储方法,其特征在于:步骤S5具体包括以下步骤:
S51:根据步骤S4的分类方法将智慧实体状态数据分类后,网关将其覆盖范围内的数据分类上传;
S52:由于瞬变型智慧实体数据时变性强,较短时间内,其状态极有可能会发生变化,缓变型智慧实体状态变化比较缓慢,并且,缓变型智慧实体状态数据存储云端心也会降低其他区域用户对本地缓变型实体状态数据获取的时延,而瞬变型智慧实体状态数据由于距本地用户较近,则本地用户搜索其状态数据时延较低,因此网关将瞬变型智慧实体数据存储在临近的边缘服务器,而缓变型智慧实体数据上传至云端服务器;
S53:由于物联网数据具有新鲜度和生命周期特性,因此边缘服务器和云端服务器周期性更新所存储的智慧实体状态数据,以保证数据的有效性。
6.根据权利要求1所述的边缘智能数据分类存储方法,其特征在于:步骤S6具体包括以下步骤:
S61:如步骤S5所述,缓变型智慧实体状态数据存储在云端心服务器,瞬变型智慧实体状态数据则存储在边缘服务器,以满足用户搜索需求;
S62:与传统搜索模式不同,当用户提交给定状态搜索智慧实体的命令时,搜索系统将搜索请求发出至边缘服务器,边缘服务器收到请求消息后,快速搜索是否有与搜索请求匹配的智慧实体状态数据,以判别所搜索的智慧实体类型;
S63:若边缘服务器匹配到与搜索请求相关的智慧实体状态数据信息,则说明用户搜索的是瞬变型智慧实体,直接将搜索结果返回给用户,以降低搜索时延和提高搜索精度;
S64:若用户搜索的实体状态数据不在边缘服务器,则判断用户搜索的实体为缓变型智慧实体,边缘服务器则将搜索请求上传至云端,云端进行搜索匹配后将结果返回边缘服务器,边缘服务器再将结果返回给用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910913649.5A CN110674230B (zh) | 2019-09-25 | 2019-09-25 | 一种边缘智能数据分类存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910913649.5A CN110674230B (zh) | 2019-09-25 | 2019-09-25 | 一种边缘智能数据分类存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110674230A true CN110674230A (zh) | 2020-01-10 |
CN110674230B CN110674230B (zh) | 2022-10-14 |
Family
ID=69078958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910913649.5A Active CN110674230B (zh) | 2019-09-25 | 2019-09-25 | 一种边缘智能数据分类存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674230B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111711681A (zh) * | 2020-06-10 | 2020-09-25 | 重庆邮电大学 | 一种面向智慧实体的边缘处理方法 |
CN112000749A (zh) * | 2020-07-31 | 2020-11-27 | 恒大智慧科技有限公司 | 一种服务器、数据存储方法、以及计算机设备 |
CN112637273A (zh) * | 2020-12-04 | 2021-04-09 | 重庆邮电大学 | 一种智能热点数据预测及缓存方法 |
CN114155716A (zh) * | 2022-02-08 | 2022-03-08 | 深圳市金蚁云数字科技有限公司 | 车位管理方法、装置、设备及计算机存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160335348A1 (en) * | 2015-05-13 | 2016-11-17 | Quixey, Inc. | Static-Analysis-Assisted Dynamic Application Crawling Architecture |
CN106506702A (zh) * | 2016-12-28 | 2017-03-15 | 芜湖乐锐思信息咨询有限公司 | 新型智能医疗信息管理系统 |
CN109411093A (zh) * | 2018-10-16 | 2019-03-01 | 烟台翰宁信息科技有限公司 | 一种基于云计算的智慧医疗大数据分析处理方法 |
CN109819046A (zh) * | 2019-02-26 | 2019-05-28 | 重庆邮电大学 | 一种基于边缘协作的物联网虚拟计算资源调度方法 |
CN110162018A (zh) * | 2019-05-31 | 2019-08-23 | 天津开发区精诺瀚海数据科技有限公司 | 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法 |
CN110192842A (zh) * | 2019-05-30 | 2019-09-03 | 华南理工大学 | 基于云边端一体化的生理指标数据监测系统及方法 |
-
2019
- 2019-09-25 CN CN201910913649.5A patent/CN110674230B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160335348A1 (en) * | 2015-05-13 | 2016-11-17 | Quixey, Inc. | Static-Analysis-Assisted Dynamic Application Crawling Architecture |
CN106506702A (zh) * | 2016-12-28 | 2017-03-15 | 芜湖乐锐思信息咨询有限公司 | 新型智能医疗信息管理系统 |
CN109411093A (zh) * | 2018-10-16 | 2019-03-01 | 烟台翰宁信息科技有限公司 | 一种基于云计算的智慧医疗大数据分析处理方法 |
CN109819046A (zh) * | 2019-02-26 | 2019-05-28 | 重庆邮电大学 | 一种基于边缘协作的物联网虚拟计算资源调度方法 |
CN110192842A (zh) * | 2019-05-30 | 2019-09-03 | 华南理工大学 | 基于云边端一体化的生理指标数据监测系统及方法 |
CN110162018A (zh) * | 2019-05-31 | 2019-08-23 | 天津开发区精诺瀚海数据科技有限公司 | 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法 |
Non-Patent Citations (3)
Title |
---|
吴大鹏等: ""端―边―云"协同的智慧物联网", 《物联网学报》 * |
吴大鹏等: "面向5G移动通信系统的智慧城市汇聚及接入网络", 《电信科学》 * |
李继蕊等: "物联网环境下数据转发模型研究", 《软件学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111711681A (zh) * | 2020-06-10 | 2020-09-25 | 重庆邮电大学 | 一种面向智慧实体的边缘处理方法 |
CN111711681B (zh) * | 2020-06-10 | 2022-07-15 | 重庆邮电大学 | 一种面向智慧实体的边缘处理方法 |
CN112000749A (zh) * | 2020-07-31 | 2020-11-27 | 恒大智慧科技有限公司 | 一种服务器、数据存储方法、以及计算机设备 |
CN112637273A (zh) * | 2020-12-04 | 2021-04-09 | 重庆邮电大学 | 一种智能热点数据预测及缓存方法 |
CN112637273B (zh) * | 2020-12-04 | 2022-08-02 | 重庆邮电大学 | 一种智能热点数据预测及缓存方法 |
CN114155716A (zh) * | 2022-02-08 | 2022-03-08 | 深圳市金蚁云数字科技有限公司 | 车位管理方法、装置、设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110674230B (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674230B (zh) | 一种边缘智能数据分类存储方法 | |
Hu et al. | Federated region-learning: An edge computing based framework for urban environment sensing | |
CN102915346B (zh) | 面向物联网智能感知的数据索引建立与查询方法 | |
CN109241313A (zh) | 一种基于高阶深度哈希学习的图像检索方法 | |
CN108710947A (zh) | 一种基于lstm的智能家居机器学习系统设计方法 | |
CN112637273B (zh) | 一种智能热点数据预测及缓存方法 | |
CN111209968B (zh) | 基于深度学习的多气象因子模式预报温度订正方法及系统 | |
CN105005852B (zh) | 一种基于图像分析的宿舍环境智能监测系统 | |
CN110072205B (zh) | 一种用于无线传感网异常数据检测的分层聚合方法 | |
CN115376317B (zh) | 一种基于动态图卷积和时序卷积网络的交通流预测方法 | |
CN115620510B (zh) | 一种基于自适应窗口注意力提取时空依赖的交通流预测方法 | |
CN107679484A (zh) | 一种基于云计算存储的遥感图像目标自动检测与识别方法 | |
CN117725827A (zh) | 一种基于深度学习的植物工厂数字孪生系统及方法 | |
CN117194763A (zh) | 基于用户偏好与时空上下文信息的下一个poi推荐方法 | |
KR102064918B1 (ko) | 제로에너지 구축을 위한 높은 정확도를 가지는 에너지 진단 시스템 및 이의 방법 | |
CN116338571A (zh) | 一种基于自编码器和注意力机制的rssi指纹定位方法 | |
CN116629428A (zh) | 一种基于特征选择和SSA-BiLSTM的建筑能耗预测方法 | |
CN108182382A (zh) | 基于图相似的行为识别方法及系统 | |
CN115567871A (zh) | 一种WiFi指纹室内楼层识别与位置估计方法 | |
Zhang et al. | [Retracted] Regional Double‐Layer, High‐Precision Indoor Positioning System Based on iBeacon Network | |
CN209168369U (zh) | 一种滑坡灾害实时监测装置 | |
Lin | Research on data release and location monitoring technology of sensor network based on internet of things | |
CN113590971A (zh) | 一种基于类脑时空感知表征的兴趣点推荐方法及系统 | |
Zhao et al. | A Moving Object Detection Method Using Deep Learning‐Based Wireless Sensor Networks | |
CN111711681B (zh) | 一种面向智慧实体的边缘处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |