CN115686583B - 海量物联网设备升级方法、装置、电子设备和存储介质 - Google Patents
海量物联网设备升级方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115686583B CN115686583B CN202310005307.XA CN202310005307A CN115686583B CN 115686583 B CN115686583 B CN 115686583B CN 202310005307 A CN202310005307 A CN 202310005307A CN 115686583 B CN115686583 B CN 115686583B
- Authority
- CN
- China
- Prior art keywords
- attribute
- internet
- object model
- index
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种海量物联网设备升级方法、装置、电子设备和存储介质,其中方法包括:确定设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用查询语句对各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;基于设备查询集中的物联网设备对设备分组进行更新和升级任务调度;其中,动态索引池是基于如下步骤构建的:基于各品类物模型的各属性的属性名称的出现频率选取初始索引数量个通用属性,并对通用属性建立物模型索引;基于当前的滑动时间窗口确定滑动时间窗口内各品类物模型的各属性的查询频率,并基于各属性的查询频率对动态索引池进行更新。本发明提升了设备筛选的实时性以及升级控制的准确性。
Description
技术领域
本发明涉及物联网技术领域,尤其涉及一种海量物联网设备升级方法、装置、电子设备和存储介质。
背景技术
物联网是指通过各种信息传感器、射频识别技术等各种检测装置与技术,实时采集任何需要监控、连接和互动的物体和过程的各种信息,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。其中,物联网设备通常通过网关接入至物联网云平台,且各个物联网设备通常需要基于物联网功能应用需求的变更、固件程序的更新等原因进行软件或固件升级。
目前,在对物联网设备进行版本升级时,通常由技术人员手动从服务器端下载升级版本并推送到各个物联网设备中以进行软件或固件升级,整个升级过程将由技术人员人工进行控制。然而,此种方式难以适用于海量物联网设备升级的应用场景下,原因在于当物联网系统中包含大规模的物联网设备时,技术人员难以在短时间内筛选出需要进行版本升级的设备,更重要的是,版本升级为长任务,若海量设备同时进行版本升级,人力将无法一直对各个物联网设备进行长时间的持续监控。因此,亟需一种能够对海量物联网设备进行自动升级的控制方式,以保障大规模物联网系统中物联网设备升级的准确性和可靠性。
发明内容
本发明提供一种海量物联网设备升级方法、装置、电子设备和存储介质,用以解决现有技术在海量物联网设备升级的应用场景下难以保障物联网设备升级的准确性和可靠性的缺陷。
本发明提供一种海量物联网设备升级方法,包括:
接收各个物联网设备当前上报的物模型属性值;
对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;
基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;
其中,所述动态索引池是基于如下步骤构建的:
基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;
基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新。
根据本发明提供的一种海量物联网设备升级方法,所述基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新,具体包括:
将所述动态索引池划分为固定索引空间和灵活索引空间;其中,初始状态下所述通用属性对应的物模型索引位于所述固定索引空间中;
将所述滑动时间窗口内各品类物模型的各属性的查询频率按由大到小的顺序排列;
若任一通用属性之前的属性数量大于等于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述固定索引空间中,则基于所述任一通用属性更新所述灵活索引空间;
若任一通用属性之前的属性数量小于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述灵活索引空间中,则将所述任一通用属性对应的物模型索引迁移至所述固定索引空间中;
若任一个性化属性之前的属性数量小于所述动态索引池的大小且所述任一个性化属性不位于所述灵活索引空间中,则基于所述任一个性化属性更新所述灵活索引空间。
根据本发明提供的一种海量物联网设备升级方法,基于任一属性更新所述灵活索引空间,具体包括:
确定所述灵活索引空间是否被占满;
若所述灵活索引空间未占满,则将所述任一属性对应的物模型索引迁移至所述灵活索引空间中,并开始统计所述任一属性对应的物模型索引位于所述灵活索引空间中的时长;
否则,将位于所述灵活索引空间中的时长最长的物模型索引删除后,将所述任一属性对应的物模型索引迁移至所述灵活索引空间中,并开始统计所述任一属性对应的物模型索引位于所述灵活索引空间中的时长。
根据本发明提供的一种海量物联网设备升级方法,所述基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集,之前还包括:
基于任一物联网设备上一次上报的各属性的历史物模型属性值以及所述任一物联网设备最近一次被调用的服务类型,确定所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果;
和/或,基于任一物联网设备上报的各属性的物模型属性值,以及所述任一物联网设备所属的数字孪生体中所述任一物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定所述任一物联网设备当前上报的各属性的物模型属性值的第二异常检测结果;其中,所述兄弟孪生体节点对应的物联网设备与所述任一物联网设备属于同一品类;
基于所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果和/或第二异常检测结果,确定所述任一物联网设备上报的各属性的物模型属性值是否异常;
若所述任一物联网设备上报的任一属性的物模型属性值异常,则删除所述任一物联网设备上报的所述任一属性的物模型属性值。
根据本发明提供的一种海量物联网设备升级方法,所述基于任一物联网设备上报的各属性的物模型属性值,以及所述任一物联网设备所属的数字孪生体中所述任一物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定所述任一物联网设备当前上报的各属性的物模型属性值的第二异常检测结果,具体包括:
将所述兄弟孪生体节点中任一属性的同期物模型属性值输入至所述任一属性对应的回归模型,得到所述回归模型输出的属性预测值;
基于所述任一物联网设备当前上报的所述任一属性的物模型属性值与所述属性预测值之间的差异,确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第二异常检测结果;
其中,所述任一属性对应的回归模型是对所述兄弟孪生体节点中所述任一属性的历史物模型属性值以及所述任一物联网设备对应的孪生体节点中所述任一属性的历史物模型属性值进行回归分析得到的。
根据本发明提供的一种海量物联网设备升级方法,所述基于任一物联网设备上一次上报的各属性的历史物模型属性值以及所述任一物联网设备最近一次被调用的服务类型,确定所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果,具体包括:
若所述任一物联网设备上一次上报的所述任一属性的历史物模型属性值与所述任一物联网设备当前上报的所述任一属性的物模型属性值之间的差异大于预设值,则确定所述任一物联网设备最近一次被调用的服务类型;
若所述任一物联网设备最近一次被调用的服务类型与所述任一属性不相关,则确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第一异常检测结果为异常;
若所述任一物联网设备最近一次被调用的服务类型与所述任一属性相关,则确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第一异常检测结果为正常。
本发明还提供一种海量物联网设备升级装置,包括:
数据接收单元,用于接收各个物联网设备当前上报的物模型属性值;
设备筛选单元,用于对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;
升级任务调度单元,用于基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;
其中,所述动态索引池是基于如下步骤构建的:
基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;
基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新。
根据本发明提供的一种海量物联网设备升级装置,所述基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新,具体包括:
将所述动态索引池划分为固定索引空间和灵活索引空间;其中,初始状态下所述通用属性对应的物模型索引位于所述固定索引空间中;
将所述滑动时间窗口内各品类物模型的各属性的查询频率按由大到小的顺序排列;
若任一通用属性之前的属性数量大于等于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述固定索引空间中,则基于所述任一通用属性更新所述灵活索引空间;
若任一通用属性之前的属性数量小于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述灵活索引空间中,则将所述任一通用属性对应的物模型索引迁移至所述固定索引空间中;
若任一个性化属性之前的属性数量小于所述动态索引池的大小且所述任一个性化属性不位于所述灵活索引空间中,则基于所述任一个性化属性更新所述灵活索引空间。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述海量物联网设备升级方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述海量物联网设备升级方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述海量物联网设备升级方法。
本发明提供的海量物联网设备升级方法、装置、电子设备和存储介质,通过在初始状态下基于动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取初始索引数量个通用属性,并对通用属性建立物模型索引,其中,包含相同通用属性的物模型共享通用属性对应的物模型索引;再基于当前的滑动时间窗口确定滑动时间窗口内各品类物模型的各属性的查询频率,并基于各属性的查询频率对动态索引池进行更新,可以降低整个系统的索引数量且保证查询的整体效率;对用户输入的设备筛选规则进行解析,得到设备筛选规则对应的查询语句后,基于动态索引池中的物模型索引,可以提高查询语句对各个物联网设备当前上报的物模型属性值进行设备查询的查询效率,从而保障设备筛选的实时性,再基于设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度,可以实现物联网设备的自动升级,提升设备升级控制的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的海量物联网设备升级方法的流程示意图;
图2是本发明提供的动态索引池构建方法的流程示意图;
图3是本发明提供的数据异常检测方法的流程示意图;
图4是本发明提供的海量物联网设备升级装置的结构示意图;
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的海量物联网设备升级方法的流程示意图,该方法应用于物联网系统的云管理平台中,如图1所示,该方法包括:
步骤110,接收各个物联网设备当前上报的物模型属性值;
步骤120,对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;
步骤130,基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;
其中,如图2所示,所述动态索引池是基于如下步骤构建的:
步骤210,基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;
步骤220,基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新。
具体地,通过网络接入物联网系统云管理平台的各个物联网设备可以通过消息转发层上报自身对应的物模型中各属性的物模型属性值以及各软/固件模块的模块版本。其中,物联网设备可以周期性地上报其当前的物模型属性值和模块版本,也可以由云管理平台周期性地向物联网设备拉取其当前的物模型属性值和模块版本,本发明实施例对此不作具体限定。此处,物联网设备对应的物模型继承自其所属品类(例如充电产品、照明产品等抽象产品类型)的物模型,因此相同品类的物联网设备具备相同的物模型结构,但物模型属性值可能不同,其根据各物联网设备的工作状态会有所变化。
由于大规模物联网系统中的物联网设备数量非常庞大,在进行全网升级时,考虑到升级过程中物联网设备不可用,因此为了保证物联网系统的正常运转,可以按照实际应用场景下的升级需求对海量的物联网设备进行筛选,将筛选得到的物联网设备圈选到同一设备分组中优先进行升级,且同一设备分组中的物联网设备可以并行升级。此处,为了对海量的物联网设备进行筛选以确定当前优先进行升级的设备,用户可以建立相应的设备筛选规则。
针对用户输入的任一设备筛选规则,云管理平台可以基于内部的SQL引擎中的SQLHelper工具对该设备筛选规则(例如以Java语言编写)进行解析和SQL语句拼装,得到该设备筛选规则对应的查询语句。然而,本发明实施例将不会利用该查询语句直接进行查询,原因在于海量设备场景下设备数量多、设备所属的品类多,且物联网设备的物模型的属性也非常多(例如电力设备的属性多达上百条),直接进行全文查询将带来非常大的时间成本,难以满足实时性要求。其中,由于物联网设备的物模型属性值通常为快速变化的变化值,因此在进行设备筛选时需要满足实时性条件,以避免筛选出的物联网设备的物模型属性值在筛选过程中已发生变化导致筛选出不符合条件的设备。在物模型的属性上建立索引固然是一种提升查询效率的方式,然而目前的物联网系统中能够建立的索引数目有限,而不同品类的物模型的属性可能多达成千上万甚至更多,因此也无法在所有品类的物模型的所有属性上建立索引。因此,如果对各品类物模型的属性建立索引、如何利用建立的索引进行设备查询将是物联网设备筛选实时性的关键所在。
此处,本发明实施例针对各品类物模型建立了动态索引池,该动态索引池中包含了建立在各品类物模型的通用属性上的索引。即,可以优先选取多个品类的物模型所共有的通用属性建立索引。此举是利用了物联网领域中物模型的抽象能力和标准化特性,能够弱化底层物联网设备的差异性,并提炼出各物联网设备的共性从而构建相应的物模型。通过对各品类物模型的属性进行统计分析,可以确定各品类物模型共有的通用属性,从而使得相应的物模型可以共享该通用属性的物模型索引,大大降低了物联网系统所需的索引数量。
具体而言,在构建动态索引池时,可以基于动态索引池的大小确定初始索引数量。其中,动态索引池的大小是根据物联网产品供应商所能提供的索引上限值确定的。考虑到由更多品类物模型所共用的属性被查询的可能性较高,在其基础上建立索引能够更有效地降低整个系统的索引数量且保证查询的整体效率,因此优先在更多品类物模型所共用的属性上建立物模型索引。但是,部分物模型的个性化属性(即其他品类物模型不具备或仅有少量物模型共用的属性)也存在被频繁查询的需求,因此在构建初始状态下的动态索引池时,优先创建的通用属性对应的物模型索引将不会占满整个动态索引池,而是基于动态索引池的大小以及预设比例确定初始索引数量,并建立该初始索引数量个物模型索引,以在后续过程中对动态索引池更加灵活地进行动态更新。
此处,可以基于各品类物模型的各属性的属性名称在所有品类物模型中的出现频率由大到小进行排序,确定排在前列的初始索引数量个属性,作为待创建索引的通用属性。针对各个筛选出的通用属性,对其分别建立物模型索引并将该物模型索引置于动态索引池中,其中包含相同通用属性的物模型将共享该通用属性对应的物模型索引。在后续使用过程中,云管理平台可以采集针对各品类物模型的查询操作。其中,可以采用滑动时间窗口确定预设时间段内各属性的查询频率,从而筛选出查询需求较频繁的属性。任一属性查询需求越频繁,在该属性上建立索引带来的查询效率提升越明显。滑动时间窗口会随着时间而逐步移动,因此当前滑动时间窗口内统计的是各属性最新的查询情况。而滑动时间窗口的长度可以根据实际应用场景进行设定,其长度越长统计的各属性查询频率的时间跨度越大。基于当前的滑动时间窗口确定该滑动时间窗口内各品类物模型的各属性的查询频率,并基于各属性的查询频率对动态索引池进行更新。此处,对于查询频率较高的属性,将可以对其建立物模型索引并置于动态索引池中,而对于动态索引池中查询频率较低的属性,则可以将其对应的物模型索引删除。
基于当前动态索引池中的物模型索引,在利用查询语句对各个物联网设备当前上报的物模型属性值进行设备查询时,可以利用上述物模型索引提升设备查询的效率,从而快速查询得到包含符合上述设备筛选规则的物联网设备的设备查询集。根据该设备查询集中的物联网设备对设备分组进行更新,其中可以将设备查询集中的物联网设备加入到该设备分组中。随后,基于更新后的设备分组中的物联网设备的模块版本进行升级任务调度。此处,对于设备分组中新加入的物联网设备,可以为其创建升级任务并定时监测对应设备所在的升级节点和升级状态,从而可以根据其所在的升级节点和升级状态进行任务控制,在其升级失败时可以将其恢复至当前升级节点之前的状态并重新进行后续升级,从而实现物联网设备的自动升级,提升了设备升级控制的准确性。
本发明实施例提供的方法,通过在初始状态下基于动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取初始索引数量个通用属性,并对通用属性建立物模型索引,其中,包含相同通用属性的物模型共享通用属性对应的物模型索引;再基于当前的滑动时间窗口确定滑动时间窗口内各品类物模型的各属性的查询频率,并基于各属性的查询频率对动态索引池进行更新,可以降低整个系统的索引数量且保证查询的整体效率;对用户输入的设备筛选规则进行解析,得到设备筛选规则对应的查询语句后,基于动态索引池中的物模型索引,可以提高查询语句对各个物联网设备当前上报的物模型属性值进行设备查询的查询效率,从而保障设备筛选的实时性,再基于设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度,可以实现物联网设备的自动升级,提升设备升级控制的准确性。
基于上述实施例,所述基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新,具体包括:
将所述动态索引池划分为固定索引空间和灵活索引空间;其中,初始状态下所述通用属性对应的物模型索引位于所述固定索引空间中;
将所述滑动时间窗口内各品类物模型的各属性的查询频率按由大到小的顺序排列;
若任一通用属性之前的属性数量大于等于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述固定索引空间中,则基于所述任一通用属性更新所述灵活索引空间;
若任一通用属性之前的属性数量小于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述灵活索引空间中,则将所述任一通用属性对应的物模型索引迁移至所述固定索引空间中;
若任一个性化属性之前的属性数量小于所述动态索引池的大小且所述任一个性化属性不位于所述灵活索引空间中,则基于所述任一个性化属性更新所述灵活索引空间。
具体地,动态索引池被划分为两部分:固定索引空间和灵活索引空间,其中固定索引空间用于保存初始状态下确定的通用属性对应的物模型索引(即步骤210中建立的通用属性对应的物模型索引)。初始状态下,上述建立的通用属性对应的物模型索引均置于该固定索引空间中,而灵活索引空间则为空。在后续流程中,随着云管理平台不断接收针对各个品类物模型的检索请求,可以对上述固定索引空间和灵活索引空间中存储的物模型索引进行动态调整。
在动态调整固定索引空间和灵活索引空间中存储的物模型索引时,会考虑到各品类物模型中各属性的检索频率以及其在动态索引池中的存储状态(包括存储或未存储、存储于哪一空间以及存储时间等等)。因此,可以基于当前滑动时间窗口内各品类物模型的各属性的查询频率按由大到小的顺序进行排序。在调整固定索引空间和灵活索引空间中存储的物模型索引时,会优先考虑初始状态下确定的通用属性,若按查询频率排序后,任一通用属性之前的属性数量大于等于初始索引数量,即存在通用属性以外的其他属性(后文将初始状态下确定的通用属性以外的属性称为个性化属性)的查询频率高于该通用属性,并且该通用属性对应的物模型索引位于固定索引空间中,则基于该通用属性更新灵活索引空间,将该通用属性对应的物模型索引由固定索引空间转移至灵活索引空间。此处,虽然该通用属性的查询频率低于部分个性化属性,但是考虑到该通用属性涉及到多个物模型,因此可以将其转移至灵活索引空间以暂缓删除该通用属性对应的物模型索引,避免该通用属性的物模型属性由于查询频率偶尔的波动被误删除,以增强动态索引池的稳定性、准确性以保障查询效率。
若任一通用属性之前的属性数量小于初始索引数量且该通用属性对应的物模型索引位于灵活索引空间中,则将该通用属性对应的物模型索引迁移至固定索引空间中。此种情况下,可以认为该通用属性对应的物模型索引是由于暂时的查询频率波动被迁移到了灵活索引空间中,但是该通用属性在当前滑动时间窗口内的查询频率仍旧维持在较高水平,因此可以将其迁移回固定索引空间中。除此之外,若任一通用属性之前的属性数量小于初始索引数量且该通用属性对应的物模型索引位于固定索引空间中,或者任一通用属性之前的属性数量大于初始索引数量且该通用属性对应的物模型索引位于灵活索引空间中,则可以暂时不调整该通用属性对应的物模型索引。
针对个性化属性,若任一个性化属性之前的属性数量小于整个动态索引池的大小,即该个性化属性的查询频率较高,并且该个性化属性不位于灵活索引空间中,则可以基于该个性化属性更新灵活索引空间,对其建立物模型索引并将其对应的物模型索引加入到灵活索引空间中。若任一个性化属性之前的属性数量大于等于整个动态索引池的大小,则不对该个性化属性建立物模型索引,而若任一个性化属性之前的属性数量小于整个动态索引池的大小且该个性化属性已经位于灵活索引空间中,则可以暂时不调整该个性化属性对应的物模型索引。
需要说明的是,若固定索引空间长期未被占满,则可以缩小固定索引空间的大小并随之增大灵活索引空间的大小,以避免浪费动态索引池空间。
基于上述任一实施例,基于任一属性更新所述灵活索引空间,具体包括:
确定所述灵活索引空间是否被占满;
若所述灵活索引空间未占满,则将所述任一属性对应的物模型索引迁移至所述灵活索引空间中,并开始统计所述任一属性对应的物模型索引位于所述灵活索引空间中的时长;
否则,将位于所述灵活索引空间中的时长最长的物模型索引删除后,将所述任一属性对应的物模型索引迁移至所述灵活索引空间中,并开始统计所述任一属性对应的物模型索引位于所述灵活索引空间中的时长。
具体地,在基于任一通用属性或个性化属性更新灵活索引空间时,需要先确定灵活索引空间当前是否已被占满。若灵活索引空间当前未被占满,则将该属性对应的物模型索引直接加入至灵活索引空间中,并开始统计该属性对应的物模型索引保持在灵活索引空间中的时长。否则,可以将保持在灵活索引空间中的时长最长的物模型索引删除后,再将该属性对应的物模型索引加入到灵活索引空间中,并开始统计该属性对应的物模型索引在灵活索引空间中的时长。
基于上述任一实施例,如图3所示,所述基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集,之前还包括:
步骤310,基于任一物联网设备上一次上报的各属性的历史物模型属性值以及所述任一物联网设备最近一次被调用的服务类型,确定所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果;
步骤320,基于任一物联网设备上报的各属性的物模型属性值,以及所述任一物联网设备所属的数字孪生体中所述任一物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定所述任一物联网设备当前上报的各属性的物模型属性值的第二异常检测结果;其中,所述兄弟孪生体节点对应的物联网设备与所述任一物联网设备属于同一品类;
步骤330,基于所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果和/或第二异常检测结果,确定所述任一物联网设备上报的各属性的物模型属性值是否异常;
步骤340,若所述任一物联网设备上报的任一属性的物模型属性值异常,则删除所述任一物联网设备上报的所述任一属性的物模型属性值。
具体地,为了正确筛选出满足用户设定的设备筛选规则的物联网设备从而保证设备升级的准确性,在利用查询语句对各个物联网设备当前上报的物模型属性值进行查询之前,可以对各个物联网设备当前上报的物模型属性值进行异常检测。常用的基于时序数据的异常检测方式需要较多的时序数据进行数据规律的提取从而通过判断当前数据是否符合上述规律的方式确定当前数据是否异常。然而,在当前场景下,由于各物联网设备的各属性的物模型属性值是持续变化且可能变化较快的,因此当前数据的时效性较强,一旦数据失效,无论是数据异常的检测结果还是后续的设备查询结果均同样失效,故对于数据异常检测的实时性要求非常高,因而上述基于时序数据的异常检测方式不适用于本场景。另外,在海量设备升级场景下设备数量多、属性多、物模型属性值也很多,因此对于数据异常检测的复杂性也有相应要求,若异常检测算法复杂性过高则会导致运算量在海量设备场景下急剧增长,同样会导致异常检测效率难以满足场景需求。
因此,本发明实施例在进行异常检测时可以单独采用或结合采用以下两种复杂度较低检测效率较高的方式以兼顾异常检测的准确性和实时性。其中,一种方式是基于任一物联网设备上一次上报的各属性的历史物模型属性值以及该物联网设备最近一次被调用的服务类型,确定该物联网设备当前上报的各属性的物模型属性值的第一异常检测结果。即,针对任一物联网设备的任一属性,可以基于当前上报的该属性的物模型属性值和上一次上报的该属性的物模型属性值,再结合最近一次被调用的服务类型进行异常判断,从而得到该物联网设备当前上报的该属性的物模型属性值的第一异常检测结果。
另一种方式是基于任一物联网设备上报的各属性的物模型属性值,以及该物联网设备所属的数字孪生体中该物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定该物联网设备当前上报的各属性的物模型属性值的第二异常检测结果。其中,兄弟孪生体节点对应的物联网设备与该物联网设备属于同一品类。此处,云管理平台端可以根据各个业务场景建立数字孪生体,其中孪生体节点可以对应该业务场景内的物联网设备,且物联网设备的各属性的物模型属性值会被映射到对应的孪生体节点中。
考虑到任一物联网设备对应的孪生体节点与其兄弟孪生体节点在数字孪生体中位于同一级且属于相同品类,因此其兄弟孪生体节点对应的物联网设备与该物联网设备的设备状态通常具备较高相关性,因此可以基于该物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值(即与该物联网设备上报的物模型属性值同期采集的属性值)进行异常检测。由于兄弟孪生体节点与该物联网设备在各属性上的关联性是明确的,而且兄弟孪生体节点的数量较少,因此该方式的检测效率和检测准确性可以满足当前场景的需求。
需要说明的是,针对物联网设备的不同属性可以采用不同的异常检测方式,部分属性可以仅采用第一种方式,部分属性可以仅采用第二种方式,而部分属性可以结合采用上述两种方式。由于物模型的属性的含义是在设计物模型时即明确的,其物模型属性值是与设备自身行为的关联性更高还是与其兄弟孪生体节点对应的物联网设备的物模型属性值的关联性更高可以预先确定,从而据此选择出合适的异常检测方式。例如,若任一物联网设备的任一属性的物模型属性值与该物联网设备自身行为的关联性更高(例如电量属性),则该属性的异常检测可以选用第一种方式;若该物联网设备与其兄弟孪生体节点对应的物联网设备在任一属性上的物模型属性值的关联性更高(例如温度属性),则该属性的异常检测可以选用第二种方式。
基于任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果和/或第二异常检测结果,可以确定该物联网设备上报的各属性的物模型属性值是否异常。其中,若某一属性采用了上述两种异常检测方式,分别得到了该属性的物模型属性值的第一异常检测结果和第二异常检测结果,则可以结合考虑上述两个异常检测结果,若第一异常检测结果和第二异常检测结果均指示该属性的物模型属性值异常,则可以确定属性的物模型属性值异常。如若确定该物联网设备上报的任一属性的物模型属性值异常,则删除该物联网设备上报的该属性的物模型属性值,使得在基于该属性进行设备查询时将该物联网设备排除在外。
基于上述任一实施例,所述基于任一物联网设备上报的各属性的物模型属性值,以及所述任一物联网设备所属的数字孪生体中所述任一物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定所述任一物联网设备当前上报的各属性的物模型属性值的第二异常检测结果,具体包括:
将所述兄弟孪生体节点中任一属性的同期物模型属性值输入至所述任一属性对应的回归模型,得到所述回归模型输出的属性预测值;
基于所述任一物联网设备当前上报的所述任一属性的物模型属性值与所述属性预测值之间的差异,确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第二异常检测结果;
其中,所述任一属性对应的回归模型是对所述兄弟孪生体节点中所述任一属性的历史物模型属性值以及所述任一物联网设备对应的孪生体节点中所述任一属性的历史物模型属性值进行回归分析得到的。
具体地,针对采用该种异常检测方式的任一物联网设备的任一属性,可以预先建立该属性对应的回归模型。其中,可以对该物联网设备对应的孪生体节点的兄弟孪生体节点中该属性的历史物模型属性值以及该物联网设备对应的孪生体节点中该属性的历史物模型属性值进行回归分析,从而得到该属性对应的回归模型。需要说明的是,该属性对应的回归模型还可以用于检测上述兄弟孪生体节点对应的物联网设备上报的该属性的物模型属性值是否异常,从而节约系统资源。
在检测该物联网设备当前上报的该属性的物模型属性值是否异常时,可以将该物联网设备对应的孪生体节点的兄弟孪生体节点中该属性的同期物模型属性值输入至该属性对应的回归模型,得到该回归模型输出的属性预测值。随后,基于该物联网设备当前上报的该属性的物模型属性值与上述属性预测值之间的差异,确定该物联网设备当前上报的该属性的物模型属性值的第二异常检测结果。其中,该物联网设备当前上报的该属性的物模型属性值与上述属性预测值之间的差异越大,该物联网设备当前上报的该属性的物模型属性值是异常数据的可能性越高。
基于上述任一实施例,所述基于任一物联网设备上一次上报的各属性的历史物模型属性值以及所述任一物联网设备最近一次被调用的服务类型,确定所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果,具体包括:
若所述任一物联网设备上一次上报的所述任一属性的历史物模型属性值与所述任一物联网设备当前上报的所述任一属性的物模型属性值之间的差异大于预设值,则确定所述任一物联网设备最近一次被调用的服务类型;
若所述任一物联网设备最近一次被调用的服务类型与所述任一属性不相关,则确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第一异常检测结果为异常;
若所述任一物联网设备最近一次被调用的服务类型与所述任一属性相关,则确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第一异常检测结果为正常。
具体地,可以确定该物联网设备上一次上报的该属性的历史物模型属性值与该物联网设备当前上报的该属性的物模型属性值之间的差异。若上述差异大于预设值,则确定该物联网设备最近一次被调用的服务类型。若该物联网设备最近一次被调用的服务类型与该属性不相关(即最近一次被调用的服务类型不用于调整该属性),表明该物联网设备当前上报的该属性的物模型属性值的变化不是由于该设备自身行为造成,因此可以确定该物联网设备当前上报的该属性的物模型属性值的第一异常检测结果为异常。若该物联网设备最近一次被调用的服务类型与该属性相关(即最近一次被调用的服务类型用于调整该属性,例如充电服务可以调整电量属性),表明该物联网设备当前上报的该属性的物模型属性值的变化是由于该设备自身行为造成,因此可以确定该物联网设备当前上报的该属性的物模型属性值的第一异常检测结果为正常。
下面对本发明提供的海量物联网设备升级装置进行描述,下文描述的海量物联网设备升级装置与上文描述的海量物联网设备升级方法可相互对应参照。
基于上述任一实施例,图4是本发明提供的海量物联网设备升级装置的结构示意图,如图4所示,该装置包括:数据接收单元410、设备筛选单元420和升级任务调度单元430。
其中,数据接收单元410用于接收各个物联网设备当前上报的物模型属性值;
设备筛选单元420用于对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;
升级任务调度单元430用于基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;
其中,所述动态索引池是基于如下步骤构建的:
基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;
基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新。
本发明实施例提供的装置,通过在初始状态下基于动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取初始索引数量个通用属性,并对通用属性建立物模型索引,其中,包含相同通用属性的物模型共享通用属性对应的物模型索引;再基于当前的滑动时间窗口确定滑动时间窗口内各品类物模型的各属性的查询频率,并基于各属性的查询频率对动态索引池进行更新,可以降低整个系统的索引数量且保证查询的整体效率;对用户输入的设备筛选规则进行解析,得到设备筛选规则对应的查询语句后,基于动态索引池中的物模型索引,可以提高查询语句对各个物联网设备当前上报的物模型属性值进行设备查询的查询效率,从而保障设备筛选的实时性,再基于设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度,可以实现物联网设备的自动升级,提升设备升级控制的准确性。
基于上述任一实施例,所述基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新,具体包括:
将所述动态索引池划分为固定索引空间和灵活索引空间;其中,初始状态下所述通用属性对应的物模型索引位于所述固定索引空间中;
将所述滑动时间窗口内各品类物模型的各属性的查询频率按由大到小的顺序排列;
若任一通用属性之前的属性数量大于等于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述固定索引空间中,则基于所述任一通用属性更新所述灵活索引空间;
若任一通用属性之前的属性数量小于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述灵活索引空间中,则将所述任一通用属性对应的物模型索引迁移至所述固定索引空间中;
若任一个性化属性之前的属性数量小于所述动态索引池的大小且所述任一个性化属性不位于所述灵活索引空间中,则基于所述任一个性化属性更新所述灵活索引空间。
基于上述任一实施例,基于任一属性更新所述灵活索引空间,具体包括:
确定所述灵活索引空间是否被占满;
若所述灵活索引空间未占满,则将所述任一属性对应的物模型索引迁移至所述灵活索引空间中,并开始统计所述任一属性对应的物模型索引位于所述灵活索引空间中的时长;
否则,将位于所述灵活索引空间中的时长最长的物模型索引删除后,将所述任一属性对应的物模型索引迁移至所述灵活索引空间中,并开始统计所述任一属性对应的物模型索引位于所述灵活索引空间中的时长。
基于上述任一实施例,所述基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集,之前还包括:
基于任一物联网设备上一次上报的各属性的历史物模型属性值以及所述任一物联网设备最近一次被调用的服务类型,确定所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果;
和/或,基于任一物联网设备上报的各属性的物模型属性值,以及所述任一物联网设备所属的数字孪生体中所述任一物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定所述任一物联网设备当前上报的各属性的物模型属性值的第二异常检测结果;其中,所述兄弟孪生体节点对应的物联网设备与所述任一物联网设备属于同一品类;
基于所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果和/或第二异常检测结果,确定所述任一物联网设备上报的各属性的物模型属性值是否异常;
若所述任一物联网设备上报的任一属性的物模型属性值异常,则删除所述任一物联网设备上报的所述任一属性的物模型属性值。
基于上述任一实施例,所述基于任一物联网设备上报的各属性的物模型属性值,以及所述任一物联网设备所属的数字孪生体中所述任一物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定所述任一物联网设备当前上报的各属性的物模型属性值的第二异常检测结果,具体包括:
将所述兄弟孪生体节点中任一属性的同期物模型属性值输入至所述任一属性对应的回归模型,得到所述回归模型输出的属性预测值;
基于所述任一物联网设备当前上报的所述任一属性的物模型属性值与所述属性预测值之间的差异,确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第二异常检测结果;
其中,所述任一属性对应的回归模型是对所述兄弟孪生体节点中所述任一属性的历史物模型属性值以及所述任一物联网设备对应的孪生体节点中所述任一属性的历史物模型属性值进行回归分析得到的。
基于上述任一实施例,所述基于任一物联网设备上一次上报的各属性的历史物模型属性值以及所述任一物联网设备最近一次被调用的服务类型,确定所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果,具体包括:
若所述任一物联网设备上一次上报的所述任一属性的历史物模型属性值与所述任一物联网设备当前上报的所述任一属性的物模型属性值之间的差异大于预设值,则确定所述任一物联网设备最近一次被调用的服务类型;
若所述任一物联网设备最近一次被调用的服务类型与所述任一属性不相关,则确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第一异常检测结果为异常;
若所述任一物联网设备最近一次被调用的服务类型与所述任一属性相关,则确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第一异常检测结果为正常。
图5是本发明提供的电子设备的结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、存储器(memory)520、通信接口(Communications Interface)530和通信总线540,其中,处理器510,存储器520,通信接口530通过通信总线540完成相互间的通信。处理器510可以调用存储器520中的逻辑指令,以执行海量物联网设备升级方法,该方法包括:接收各个物联网设备当前上报的物模型属性值;对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;其中,所述动态索引池是基于如下步骤构建的:基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新。
此外,上述的存储器520中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的海量物联网设备升级方法,该方法包括:接收各个物联网设备当前上报的物模型属性值;对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;其中,所述动态索引池是基于如下步骤构建的:基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的海量物联网设备升级方法,该方法包括:接收各个物联网设备当前上报的物模型属性值;对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;其中,所述动态索引池是基于如下步骤构建的:基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种海量物联网设备升级方法,其特征在于,包括:
接收各个物联网设备当前上报的物模型属性值;
对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;
基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;
其中,所述动态索引池是基于如下步骤构建的:
基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;
基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新;
所述基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新,具体包括:
将所述动态索引池划分为固定索引空间和灵活索引空间;其中,初始状态下所述通用属性对应的物模型索引位于所述固定索引空间中;
将所述滑动时间窗口内各品类物模型的各属性的查询频率按由大到小的顺序排列;
若任一通用属性之前的属性数量大于等于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述固定索引空间中,则基于所述任一通用属性更新所述灵活索引空间;
若任一通用属性之前的属性数量小于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述灵活索引空间中,则将所述任一通用属性对应的物模型索引迁移至所述固定索引空间中;
若任一个性化属性之前的属性数量小于所述动态索引池的大小且所述任一个性化属性不位于所述灵活索引空间中,则基于所述任一个性化属性更新所述灵活索引空间。
2.根据权利要求1所述的海量物联网设备升级方法,其特征在于,基于任一属性更新所述灵活索引空间,具体包括:
确定所述灵活索引空间是否被占满;
若所述灵活索引空间未占满,则将所述任一属性对应的物模型索引迁移至所述灵活索引空间中,并开始统计所述任一属性对应的物模型索引位于所述灵活索引空间中的时长;
否则,将位于所述灵活索引空间中的时长最长的物模型索引删除后,将所述任一属性对应的物模型索引迁移至所述灵活索引空间中,并开始统计所述任一属性对应的物模型索引位于所述灵活索引空间中的时长。
3.根据权利要求1所述的海量物联网设备升级方法,其特征在于,所述基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集,之前还包括:
基于任一物联网设备上一次上报的各属性的历史物模型属性值以及所述任一物联网设备最近一次被调用的服务类型,确定所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果;
和/或,基于任一物联网设备上报的各属性的物模型属性值,以及所述任一物联网设备所属的数字孪生体中所述任一物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定所述任一物联网设备当前上报的各属性的物模型属性值的第二异常检测结果;其中,所述兄弟孪生体节点对应的物联网设备与所述任一物联网设备属于同一品类;
基于所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果和/或第二异常检测结果,确定所述任一物联网设备上报的各属性的物模型属性值是否异常;
若所述任一物联网设备上报的任一属性的物模型属性值异常,则删除所述任一物联网设备上报的所述任一属性的物模型属性值。
4.根据权利要求3所述的海量物联网设备升级方法,其特征在于,所述基于任一物联网设备上报的各属性的物模型属性值,以及所述任一物联网设备所属的数字孪生体中所述任一物联网设备对应的孪生体节点的兄弟孪生体节点中各属性的同期物模型属性值,进行异常数据检测,确定所述任一物联网设备当前上报的各属性的物模型属性值的第二异常检测结果,具体包括:
将所述兄弟孪生体节点中任一属性的同期物模型属性值输入至所述任一属性对应的回归模型,得到所述回归模型输出的属性预测值;
基于所述任一物联网设备当前上报的所述任一属性的物模型属性值与所述属性预测值之间的差异,确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第二异常检测结果;
其中,所述任一属性对应的回归模型是对所述兄弟孪生体节点中所述任一属性的历史物模型属性值以及所述任一物联网设备对应的孪生体节点中所述任一属性的历史物模型属性值进行回归分析得到的。
5.根据权利要求3所述的海量物联网设备升级方法,其特征在于,所述基于任一物联网设备上一次上报的各属性的历史物模型属性值以及所述任一物联网设备最近一次被调用的服务类型,确定所述任一物联网设备当前上报的各属性的物模型属性值的第一异常检测结果,具体包括:
若所述任一物联网设备上一次上报的所述任一属性的历史物模型属性值与所述任一物联网设备当前上报的所述任一属性的物模型属性值之间的差异大于预设值,则确定所述任一物联网设备最近一次被调用的服务类型;
若所述任一物联网设备最近一次被调用的服务类型与所述任一属性不相关,则确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第一异常检测结果为异常;
若所述任一物联网设备最近一次被调用的服务类型与所述任一属性相关,则确定所述任一物联网设备当前上报的所述任一属性的物模型属性值的第一异常检测结果为正常。
6.一种海量物联网设备升级装置,其特征在于,包括:
数据接收单元,用于接收各个物联网设备当前上报的物模型属性值;
设备筛选单元,用于对用户输入的设备筛选规则进行解析,得到所述设备筛选规则对应的查询语句,并基于动态索引池中的物模型索引,利用所述查询语句对所述各个物联网设备当前上报的物模型属性值进行查询,得到设备查询集;
升级任务调度单元,用于基于所述设备查询集中的物联网设备对设备分组进行更新,并基于更新后的设备分组中的物联网设备进行升级任务调度;
其中,所述动态索引池是基于如下步骤构建的:
基于所述动态索引池的大小确定初始索引数量,基于各品类物模型的各属性的属性名称的出现频率选取所述初始索引数量个通用属性,并对所述通用属性建立物模型索引;其中,包含相同通用属性的物模型共享所述通用属性对应的物模型索引;
基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新;
所述基于当前的滑动时间窗口确定所述滑动时间窗口内各品类物模型的各属性的查询频率,并基于所述各属性的查询频率对所述动态索引池进行更新,具体包括:
将所述动态索引池划分为固定索引空间和灵活索引空间;其中,初始状态下所述通用属性对应的物模型索引位于所述固定索引空间中;
将所述滑动时间窗口内各品类物模型的各属性的查询频率按由大到小的顺序排列;
若任一通用属性之前的属性数量大于等于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述固定索引空间中,则基于所述任一通用属性更新所述灵活索引空间;
若任一通用属性之前的属性数量小于所述初始索引数量且所述任一通用属性对应的物模型索引位于所述灵活索引空间中,则将所述任一通用属性对应的物模型索引迁移至所述固定索引空间中;
若任一个性化属性之前的属性数量小于所述动态索引池的大小且所述任一个性化属性不位于所述灵活索引空间中,则基于所述任一个性化属性更新所述灵活索引空间。
7.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述海量物联网设备升级方法。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述海量物联网设备升级方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310005307.XA CN115686583B (zh) | 2023-01-04 | 2023-01-04 | 海量物联网设备升级方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310005307.XA CN115686583B (zh) | 2023-01-04 | 2023-01-04 | 海量物联网设备升级方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115686583A CN115686583A (zh) | 2023-02-03 |
CN115686583B true CN115686583B (zh) | 2023-03-21 |
Family
ID=85057561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310005307.XA Active CN115686583B (zh) | 2023-01-04 | 2023-01-04 | 海量物联网设备升级方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115686583B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11036702B1 (en) * | 2018-03-23 | 2021-06-15 | Amazon Technologies, Inc. | Generation of search indexes for disparate device information |
CN114579579A (zh) * | 2022-03-15 | 2022-06-03 | 重庆邮电大学 | 一种基于深度强化学习的索引选择方法 |
CN114896252A (zh) * | 2022-05-25 | 2022-08-12 | 远景智能国际私人投资有限公司 | 物联网设备的查询方法、装置、计算机设备及存储介质 |
-
2023
- 2023-01-04 CN CN202310005307.XA patent/CN115686583B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11036702B1 (en) * | 2018-03-23 | 2021-06-15 | Amazon Technologies, Inc. | Generation of search indexes for disparate device information |
CN114579579A (zh) * | 2022-03-15 | 2022-06-03 | 重庆邮电大学 | 一种基于深度强化学习的索引选择方法 |
CN114896252A (zh) * | 2022-05-25 | 2022-08-12 | 远景智能国际私人投资有限公司 | 物联网设备的查询方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115686583A (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8930964B2 (en) | Automatic event correlation in computing environments | |
CN111125444A (zh) | 大数据任务调度管理方法、装置、设备及存储介质 | |
CN111459698A (zh) | 一种数据库集群故障自愈方法及装置 | |
CN105335204A (zh) | 软件程序的灰度发布控制方法和灰度发布控制装置 | |
CN113420026B (zh) | 数据库表结构变更方法、装置、设备及存储介质 | |
CN114791846B (zh) | 一种针对云原生混沌工程实验实现可观测性的方法 | |
CN109213826A (zh) | 数据处理方法和设备 | |
JP2007174235A (ja) | 属性情報収集装置、属性情報収集方法および属性情報収集プログラム | |
CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN114791927A (zh) | 一种数据分析方法和装置 | |
CN115686583B (zh) | 海量物联网设备升级方法、装置、电子设备和存储介质 | |
CN113360353A (zh) | 一种测试服务器和云平台 | |
CN110336889B (zh) | 一种数值天气预报模式运行智能监控平台和监控方法 | |
CN116048846A (zh) | 数据传输方法、装置、设备和存储介质 | |
CN113722141B (zh) | 数据任务的延迟原因确定方法、装置、电子设备及介质 | |
CN116010388A (zh) | 数据校验方法、数据采集服务端及数据校验系统 | |
CN115185778A (zh) | 数据库的监控方法及装置 | |
CN115617670A (zh) | 软件测试管理方法、存储介质及系统 | |
CN114706893A (zh) | 故障检测方法、装置、设备及存储介质 | |
CN113835916A (zh) | 一种基于Ambari大数据平台的告警方法、系统及设备 | |
CN114253776A (zh) | 内存检测模型的训练方法、装置、设备和介质 | |
CN113282308A (zh) | 一种镜像构建方法、装置、存储介质及电子装置 | |
JP6926646B2 (ja) | 事業者間一括サービス管理装置および事業者間一括サービス管理方法 | |
CN116541377B (zh) | 任务的物化视图的处理方法、系统和电子设备 | |
CN109684158A (zh) | 分布式协调系统的状态监控方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |