CN117008821A - 一种后勤管理的数据存储方法及系统 - Google Patents
一种后勤管理的数据存储方法及系统 Download PDFInfo
- Publication number
- CN117008821A CN117008821A CN202310367734.2A CN202310367734A CN117008821A CN 117008821 A CN117008821 A CN 117008821A CN 202310367734 A CN202310367734 A CN 202310367734A CN 117008821 A CN117008821 A CN 117008821A
- Authority
- CN
- China
- Prior art keywords
- data
- management information
- information data
- nodes
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 223
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013500 data storage Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 abstract description 9
- 238000013461 design Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005714 functional activity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种后勤管理的数据存储方法及系统,涉及数据存储技术领域。所述方法是先针对已存储的各份后勤管理信息数据,记录对应的数据访问信息,然后在当前单位时期结束时,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,再然后根据所有后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,并通过网络训练得到同时满足数据访问量均衡要求和总转移存储次数较低要求的新BP神经网络,最后根据所述新BP神经网络中各个隐藏节点的节点值,对部分后勤管理信息数据进行转移存储,如此可快速完成分布式存储具有不同访问频次的所有管理数据,并使各节点的访问量得到均衡,保障用户体验。
Description
技术领域
本发明属于数据存储技术领域,具体涉及一种后勤管理的数据存储方法及系统。
背景技术
后勤管理是管理者动用一定的原理、方法和手段进行的一系列特定管理行为和领导活动,其主要作用有:为职能活动提供可靠的物质保障;提高对人、财及物的利用率,从而促进职能工作效率的提高;促进职工积极性的发挥;稳定职工队伍和生活秩序;等等。为了达成前述后勤管理的作用,不但需要人们正确对待后勤管理工作,重视后勤职工的劳动,关心后勤管理工作,还需要后勤职工正确认识自己的工作,树立正确的服务思想,为单位职能活动提供更多的优质服务。
目前,在基于计算机信息技术的后勤管理活动中,会产生多种多样的后勤管理信息数据,例如,在基于计算机信息技术进行消防后勤管理的过程中,仅针对消防装备就会产生有产品参数数据、入库记录数据、出库记录数据、巡检记录数据、维修记录数据和/或报废记录数据等;同时出于方便历史回溯的目的,这些后勤管理信息数据都不会被轻易删除,并随着时间的流逝会变得越来越多,使得需要采用在分布式存储系统中的多个存储节点进行分布式存储。在后勤管理活动中,前述这些后勤管理信息数据还会被拥有不同权限的用户(其包括但不限于为后勤职工)予以访问,使得有些后勤管理信息数据成为低频访问数据项(即被访问次数较少的数据项),而有些后勤管理信息数据则会成为高频访问数据项(即被访问次数较多的数据项),如此将存在这样一个问题:若在某个存储节点存储有过多的高频访问数据项,可能导致该存储节点被频繁访问,严重时会出现数据访问卡顿甚至宕机的情况,影响用户访问体验,因此如何分布式存储具有不同访问频次的所有后勤管理信息数据,并使各个存储节点的数据访问量得到均衡,进而保障用户访问体验,是本领域技术人员亟需研究的课题。
发明内容
本发明的目的是提供一种后勤管理的数据存储方法、系统、计算机设备及计算机可读存储介质,用以解决现有后勤管理信息数据在分布式存储时可能因高频访问数据项过于集中而导致出现数据访问卡顿甚至宕机的情况以及影响用户访问体验的问题。
为了实现上述目的,本发明采用以下技术方案:
第一方面,提供了一种后勤管理的数据存储方法,包括:
针对已存储的各份后勤管理信息数据,记录对应的数据访问信息;
在当前单位时期结束时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数;
根据所有的所述后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,其中,所述隐藏层包含有与所有的所述后勤管理信息数据一一对应的N个隐藏节点,所述输出层包含有与所有的所述后勤管理信息数据一一对应的N个输出节点,所述N个隐藏节点与所述N个输出节点一对一连接,N表示所有的所述后勤管理信息数据的总份数;
将与所有所述后勤管理信息数据一一对应的N个零值作为输出目标向量导入所述BP神经网络中,得到完成训练的新BP神经网络,其中,所述BP神经网络的训练过程包括有依次的如下步骤S41~S44:
S41.按照如下公式计算得到输出向量:
yn=LF1(pn,Sn)
式中,n表示小于等于N的正整数,yn表示在所述N个输出节点中的第n个输出节点的输出值,所述输出向量表示为(y1,y2,…,yn,…yN),pn表示在所述N个隐藏节点中的第n个隐藏节点的节点值,Sn表示在所有的所述后勤管理信息数据中的第n份后勤管理信息数据的当前存储节点在所述所有存储节点中的序号,LF1(pn,Sn)表示用于判断pn是否等于Sn的函数,并在是时输出0,而在否时输出1;
S42.针对在所述所有存储节点中的各个存储节点,按照如下公式计算得到对应的且在下一个单位时期的数据访问总次数:
式中,m表示小于等于M的正整数,M表示所述所有存储节点的节点总数,P′m表示在所述所有存储节点中的第m存储节点在下一个单位时期的数据访问总次数,P′n表示所述第n份后勤管理信息数据在下一个单位时期的数据访问次数,LF2(pn,m)表示用于判断pn是否等于m的函数,并在是时输出1,而在否时输出0;
S43.判断所述所有存储节点的数据访问总次数的标准差是否小于等于第一期望目标值以及所述输出向量中的元素总和是否小于等于第二期望目标值,若是,则停止训练,得到完成训练的新BP神经网络,否则执行步骤S44;
S44.基于BP神经网络的梯度下降法来调整所述N个隐藏节点的节点值,然后返回执行步骤S41,其中,所述N个隐藏节点的节点值的调整约束条件包括有取值为小于等于M的正整数;
按照如下方式遍历所述各份后勤管理信息数据:若对应的隐藏节点的节点值为非零数值x且不等于对应的当前存储节点在所述所有存储节点中的序号,则将对应数据从对应的当前存储节点转移存储至在所述所有存储节点中的第x个存储节点。
基于上述发明内容,提供了一种基于BP神经网络定期对所有后勤管理信息数据进行访问均衡的分布式存储方案,即先针对已存储的各份后勤管理信息数据,记录对应的数据访问信息,然后在当前单位时期结束时,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,再然后根据所有后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,并通过网络训练得到同时满足数据访问量均衡要求和总转移存储次数较低要求的新BP神经网络,最后根据所述新BP神经网络中各个隐藏节点的节点值,对部分后勤管理信息数据进行转移存储,如此可以快速完成分布式存储具有不同访问频次的所有后勤管理信息数据,并使各个存储节点的数据访问量得到均衡,进而可避免出现数据访问卡顿甚至宕机的情况,保障用户访问体验,便于实际应用和推广。
在一个可能的设计中,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,包括:
针对任一份后勤管理信息数据,根据对应的且历史记录的所述数据访问信息,统计得到对应的且在最近K个单位时期的数据访问次数,其中,K表示正整数且取值范围为[3,7];
针对所述任一份后勤管理信息数据,按照如下公式计算得到对应的且在下一个单位时期的数据访问次数PK+1:
式中,k表示正整数且取值范围为[1,K],Pk表示所述任一份后勤管理信息数据在最近第k个单位时期的数据访问次数。
在一个可能的设计中,所述数据访问信息包含有数据访问时间戳/和与所述数据访问时间戳一一对应的访问请求端唯一标识。
在一个可能的设计中,当所述数据访问信息包含有数据访问时间戳和与所述数据访问时间戳一一对应的访问请求端唯一标识时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,还包括:
根据所述任一份后勤管理信息数据的且历史记录的所述数据访问信息和在所有所述后勤管理信息数据中的各份其它后勤管理信息数据的且历史记录的所述数据访问信息,按照如下公式计算得到所述各份其它后勤管理信息数据对所述任一份后勤管理信息数据所产生的访问关联系数:
式中,表示小于N的正整数,N表示所有的所述后勤管理信息数据的总份数,/>表示在所有所述后勤管理信息数据中的第/>份其它后勤管理信息数据对所述任一份后勤管理信息数据所产生的访问关联系数,/>表示所述第/>份其它后勤管理信息数据在历史上的数据访问总次数,/>表示所述第/>份其它后勤管理信息数据和所述任一份后勤管理信息数据在一个单位时期内被同一个访问请求端依次连续访问的总次数;
针对所述任一份后勤管理信息数据,按照如下公式计算得到对应的且在下一个单位时期的数据访问次数校正值
式中,表示所述第/>份其它后勤管理信息数据在下一个单位时期的数据访问次数,η1和η2分别表示预设的权重系数且有η1+η2=1。
在一个可能的设计中,在所述BP神经网络的训练过程中,若在所述N个隐藏节点的节点值调整次数未达到预设的第一次数阈值前就已停止训练,则在减小所述第一期望目标值和/或所述第二期望目标值后,基于新的所述第一期望目标值和/或所述第二期望目标值,重新训练所述BP神经网络;
在所述BP神经网络的训练过程中,若在所述N个隐藏节点的节点值调整次数达到预设的第二次数阈值后仍未停止训练,则在增大所述第一期望目标值和/或所述第二期望目标值后,基于新的所述第一期望目标值和/或所述第二期望目标值,重新训练所述BP神经网络,其中,所述第二次数阈值大于所述第一次数阈值。
在一个可能的设计中,在遍历所述各份后勤管理信息数据之后,所述方法还包括:
将所有所述后勤管理信息数据的数据访问信息和/或新收到的且待存储的后勤管理信息数据存储至在所述所有存储节点中的且当前具有最低的数据访问总次数的存储节点,并使该存储节点的数据访问总次数自加预设值。
在一个可能的设计中,所述各份后勤管理信息数据包含有各个消防装备的产品参数数据、入库记录数据、出库记录数据、巡检记录数据、维修记录数据和/或报废记录数据。
第二方面,提供了一种后勤管理的数据存储装置,包括有数据访问记录模块、访问次数预测模块、网络创建模块、网络训练模块和数据遍历模块;
所述数据访问记录模块,用于针对已存储的各份后勤管理信息数据,记录对应的数据访问信息;
所述访问次数预测模块,通信连接所述数据访问记录模块,用于在当前单位时期结束时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数;
所述网络创建模块,用于根据所有的所述后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,其中,所述隐藏层包含有与所有的所述后勤管理信息数据一一对应的N个隐藏节点,所述输出层包含有与所有的所述后勤管理信息数据一一对应的N个输出节点,所述N个隐藏节点与所述N个输出节点一对一连接,N表示所有的所述后勤管理信息数据的总份数;
所述网络训练模块,分别通信连接所述访问次数预测模块和所述网络创建模块,用于将与所有所述后勤管理信息数据一一对应的N个零值作为输出目标向量导入所述BP神经网络中,得到完成训练的新BP神经网络,其中,所述网络训练模块包括有输出向量计算单元、访问总次数计算单元、判断单元和节点值调整单元;
所述输出向量计算单元,用于按照如下公式计算得到输出向量:
yn=LF1(pn,Sn)
式中,n表示小于等于N的正整数,yn表示在所述N个输出节点中的第n个输出节点的输出值,所述输出向量表示为(y1,y2,…,yn,…yN),pn表示在所述N个隐藏节点中的第n个隐藏节点的节点值,Sn表示在所有的所述后勤管理信息数据中的第n份后勤管理信息数据的当前存储节点在所述所有存储节点中的序号,LF1(pn,Sn)表示用于判断pn是否等于Sn的函数,并在是时输出0,而在否时输出1;
所述访问总次数计算单元,通信连接所述输出向量计算单元,用于针对在所述所有存储节点中的各个存储节点,按照如下公式计算得到对应的且在下一个单位时期的数据访问总次数:
式中,m表示小于等于M的正整数,M表示所述所有存储节点的节点总数,P′m表示在所述所有存储节点中的第m存储节点在下一个单位时期的数据访问总次数,P′n表示所述第n份后勤管理信息数据在下一个单位时期的数据访问次数,LF2(pn,m)表示用于判断pn是否等于m的函数,并在是时输出1,而在否时输出0;
所述判断单元,分别通信连接所述输出向量计算单元、所述访问总次数计算单元和所述节点值调整单元,用于判断所述所有存储节点的数据访问总次数的标准差是否小于等于第一期望目标值以及所述输出向量中的元素总和是否小于等于第二期望目标值,若是,则停止训练,得到完成训练的新BP神经网络,否则启动所述节点值调整单元;
所述节点值调整单元,通信连接所述输出向量计算单元,用于基于BP神经网络的梯度下降法来调整所述N个隐藏节点的节点值,然后返回启动所述输出向量计算单元,其中,所述N个隐藏节点的节点值的调整约束条件包括有取值为小于等于M的正整数;
所述数据遍历模块,通信连接所述网络训练模块,用于按照如下方式遍历所述各份后勤管理信息数据:若对应的隐藏节点的节点值为非零数值x且不等于对应的当前存储节点在所述所有存储节点中的序号,则将对应数据从对应的当前存储节点转移存储至在所述所有存储节点中的第x个存储节点。
第三方面,本发明提供了一种计算机设备,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面或第一方面中任意可能设计所述的数据存储方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面或第一方面中任意可能设计所述的数据存储方法。
第五方面,本发明提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面或第一方面中任意可能设计所述的数据存储方法。
上述方案的有益效果:
(1)本发明创造性提供了一种基于BP神经网络定期对所有后勤管理信息数据进行访问均衡的分布式存储方案,即先针对已存储的各份后勤管理信息数据,记录对应的数据访问信息,然后在当前单位时期结束时,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,再然后根据所有后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,并通过网络训练得到同时满足数据访问量均衡要求和总转移存储次数较低要求的新BP神经网络,最后根据所述新BP神经网络中各个隐藏节点的节点值,对部分后勤管理信息数据进行转移存储,如此可以快速完成分布式存储具有不同访问频次的所有后勤管理信息数据,并使各个存储节点的数据访问量得到均衡,进而可避免出现数据访问卡顿甚至宕机的情况,保障用户访问体验,便于实际应用和推广;
(2)还可以将数据间的访问关联特性也引入到数据访问次数预测中,进一步提升预测准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的后勤管理的数据存储方法的流程示意图。
图2为本申请实施例提供的BP神经网络的结构示意图。
图3为本申请实施例提供的后勤管理的数据存储装置的结构示意图。
图4为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍,显而易见地,下面关于附图结构的描述仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
应当理解,尽管本文可能使用术语第一和第二等等来描述各种对象,但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象,同时不脱离本发明的示例实施例的范围。
应当理解,对于本文中可能出现的术语“和/或”,其仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A、单独存在B或者同时存在A和B等三种情况;又例如,A、B和/或C,可以表示存在A、B和C中的任意一种或他们的任意组合;对于本文中可能出现的术语“/和”,其是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A或者同时存在A和B等两种情况;另外,对于本文中可能出现的字符“/”,一般表示前后关联对象是一种“或”关系。
实施例:
如图1所示,本实施例第一方面提供的且用于后勤管理的数据存储方法,可以但不限于由具有一定计算资源的计算机设备执行,例如由现场服务器、个人计算机(PersonalComputer,PC,指一种大小、价格和性能适用于个人使用的多用途计算机;台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal Digital Assistant,PDA)或可穿戴设备等电子设备执行。如图1所示,所述数据存储方法,可以但不限于包括有如下步骤S1~S5。
S1.针对已存储的各份后勤管理信息数据,记录对应的数据访问信息。
在所述步骤S1中,所述后勤管理信息数据即为在基于计算机信息技术的后勤管理活动中所产生的现有单位数据(此处的单位数据是指可以独立存储和访问的单份数据);所述各份后勤管理信息数据在数据类型、产生时间或其它维度上可以相同,也可以不同,举例的,在基于计算机信息技术进行消防后勤管理的过程中,所述各份后勤管理信息数据包含但不限于有各个消防装备的产品参数数据、入库记录数据、出库记录数据、巡检记录数据、维修记录数据和/或报废记录数据等。所述数据访问信息在对应数据被访问时产生或进行内容添加,具体包含但不限于有数据访问时间戳/和与所述数据访问时间戳一一对应的访问请求端唯一标识等,即可以包含有所述数据访问时间戳,也可以包含有所述数据访问时间戳和与所述数据访问时间戳一一对应的所述访问请求端唯一标识,等等。此外,所述访问请求端唯一标识可以但不限于为访问请求端的IP地址或设备唯一编号等;以及所述各份后勤管理信息数据当前可以分布式存储在分布式存储系统中的所有存储节点上。
S2.在当前单位时期结束时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数。
在所述步骤S2中,所述单位时期可以是日、周、月或季度等,优选为周,即在每周结束时,预测得到所述各份后勤管理信息数据在下一个周的数据访问次数。所述各份后勤管理信息数据在下一个单位时期的数据访问次数的具体预测方式,可以但不限于基于现有的时间序列预测模型来实现,例如采用LSTM(Long Short Term Memory,长短时记忆网络)模型进行数据访问次数预测。为了简化计算和快速得到预测结果,优选的,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,包括但不限于有如下步骤S21~S22。
S21.针对任一份后勤管理信息数据,根据对应的且历史记录的所述数据访问信息,统计得到对应的且在最近K个单位时期的数据访问次数,其中,K表示正整数且取值范围为[3,7]。
在所述步骤S21中,由于所述数据访问信息包含有数据访问时间戳,因此可以基于该数据访问时间戳,常规统计得到所述任一份后勤管理信息数据。此外,K优选取值为5。
S22.针对所述任一份后勤管理信息数据,按照如下公式计算得到对应的且在下一个单位时期的数据访问次数PK+1:
式中,k表示正整数且取值范围为[1,K],Pk表示所述任一份后勤管理信息数据在最近第k个单位时期的数据访问次数。
在所述步骤S22中,通过将所述任一份后勤管理信息数据在所述最近K个单位时期的数据访问次数的平均值作为在下一个单位时期的数据访问次数,可以在一定程度上保障预测准确性。此外,考虑存在某份后勤管理信息数据的产生时长短于K个单位时期的情况,若还是求在所述最近K个单位时期的数据访问次数的平均值,将导致预测准确性明显降低,因此还可以按照如下方式对所述某份后勤管理信息数据在下一个单位时期的数据访问次数进行校正:若某份后勤管理信息数据是在最近第个单位时期内产生,则按照如下公式计算得到所述某份后勤管理信息数据的且在下一个单位时期的数据访问次数PK+1:
式中,表示小于K的正整数。
S3.根据所有的所述后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,其中,所述隐藏层包含有与所有的所述后勤管理信息数据一一对应的N个隐藏节点,所述输出层包含有与所有的所述后勤管理信息数据一一对应的N个输出节点,所述N个隐藏节点与所述N个输出节点一对一连接,N表示所有的所述后勤管理信息数据的总份数。
在所述步骤S3中,所述所有存储节点即为在分布式存储系统中当前可用的全部存储节点,并默认这些存储节点的存储容量都足够大,即在存储过程中不会出现存储空间不足的问题。由于BP(Back Propagation,反向传播)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念,是一种按照误差逆向传播算法(即以误差平方为目标函数,采用梯度下降法来计算该目标函数的最小值)训练的多层前馈神经网络,是应用最广泛的神经网络模型之一;以及BP神经网络的基本结构是在输入层(其可以有若干个输入节点)与输出层(其可以有若干个输出节点)之间增加一层或多层神经元(这些神经元称为隐藏节点,它们与外界没有直接的联系,但是其状态的改变能影响输入与输出之间的关系),得到有若干个隐藏节点的隐藏层,因此创建而得的所述BP神经网络的网络结构可如图2所示,以便可用隐藏节点的节点值来作为选定存储对象(即选定存储的某个存储节点)在所述所有存储节点中的序号。此外,如图2所示,所述输入层也可包含有与所述所有存储节点一一对应的M个输入节点,并使所述M个输入节点与所述N个隐藏节点多对多连接,以便构建起一个完整的BP神经网络结构,其中,M表示所述所有存储节点的节点总数,所述多对多连接的具体建立方式可为:针对各个输入节点,都建立其与所述N个隐藏节点一对多的连接关系。
S4.将与所有所述后勤管理信息数据一一对应的N个零值作为输出目标向量导入所述BP神经网络中,得到完成训练的新BP神经网络。
在所述步骤S4中,所述输出目标向量用于作为训练所需的验证数据,可具体表示为(Dy1,Dy2,…Dyn,…,DyN),其中,n表示小于等于N的正整数,Dyn等于零(由于后续网络训练的目标之一是使所有的所述后勤管理信息数据的总转移存储次数最低,以便尽量减少转移存储数据项,快速完成分布式存储调整,因此是将各个输出节点的输出目标向量设置为零值)。所述BP神经网络的训练过程包括但不限于有如下步骤S41~S44。
S41.按照如下公式计算得到输出向量:
yn=LF1(pn,Sn)
式中,n表示小于等于N的正整数,yn表示在所述N个输出节点中的第n个输出节点的输出值,所述输出向量表示为(y1,y2,…,yn,…yN),pn表示在所述N个隐藏节点中的第n个隐藏节点的节点值,Sn表示在所有的所述后勤管理信息数据中的第n份后勤管理信息数据的当前存储节点在所述所有存储节点中的序号,LF1(pn,Sn)表示用于判断pn是否等于Sn的函数,并在是时输出0,而在否时输出1。
在所述步骤S41中,pn的初始值可按照特定约束条件(即取值为小于等于M的正整数,等等)来随机生成;由于在初始化及后续调整过程中都是按照该特定约束条件来得到所述N个隐藏节点的节点值,因此在初始化后或任意一次调整后,所有节点值均为非零节点值(即1~M),并能够作为选定存储对象在所述所有存储节点中的序号。综合前述细节描述,可通过上述公式计算得到:当序号为1、5和10的隐藏节点的节点值为正整数Y时,可针对序号为1、5和10的输出节点,通过对应的输出值得到判断对应的选定存储对象(即在所述所有存储节点中的第Y个存储节点)与对应的当前存储节点是否相同的结果:1表示不同,0表示相同,进而可参与后续的数据验证。此外,从上述公式也可以看出,输出向量与输入向量无关,因此训练所需的输入向量可设计为任意值,所述输入层中的输入节点也可以设置为任意数目。
S42.针对在所述所有存储节点中的各个存储节点,按照如下公式计算得到对应的且在下一个单位时期的数据访问总次数:
式中,m表示小于等于M的正整数,M表示所述所有存储节点的节点总数,P′m表示在所述所有存储节点中的第m存储节点在下一个单位时期的数据访问总次数,P′n表示所述第n份后勤管理信息数据在下一个单位时期的数据访问次数,LF2(pn,m)表示用于判断pn是否等于m的函数,并在是时输出1,而在否时输出0。
在所述步骤S42中,具体计算思路即是将选定同一存储节点作为选定存储对象的所有后勤管理信息数据在下一个单位时期的数据访问次数累加起来,然后将累加结果作为该存储节点在下一个单位时期的数据访问总次数,如此可以统计得到所述各个存储节点在下一个单位时期的数据访问总次数。
S43.判断所述所有存储节点的数据访问总次数的标准差是否小于等于第一期望目标值以及所述输出向量中的元素总和是否小于等于第二期望目标值,若是,则停止训练,得到完成训练的新BP神经网络,否则执行步骤S44。
在所述步骤S43中,若判定所述所有存储节点的数据访问总次数的标准差小于等于所述第一期望目标值,则表明使各个存储节点的数据访问量得到均衡的要求得到满足;而若再判定所述输出向量中的元素总和小于等于第二期望目标值,则还表明使所有的所述后勤管理信息数据的总转移存储次数较低的要求得到满足,由此可将此时针对所述各份后勤管理信息数据选定的存储节点(即用隐藏节点的非零节点值表示)作为可进行统一存储的合适对象,进而可以停止训练。
S44.基于BP神经网络的梯度下降法来调整所述N个隐藏节点的节点值,然后返回执行步骤S41,其中,所述N个隐藏节点的节点值的调整约束条件包括有取值为小于等于M的正整数。
在所述步骤S44中,基于BP神经网络的梯度下降法进行调整的现有原理是:转入误差(即所述输出向量与所述输出目标向量的误差和所述输出向量的元素总和与所述总价值评分期望目标值的误差)的反向传播过程;误差反传是将输出误差通过隐含层向输入层逐层反传,并将误差分摊给各层所有节点,以从各层获得的误差信号作为调整各节点值的依据;通过调整输入节点与隐藏节点的连接强度和隐藏节点与输出节点的连接强度以及阈值,使误差沿梯度方向下降;最后经过反复学习训练,即可确定与最小误差相对应的网络参数。
另外,优选的,在所述BP神经网络的训练过程中,若在所述N个隐藏节点的节点值调整次数未达到预设的第一次数阈值前就已停止训练,则在减小所述第一期望目标值和/或所述第二期望目标值后,基于新的所述第一期望目标值和/或所述第二期望目标值,重新训练所述BP神经网络,以便探寻更合适的分布式存储方案;在所述BP神经网络的训练过程中,若在所述N个隐藏节点的节点值调整次数达到预设的第二次数阈值后仍未停止训练,则在增大所述第一期望目标值和/或所述第二期望目标值后,基于新的所述第一期望目标值和/或所述第二期望目标值,重新训练所述BP神经网络,以便能够探寻到合适的分布式存储方案,其中,所述第二次数阈值大于所述第一次数阈值。
S5.按照如下方式遍历所述各份后勤管理信息数据:若对应的隐藏节点的节点值为非零数值x且不等于对应的当前存储节点在所述所有存储节点中的序号,则将对应数据从对应的当前存储节点转移存储至在所述所有存储节点中的第x个存储节点。
在所述步骤S5中,举例的,若某份后勤管理信息数据的当前存储节点为在所述所有存储节点中的第7个存储节点,而与所述某份后勤管理信息数据对应的隐藏节点的节点值为10,则将所述某份后勤管理信息数据从所述第7个存储节点转移存储至在所述所有存储节点中的第10个存储节点。此外,若非零数值x等于当前存储节点在所述所有存储节点中的序号,则表明当前存储节点即为选定存储对象,无需转移存储。
前述步骤S2~S5是在当前单位时期与下一个单位时期之间进行,由于需要一定的处理时间,可设定这段时间为系统维护时间,以避免因部分数据在转移过程中而导致出现数据访问错误的问题。在所述步骤S5之后会进入所述下一个单位时期,此时为了存储所述数据访问信息和/或新生成的后勤管理信息数据,优选的,在遍历所述各份后勤管理信息数据之后,所述方法还包括:将所有所述后勤管理信息数据的数据访问信息和/或新收到的且待存储的后勤管理信息数据存储至在所述所有存储节点中的且当前具有最低的数据访问总次数的存储节点,并使该存储节点的数据访问总次数自加预设值。通过前述数据存储手段,可以依然使各个存储节点的数据访问量得到均衡。此外,所述预设值可以为所述数据访问信息和所述新收到的且待存储的后勤管理信息数据设计成不同的数值;具体的,针对所述数据访问信息,可以设计对应的预设值为1,而针对所述新收到的且待存储的后勤管理信息数据,可根据对应的数据类型,设计对应的预设值为一个与该数据类型对应的默认值,例如为3。
由此基于前述步骤S1~S5所描述的后勤管理的数据存储方法,提供了一种基于BP神经网络定期对所有后勤管理信息数据进行访问均衡的分布式存储方案,即先针对已存储的各份后勤管理信息数据,记录对应的数据访问信息,然后在当前单位时期结束时,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,再然后根据所有后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,并通过网络训练得到同时满足数据访问量均衡要求和总转移存储次数较低要求的新BP神经网络,最后根据所述新BP神经网络中各个隐藏节点的节点值,对部分后勤管理信息数据进行转移存储,如此可以快速完成分布式存储具有不同访问频次的所有后勤管理信息数据,并使各个存储节点的数据访问量得到均衡,进而可避免出现数据访问卡顿甚至宕机的情况,保障用户访问体验,便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何对数据访问次数预测结果进行校正的可能设计一,即当所述数据访问信息包含有数据访问时间戳和与所述数据访问时间戳一一对应的访问请求端唯一标识时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,还包括但不限于有如下步骤S23~S24。
S23.根据所述任一份后勤管理信息数据的且历史记录的所述数据访问信息和在所有所述后勤管理信息数据中的各份其它后勤管理信息数据的且历史记录的所述数据访问信息,按照如下公式计算得到所述各份其它后勤管理信息数据对所述任一份后勤管理信息数据所产生的访问关联系数:
式中,表示小于N的正整数,N表示所有的所述后勤管理信息数据的总份数,/>表示在所有所述后勤管理信息数据中的第/>份其它后勤管理信息数据对所述任一份后勤管理信息数据所产生的访问关联系数,/>表示所述第/>份其它后勤管理信息数据在历史上的数据访问总次数,/>表示所述第/>份其它后勤管理信息数据和所述任一份后勤管理信息数据在一个单位时期内被同一个访问请求端依次连续访问的总次数。
在所述步骤S23中,由于所述数据访问信息包含有所述数据访问时间戳,因此可以常规统计得到所述第份其它后勤管理信息数据在历史上的数据访问总次数;以及由于所述数据访问信息包含有所述数据访问时间戳和与所述数据访问时间戳一一对应的所述访问请求端唯一标识,因此还可以常规统计得到所述第/>份其它后勤管理信息数据和所述任一份后勤管理信息数据在一个单位时期内被同一个访问请求端依次连续访问的总次数。
S24.针对所述任一份后勤管理信息数据,按照如下公式计算得到对应的且在下一个单位时期的数据访问次数校正值P′K+1:
式中,表示所述第/>份其它后勤管理信息数据在下一个单位时期的数据访问次数,η1和η2分别表示预设的权重系数且有η1+η2=1。
在所述步骤S23中,所述权重系数η1可以举例为0.618,所述权重系数η2可以举例为0.382。通过前述两计算公式,还可以将数据间的访问关联特性也引入到数据访问次数预测中,进一步提升预测准确性。
由此基于前述的可能设计一,还可以将数据间的访问关联特性也引入到数据访问次数预测中,进一步提升预测准确性。
如图3所示,本实施例第二方面提供了一种实现第一方面或第一方面中任意可能设计所述的数据存储方法的虚拟系统,包括有数据访问记录模块、访问次数预测模块、网络创建模块、网络训练模块和数据遍历模块;
所述数据访问记录模块,用于针对已存储的各份后勤管理信息数据,记录对应的数据访问信息;
所述访问次数预测模块,通信连接所述数据访问记录模块,用于在当前单位时期结束时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数;
所述网络创建模块,用于根据所有的所述后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,其中,所述隐藏层包含有与所有的所述后勤管理信息数据一一对应的N个隐藏节点,所述输出层包含有与所有的所述后勤管理信息数据一一对应的N个输出节点,所述N个隐藏节点与所述N个输出节点一对一连接,N表示所有的所述后勤管理信息数据的总份数;
所述网络训练模块,分别通信连接所述访问次数预测模块和所述网络创建模块,用于将与所有所述后勤管理信息数据一一对应的N个零值作为输出目标向量导入所述BP神经网络中,得到完成训练的新BP神经网络,其中,所述网络训练模块包括有输出向量计算单元、访问总次数计算单元、判断单元和节点值调整单元;
所述输出向量计算单元,用于按照如下公式计算得到输出向量:
yn=LF1(pn,Sn)
式中,n表示小于等于N的正整数,yn表示在所述N个输出节点中的第n个输出节点的输出值,所述输出向量表示为(y1,y2,…,yn,…yN),pn表示在所述N个隐藏节点中的第n个隐藏节点的节点值,Sn表示在所有的所述后勤管理信息数据中的第n份后勤管理信息数据的当前存储节点在所述所有存储节点中的序号,LF1(pn,Sn)表示用于判断pn是否等于Sn的函数,并在是时输出0,而在否时输出1;
所述访问总次数计算单元,通信连接所述输出向量计算单元,用于针对在所述所有存储节点中的各个存储节点,按照如下公式计算得到对应的且在下一个单位时期的数据访问总次数:
式中,m表示小于等于M的正整数,M表示所述所有存储节点的节点总数,P′m表示在所述所有存储节点中的第m存储节点在下一个单位时期的数据访问总次数,P′n表示所述第n份后勤管理信息数据在下一个单位时期的数据访问次数,LF2(pn,m)表示用于判断pn是否等于m的函数,并在是时输出1,而在否时输出0;
所述判断单元,分别通信连接所述输出向量计算单元、所述访问总次数计算单元和所述节点值调整单元,用于判断所述所有存储节点的数据访问总次数的标准差是否小于等于第一期望目标值以及所述输出向量中的元素总和是否小于等于第二期望目标值,若是,则停止训练,得到完成训练的新BP神经网络,否则启动所述节点值调整单元;
所述节点值调整单元,通信连接所述输出向量计算单元,用于基于BP神经网络的梯度下降法来调整所述N个隐藏节点的节点值,然后返回启动所述输出向量计算单元,其中,所述N个隐藏节点的节点值的调整约束条件包括有取值为小于等于M的正整数;
所述数据遍历模块,通信连接所述网络训练模块,用于按照如下方式遍历所述各份后勤管理信息数据:若对应的隐藏节点的节点值为非零数值x且不等于对应的当前存储节点在所述所有存储节点中的序号,则将对应数据从对应的当前存储节点转移存储至在所述所有存储节点中的第x个存储节点。
本实施例第二方面提供的前述系统的工作过程、工作细节和技术效果,可以参见第一方面或第一方面中任意可能设计所述的数据存储方法,于此不再赘述。
如图4所示,本实施例第三方面提供了一种执行如第一方面或第一方面中任意可能设计所述的数据存储方法的计算机设备,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面或第一方面中任意可能设计所述的数据存储方法。具体举例的,所述存储器可以但不限于包括随机存取存储器(Random-Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存(Flash Memory)、先进先出存储器(FirstInput First Output,FIFO)和/或先进后出存储器(First Input Last Output,FILO)等等;所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外,所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果,可以参见第一方面或第一方面中任意可能设计所述的数据存储方法,于此不再赘述。
本实施例第四方面提供了一种存储包含如第一方面或第一方面中任意可能设计所述的数据存储方法的指令的计算机可读存储介质,即所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面或第一方面中任意可能设计所述的数据存储方法。其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质,所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果,可以参见如第一方面或第一方面中任意可能设计所述的数据存储方法,于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面或第一方面中任意可能设计所述的数据存储方法。其中,所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种后勤管理的数据存储方法,其特征在于,包括:
针对已存储的各份后勤管理信息数据,记录对应的数据访问信息;
在当前单位时期结束时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数;
根据所有的所述后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,其中,所述隐藏层包含有与所有的所述后勤管理信息数据一一对应的N个隐藏节点,所述输出层包含有与所有的所述后勤管理信息数据一一对应的N个输出节点,所述N个隐藏节点与所述N个输出节点一对一连接,N表示所有的所述后勤管理信息数据的总份数;
将与所有所述后勤管理信息数据一一对应的N个零值作为输出目标向量导入所述BP神经网络中,得到完成训练的新BP神经网络,其中,所述BP神经网络的训练过程包括有依次的如下步骤S41~S44:
S41.按照如下公式计算得到输出向量:
yn=LF1(pn,Sn)
式中,n表示小于等于N的正整数,yn表示在所述N个输出节点中的第n个输出节点的输出值,所述输出向量表示为(y1,y2,…,yn,…yN),pn表示在所述N个隐藏节点中的第n个隐藏节点的节点值,Sn表示在所有的所述后勤管理信息数据中的第n份后勤管理信息数据的当前存储节点在所述所有存储节点中的序号,LF1(pn,Sn)表示用于判断pn是否等于Sn的函数,并在是时输出0,而在否时输出1;
S42.针对在所述所有存储节点中的各个存储节点,按照如下公式计算得到对应的且在下一个单位时期的数据访问总次数:
式中,m表示小于等于M的正整数,M表示所述所有存储节点的节点总数,P′m表示在所述所有存储节点中的第m存储节点在下一个单位时期的数据访问总次数,P′n表示所述第n份后勤管理信息数据在下一个单位时期的数据访问次数,LF2(pn,m)表示用于判断pn是否等于m的函数,并在是时输出1,而在否时输出0;
S43.判断所述所有存储节点的数据访问总次数的标准差是否小于等于第一期望目标值以及所述输出向量中的元素总和是否小于等于第二期望目标值,若是,则停止训练,得到完成训练的新BP神经网络,否则执行步骤S44;
S44.基于BP神经网络的梯度下降法来调整所述N个隐藏节点的节点值,然后返回执行步骤S41,其中,所述N个隐藏节点的节点值的调整约束条件包括有取值为小于等于M的正整数;
按照如下方式遍历所述各份后勤管理信息数据:若对应的隐藏节点的节点值为非零数值x且不等于对应的当前存储节点在所述所有存储节点中的序号,则将对应数据从对应的当前存储节点转移存储至在所述所有存储节点中的第x个存储节点。
2.根据权利要求1所述的后勤管理的数据存储方法,其特征在于,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,包括:
针对任一份后勤管理信息数据,根据对应的且历史记录的所述数据访问信息,统计得到对应的且在最近K个单位时期的数据访问次数,其中,K表示正整数且取值范围为[3,7];
针对所述任一份后勤管理信息数据,按照如下公式计算得到对应的且在下一个单位时期的数据访问次数PK+1:
式中,k表示正整数且取值范围为[1,K],Pk表示所述任一份后勤管理信息数据在最近第k个单位时期的数据访问次数。
3.根据权利要求1或2所述的后勤管理的数据存储方法,其特征在于,所述数据访问信息包含有数据访问时间戳/和与所述数据访问时间戳一一对应的访问请求端唯一标识。
4.根据权利要求2所述的后勤管理的数据存储方法,其特征在于,当所述数据访问信息包含有数据访问时间戳和与所述数据访问时间戳一一对应的访问请求端唯一标识时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数,还包括:
根据所述任一份后勤管理信息数据的且历史记录的所述数据访问信息和在所有所述后勤管理信息数据中的各份其它后勤管理信息数据的且历史记录的所述数据访问信息,按照如下公式计算得到所述各份其它后勤管理信息数据对所述任一份后勤管理信息数据所产生的访问关联系数:
式中,表示小于N的正整数,N表示所有的所述后勤管理信息数据的总份数,/>表示在所有所述后勤管理信息数据中的第/>份其它后勤管理信息数据对所述任一份后勤管理信息数据所产生的访问关联系数,/>表示所述第/>份其它后勤管理信息数据在历史上的数据访问总次数,/>表示所述第/>份其它后勤管理信息数据和所述任一份后勤管理信息数据在一个单位时期内被同一个访问请求端依次连续访问的总次数;
针对所述任一份后勤管理信息数据,按照如下公式计算得到对应的且在下一个单位时期的数据访问次数校正值P′K+1:
式中,表示所述第/>份其它后勤管理信息数据在下一个单位时期的数据访问次数,η1和η2分别表示预设的权重系数且有η1+η2=1。
5.根据权利要求1所述的后勤管理的数据存储方法,其特征在于,在所述BP神经网络的训练过程中,若在所述N个隐藏节点的节点值调整次数未达到预设的第一次数阈值前就已停止训练,则在减小所述第一期望目标值和/或所述第二期望目标值后,基于新的所述第一期望目标值和/或所述第二期望目标值,重新训练所述BP神经网络;
在所述BP神经网络的训练过程中,若在所述N个隐藏节点的节点值调整次数达到预设的第二次数阈值后仍未停止训练,则在增大所述第一期望目标值和/或所述第二期望目标值后,基于新的所述第一期望目标值和/或所述第二期望目标值,重新训练所述BP神经网络,其中,所述第二次数阈值大于所述第一次数阈值。
6.根据权利要求1所述的后勤管理的数据存储方法,其特征在于,在遍历所述各份后勤管理信息数据之后,所述方法还包括:
将所有所述后勤管理信息数据的数据访问信息和/或新收到的且待存储的后勤管理信息数据存储至在所述所有存储节点中的且当前具有最低的数据访问总次数的存储节点,并使该存储节点的数据访问总次数自加预设值。
7.根据权利要求1所述的后勤管理的数据存储方法,其特征在于,所述各份后勤管理信息数据包含有各个消防装备的产品参数数据、入库记录数据、出库记录数据、巡检记录数据、维修记录数据和/或报废记录数据。
8.一种后勤管理的数据存储系统,其特征在于,包括有数据访问记录模块、访问次数预测模块、网络创建模块、网络训练模块和数据遍历模块;
所述数据访问记录模块,用于针对已存储的各份后勤管理信息数据,记录对应的数据访问信息;
所述访问次数预测模块,通信连接所述数据访问记录模块,用于在当前单位时期结束时,根据所述各份后勤管理信息数据的且历史记录的所述数据访问信息,预测得到所述各份后勤管理信息数据在下一个单位时期的数据访问次数;
所述网络创建模块,用于根据所有的所述后勤管理信息数据和所有存储节点,创建包含有输入层、隐藏层和输出层的反向传播BP神经网络,其中,所述隐藏层包含有与所有的所述后勤管理信息数据一一对应的N个隐藏节点,所述输出层包含有与所有的所述后勤管理信息数据一一对应的N个输出节点,所述N个隐藏节点与所述N个输出节点一对一连接,N表示所有的所述后勤管理信息数据的总份数;
所述网络训练模块,分别通信连接所述访问次数预测模块和所述网络创建模块,用于将与所有所述后勤管理信息数据一一对应的N个零值作为输出目标向量导入所述BP神经网络中,得到完成训练的新BP神经网络,其中,所述网络训练模块包括有输出向量计算单元、访问总次数计算单元、判断单元和节点值调整单元;
所述输出向量计算单元,用于按照如下公式计算得到输出向量:
yn=LF1(pn,Sn)
式中,n表示小于等于N的正整数,yn表示在所述N个输出节点中的第n个输出节点的输出值,所述输出向量表示为(y1,y2,…,yn,…yN),pn表示在所述N个隐藏节点中的第n个隐藏节点的节点值,Sn表示在所有的所述后勤管理信息数据中的第n份后勤管理信息数据的当前存储节点在所述所有存储节点中的序号,LF1(pn,Sn)表示用于判断pn是否等于Sn的函数,并在是时输出0,而在否时输出1;
所述访问总次数计算单元,通信连接所述输出向量计算单元,用于针对在所述所有存储节点中的各个存储节点,按照如下公式计算得到对应的且在下一个单位时期的数据访问总次数:
式中,m表示小于等于M的正整数,M表示所述所有存储节点的节点总数,P′m表示在所述所有存储节点中的第m存储节点在下一个单位时期的数据访问总次数,P′n表示所述第n份后勤管理信息数据在下一个单位时期的数据访问次数,LF2(pn,m)表示用于判断pn是否等于m的函数,并在是时输出1,而在否时输出0;
所述判断单元,分别通信连接所述输出向量计算单元、所述访问总次数计算单元和所述节点值调整单元,用于判断所述所有存储节点的数据访问总次数的标准差是否小于等于第一期望目标值以及所述输出向量中的元素总和是否小于等于第二期望目标值,若是,则停止训练,得到完成训练的新BP神经网络,否则启动所述节点值调整单元;
所述节点值调整单元,通信连接所述输出向量计算单元,用于基于BP神经网络的梯度下降法来调整所述N个隐藏节点的节点值,然后返回启动所述输出向量计算单元,其中,所述N个隐藏节点的节点值的调整约束条件包括有取值为小于等于M的正整数;
所述数据遍历模块,通信连接所述网络训练模块,用于按照如下方式遍历所述各份后勤管理信息数据:若对应的隐藏节点的节点值为非零数值x且不等于对应的当前存储节点在所述所有存储节点中的序号,则将对应数据从对应的当前存储节点转移存储至在所述所有存储节点中的第x个存储节点。
9.一种计算机设备,其特征在于,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如权利要求1~7中任意一项所述的数据存储方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~7中任意一项所述的数据存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310367734.2A CN117008821B (zh) | 2023-04-07 | 2023-04-07 | 一种后勤管理的数据存储方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310367734.2A CN117008821B (zh) | 2023-04-07 | 2023-04-07 | 一种后勤管理的数据存储方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117008821A true CN117008821A (zh) | 2023-11-07 |
CN117008821B CN117008821B (zh) | 2024-04-19 |
Family
ID=88567892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310367734.2A Active CN117008821B (zh) | 2023-04-07 | 2023-04-07 | 一种后勤管理的数据存储方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117008821B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6119112A (en) * | 1997-11-19 | 2000-09-12 | International Business Machines Corporation | Optimum cessation of training in neural networks |
CN107426315A (zh) * | 2017-07-24 | 2017-12-01 | 南京邮电大学 | 一种基于BP神经网络的分布式缓存系统Memcached的改进方法 |
US20190354853A1 (en) * | 2018-05-21 | 2019-11-21 | Fair Isaac Corporation | System and method for generating explainable latent features of machine learning models |
CN110874765A (zh) * | 2019-10-22 | 2020-03-10 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN111158613A (zh) * | 2020-04-07 | 2020-05-15 | 上海飞旗网络技术股份有限公司 | 基于访问热度的数据块存储方法、装置及存储设备 |
US20210287089A1 (en) * | 2020-03-14 | 2021-09-16 | DataRobot, Inc. | Automated and adaptive design and training of neural networks |
CN114868133A (zh) * | 2019-12-19 | 2022-08-05 | 瓦里安医疗系统国际股份公司 | 用于可缩放分割模型训练的系统和方法 |
CN115473901A (zh) * | 2022-11-15 | 2022-12-13 | 四川汉唐云分布式存储技术有限公司 | 一种分布式算力集群智慧调度方法、装置及计算机设备 |
-
2023
- 2023-04-07 CN CN202310367734.2A patent/CN117008821B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6119112A (en) * | 1997-11-19 | 2000-09-12 | International Business Machines Corporation | Optimum cessation of training in neural networks |
CN107426315A (zh) * | 2017-07-24 | 2017-12-01 | 南京邮电大学 | 一种基于BP神经网络的分布式缓存系统Memcached的改进方法 |
US20190354853A1 (en) * | 2018-05-21 | 2019-11-21 | Fair Isaac Corporation | System and method for generating explainable latent features of machine learning models |
CN110874765A (zh) * | 2019-10-22 | 2020-03-10 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN114868133A (zh) * | 2019-12-19 | 2022-08-05 | 瓦里安医疗系统国际股份公司 | 用于可缩放分割模型训练的系统和方法 |
US20210287089A1 (en) * | 2020-03-14 | 2021-09-16 | DataRobot, Inc. | Automated and adaptive design and training of neural networks |
CN111158613A (zh) * | 2020-04-07 | 2020-05-15 | 上海飞旗网络技术股份有限公司 | 基于访问热度的数据块存储方法、装置及存储设备 |
CN115473901A (zh) * | 2022-11-15 | 2022-12-13 | 四川汉唐云分布式存储技术有限公司 | 一种分布式算力集群智慧调度方法、装置及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117008821B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2013364041B2 (en) | Instance weighted learning machine learning model | |
CN113099729A (zh) | 生产调度的深度强化学习 | |
JP2021533474A (ja) | ノード分類方法、モデル訓練方法並びに、その装置、機器及びコンピュータプログラム | |
CN107229518A (zh) | 一种分布式集群训练方法和装置 | |
CN106875027A (zh) | 资源请求值的预测方法及装置、交易量的预测方法 | |
CN114595396B (zh) | 一种基于联邦学习的序列推荐方法和系统 | |
CN108431832A (zh) | 利用外部存储器扩增神经网络 | |
CN111160954A (zh) | 基于图卷积网络模型的面向群组对象的推荐方法 | |
CN108446382A (zh) | 用于推送信息的方法和装置 | |
CN113408797A (zh) | 流转量预测多时序模型生成方法、信息发送方法和装置 | |
CN113033712A (zh) | 一种基于联邦学习的多用户协同训练人流统计方法及系统 | |
CN112292696B (zh) | 确定执行设备的动作选择方针的方法和装置 | |
CN115081936B (zh) | 面向应急条件下多遥感卫星观测任务调度的方法和装置 | |
CN115270001A (zh) | 基于云端协同学习的隐私保护推荐方法及系统 | |
CN112990958A (zh) | 数据处理方法、装置、存储介质及计算机设备 | |
CN117994635B (zh) | 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统 | |
CN116627970A (zh) | 一种基于区块链和联邦学习的数据共享方法及装置 | |
CN112149990A (zh) | 一种基于预测的模糊供需匹配方法 | |
CN113554201A (zh) | 一种基于超网络和联邦学习的评分预测系统及预测方法 | |
CN117008821B (zh) | 一种后勤管理的数据存储方法及系统 | |
CN114022731A (zh) | 基于drl的联邦学习节点选择方法 | |
CN112470123B (zh) | 确定执行设备的动作选择方针 | |
CN109872183A (zh) | 智能服务评价方法、计算机可读存储介质和终端设备 | |
CN115222483A (zh) | 金融产品推荐方法、装置、电子设备及存储介质 | |
CN114885028A (zh) | 业务调度方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |