CN116244284B - 一种基于立体内容的大数据处理方法 - Google Patents
一种基于立体内容的大数据处理方法 Download PDFInfo
- Publication number
- CN116244284B CN116244284B CN202211736149.7A CN202211736149A CN116244284B CN 116244284 B CN116244284 B CN 116244284B CN 202211736149 A CN202211736149 A CN 202211736149A CN 116244284 B CN116244284 B CN 116244284B
- Authority
- CN
- China
- Prior art keywords
- content
- parameter
- scene
- parameters
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 230000002123 temporal effect Effects 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000013505 freshwater Substances 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000007726 management method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于立体内容的大数据处理方法,包括以下步骤:构建出表征各组内容参数的数据关联性的内容参数关联关系式,再进行场景化融合得到内容参数场景关联式,以及构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团,以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值。本发明实现立体内容数据的场景化降维监测,降低监测过程中实时数据流量,实现减轻大数据硬件中传输能力、监测能力的压力,并能在出现立体内容的丢失后不影响后续相关管理分析,进而保证管理分析的精准性和可靠性。
Description
技术领域
本发明涉及大数据技术领域,具体涉及一种基于立体内容的大数据处理方法。
背景技术
将大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
现有技术CN111832987A公开了一种基于立体内容的大数据处理平台及方法,所述平台包括:人工分析机构,通过网络与大数据处理网元连接,用于基于单人单日运输纸箱体积确定并输出与纸箱实体占据体积成正比的单日所需人员数量;立体绘制机构,用于基于每一个纸箱像素在当前锐化图像中的横纵坐标以及景深数据绘制出快递储存仓库中的纸箱立体分布图;大数据处理网元,用于基于全景采集机构的成像焦距以及纸箱立体分布图的立体体积估算纸箱实体占据体积,基于立体内容的大数据处理平台及方法绘制智能、数据可靠。由于能够绘制出快递储存仓库内的现存纸箱分布立体图,并判断出运输所需要的人员数量或机器数量,从而增强了快递储存仓库管理的智能化水平。
上述现有技术虽然能够对立体内容进行分析处理,但是在立体内容相关数据的处理中同时要监测立体内容的各种数据,以全面监测数据,导致监测过程中实时数据流量大,对大数据硬件中传输能力、监测能力的要求高,在出现立体内容的丢失会导致后续相关管理分析出现错误,进而难以保证管理分析的精准性和可靠性。
发明内容
本发明的目的在于提供一种基于立体内容的大数据处理方法,以解决现有技术中在立体内容相关数据的处理中同时要监测立体内容的各种数据,以全面监测数据,导致监测过程中实时数据流量大,对大数据硬件中传输能力、监测能力的要求高,在出现立体内容的丢失会导致后续相关管理分析出现错误,进而难以保证管理分析的精准性和可靠性的技术问题。
为解决上述技术问题,本发明具体提供下述技术方案:
一种基于立体内容的大数据处理方法,包括以下步骤:
步骤S1、获取立体元素的各组内容参数,并构建出表征各组内容参数的数据关联性的内容参数关联关系式,再利用立体元素所处的场景参数对所述内容参数关联关系式进行场景化融合得到内容参数场景关联式;
步骤S2、基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团;
步骤S3、以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测。
作为本发明的一种优选方案,所述构建出表征各组内容参数的数据关联性的内容参数关联关系式,包括:
在标准场景下获取立体元素的各组内容参数的时序序列,并将各组内容参数的时序序列进行两两组合作为BP神经网络的输入项和输出项,利用所述BP神经网络进行卷积训练得到所述内容参数关联关系式;
所述内容参数关联关系式的计算公式为:
Sb,i=BP(Sb,i);
式中,Sb,i为标准场景下第i组内容参数,Sb,i为标准场景下第j组内容参数,BP为BP神经网络,i,j为计量数项。
作为本发明的一种优选方案,所述利用立体元素所处的场景参数对所述内容参数关联关系式进行场景化融合得到内容参数场景关联式,包括:
将标准场景的场景参数与立体元素所处的场景参数进行协方差计算得到场景化融合系数,所述场景化融合系数的函数表达式为:
;
式中,k为场景化融合系数,cov为协方差运算符,Yb为标准场景的场景参数序列,Yr为立体元素所处的场景参数序列;
利用场景化融合系数对标准场景下立体元素的各组内容参数和立体元素所处的场景参数下各组内容参数进行融合构建得到场景化融合公式,所述场景化融合公式为:
;
式中,[S]b为标准场景下立体元素的内容参数序列,[S]r为立体元素所处的场景参数下内容参数序列,[S]b={Sb,i|i∈[1,n]},[S]r={Sr,i|i∈[1,n]},Sb,i为标准场景下第i组内容参数,Sr,i为立体元素所处的场景参数下第i组内容参数;
将内容参数关联关系式Sb,i=BP(Sb,i)与场景化融合公式k=cov([S]b,[S]r)进行组合转换得到内容参数场景关联式Sr,i=BP(Sr,I,k),式中,Sr,i为立体元素所处的场景参数下第i组内容参数,Sr,j为立体元素所处的场景参数下第j组内容参数,i,j为计量数项。
作为本发明的一种优选方案,所述基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,包括:
基于内容参数场景关联式量化每个内容参数场景关联式中两个内容参数的关联度作为每个内容参数场景关联式的重要度,所述重要度的计算公式为:
;
式中,Pij为表征立体元素所处的场景参数下第i组内容参数和第j组内容参数的内容参数场景关联式,||Sr,i-Sr,j||2为Sr,i和Sr,j的欧式距离,||BP(Sr,I,k)-Sr,j||2为BP(Sr,I,k)和Sr,j的欧式距离;
依次将每个内容参数场景关联式的重要度与重要度阈值进行比较,并将重要度高于重要度阈值的内容参数场景关联式进行保留用于构建内容参数关联拓扑;
将保留的内容参数场景关联式中各个内容参数作为拓扑节点,并将具有内容参数场景关联式的拓扑节点利用拓扑连线进行连接,以及将内容参数场景关联式的重要度作为拓扑连线的线权重,以得到由拓扑节点、拓扑连线和线权重构成所述内容参数关联拓扑。
作为本发明的一种优选方案,利用复杂网络的社团分析方法对内容参数关联拓扑进行社团分析得到多个参数社团。
作为本发明的一种优选方案,所述以各个参数社团的社团中心作为关键参数,包括:
依次在每个参数社团中对每个拓扑节点的拓扑连线的线权重进行统计作为每个拓扑节点的关键程度;
将各个参数社团中最高关键程度的拓扑节点作为各个参数社团的社团中心,并将社团中心对应的内容参数作为关键参数。
作为本发明的一种优选方案,所述最高关键程度的拓扑节点数量大于或等于一个。
作为本发明的一种优选方案,所述以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,包括:
将监测项所处的参数社团中内容参数场景关联式进行提取,并在内容参数场景关联式中代入监测项的时态值得到各个参数社团中的所有内容参数的时态值;
若各个参数社团中的所有内容参数数量小于立体元素的各组内容参数数量,则提取出未得到的时态值的立体元素的内容参数,以及提取未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式;
量化未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式重要度,将未得到的时态值的立体元素的内容参数对应的最高重要度的内容参数场景关联式进行时态值计算;
所述监测项的时态值为实时监测监测项对应的内容参数得到的时态值,所述已得到的时态值的立体元素的内容参数为各个参数社团中的所有内容参数。
作为本发明的一种优选方案,各组内容参数的时序序列在进行运算前进行归一化处理。
作为本发明的一种优选方案,所述拓扑节点的总数量小于或等于立体元素的内容参数总数量。
本发明与现有技术相比较具有如下有益效果:
本发明构建出表征各组内容参数的数据关联性的内容参数关联关系式,再进行场景化融合得到内容参数场景关联式,以及构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团,以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测,降低监测过程中实时数据流量,实现减轻大数据硬件中传输能力、监测能力的压力,并能在出现立体内容的丢失后不影响后续相关管理分析,进而保证管理分析的精准性和可靠性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的基于立体内容的大数据处理方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提供了一种基于立体内容的大数据处理方法,包括以下步骤:
步骤S1、获取立体元素的各组内容参数,并构建出表征各组内容参数的数据关联性的内容参数关联关系式,再利用立体元素所处的场景参数对内容参数关联关系式进行场景化融合得到内容参数场景关联式;
构建出表征各组内容参数的数据关联性的内容参数关联关系式,包括:
在标准场景下获取立体元素的各组内容参数的时序序列,并将各组内容参数的时序序列进行两两组合作为BP神经网络的输入项和输出项,利用BP神经网络进行卷积训练得到内容参数关联关系式;
内容参数关联关系式的计算公式为:
Sb,i=BP(Sb,i);
式中,Sb,i为标准场景下第i组内容参数,Sb,i为标准场景下第j组内容参数,BP为BP神经网络,i,j为计量数项。
利用立体元素所处的场景参数对内容参数关联关系式进行场景化融合得到内容参数场景关联式,包括:
将标准场景的场景参数与立体元素所处的场景参数进行协方差计算得到场景化融合系数,场景化融合系数的函数表达式为:
;
式中,k为场景化融合系数,cov为协方差运算符,Yb为标准场景的场景参数序列,Yr为立体元素所处的场景参数序列;
利用场景化融合系数对标准场景下立体元素的各组内容参数和立体元素所处的场景参数下各组内容参数进行融合构建得到场景化融合公式,场景化融合公式为:
;
式中,[S]b为标准场景下立体元素的内容参数序列,[S]r为立体元素所处的场景参数下内容参数序列,[S]b={Sb,i|i∈[1,n]},[S]r={Sr,i|i∈[1,n]},Sb,i为标准场景下第i组内容参数,Sr,i为立体元素所处的场景参数下第i组内容参数;
将内容参数关联关系式Sb,i=BP(Sb,i)与场景化融合公式k=cov([S]b,[S]r)进行组合转换得到内容参数场景关联式Sr,i=BP(Sr,I,k),式中,Sr,i为立体元素所处的场景参数下第i组内容参数,Sr,j为立体元素所处的场景参数下第j组内容参数,i,j为计量数项。
立体元素是占据一定空间的立体实物,因此立体元素在进行数据化描述是涉及的数据量是空间数据量,占据的数据存储空间、传输带宽、监测广度较二维平面更大,构建标准场景下表征立体元素的各组内容参数之间关联关系的内容参数关联关系式,对立体元素的各个内容参数的关联性进行分析,可根据内容参数关联关系式利用一个内容参数获得另一个内容参数,在内容参数丢失情况下,能进行关联计算进行找回,比如,立体元素为生鲜实物,生鲜实物的内容参数包括:生鲜外形三维参数、生鲜含水量、生鲜含氧量、生鲜温湿度、生鲜所需运力、生鲜所需储力(储藏空间)等,构建出这些内容参数之间的关联关系,生鲜所需运力=BP(生鲜含水量),生鲜所需运力=BP(生鲜温湿度),生鲜所需储力=BP(生鲜外形三维参数),生鲜所需储力=BP(生鲜含氧量),等等,任意两个内容参数之间的关联关系。
由于标准场景的难以达到,因此立体元素所处的实际场景与标准场景存在一定的差异,利用立体元素所处的场景参数对内容参数关联关系式进行场景化融合得到内容参数场景关联式,能够实现内容参数场景关联式表征实际场景中各个内容参数的关联关系,更贴合实际场景的使用,因此,生鲜所需运力=BP(生鲜含水量,场景化融合公式),生鲜所需运力=BP(生鲜温湿度,场景化融合公式),生鲜所需储力=BP(生鲜外形三维参数,场景化融合公式),生鲜所需储力=BP(生鲜含氧量,场景化融合公式),等等。
步骤S2、基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团;
构建出表征各组内容参数的数据关联性的内容参数关联关系式,包括:
在标准场景下获取立体元素的各组内容参数的时序序列,并将各组内容参数的时序序列进行两两组合作为BP神经网络的输入项和输出项,利用BP神经网络进行卷积训练得到内容参数关联关系式;
内容参数关联关系式的计算公式为:
Sb,i=BP(Sb,i);
式中,Sb,i为标准场景下第i组内容参数,Sb,i为标准场景下第j组内容参数,BP为BP神经网络,i,j为计量数项。
利用立体元素所处的场景参数对内容参数关联关系式进行场景化融合得到内容参数场景关联式,包括:
将标准场景的场景参数与立体元素所处的场景参数进行协方差计算得到场景化融合系数,场景化融合系数的函数表达式为:
;
式中,k为场景化融合系数,cov为协方差运算符,Yb为标准场景的场景参数序列,Yr为立体元素所处的场景参数序列;
利用场景化融合系数对标准场景下立体元素的各组内容参数和立体元素所处的场景参数下各组内容参数进行融合构建得到场景化融合公式,场景化融合公式为:
;
式中,[S]b为标准场景下立体元素的内容参数序列,[S]r为立体元素所处的场景参数下内容参数序列,[S]b={Sb,i|i∈[1,n]},[S]r={Sr,i|i∈[1,n]},Sb,i为标准场景下第i组内容参数,Sr,i为立体元素所处的场景参数下第i组内容参数;
将内容参数关联关系式Sb,i=BP(Sb,i)与场景化融合公式k=cov([S]b,[S]r)进行组合转换得到内容参数场景关联式Sr,i=BP(Sr,I,k),式中,Sr,i为立体元素所处的场景参数下第i组内容参数,Sr,j为立体元素所处的场景参数下第j组内容参数,i,j为计量数项。
基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,包括:
基于内容参数场景关联式量化每个内容参数场景关联式中两个内容参数的关联度作为每个内容参数场景关联式的重要度,重要度的计算公式为:
;
式中,Pij为表征立体元素所处的场景参数下第i组内容参数和第j组内容参数的内容参数场景关联式,||Sr,i-Sr,j||2为Sr,i和Sr,j的欧式距离,||BP(Sr,I,k)-Sr,j||2为BP(Sr,I,k)和Sr,j的欧式距离;
依次将每个内容参数场景关联式的重要度与重要度阈值进行比较,并将重要度高于重要度阈值的内容参数场景关联式进行保留用于构建内容参数关联拓扑;
保留的内容参数场景关联式是两个内容参数具有强关联关系,因此内容参数关联拓扑中各个拓扑节点均具有强关联关系。
将保留的内容参数场景关联式中各个内容参数作为拓扑节点,并将具有内容参数场景关联式的拓扑节点利用拓扑连线进行连接,以及将内容参数场景关联式的重要度作为拓扑连线的线权重,以得到由拓扑节点、拓扑连线和线权重构成内容参数关联拓扑。
利用复杂网络的社团分析方法对内容参数关联拓扑进行社团分析得到多个参数社团。
将内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,实现将内容参数场景关联式进行拓扑化表征,在利用拓扑分析方法(社团分析)进行立体元素的各组内容参数中关键参数的提取,从而提取出拓扑社团的中心节点,与中心节点是社团中与数量较多的拓扑节点均具有强关联关系,映射实际中是指该中心节点对应的内容参数与多个内容参数均具有强关联关系,可以由该中心节点对应的内容参数根据关联关系得到剩余内容参数,因此实际中仅对该中心节点对应的内容参数进行监测即可实现对剩余内容参数的监测,将位于同一社团中的多个内容参数降维至对中心节点对应的内容参数进行监测,实现的监测数据量的降维,减轻监测压力、带宽传输压力。
步骤S3、以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测。
以各个参数社团的社团中心作为关键参数,包括:
依次在每个参数社团中对每个拓扑节点的拓扑连线的线权重进行统计作为每个拓扑节点的关键程度;
将各个参数社团中最高关键程度的拓扑节点作为各个参数社团的社团中心,并将社团中心对应的内容参数作为关键参数。
最高关键程度的拓扑节点数量大于或等于一个。
以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,包括:
将监测项所处的参数社团中内容参数场景关联式进行提取,并在内容参数场景关联式中代入监测项的时态值得到各个参数社团中的所有内容参数的时态值;
若各个参数社团中的所有内容参数数量小于立体元素的各组内容参数数量,则提取出未得到的时态值的立体元素的内容参数,以及提取未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式;
量化未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式重要度,将未得到的时态值的立体元素的内容参数对应的最高重要度的内容参数场景关联式进行时态值计算;
监测项的时态值为实时监测监测项对应的内容参数得到的时态值,已得到的时态值的立体元素的内容参数为各个参数社团中的所有内容参数。
各组内容参数的时序序列在进行运算前进行归一化处理。
拓扑节点的总数量小于或等于立体元素的内容参数总数量。
本发明构建出表征各组内容参数的数据关联性的内容参数关联关系式,再进行场景化融合得到内容参数场景关联式,以及构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团,以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测,降低监测过程中实时数据流量,实现减轻大数据硬件中传输能力、监测能力的压力,并能在出现立体内容的丢失后不影响后续相关管理分析,进而保证管理分析的精准性和可靠性。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (7)
1.一种基于立体内容的大数据处理方法,其特征在于,包括以下步骤:
步骤S1、获取立体元素的各组内容参数,并构建出表征各组内容参数的数据关联性的内容参数关联关系式,再利用立体元素所处的场景参数对所述内容参数关联关系式进行场景化融合得到内容参数场景关联式;
步骤S2、基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团;
步骤S3、以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测;
立体元素是占据一定空间的立体实物,立体元素包括生鲜实物,其中,生鲜实物的内容参数包括:生鲜外形三维参数、生鲜含水量、生鲜含氧量、生鲜温湿度、生鲜所需运力、生鲜所需储力;
所述构建出表征各组内容参数的数据关联性的内容参数关联关系式,包括:
在标准场景下获取立体元素的各组内容参数的时序序列,并将各组内容参数的时序序列进行两两组合作为BP神经网络的输入项和输出项,利用所述BP神经网络进行卷积训练得到所述内容参数关联关系式;
所述内容参数关联关系式的计算公式为:
Sb,i=BP(Sb,i);
式中,Sb,i为标准场景下第i组内容参数,Sb,i为标准场景下第j组内容参数,BP为BP神经网络,i,j为计量数项;
所述利用立体元素所处的场景参数对所述内容参数关联关系式进行场景化融合得到内容参数场景关联式,包括:
将标准场景的场景参数与立体元素所处的场景参数进行协方差计算得到场景化融合系数,所述场景化融合系数的函数表达式为:
k=cov(Yb,Yr);
式中,k为场景化融合系数,cov为协方差运算符,Yb为标准场景的场景参数序列,Yr为立体元素所处的场景参数序列;
利用场景化融合系数对标准场景下立体元素的各组内容参数和立体元素所处的场景参数下各组内容参数进行融合构建得到场景化融合公式,所述场景化融合公式为:
k=cov([S]b,[S]r);
式中,[S]b为标准场景下立体元素的内容参数序列,[S]r为立体元素所处的场景参数下内容参数序列,[S]b={Sb,i|i∈[1,n]},[S]r={Sr,i|i∈[1,n]},Sb,i为标准场景下第i组内容参数,Sr,i为立体元素所处的场景参数下第i组内容参数;
将内容参数关联关系式Sb,i=BP(Sb,i)与场景化融合公式k=cov([S]b,[S]r)进行组合转换得到内容参数场景关联式Sr,i=BP(Sr,I,k),式中,Sr,i为立体元素所处的场景参数下第i组内容参数,Sr,j为立体元素所处的场景参数下第j组内容参数,i,j为计量数项;
所述基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,包括:
基于内容参数场景关联式量化每个内容参数场景关联式中两个内容参数的关联度作为每个内容参数场景关联式的重要度,所述重要度的计算公式为:
式中,Pij为表征立体元素所处的场景参数下第i组内容参数和第j组内容参数的内容参数场景关联式,||Sr,i-Sr,j||2为Sr,i和Sr,j的欧式距离,||BP(Sr,I,k)-Sr,j||2为BP(Sr,I,k)和Sr,j的欧式距离;
依次将每个内容参数场景关联式的重要度与重要度阈值进行比较,并将重要度高于重要度阈值的内容参数场景关联式进行保留用于构建内容参数关联拓扑;
将保留的内容参数场景关联式中各个内容参数作为拓扑节点,并将具有内容参数场景关联式的拓扑节点利用拓扑连线进行连接,以及将内容参数场景关联式的重要度作为拓扑连线的线权重,以得到由拓扑节点、拓扑连线和线权重构成所述内容参数关联拓扑。
2.根据权利要求1所述的一种基于立体内容的大数据处理方法,其特征在于:利用复杂网络的社团分析方法对内容参数关联拓扑进行社团分析得到多个参数社团。
3.根据权利要求2所述的一种基于立体内容的大数据处理方法,其特征在于:所述以各个参数社团的社团中心作为关键参数,包括:
依次在每个参数社团中对每个拓扑节点的拓扑连线的线权重进行统计作为每个拓扑节点的关键程度;
将各个参数社团中最高关键程度的拓扑节点作为各个参数社团的社团中心,并将社团中心对应的内容参数作为关键参数。
4.根据权利要求3所述的一种基于立体内容的大数据处理方法,其特征在于,所述最高关键程度的拓扑节点数量大于或等于一个。
5.根据权利要求4所述的一种基于立体内容的大数据处理方法,其特征在于,所述以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,包括:
将监测项所处的参数社团中内容参数场景关联式进行提取,并在内容参数场景关联式中代入监测项的时态值得到各个参数社团中的所有内容参数的时态值;
若各个参数社团中的所有内容参数数量小于立体元素的各组内容参数数量,则提取出未得到的时态值的立体元素的内容参数,以及提取未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式;
量化未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式重要度,将未得到的时态值的立体元素的内容参数对应的最高重要度的内容参数场景关联式进行时态值计算;
所述监测项的时态值为实时监测监测项对应的内容参数得到的时态值,所述已得到的时态值的立体元素的内容参数为各个参数社团中的所有内容参数。
6.根据权利要求5所述的一种基于立体内容的大数据处理方法,其特征在于,各组内容参数的时序序列在进行运算前进行归一化处理。
7.根据权利要求6所述的一种基于立体内容的大数据处理方法,其特征在于,所述拓扑节点的总数量小于或等于立体元素的内容参数总数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211736149.7A CN116244284B (zh) | 2022-12-30 | 2022-12-30 | 一种基于立体内容的大数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211736149.7A CN116244284B (zh) | 2022-12-30 | 2022-12-30 | 一种基于立体内容的大数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116244284A CN116244284A (zh) | 2023-06-09 |
CN116244284B true CN116244284B (zh) | 2023-11-14 |
Family
ID=86623453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211736149.7A Active CN116244284B (zh) | 2022-12-30 | 2022-12-30 | 一种基于立体内容的大数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116244284B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085124A (zh) * | 2020-09-27 | 2020-12-15 | 西安交通大学 | 一种基于图注意力网络的复杂网络节点分类方法 |
WO2021147325A1 (zh) * | 2020-01-21 | 2021-07-29 | 华为技术有限公司 | 一种物体检测方法、装置以及存储介质 |
WO2021189729A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳壹账通智能科技有限公司 | 复杂关系网络的信息分析方法、装置、设备及存储介质 |
CN113515685A (zh) * | 2021-04-20 | 2021-10-19 | 南通大学 | 一种融合Embedding强化拓扑与节点内容信息的社团检测方法 |
CN113744072A (zh) * | 2021-08-26 | 2021-12-03 | 南通大学 | 一种基于深度神经网络融合拓扑和内容社团检测方法 |
CN113836707A (zh) * | 2021-09-10 | 2021-12-24 | 清华大学 | 基于加速属性网络嵌入算法的电力系统社区探测方法和装置 |
CN114820219A (zh) * | 2022-05-23 | 2022-07-29 | 杭银消费金融股份有限公司 | 一种基于复杂网络的欺诈社团识别方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8976710B2 (en) * | 2011-12-27 | 2015-03-10 | Infosys Limited | Methods for discovering and analyzing network topologies and devices thereof |
-
2022
- 2022-12-30 CN CN202211736149.7A patent/CN116244284B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021147325A1 (zh) * | 2020-01-21 | 2021-07-29 | 华为技术有限公司 | 一种物体检测方法、装置以及存储介质 |
WO2021189729A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳壹账通智能科技有限公司 | 复杂关系网络的信息分析方法、装置、设备及存储介质 |
CN112085124A (zh) * | 2020-09-27 | 2020-12-15 | 西安交通大学 | 一种基于图注意力网络的复杂网络节点分类方法 |
CN113515685A (zh) * | 2021-04-20 | 2021-10-19 | 南通大学 | 一种融合Embedding强化拓扑与节点内容信息的社团检测方法 |
CN113744072A (zh) * | 2021-08-26 | 2021-12-03 | 南通大学 | 一种基于深度神经网络融合拓扑和内容社团检测方法 |
CN113836707A (zh) * | 2021-09-10 | 2021-12-24 | 清华大学 | 基于加速属性网络嵌入算法的电力系统社区探测方法和装置 |
CN114820219A (zh) * | 2022-05-23 | 2022-07-29 | 杭银消费金融股份有限公司 | 一种基于复杂网络的欺诈社团识别方法及系统 |
Non-Patent Citations (3)
Title |
---|
"Price evaluation model in second-hand car system based on BP neural network theory";Ning Sun等;2017 18th IEEE/ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing (SNPD);433 * |
"属性网络社团挖掘算法研究";陈灏然;《中国优秀硕士学位论文全文数据库(基础科学辑)》;1-37 * |
陈灏然."属性网络社团挖掘算法研究" .《中国优秀硕士学位论文全文数据库(基础科学辑)》.2020,1-37. * |
Also Published As
Publication number | Publication date |
---|---|
CN116244284A (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107770783B (zh) | 一种基站扩容改造方案设计方法及相关设备 | |
CN109743356B (zh) | 工业互联网数据采集方法及装置、可读存储介质和终端 | |
Liu et al. | Assessing the quality of building height extraction from ZiYuan-3 multi-view imagery | |
CN113255895B (zh) | 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法 | |
CN106708989A (zh) | 基于空间时序数据流应用的Skyline查询方法 | |
CN103838803A (zh) | 一种基于节点Jaccard相似度的社交网络社团发现方法 | |
CN110019519A (zh) | 数据处理方法、装置、存储介质和电子装置 | |
CN104077723A (zh) | 一种社交网络推荐系统及方法 | |
CN108304476A (zh) | 一种基于不确定数据表的用户画像数据整合方法及系统 | |
CN111160847A (zh) | 一种处理流程信息的方法和装置 | |
CN110727836B (zh) | 基于Spark GraphX的社交网络分析系统及其实现方法 | |
CN110728548A (zh) | 一种vr旅游产品评价系统 | |
CN116244284B (zh) | 一种基于立体内容的大数据处理方法 | |
CN115686280A (zh) | 深度学习模型管理系统、方法、计算机设备及存储介质 | |
CN113706263A (zh) | 一种基于云平台的电子商务系统 | |
CN113361959A (zh) | 一种银行业务集中运营成熟度的计算方法和装置 | |
CN101866355A (zh) | 基于云计算的社会网络划分方法及系统 | |
CN117236465A (zh) | 一种基于信息熵的联邦决策树信息量度量方法 | |
CN111125079A (zh) | 一种输变电设备远程运维数据清洗方法 | |
KR101545998B1 (ko) | 유출-수리모형 데이터 통합 관리 방법 및 그 시스템 | |
CN111737371B (zh) | 可动态预测的数据流量检测分类方法及装置 | |
CN114757448A (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
CN110766322A (zh) | 一种基于大数据的vr旅游产品评价方法 | |
CN113361402B (zh) | 识别模型的训练方法、确定准确率的方法、装置和设备 | |
CN111241483B (zh) | 基于云平台的资源价值评估处理方法和相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |