CN116244284B - 一种基于立体内容的大数据处理方法 - Google Patents

一种基于立体内容的大数据处理方法 Download PDF

Info

Publication number
CN116244284B
CN116244284B CN202211736149.7A CN202211736149A CN116244284B CN 116244284 B CN116244284 B CN 116244284B CN 202211736149 A CN202211736149 A CN 202211736149A CN 116244284 B CN116244284 B CN 116244284B
Authority
CN
China
Prior art keywords
content
parameter
scene
parameters
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211736149.7A
Other languages
English (en)
Other versions
CN116244284A (zh
Inventor
唐泰可
廖峪
苏茂才
林仁辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhonggui Track Equipment Co ltd
Original Assignee
Chengdu Zhonggui Track Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhonggui Track Equipment Co ltd filed Critical Chengdu Zhonggui Track Equipment Co ltd
Priority to CN202211736149.7A priority Critical patent/CN116244284B/zh
Publication of CN116244284A publication Critical patent/CN116244284A/zh
Application granted granted Critical
Publication of CN116244284B publication Critical patent/CN116244284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于立体内容的大数据处理方法,包括以下步骤:构建出表征各组内容参数的数据关联性的内容参数关联关系式,再进行场景化融合得到内容参数场景关联式,以及构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团,以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值。本发明实现立体内容数据的场景化降维监测,降低监测过程中实时数据流量,实现减轻大数据硬件中传输能力、监测能力的压力,并能在出现立体内容的丢失后不影响后续相关管理分析,进而保证管理分析的精准性和可靠性。

Description

一种基于立体内容的大数据处理方法
技术领域
本发明涉及大数据技术领域,具体涉及一种基于立体内容的大数据处理方法。
背景技术
将大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
现有技术CN111832987A公开了一种基于立体内容的大数据处理平台及方法,所述平台包括:人工分析机构,通过网络与大数据处理网元连接,用于基于单人单日运输纸箱体积确定并输出与纸箱实体占据体积成正比的单日所需人员数量;立体绘制机构,用于基于每一个纸箱像素在当前锐化图像中的横纵坐标以及景深数据绘制出快递储存仓库中的纸箱立体分布图;大数据处理网元,用于基于全景采集机构的成像焦距以及纸箱立体分布图的立体体积估算纸箱实体占据体积,基于立体内容的大数据处理平台及方法绘制智能、数据可靠。由于能够绘制出快递储存仓库内的现存纸箱分布立体图,并判断出运输所需要的人员数量或机器数量,从而增强了快递储存仓库管理的智能化水平。
上述现有技术虽然能够对立体内容进行分析处理,但是在立体内容相关数据的处理中同时要监测立体内容的各种数据,以全面监测数据,导致监测过程中实时数据流量大,对大数据硬件中传输能力、监测能力的要求高,在出现立体内容的丢失会导致后续相关管理分析出现错误,进而难以保证管理分析的精准性和可靠性。
发明内容
本发明的目的在于提供一种基于立体内容的大数据处理方法,以解决现有技术中在立体内容相关数据的处理中同时要监测立体内容的各种数据,以全面监测数据,导致监测过程中实时数据流量大,对大数据硬件中传输能力、监测能力的要求高,在出现立体内容的丢失会导致后续相关管理分析出现错误,进而难以保证管理分析的精准性和可靠性的技术问题。
为解决上述技术问题,本发明具体提供下述技术方案:
一种基于立体内容的大数据处理方法,包括以下步骤:
步骤S1、获取立体元素的各组内容参数,并构建出表征各组内容参数的数据关联性的内容参数关联关系式,再利用立体元素所处的场景参数对所述内容参数关联关系式进行场景化融合得到内容参数场景关联式;
步骤S2、基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团;
步骤S3、以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测。
作为本发明的一种优选方案,所述构建出表征各组内容参数的数据关联性的内容参数关联关系式,包括:
在标准场景下获取立体元素的各组内容参数的时序序列,并将各组内容参数的时序序列进行两两组合作为BP神经网络的输入项和输出项,利用所述BP神经网络进行卷积训练得到所述内容参数关联关系式;
所述内容参数关联关系式的计算公式为:
Sb,i=BP(Sb,i);
式中,Sb,i为标准场景下第i组内容参数,Sb,i为标准场景下第j组内容参数,BP为BP神经网络,ij为计量数项。
作为本发明的一种优选方案,所述利用立体元素所处的场景参数对所述内容参数关联关系式进行场景化融合得到内容参数场景关联式,包括:
将标准场景的场景参数与立体元素所处的场景参数进行协方差计算得到场景化融合系数,所述场景化融合系数的函数表达式为:
式中,k为场景化融合系数,cov为协方差运算符,Yb为标准场景的场景参数序列,Yr为立体元素所处的场景参数序列;
利用场景化融合系数对标准场景下立体元素的各组内容参数和立体元素所处的场景参数下各组内容参数进行融合构建得到场景化融合公式,所述场景化融合公式为:
式中,[S]b为标准场景下立体元素的内容参数序列,[S]r为立体元素所处的场景参数下内容参数序列,[S]b={Sb,i|i∈[1,n]},[S]r={Sr,i|i∈[1,n]},Sb,i为标准场景下第i组内容参数,Sr,i为立体元素所处的场景参数下第i组内容参数;
将内容参数关联关系式Sb,i=BP(Sb,i)与场景化融合公式k=cov([S]b,[S]r)进行组合转换得到内容参数场景关联式Sr,i=BP(Sr,I,k),式中,Sr,i为立体元素所处的场景参数下第i组内容参数,Sr,j为立体元素所处的场景参数下第j组内容参数,i,j为计量数项。
作为本发明的一种优选方案,所述基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,包括:
基于内容参数场景关联式量化每个内容参数场景关联式中两个内容参数的关联度作为每个内容参数场景关联式的重要度,所述重要度的计算公式为:
式中,Pij为表征立体元素所处的场景参数下第i组内容参数和第j组内容参数的内容参数场景关联式,||Sr,i-Sr,j||2为Sr,i和Sr,j的欧式距离,||BP(Sr,I,k)-Sr,j||2为BP(Sr,I,k)和Sr,j的欧式距离;
依次将每个内容参数场景关联式的重要度与重要度阈值进行比较,并将重要度高于重要度阈值的内容参数场景关联式进行保留用于构建内容参数关联拓扑;
将保留的内容参数场景关联式中各个内容参数作为拓扑节点,并将具有内容参数场景关联式的拓扑节点利用拓扑连线进行连接,以及将内容参数场景关联式的重要度作为拓扑连线的线权重,以得到由拓扑节点、拓扑连线和线权重构成所述内容参数关联拓扑。
作为本发明的一种优选方案,利用复杂网络的社团分析方法对内容参数关联拓扑进行社团分析得到多个参数社团。
作为本发明的一种优选方案,所述以各个参数社团的社团中心作为关键参数,包括:
依次在每个参数社团中对每个拓扑节点的拓扑连线的线权重进行统计作为每个拓扑节点的关键程度;
将各个参数社团中最高关键程度的拓扑节点作为各个参数社团的社团中心,并将社团中心对应的内容参数作为关键参数。
作为本发明的一种优选方案,所述最高关键程度的拓扑节点数量大于或等于一个。
作为本发明的一种优选方案,所述以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,包括:
将监测项所处的参数社团中内容参数场景关联式进行提取,并在内容参数场景关联式中代入监测项的时态值得到各个参数社团中的所有内容参数的时态值;
若各个参数社团中的所有内容参数数量小于立体元素的各组内容参数数量,则提取出未得到的时态值的立体元素的内容参数,以及提取未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式;
量化未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式重要度,将未得到的时态值的立体元素的内容参数对应的最高重要度的内容参数场景关联式进行时态值计算;
所述监测项的时态值为实时监测监测项对应的内容参数得到的时态值,所述已得到的时态值的立体元素的内容参数为各个参数社团中的所有内容参数。
作为本发明的一种优选方案,各组内容参数的时序序列在进行运算前进行归一化处理。
作为本发明的一种优选方案,所述拓扑节点的总数量小于或等于立体元素的内容参数总数量。
本发明与现有技术相比较具有如下有益效果:
本发明构建出表征各组内容参数的数据关联性的内容参数关联关系式,再进行场景化融合得到内容参数场景关联式,以及构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团,以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测,降低监测过程中实时数据流量,实现减轻大数据硬件中传输能力、监测能力的压力,并能在出现立体内容的丢失后不影响后续相关管理分析,进而保证管理分析的精准性和可靠性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的基于立体内容的大数据处理方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提供了一种基于立体内容的大数据处理方法,包括以下步骤:
步骤S1、获取立体元素的各组内容参数,并构建出表征各组内容参数的数据关联性的内容参数关联关系式,再利用立体元素所处的场景参数对内容参数关联关系式进行场景化融合得到内容参数场景关联式;
构建出表征各组内容参数的数据关联性的内容参数关联关系式,包括:
在标准场景下获取立体元素的各组内容参数的时序序列,并将各组内容参数的时序序列进行两两组合作为BP神经网络的输入项和输出项,利用BP神经网络进行卷积训练得到内容参数关联关系式;
内容参数关联关系式的计算公式为:
Sb,i=BP(Sb,i);
式中,Sb,i为标准场景下第i组内容参数,Sb,i为标准场景下第j组内容参数,BP为BP神经网络,ij为计量数项。
利用立体元素所处的场景参数对内容参数关联关系式进行场景化融合得到内容参数场景关联式,包括:
将标准场景的场景参数与立体元素所处的场景参数进行协方差计算得到场景化融合系数,场景化融合系数的函数表达式为:
式中,k为场景化融合系数,cov为协方差运算符,Yb为标准场景的场景参数序列,Yr为立体元素所处的场景参数序列;
利用场景化融合系数对标准场景下立体元素的各组内容参数和立体元素所处的场景参数下各组内容参数进行融合构建得到场景化融合公式,场景化融合公式为:
式中,[S]b为标准场景下立体元素的内容参数序列,[S]r为立体元素所处的场景参数下内容参数序列,[S]b={Sb,i|i∈[1,n]},[S]r={Sr,i|i∈[1,n]},Sb,i为标准场景下第i组内容参数,Sr,i为立体元素所处的场景参数下第i组内容参数;
将内容参数关联关系式Sb,i=BP(Sb,i)与场景化融合公式k=cov([S]b,[S]r)进行组合转换得到内容参数场景关联式Sr,i=BP(Sr,I,k),式中,Sr,i为立体元素所处的场景参数下第i组内容参数,Sr,j为立体元素所处的场景参数下第j组内容参数,i,j为计量数项。
立体元素是占据一定空间的立体实物,因此立体元素在进行数据化描述是涉及的数据量是空间数据量,占据的数据存储空间、传输带宽、监测广度较二维平面更大,构建标准场景下表征立体元素的各组内容参数之间关联关系的内容参数关联关系式,对立体元素的各个内容参数的关联性进行分析,可根据内容参数关联关系式利用一个内容参数获得另一个内容参数,在内容参数丢失情况下,能进行关联计算进行找回,比如,立体元素为生鲜实物,生鲜实物的内容参数包括:生鲜外形三维参数、生鲜含水量、生鲜含氧量、生鲜温湿度、生鲜所需运力、生鲜所需储力(储藏空间)等,构建出这些内容参数之间的关联关系,生鲜所需运力=BP(生鲜含水量),生鲜所需运力=BP(生鲜温湿度),生鲜所需储力=BP(生鲜外形三维参数),生鲜所需储力=BP(生鲜含氧量),等等,任意两个内容参数之间的关联关系。
由于标准场景的难以达到,因此立体元素所处的实际场景与标准场景存在一定的差异,利用立体元素所处的场景参数对内容参数关联关系式进行场景化融合得到内容参数场景关联式,能够实现内容参数场景关联式表征实际场景中各个内容参数的关联关系,更贴合实际场景的使用,因此,生鲜所需运力=BP(生鲜含水量,场景化融合公式),生鲜所需运力=BP(生鲜温湿度,场景化融合公式),生鲜所需储力=BP(生鲜外形三维参数,场景化融合公式),生鲜所需储力=BP(生鲜含氧量,场景化融合公式),等等。
步骤S2、基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团;
构建出表征各组内容参数的数据关联性的内容参数关联关系式,包括:
在标准场景下获取立体元素的各组内容参数的时序序列,并将各组内容参数的时序序列进行两两组合作为BP神经网络的输入项和输出项,利用BP神经网络进行卷积训练得到内容参数关联关系式;
内容参数关联关系式的计算公式为:
Sb,i=BP(Sb,i);
式中,Sb,i为标准场景下第i组内容参数,Sb,i为标准场景下第j组内容参数,BP为BP神经网络,ij为计量数项。
利用立体元素所处的场景参数对内容参数关联关系式进行场景化融合得到内容参数场景关联式,包括:
将标准场景的场景参数与立体元素所处的场景参数进行协方差计算得到场景化融合系数,场景化融合系数的函数表达式为:
式中,k为场景化融合系数,cov为协方差运算符,Yb为标准场景的场景参数序列,Yr为立体元素所处的场景参数序列;
利用场景化融合系数对标准场景下立体元素的各组内容参数和立体元素所处的场景参数下各组内容参数进行融合构建得到场景化融合公式,场景化融合公式为:
式中,[S]b为标准场景下立体元素的内容参数序列,[S]r为立体元素所处的场景参数下内容参数序列,[S]b={Sb,i|i∈[1,n]},[S]r={Sr,i|i∈[1,n]},Sb,i为标准场景下第i组内容参数,Sr,i为立体元素所处的场景参数下第i组内容参数;
将内容参数关联关系式Sb,i=BP(Sb,i)与场景化融合公式k=cov([S]b,[S]r)进行组合转换得到内容参数场景关联式Sr,i=BP(Sr,I,k),式中,Sr,i为立体元素所处的场景参数下第i组内容参数,Sr,j为立体元素所处的场景参数下第j组内容参数,i,j为计量数项。
基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,包括:
基于内容参数场景关联式量化每个内容参数场景关联式中两个内容参数的关联度作为每个内容参数场景关联式的重要度,重要度的计算公式为:
式中,Pij为表征立体元素所处的场景参数下第i组内容参数和第j组内容参数的内容参数场景关联式,||Sr,i-Sr,j||2为Sr,i和Sr,j的欧式距离,||BP(Sr,I,k)-Sr,j||2为BP(Sr,I,k)和Sr,j的欧式距离;
依次将每个内容参数场景关联式的重要度与重要度阈值进行比较,并将重要度高于重要度阈值的内容参数场景关联式进行保留用于构建内容参数关联拓扑;
保留的内容参数场景关联式是两个内容参数具有强关联关系,因此内容参数关联拓扑中各个拓扑节点均具有强关联关系。
将保留的内容参数场景关联式中各个内容参数作为拓扑节点,并将具有内容参数场景关联式的拓扑节点利用拓扑连线进行连接,以及将内容参数场景关联式的重要度作为拓扑连线的线权重,以得到由拓扑节点、拓扑连线和线权重构成内容参数关联拓扑。
利用复杂网络的社团分析方法对内容参数关联拓扑进行社团分析得到多个参数社团。
将内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,实现将内容参数场景关联式进行拓扑化表征,在利用拓扑分析方法(社团分析)进行立体元素的各组内容参数中关键参数的提取,从而提取出拓扑社团的中心节点,与中心节点是社团中与数量较多的拓扑节点均具有强关联关系,映射实际中是指该中心节点对应的内容参数与多个内容参数均具有强关联关系,可以由该中心节点对应的内容参数根据关联关系得到剩余内容参数,因此实际中仅对该中心节点对应的内容参数进行监测即可实现对剩余内容参数的监测,将位于同一社团中的多个内容参数降维至对中心节点对应的内容参数进行监测,实现的监测数据量的降维,减轻监测压力、带宽传输压力。
步骤S3、以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测。
以各个参数社团的社团中心作为关键参数,包括:
依次在每个参数社团中对每个拓扑节点的拓扑连线的线权重进行统计作为每个拓扑节点的关键程度;
将各个参数社团中最高关键程度的拓扑节点作为各个参数社团的社团中心,并将社团中心对应的内容参数作为关键参数。
最高关键程度的拓扑节点数量大于或等于一个。
以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,包括:
将监测项所处的参数社团中内容参数场景关联式进行提取,并在内容参数场景关联式中代入监测项的时态值得到各个参数社团中的所有内容参数的时态值;
若各个参数社团中的所有内容参数数量小于立体元素的各组内容参数数量,则提取出未得到的时态值的立体元素的内容参数,以及提取未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式;
量化未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式重要度,将未得到的时态值的立体元素的内容参数对应的最高重要度的内容参数场景关联式进行时态值计算;
监测项的时态值为实时监测监测项对应的内容参数得到的时态值,已得到的时态值的立体元素的内容参数为各个参数社团中的所有内容参数。
各组内容参数的时序序列在进行运算前进行归一化处理。
拓扑节点的总数量小于或等于立体元素的内容参数总数量。
本发明构建出表征各组内容参数的数据关联性的内容参数关联关系式,再进行场景化融合得到内容参数场景关联式,以及构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团,以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测,降低监测过程中实时数据流量,实现减轻大数据硬件中传输能力、监测能力的压力,并能在出现立体内容的丢失后不影响后续相关管理分析,进而保证管理分析的精准性和可靠性。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (7)

1.一种基于立体内容的大数据处理方法,其特征在于,包括以下步骤:
步骤S1、获取立体元素的各组内容参数,并构建出表征各组内容参数的数据关联性的内容参数关联关系式,再利用立体元素所处的场景参数对所述内容参数关联关系式进行场景化融合得到内容参数场景关联式;
步骤S2、基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,并在内容参数关联拓扑中进行社团分析得到多个参数社团;
步骤S3、以各个参数社团的社团中心作为关键参数,并将关键参数作为立体内容的监测项,以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,以实现立体内容数据的场景化降维监测;
立体元素是占据一定空间的立体实物,立体元素包括生鲜实物,其中,生鲜实物的内容参数包括:生鲜外形三维参数、生鲜含水量、生鲜含氧量、生鲜温湿度、生鲜所需运力、生鲜所需储力;
所述构建出表征各组内容参数的数据关联性的内容参数关联关系式,包括:
在标准场景下获取立体元素的各组内容参数的时序序列,并将各组内容参数的时序序列进行两两组合作为BP神经网络的输入项和输出项,利用所述BP神经网络进行卷积训练得到所述内容参数关联关系式;
所述内容参数关联关系式的计算公式为:
Sb,i=BP(Sb,i);
式中,Sb,i为标准场景下第i组内容参数,Sb,i为标准场景下第j组内容参数,BP为BP神经网络,i,j为计量数项;
所述利用立体元素所处的场景参数对所述内容参数关联关系式进行场景化融合得到内容参数场景关联式,包括:
将标准场景的场景参数与立体元素所处的场景参数进行协方差计算得到场景化融合系数,所述场景化融合系数的函数表达式为:
k=cov(Yb,Yr);
式中,k为场景化融合系数,cov为协方差运算符,Yb为标准场景的场景参数序列,Yr为立体元素所处的场景参数序列;
利用场景化融合系数对标准场景下立体元素的各组内容参数和立体元素所处的场景参数下各组内容参数进行融合构建得到场景化融合公式,所述场景化融合公式为:
k=cov([S]b,[S]r);
式中,[S]b为标准场景下立体元素的内容参数序列,[S]r为立体元素所处的场景参数下内容参数序列,[S]b={Sb,i|i∈[1,n]},[S]r={Sr,i|i∈[1,n]},Sb,i为标准场景下第i组内容参数,Sr,i为立体元素所处的场景参数下第i组内容参数;
将内容参数关联关系式Sb,i=BP(Sb,i)与场景化融合公式k=cov([S]b,[S]r)进行组合转换得到内容参数场景关联式Sr,i=BP(Sr,I,k),式中,Sr,i为立体元素所处的场景参数下第i组内容参数,Sr,j为立体元素所处的场景参数下第j组内容参数,i,j为计量数项;
所述基于内容参数场景关联式对立体元素的各组内容参数进行拓扑构建得到内容参数关联拓扑,包括:
基于内容参数场景关联式量化每个内容参数场景关联式中两个内容参数的关联度作为每个内容参数场景关联式的重要度,所述重要度的计算公式为:
式中,Pij为表征立体元素所处的场景参数下第i组内容参数和第j组内容参数的内容参数场景关联式,||Sr,i-Sr,j||2为Sr,i和Sr,j的欧式距离,||BP(Sr,I,k)-Sr,j||2为BP(Sr,I,k)和Sr,j的欧式距离;
依次将每个内容参数场景关联式的重要度与重要度阈值进行比较,并将重要度高于重要度阈值的内容参数场景关联式进行保留用于构建内容参数关联拓扑;
将保留的内容参数场景关联式中各个内容参数作为拓扑节点,并将具有内容参数场景关联式的拓扑节点利用拓扑连线进行连接,以及将内容参数场景关联式的重要度作为拓扑连线的线权重,以得到由拓扑节点、拓扑连线和线权重构成所述内容参数关联拓扑。
2.根据权利要求1所述的一种基于立体内容的大数据处理方法,其特征在于:利用复杂网络的社团分析方法对内容参数关联拓扑进行社团分析得到多个参数社团。
3.根据权利要求2所述的一种基于立体内容的大数据处理方法,其特征在于:所述以各个参数社团的社团中心作为关键参数,包括:
依次在每个参数社团中对每个拓扑节点的拓扑连线的线权重进行统计作为每个拓扑节点的关键程度;
将各个参数社团中最高关键程度的拓扑节点作为各个参数社团的社团中心,并将社团中心对应的内容参数作为关键参数。
4.根据权利要求3所述的一种基于立体内容的大数据处理方法,其特征在于,所述最高关键程度的拓扑节点数量大于或等于一个。
5.根据权利要求4所述的一种基于立体内容的大数据处理方法,其特征在于,所述以监测项的时态值结合内容参数场景关联式得到各组内容参数的时态值,包括:
将监测项所处的参数社团中内容参数场景关联式进行提取,并在内容参数场景关联式中代入监测项的时态值得到各个参数社团中的所有内容参数的时态值;
若各个参数社团中的所有内容参数数量小于立体元素的各组内容参数数量,则提取出未得到的时态值的立体元素的内容参数,以及提取未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式;
量化未得到的时态值的立体元素的内容参数与已得到时态值的立体元素的内容参数间的内容参数场景关联式重要度,将未得到的时态值的立体元素的内容参数对应的最高重要度的内容参数场景关联式进行时态值计算;
所述监测项的时态值为实时监测监测项对应的内容参数得到的时态值,所述已得到的时态值的立体元素的内容参数为各个参数社团中的所有内容参数。
6.根据权利要求5所述的一种基于立体内容的大数据处理方法,其特征在于,各组内容参数的时序序列在进行运算前进行归一化处理。
7.根据权利要求6所述的一种基于立体内容的大数据处理方法,其特征在于,所述拓扑节点的总数量小于或等于立体元素的内容参数总数量。
CN202211736149.7A 2022-12-30 2022-12-30 一种基于立体内容的大数据处理方法 Active CN116244284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211736149.7A CN116244284B (zh) 2022-12-30 2022-12-30 一种基于立体内容的大数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211736149.7A CN116244284B (zh) 2022-12-30 2022-12-30 一种基于立体内容的大数据处理方法

Publications (2)

Publication Number Publication Date
CN116244284A CN116244284A (zh) 2023-06-09
CN116244284B true CN116244284B (zh) 2023-11-14

Family

ID=86623453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211736149.7A Active CN116244284B (zh) 2022-12-30 2022-12-30 一种基于立体内容的大数据处理方法

Country Status (1)

Country Link
CN (1) CN116244284B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085124A (zh) * 2020-09-27 2020-12-15 西安交通大学 一种基于图注意力网络的复杂网络节点分类方法
WO2021147325A1 (zh) * 2020-01-21 2021-07-29 华为技术有限公司 一种物体检测方法、装置以及存储介质
WO2021189729A1 (zh) * 2020-03-27 2021-09-30 深圳壹账通智能科技有限公司 复杂关系网络的信息分析方法、装置、设备及存储介质
CN113515685A (zh) * 2021-04-20 2021-10-19 南通大学 一种融合Embedding强化拓扑与节点内容信息的社团检测方法
CN113744072A (zh) * 2021-08-26 2021-12-03 南通大学 一种基于深度神经网络融合拓扑和内容社团检测方法
CN113836707A (zh) * 2021-09-10 2021-12-24 清华大学 基于加速属性网络嵌入算法的电力系统社区探测方法和装置
CN114820219A (zh) * 2022-05-23 2022-07-29 杭银消费金融股份有限公司 一种基于复杂网络的欺诈社团识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976710B2 (en) * 2011-12-27 2015-03-10 Infosys Limited Methods for discovering and analyzing network topologies and devices thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147325A1 (zh) * 2020-01-21 2021-07-29 华为技术有限公司 一种物体检测方法、装置以及存储介质
WO2021189729A1 (zh) * 2020-03-27 2021-09-30 深圳壹账通智能科技有限公司 复杂关系网络的信息分析方法、装置、设备及存储介质
CN112085124A (zh) * 2020-09-27 2020-12-15 西安交通大学 一种基于图注意力网络的复杂网络节点分类方法
CN113515685A (zh) * 2021-04-20 2021-10-19 南通大学 一种融合Embedding强化拓扑与节点内容信息的社团检测方法
CN113744072A (zh) * 2021-08-26 2021-12-03 南通大学 一种基于深度神经网络融合拓扑和内容社团检测方法
CN113836707A (zh) * 2021-09-10 2021-12-24 清华大学 基于加速属性网络嵌入算法的电力系统社区探测方法和装置
CN114820219A (zh) * 2022-05-23 2022-07-29 杭银消费金融股份有限公司 一种基于复杂网络的欺诈社团识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Price evaluation model in second-hand car system based on BP neural network theory";Ning Sun等;2017 18th IEEE/ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing (SNPD);433 *
"属性网络社团挖掘算法研究";陈灏然;《中国优秀硕士学位论文全文数据库(基础科学辑)》;1-37 *
陈灏然."属性网络社团挖掘算法研究" .《中国优秀硕士学位论文全文数据库(基础科学辑)》.2020,1-37. *

Also Published As

Publication number Publication date
CN116244284A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN107770783B (zh) 一种基站扩容改造方案设计方法及相关设备
CN109743356B (zh) 工业互联网数据采集方法及装置、可读存储介质和终端
Liu et al. Assessing the quality of building height extraction from ZiYuan-3 multi-view imagery
CN113255895B (zh) 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法
CN106708989A (zh) 基于空间时序数据流应用的Skyline查询方法
CN103838803A (zh) 一种基于节点Jaccard相似度的社交网络社团发现方法
CN110019519A (zh) 数据处理方法、装置、存储介质和电子装置
CN104077723A (zh) 一种社交网络推荐系统及方法
CN108304476A (zh) 一种基于不确定数据表的用户画像数据整合方法及系统
CN111160847A (zh) 一种处理流程信息的方法和装置
CN110727836B (zh) 基于Spark GraphX的社交网络分析系统及其实现方法
CN110728548A (zh) 一种vr旅游产品评价系统
CN116244284B (zh) 一种基于立体内容的大数据处理方法
CN115686280A (zh) 深度学习模型管理系统、方法、计算机设备及存储介质
CN113706263A (zh) 一种基于云平台的电子商务系统
CN113361959A (zh) 一种银行业务集中运营成熟度的计算方法和装置
CN101866355A (zh) 基于云计算的社会网络划分方法及系统
CN117236465A (zh) 一种基于信息熵的联邦决策树信息量度量方法
CN111125079A (zh) 一种输变电设备远程运维数据清洗方法
KR101545998B1 (ko) 유출-수리모형 데이터 통합 관리 방법 및 그 시스템
CN111737371B (zh) 可动态预测的数据流量检测分类方法及装置
CN114757448A (zh) 一种基于数据空间模型的制造环节间最优价值链构建方法
CN110766322A (zh) 一种基于大数据的vr旅游产品评价方法
CN113361402B (zh) 识别模型的训练方法、确定准确率的方法、装置和设备
CN111241483B (zh) 基于云平台的资源价值评估处理方法和相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant