CN116992350A - 一种基于大数据的产业供应链优化方法及系统 - Google Patents
一种基于大数据的产业供应链优化方法及系统 Download PDFInfo
- Publication number
- CN116992350A CN116992350A CN202311240779.XA CN202311240779A CN116992350A CN 116992350 A CN116992350 A CN 116992350A CN 202311240779 A CN202311240779 A CN 202311240779A CN 116992350 A CN116992350 A CN 116992350A
- Authority
- CN
- China
- Prior art keywords
- data
- data set
- characteristic
- sales
- transportation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 title claims abstract description 42
- 238000004519 manufacturing process Methods 0.000 claims abstract description 275
- 238000003860 storage Methods 0.000 claims abstract description 223
- 238000001914 filtration Methods 0.000 claims abstract description 222
- 238000004064 recycling Methods 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 93
- 238000007906 compression Methods 0.000 claims abstract description 84
- 230000006835 compression Effects 0.000 claims abstract description 84
- 238000011156 evaluation Methods 0.000 claims description 151
- 238000011084 recovery Methods 0.000 claims description 139
- 238000004364 calculation method Methods 0.000 claims description 50
- 238000007781 pre-processing Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 12
- 238000011157 data evaluation Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000014759 maintenance of location Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013144 data compression Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract description 3
- 238000013523 data management Methods 0.000 abstract description 2
- 238000013210 evaluation model Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 235000013365 dairy product Nutrition 0.000 description 2
- 238000013068 supply chain management Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007728 cost analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于大数据的产业供应链优化方法及系统,涉及大数据管理技术领域。该基于大数据的产业供应链优化方法,包括以下步骤:S1,大数据本地网络采集预处理;S2,采购生产产业链数据优化处理;S3,运输仓储产业链数据优化处理;S4,销售回收产业链数据优化处理;S5,大数据云端网络优化处理;S6,大数据本地网络存储。本发明通过产业链数据的分类简化过滤处理,发送云端网络并数据压缩,最后分布存储在唯一对应的本地网络,提高了云端网络的运行数据处理速度和响应速率,节省了运算效力和存储空间。解决了现有技术中,不能及时对大量产业链数据分类简化压缩处理以达到大大提高大数据网络运行稳定性和长久性的问题。
Description
技术领域
本发明涉及大数据管理技术领域,尤其涉及一种基于大数据的产业供应链优化方法及系统。
背景技术
随着大数据相关技术的发展,基于大数据的产业链发展也呈现多种应用方向,包括战略决策支持、效率提升、市场洞察与个性化营销、新业务拓展、风险管理和安全保障、合作与协同创新。总体来说,基于大数据的产业链发展能够提供更深入、准确和全面的信息支持,帮助企业实现战略决策、提升效率、拓展市场、管理风险,并促进创新和合作,从而增强企业竞争力和创造更大的商业价值。
现有的基于大数据的产业供应链优化方法主要通过大数据采集和处理:该系统通过采集各个环节产生的大量数据,使用数据处理技术进行清洗、整合和转换,将数据转化为可分析的格式;数据分析和建模:通过统计分析、机器学习、数据挖掘等技术,对采集到的数据进行分析,提取关键指标和模式,并构建模型来理解产业链中的关联和影响因素;优化算法和决策支持:基于分析和模型,将应用优化算法来探索最佳的产业链策略和决策;实时监控和预测:具备实时监控供应链和产业链环节的能力,通过实时数据的采集和分析,可以及时发现异常情况、预测潜在问题,并采取相应的调整措施;可视化和报告:提供直观的可视化界面和报告功能,以便用户对产业链的关键指标、趋势和优化结果进行监测和分析。
例如公开号为CN113888268A的发明专利申请公开的一种基于数字经济乳品产业供应链智能优化服务方法和平台,包括:供应链需求方登陆平台,平台获取供应链需求方的注册信息和历史信息;依据供应链需求方进入平台供应商虚拟店铺的即时信息,平台获取供应商相关货物信息;根据供应链需求方货物接收地理位置信息,构建供应链需求方货物成本分析模型;构建供应商与需求方的货物匹配指数模型;根据供应商与需求方的货物匹配指数模型,得到供应链订单的货物质量价格区划图,根据供应链订单的货物质量价格区划图,帮助供应链需求方有效获得正确的货物。
例如公开号为CN116166978A的发明专利申请公开的一种用于供应链管理的物流数据压缩存储方法,包括:获取物流运输工具的速度时序数据中每个数据点的SBN路径,通过每个数据点的SBN路径获取偏离程度,并以此确定数据点的变点程度,通过相邻的相似数据段之间的形态差异获取速度时序数据中的变点,通过变点对速度时序数据进行分割,将分割后的子序列进行聚类,获取到每个子序列的符号映射。
但本申请发明人在实现本申请实施例中发明技术方案的过程中,发现上述技术至少存在如下技术问题:
现有技术中,利用大数据的产业链数据优化方法只将接收到的产业链数据做分析预测处理,存在大数据的产业链网络接收的数据膨胀速度太快难以提高大数据的产业链网络运行稳定性和长期性的问题。
发明内容
本申请实施例通过提供一种基于大数据的产业供应链优化方法及系统,解决了现有技术中,存在大数据的产业链网络接收的数据膨胀速度太快难以提高大数据的产业链网络运行稳定性和长期性的问题,通过基于大数据的产业供应链优化方法对数据的分类简化压缩处理,保证了大数据的产业供应链本地和云端网络长期稳定运行。
本申请实施例提供了一种基于大数据的产业供应链优化方法,包括以下步骤:S1,大数据本地网络采集预处理:采集大数据产业供应链原始数据,对大数据产业供应链原始数据预处理,预处理得到采购生产、运输仓储和销售回收产业链数据组和对应的分类特征数据组;S2,采购生产产业链数据优化处理:对采购生产产业链数据组和对应的特征数据组简化过滤,得到采购生产类别数据组特征过滤评估值,从而得到采购生产特征过滤系数,进而得到采购生产过滤数据组;S3,运输仓储产业链数据优化处理:对运输仓储产业链数据组和对应的特征数据组简化过滤,得到运输仓储路径数据组特征过滤评估值,从而得到运输仓储特征过滤系数,进而得到运输仓储过滤数据组;S4,销售回收产业链数据优化处理:对销售回收产业链数据组和对应的特征数据组简化过滤,得到销售回收价值数据组特征过滤评估值,从而得到销售回收特征过滤系数,进而得到销售回收过滤数据组;S5,大数据云端网络优化处理:由大数据云端网络接收大数据本地网络发送的采购生产过滤数据组、运输仓储过滤数据组和销售回收过滤数据组,压缩处理,得到大数据产业链压缩数据组,回传大数据本地网络存储;S6,大数据本地网络存储:接收大数据云端网络发送的大数据产业链压缩数据组,分别存储在对应的大数据本地网络中。
进一步的,所述S1中的大数据本地网络采集预处理的具体步骤为:S11,从大数据本地网络上获取大数据本地网络产业供应链原始数据,按采购生产、运输仓储和销售回收分类组成三个产业供应链数据组,分别记为采购生产产业链原始数据组、运输仓储产业链原始数据组和销售回收产业链原始数据组;S12,将采购生产产业链原始数据组、运输仓储产业链原始数据组和销售回收产业链原始数据组经过与白噪音设定阈值进行对比,将低于白噪音设定阈值的数据定为数据白噪音,舍去,将三个数据组剩下的数据分别记为有效采购生产原始数据组、有效运输仓储原始数据组和有效销售回收原始数据;S13,有效采购生产原始数据组数据数量记为,/>,/>为有效采购生产原始数据组数据总数,从有效采购生产原始数据组提取有效采购生产原始数据组分类特征数据,有效采购生产原始数据组分类特征数据类别记为/>,/>,/>为有效采购生产原始数据组分类特征数据类别总数,同类别有效采购生产原始数据组分类特征数据数量记为/>,,/>为同类别有效采购生产原始数据组分类特征数据总数,,则第/>类第个有效采购生产原始数据组分类特征数据记为/>,并据此通过计算公式得到第/>类有效采购生产原始数据组分类特征数据评估值/>,具体计算公式为:
其中/>表示第/>类第/>个设定有效采购生产原始数据组分类特征数据标准值,/>表示有效采购生产原始数据组分类特征数据提取误差因子,将第/>类有效采购生产原始数据组分类特征数据评估值与设定有效采购生产原始数据组分类特征数据评估值对比,在误差允许范围之内的保留对应的有效采购生产原始数据组分类特征数据,对所有类别有效采购生产原始数据组数据重复此步骤,将所有保留的数据记为采购生产分类特征数据组;S14,使用与步骤S13同样的大数据本地网络采集预处理的步骤,得到运输仓储分类特征数据组和销售回收分类特征数据组。
进一步的,所述S2中得到采购生产类别数据组特征过滤评估值的具体步骤为:根据采购生产分类特征数据组中的预定义分类特征数据将采购生产产业链原始数据组分类,得到采购生产类别数据组、采购生产数量数据组和采购生产成本数据组,采购生产类别数据组数据数量记为,/>,/>为采购生产类别数据组数据总数,采购生产类别数据组数据记为/>,并据此通过计算公式得到采购生产类别数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定采购生产类别数据组特征过滤评估值,/>表示采购生产类别特征提取误差因子。
进一步的,所述S2中进而得到采购生产过滤数据组的具体步骤为:同样的对采购生产产业链数据组和对应的特征数据组简化过滤的步骤,得到采购生产数量数据组特征过滤评估值,采购生产成本数据组特征过滤评估值/>,根据采购生产类别数据组特征过滤评估值/>,采购生产数量数据组特征过滤评估值/>,采购生产成本数据组特征过滤评估值/>,通过计算公式得到采购生产特征过滤系数/>,具体计算公式为:
,其中/>表示采购生产类别数据组特征过滤评估值对应的权重因子,/>表示采购生产数量数据组特征过滤评估值对应的权重因子,/>表示采购生产成本数据组特征过滤评估值对应的权重因子,/>表示采购生产类别数量成本三种数据之间的关联特征过滤系数;将采购生产特征过滤系数与预定义采购生产特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为采购生产过滤数据组,将采购生产分类特征数据组和采购生产过滤数据组发送大数据云端网络。
进一步的,所述S3中进而得到运输仓储过滤数据组的具体步骤为:S31,通过运输仓储分类特征数据组将运输仓储产业链原始数据组分类,得到运输仓储路径数据组、运输仓储效率数据组和运输仓储模式数据组,运输仓储路径数据组数据数量记为,,/>为为运输仓储路径数据组数据总数,运输仓储路径数据组数据记为/>,根据运输仓储路径数据组数据数量和运输仓储路径数据组数据通过计算公式得到运输仓储路径数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定运输仓储路径数据组特征过滤评估值,/>表示运输仓储路径特征权重因子,/>表示运输仓储路径特征误差设定加权乘方,/>表示运输仓储路径特征提取误差因子,/>表示自然常数;S32,同样地根据得到运输仓储路径数据组特征过滤评估值的步骤,得到运输仓储效率数据组特征过滤评估值/>,运输仓储模式数据组特征过滤评估值/>,并据此通过计算公式得到运输仓储特征过滤系数/>,具体计算公式为:
,其中/>表示运输仓储路径数据组特征过滤评估值对应的除权因子,/>表示运输仓储效率数据组特征过滤评估值对应的除权因子,/>表示运输仓储模式数据组特征过滤评估值对应的除权因子,/>表示运输仓储路径效率模式三种数据之间的关联特征系数;S33,将运输仓储特征过滤系数与预定义运输仓储特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为运输仓储过滤数据组,将运输仓储分类特征数据组和运输仓储过滤数据组发送大数据云端网络。
进一步的,所述S4中进而得到销售回收过滤数据组的具体步骤为:S41,通过销售回收分类特征数据组将销售回收产业链原始数据组分类,得到销售回收价值数据组、销售回收效率数据组和销售回收模式数据组,销售回收价值数据组数据数量记为,,/>为销售回收价值数据组数据总数,销售回收价值数据组数据记为/>,根据销售回收价值数据组数据数量和销售回收价值数据组数据通过计算公式得到销售回收价值数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定销售回收价值数据组特征过滤评估值,/>表示设定销售回收价值数据组特征过滤评估值权重因子,表示销售回收价值特征误差设定加权乘方,/>表示销售回收价值特征提取误差因子,表示销售回收价值实时变化修正系数;S42,同样地根据得到销售回收价值数据组特征过滤评估值的步骤,得到销售回收价值数据组特征过滤评估值/>和销售回收价值数据组特征过滤评估值/>,根据销售回收价值数据组特征过滤评估值/>、销售回收价值数据组特征过滤评估值/>和销售回收价值数据组特征过滤评估值/>通过计算公式得到销售回收特征过滤系数/>,具体计算公式为:
,其中/>表示销售回收价值数据组特征过滤评估值对应的权重因子,/>表示销售回收渠道数据组特征过滤评估值对应的权重因子,/>表示销售回收属性数据组特征过滤评估值对应的权重因子,/>表示销售回收价值渠道与属性之间的关联影响因子,/>表示销售回收价值渠道属性三种数据之间的关联特征系数,/>表示销售回收特征过滤加权乘方;S43,将销售回收特征过滤系数与预定义销售回收特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为销售回收过滤数据组,将销售回收分类特征数据组和销售回收过滤数据组发送大数据云端网络。
进一步的,所述S5中得到大数据产业链压缩数据组的具体步骤为:S51,由大数据云端网络得到采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组,将采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组合并成一个新的数据组,记为大数据云端产业链数据组;S52,将大数据云端产业链数据组按预定义产业链特征数据组分割大小分割成/>个,单个分割数据组记为大数据云端产业链特征数据组,/>,为大数据云端产业链特征数据组总数;
S53,对所有大数据云端产业链特征数据组进行数据压缩,将压缩后的大数据云端产业链特征数据组,与大数据云端产业链数据组对比评估得到大数据云端产业链特征数据组数据精确度和大数据云端产业链特征数据组数据保留率/>,根据第/>个大数据云端产业链特征数据组数据精确度/>和第/>个大数据云端产业链特征数据组数据保留率和预定义产业链特征数据组分割大小/>通过计算公式得到压缩评估系数记为/>,具体计算公式为:
,其中/>表示预定义分割数据组数据范围修正因子,/>表示大数据云端产业链特征数据组分割相对比例修正因子,表示压缩对比误差系数;S54,将压缩评估系数与预定义压缩评估系数比较,在误差允许范围内的称为有效压缩,得到大数据产业链压缩数据组。
进一步的,所述S5中回传大数据本地网络存储的具体步骤为:由大数据云端网络接收的数据组包括采购生产分类特征数据组、运输仓储分类特征数据组、销售回收分类特征数据组和大数据产业链压缩数据组,根据采购生产分类特征数据组、运输仓储分类特征数据组、销售回收分类特征数据组将大数据产业链压缩数据组分成采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组,并通过采购生产分类特征数据组、运输仓储分类特征数据组和销售回收分类特征数据组中包含的唯一对应的预定义存储本地网络将采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组发送到对应的唯一的大数据本地网络。
进一步的,所述S6大数据本地网络存储的具体步骤为:根据采购生产分类特征数据组、运输仓储分类特征数据组和销售回收分类特征数据组中包含的唯一对应的预定义存储本地网络,将采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组发送到唯一对应的预定义存储本地网络中;由对应的唯一的大数据本地网络接收并存储大数据云端网络发送的大数据产业链压缩数据组,包括采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组。
进一步的,所述一种基于大数据的产业供应链优化系统包括:大数据本地网络采集预处理模块、采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块、大数据云端网络优化处理模块和大数据本地网络存储模块;大数据本地网络采集预处理模块分别和采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块相连,采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块和大数据云端网络优化处理模块相连,大数据云端网络优化处理模块和大数据本地网络存储模块相连;所述大数据本地网络采集预处理模块:用于采集大数据产业供应链原始数据,对大数据产业供应链原始数据预处理,预处理后分类得到采购生产、运输仓储和销售回收产业链数据组和对应的分类特征数据组;所述采购生产产业链数据优化处理模块:用于对采购生产产业链数据组和对应的特征数据组简化过滤,得到采购生产特征过滤系数,进而得到采购生产过滤数据组,将采购生产过滤数据组发送大数据云端网络;所述运输仓储产业链数据优化处理模块:用于对运输仓储产业链数据组和对应的特征数据组简化过滤,得到运输仓储特征过滤系数,进而得到运输仓储过滤数据组,将运输仓储过滤数据组发送大数据云端网络;所述销售回收产业链数据优化处理模块:用于对销售回收产业链数据组和对应的特征数据组简化过滤,得到销售回收特征过滤系数,进而得到销售回收过滤数据组,将销售回收过滤数据组发送大数据云端网络;所述大数据云端网络优化处理模块:用于由大数据云端网络接收大数据本地网络发送的采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组,集中压缩处理,得到大数据产业链压缩数据组,回传大数据本地网络存储;所述大数据本地网络存储模块:用于接收大数据云端网络发送的大数据产业链压缩数据组,分别存储在对应的大数据本地网络中。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、从大数据本地网络采集预处理得到采购生产、运输仓储和销售回收产业链数据组和对应的分类特征数据组,通过分类特征数据组中的分类特征数据再次对原始数据分类,然后分别对三组数据组简化过滤处理,在云端网络压缩处理,最后发送并存储在唯一对应的本地网络,通过对产业链原始数据的分类简化过滤压缩分布存储,去除了冗余数据,提高了数据特征密度,空出了存储空间,提高了云端综合算力,进而大大提高了大数据网络运行稳定性和长久性,有效解决了现有技术中,存在不能及时对大量产业链数据分类简化压缩处理以达到大大提高大数据网络运行稳定性和长久性的问题;
2、云端网络通过对采购生产产业链数据和运输仓储产业链数和销售回收产业链数据分别简化过滤处理,分别得到采购生产特征过滤系数、运输仓储特征过滤系数和销售回收特征过滤系数,进而得到采购生产过滤数据组、运输仓储过滤数据组和销售回收过滤数据组,不断多次简化,使得数据在保留特征信息的同时极大的节省存储空间和运算效力,以提高云端网络的运行数据处理速度和响应速率;
3、通过唯一对应的预定义存储本地网络将云端网络压缩处理的采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组发送到唯一对应的大数据本地网络,进一步节省云端网络存储空间和算力,使得大数据产业链网络整体运算效力和存储空间得到进一步提高。
附图说明
图1为本申请实施例提供的一种基于大数据的产业供应链优化方法流程图;
图2为本申请实施例提供的大数据云端网络优化处理步骤示意图;
图3为本申请实施例提供的大数据本地网络存储结构示意图。
具体实施方式
本申请实施例通过提供一种基于大数据的产业供应链优化方法及系统,解决了现有技术中,存在大数据的产业链网络接收的数据膨胀速度太快难以提高大数据的产业链网络运行稳定性和长期性的问题,通过基于大数据的产业链数据本地分类简化云端压缩最后分布式存储在本地,实现了大大提高基于大数据的产业链网络运行的长期性和稳定性。
本申请实施例中的技术方案为解决上述,大数据的产业链网络接收的数据膨胀速度太快难以提高大数据的产业链网络运行稳定性和长期性的问题,总体思路如下:
通过采集大数据产业链原始数据,对大数据产业供应链原始数据预处理,分别通过采购生产产业链数据组、运输仓储产业链数据组和销售回收产业链数据组和对应的特征数据组简化过滤,得到采购生产过滤数据组、运输仓储过滤数据组和销售回收过滤数据组并将其发送云端网络,再通过大数据云端网络优化处理对接收的数据组集中压缩处理,得到大数据产业链压缩数据组并将其回传大数据本地网络,最后大数据本地网络接收并存储大数据产业链压缩数据组,达到了大大提高基于大数据的产业链网络运行的长期性和稳定性的可靠效果。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示,为本申请实施例提供的一种基于大数据的产业供应链优化方法流程图,该方法包括以下步骤:S1,大数据本地网络采集预处理:采集大数据产业供应链原始数据,对大数据产业供应链原始数据预处理,预处理得到采购生产、运输仓储和销售回收产业链数据组和对应的分类特征数据组;S2,采购生产产业链数据优化处理:对采购生产产业链数据组和对应的特征数据组简化过滤,得到采购生产类别数据组特征过滤评估值,从而得到采购生产特征过滤系数,进而得到采购生产过滤数据组;S3,运输仓储产业链数据优化处理:对运输仓储产业链数据组和对应的特征数据组简化过滤,得到运输仓储路径数据组特征过滤评估值,从而得到运输仓储特征过滤系数,进而得到运输仓储过滤数据组;S4,销售回收产业链数据优化处理:对销售回收产业链数据组和对应的特征数据组简化过滤,得到销售回收价值数据组特征过滤评估值,从而得到销售回收特征过滤系数,进而得到销售回收过滤数据组;S5,大数据云端网络优化处理:由大数据云端网络接收大数据本地网络发送的采购生产过滤数据组、运输仓储过滤数据组和销售回收过滤数据组,压缩处理,得到大数据产业链压缩数据组,回传大数据本地网络存储;S6,大数据本地网络存储:接收大数据云端网络发送的大数据产业链压缩数据组,分别存储在对应的大数据本地网络中。
在本实施例中,用产业链代指产业供应链,产业链各数据组包括产业供应链数据及其相关数据。
进一步的,S1中的大数据本地网络采集预处理的具体步骤为:S11,从大数据本地网络上获取大数据本地网络产业供应链原始数据,按采购生产、运输仓储和销售回收分类组成三个产业供应链数据组,分别记为采购生产产业链原始数据组、运输仓储产业链原始数据组和销售回收产业链原始数据组;S12,将采购生产产业链原始数据组、运输仓储产业链原始数据组和销售回收产业链原始数据组经过与白噪音设定阈值进行对比,将低于白噪音设定阈值的数据定为数据白噪音,舍去,将三个数据组剩下的数据分别记为有效采购生产原始数据组、有效运输仓储原始数据组和有效销售回收原始数据;S13,有效采购生产原始数据组数据数量记为,/>,/>为有效采购生产原始数据组数据总数,从有效采购生产原始数据组提取有效采购生产原始数据组分类特征数据,有效采购生产原始数据组分类特征数据类别记为/>,/>,/>为有效采购生产原始数据组分类特征数据类别总数,同类别有效采购生产原始数据组分类特征数据数量记为/>,,/>为同类别有效采购生产原始数据组分类特征数据总数,则第/>类第/>个有效采购生产原始数据组分类特征数据记为/>,并据此通过计算公式得到第/>类有效采购生产原始数据组分类特征数据评估值/>,具体计算公式为:
,其中/>表示第/>类第/>个设定有效采购生产原始数据组分类特征数据标准值,/>表示有效采购生产原始数据组分类特征数据提取误差因子,将第/>类有效采购生产原始数据组分类特征数据评估值与设定有效采购生产原始数据组分类特征数据评估值对比,在误差允许范围之内的保留对应的有效采购生产原始数据组分类特征数据,对所有类别有效采购生产原始数据组数据重复此步骤,将所有保留的数据记为采购生产分类特征数据组;S14,使用与步骤S13同样的大数据本地网络采集预处理的步骤,得到运输仓储分类特征数据组和销售回收分类特征数据组。
在本实施例中,通过运输仓储产业链原始数据组和销售回收产业链原始数据组的相关参数处理,相关参数包括有效运输仓储原始数据组数据数量、有效运输仓储原始数据组分类特征数据类别、同类别有效运输仓储原始数据组分类特征数据数量和有效运输仓储原始数据组分类特征数据,设定有效运输仓储原始数据组分类特征数据标准值,有效运输仓储原始数据组分类特征数据提取误差因子,有效销售回收原始数据组数据数量、有效销售回收原始数据组分类特征数据类别、同类别有效销售回收原始数据组分类特征数据数量和有效销售回收原始数据组分类特征数据,设定有效销售回收原始数据组分类特征数据标准值,有效销售回收原始数据组分类特征数据提取误差因子,根据以上相关参数得到运输仓储分类特征数据组和销售回收分类特征数据组;特征点提取算法包括但不限于SIFT算法、SURF算法、ORB算法、Harris角点检测算法、Hessian-Laplace算法;大数据本地网络产业链原始数据分类的依据主要是数据产生在产业链的哪个环节,可以根据数据溯源高效快速分类;任何数据的传输和接收都要通过具体的设备,经过的环节越多,数据噪音越多,大数据产业链数据必须先过滤数据白噪音;采购生产数据组分类特征数据具体包括但不限于,采购数据分类:供应商、采购类型、采购数量、采购时间和采购成本、生产数据分类:产品类型、生产工艺、生产设备、生产效率和生产成本,这些分类方式可以根据具体的业务需求进行调整和扩展;得到的采购生产分类特征数据组是为进一步处理分类压缩做准备;同样的步骤得到运输仓储分类特征数据组和销售回收分类特征数据组的评估模型与得到采购生产分类特征数据组的模型相同,在具体实际情况中,完全可以根据实际产业链特点进行评估模型的调整,通过调整相关参数来调整具体评估模型不能限制本发明。
进一步的,S2中得到采购生产类别数据组特征过滤评估值的具体步骤为:根据采购生产分类特征数据组中的预定义分类特征数据将采购生产产业链原始数据组分类,得到采购生产类别数据组、采购生产数量数据组和采购生产成本数据组,采购生产类别数据组数据数量记为,/>,/>为采购生产类别数据组数据总数,采购生产类别数据组数据记为/>,并据此通过计算公式得到采购生产类别数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定采购生产类别数据组特征过滤评估值,/>表示采购生产类别特征提取误差因子。
在本实施例中,设定采购生产类别数据组特征过滤评估值是根据以往产业链大数据通过学习算法得来的,在实际情况中,对于具体的某条产业链,所有数据组的类型是相对固定的很容易就能找到突出的特征并量化赋值,采购生产类别特征提取误差因子表示在对数据提取的过程中,一定会有误差,虽然利用大数据需要处理的数据很多,但实际上在具体的数据分析时,需要提取的数据范围很小,以上评估模型仅对某些因素做提取评估处理,在具体实现中对于产业链的提取特征不同而需要调整评估模型的,根据实际情况调整即可,不能限制本发明。
进一步的,S2中进而得到采购生产过滤数据组的具体步骤为:对采购生产产业链数据组和对应的特征数据组简化过滤的步骤,得到采购生产数量数据组特征过滤评估值,采购生产成本数据组特征过滤评估值/>,根据采购生产类别数据组特征过滤评估值,采购生产数量数据组特征过滤评估值/>,采购生产成本数据组特征过滤评估值/>,通过计算公式得到采购生产特征过滤系数/>,具体计算公式为:
,其中/>表示采购生产类别数据组特征过滤评估值对应的权重因子,/>表示采购生产数量数据组特征过滤评估值对应的权重因子,/>表示采购生产成本数据组特征过滤评估值对应的权重因子,/>表示采购生产类别数量成本三种数据之间的关联特征过滤系数;将采购生产特征过滤系数与预定义采购生产特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为采购生产过滤数据组,将采购生产分类特征数据组和采购生产过滤数据组发送大数据云端网络。
在本实施例中,根据采购生产数量数据组数据数量、采购生产数量数据组数据、设定采购生产数量数据组特征过滤评估值、采购生产数量特征提取误差因子、采购生产成本数据组数据数量、采购生产成本数据组数据、设定采购生产成本数据组特征过滤评估值和采购生产成本特征提取误差因子得到采购生产数量数据组特征过滤评估值,采购生产成本数据组特征过滤评估值/>;采购生产特征过滤系数评估模型选择根据采购生产类别,采购生产数量,采购生产成本三者作为评估主要数据类型,根据实际情况,具体产业链在采购生产环节有具体突出需要保留的数据,评估模型可以做出对应调整,对于模型评估因素的添加或减少不能限制本发明;采购生产类别数量成本三种数据之间的关联特征过滤系数表示评估模型的不同因素之间本身也有一定的关联度,针对关联度可以进一步简化数据,如果有冗余的关联数据可以丢弃的,需要考虑在内,需要注意的是,评估因素越多,不同因素之间的关联性越多,需要随着模型调整关联过滤系数;过滤保留下来的数据组记为采购生产过滤数据组,将采购生产过滤数据组发送大数据云端网络是为了在云端网络进行进一步的压缩处理,一般云端网络算力和存储空间都更大,数据集中压缩处理在云端处理优势明显,在实际情况中,可根据网络具体算力模型进行调整。
进一步的,S3中进而得到运输仓储过滤数据组的具体步骤为:S31,通过运输仓储分类特征数据组将运输仓储产业链原始数据组分类,得到运输仓储路径数据组、运输仓储效率数据组和运输仓储模式数据组,运输仓储路径数据组数据数量记为,/>,/>为运输仓储路径数据组数据总数,运输仓储路径数据组数据记为/>,根据运输仓储路径数据组数据数量和运输仓储路径数据组数据通过计算公式得到运输仓储路径数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定运输仓储路径数据组特征过滤评估值,/>表示运输仓储路径特征权重因子,/>表示运输仓储路径特征误差设定加权乘方,/>表示运输仓储路径特征提取误差因子,/>表示自然常数;S32,同样地根据得到运输仓储路径数据组特征过滤评估值的步骤,得到运输仓储效率数据组特征过滤评估值/>,运输仓储模式数据组特征过滤评估值/>,并据此通过计算公式得到运输仓储特征过滤系数/>,具体计算公式为:
,其中/>表示运输仓储路径数据组特征过滤评估值对应的除权因子,/>表示运输仓储效率数据组特征过滤评估值对应的除权因子,/>表示运输仓储模式数据组特征过滤评估值对应的除权因子,/>表示运输仓储路径效率模式三种数据之间的关联特征系数;S33,将运输仓储特征过滤系数与预定义运输仓储特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为运输仓储过滤数据组,将运输仓储分类特征数据组和运输仓储过滤数据组发送大数据云端网络。
在本实施例中,根据运输仓储效率数据组数据数量、运输仓储效率数据组数据、设定运输仓储效率数据组特征过滤评估值、运输仓储效率特征权重因子、运输仓储效率特征设定加权乘方、运输仓储效率特征提取误差因子、运输仓储模式数据组数据数量、运输仓储模式数据组数据、设定运输仓储模式数据组特征过滤评估值、运输仓储模式特征权重因子、运输仓储模式特征设定加权乘方和运输仓储模式特征提取误差因子,运输仓储效率数据组特征过滤评估值,运输仓储模式数据组特征过滤评估值/>;设定运输仓储路径数据组特征过滤评估值是根据以往产业链大数据通过机器算法得来的;运输仓储路径特征权重因子表示不同的运输仓储路径差异较大且根据实际情况会有变化,需要特别在评估模型中对具体的路径加权处理;运输仓储路径特征误差设定加权乘方表示不同路径彼此之间的经济价值等各方面差异也较大,与设定值的差值同样会有不同评估意义上的差距,需要加权乘方;实际情况中,对于具体的某条产业链,所有数据组的类型是相对固定的很容易就能找到突出的特征并量化赋值,以上评估模型仅对某些因素做提取评估处理,在具体实现中对于产业链的提取特征不同而需要调整评估模型的,根据实际情况调整即可,不能限制本发明:与上文同理,运输仓储特征过滤系数评估模型选择根据运输仓储路径,运输仓储效率,运输仓储模式三者作为评估主要数据类型,评估模型可以做出对应调整,对于模型评估因素的添加或减少不能限制本发明;与上文同理,运输仓储路径效率模式三种数据之间的关联特征系数表示评估模型的不同因素之间本身也有一定的关联度,针对关联度可以进一步简化数据;与上文同理,可根据网络具体算力模型进行调整过滤保留下来的运输仓储过滤数据组。
进一步的,S4中进而得到销售回收过滤数据组的具体步骤为:S41,通过销售回收分类特征数据组将销售回收产业链原始数据组分类,得到销售回收价值数据组、销售回收效率数据组和销售回收模式数据组,销售回收价值数据组数据数量记为,,/>为销售回收价值数据组数据总数,销售回收价值数据组数据记为/>,根据销售回收价值数据组数据数量和销售回收价值数据组数据通过计算公式得到销售回收价值数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定销售回收价值数据组特征过滤评估值,/>表示设定销售回收价值数据组特征过滤评估值权重因子,表示销售回收价值特征误差设定加权乘方,/>表示销售回收价值特征提取误差因子,表示销售回收价值实时变化修正系数;S42,同样地根据得到销售回收价值数据组特征过滤评估值的步骤,得到销售回收价值数据组特征过滤评估值/>和销售回收价值数据组特征过滤评估值/>,根据销售回收价值数据组特征过滤评估值/>、销售回收价值数据组特征过滤评估值/>和销售回收价值数据组特征过滤评估值/>通过计算公式得到销售回收特征过滤系数/>,具体计算公式为:
,其中/>表示销售回收价值数据组特征过滤评估值对应的权重因子,/>表示销售回收渠道数据组特征过滤评估值对应的权重因子,/>表示销售回收属性数据组特征过滤评估值对应的权重因子,/>表示销售回收价值渠道与属性之间的关联影响因子,/>表示销售回收价值渠道属性三种数据之间的关联特征系数,/>表示销售回收特征过滤加权乘方;S43,将销售回收特征过滤系数与预定义销售回收特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为销售回收过滤数据组,将销售回收分类特征数据组和销售回收过滤数据组发送大数据云端网络。
在本实施例中,根据销售回收渠道数据组数据数量、销售回收渠道数据组数据、设定销售回收渠道数据组特征过滤评估值、设定销售回收渠道数据组特征过滤评估值权重因子、销售回收渠道特征设定加权乘方、销售回收渠道特征提取误差因子、销售回收渠道实时变化修正系数、销售回收属性数据组数据数量、销售回收属性数据组数据、设定销售回收属性数据组特征过滤评估值、设定销售回收属性数据组特征过滤评估值权重因子、销售回收属性特征设定加权乘方、销售回收属性特征提取误差因子和销售回收属性实时变化修正系数,得到销售回收价值数据组特征过滤评估值和销售回收价值数据组特征过滤评估值;与上文同理,不同的销售回收价值差异较大且根据实际情况会有变化,需要特别在评估模型中对具体的价值加权处理;销售回收价值渠道与属性之间的关联影响因子表示销售回收价值和渠道与属性之间的关联影响,不同因素之间的数据关联关系需要在评估模型中体现;可根据网络具体算力模型进行调整过滤保留下来的销售回收过滤数据组;以上评估模型仅对某些因素做提取评估处理,销售回收特征过滤系数评估模型选择根据销售回收价值,销售回收渠道,销售回收属性三者作为评估主要数据类型,评估模型可以做出对应调整;根据实际情况调整即可,不能限制本发明。
进一步的,S5中得到大数据产业链压缩数据组的具体步骤为:S51,由大数据云端网络得到采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组,将采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组合并成一个新的数据组,记为大数据云端产业链数据组;S52,将大数据云端产业链数据组按预定义产业链特征数据组分割大小分割成/>个,单个分割数据组记为大数据云端产业链特征数据组,/>,/>为大数据云端产业链特征数据组总数;S53,对所有大数据云端产业链特征数据组进行数据压缩,将压缩后的大数据云端产业链特征数据组,与大数据云端产业链数据组对比评估得到大数据云端产业链特征数据组数据精确度/>和大数据云端产业链特征数据组数据保留率,根据第/>个大数据云端产业链特征数据组数据精确度/>和第/>个大数据云端产业链特征数据组数据保留率/>和预定义产业链特征数据组分割大小/>通过计算公式得到压缩评估系数记为/>,具体计算公式为:
,其中/>表示预定义分割数据组数据范围修正因子,/>表示大数据云端产业链特征数据组分割相对比例修正因子,表示压缩对比误差系数;S54,将压缩评估系数与预定义压缩评估系数比较,在误差允许范围内的称为有效压缩,得到大数据产业链压缩数据组。
在本实施例中,如图2所示,为本申请实施例提供的大数据云端网络优化处理步骤示意图,大数据云端网络优化处理包括对采购生产过滤数据组、运输仓储过滤数据组和销售回收过滤数据组优化处理,采购生产过滤数据组是由对采购生产产业链数据组和对应的特征数据组简化过滤,得到采购生产特征过滤系数,进而处理得到的,同理得到运输仓储过滤数据组和销售回收过滤数据组;数据压缩方法包括但不限于小波标量量化,JPEG,稀疏表示算法,在实际情况中,在算力允许的情况下可以多次压缩以求最好的综合压缩结果,云端网络只是对本地网络数据进行压缩的数据处理,处理过的本地网络数据会发回本地,以节省云端网络的算力和存储空间。
进一步的,S5中回传大数据本地网络存储的具体步骤为:由大数据云端网络接收的数据组包括采购生产分类特征数据组、运输仓储分类特征数据组、销售回收分类特征数据组和大数据产业链压缩数据组,根据采购生产分类特征数据组、运输仓储分类特征数据组、销售回收分类特征数据组将大数据产业链压缩数据组分成采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组,并通过采购生产分类特征数据组、运输仓储分类特征数据组和销售回收分类特征数据组中包含的唯一对应的预定义存储本地网络将采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组发送到对应的唯一的大数据本地网络。
在本实施例中,分类特征数据组中包含的唯一对应的预定义存储本地网络表示分类特征数据组实际包含诸如唯一机器码,IP地址等唯一确定对应本地网络的数据,这些数据往往已经包含在各种分类数据之中,现在需要按照分类方法将数据组发送到对应的本地网络存储;对应的本地网络存储可以根据实际情况可以根据产业链各产业环节,也可以根据产业链各公司工厂,还可以根据产业链数据接收时间,本发明只做一种分析,对于存储方式和存储位置的调整不能限制本发明。
进一步的,如图3所示,为本申请实施例提供的大数据本地网络存储结构示意图,S6大数据本地网络存储的具体步骤为:根据采购生产分类特征数据组、运输仓储分类特征数据组和销售回收分类特征数据组中包含的唯一对应的预定义存储本地网络,将采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组发送到唯一对应的预定义存储本地网络中;由对应的唯一的大数据本地网络接收并存储大数据云端网络发送的大数据产业链压缩数据组,包括采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组。
在本实施例中,预定义有效压缩嵌入式本地网络指纹标准数据组平时都是压缩状态,只有到需要与原始数据对比时才解压,进一步节省嵌入式本地网络的存储空间。
本申请实施例提供的一种基于大数据的产业供应链优化系统包括:大数据本地网络采集预处理模块、采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块、大数据云端网络优化处理模块和大数据本地网络存储模块;大数据本地网络采集预处理模块分别和采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块相连,采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块和大数据云端网络优化处理模块相连,大数据云端网络优化处理模块和大数据本地网络存储模块相连;大数据本地网络采集预处理模块:用于采集大数据产业供应链原始数据,对大数据产业供应链原始数据预处理,预处理后分类得到采购生产、运输仓储和销售回收产业链数据组和对应的分类特征数据组;采购生产产业链数据优化处理模块:用于对采购生产产业链数据组和对应的特征数据组简化过滤,得到采购生产特征过滤系数,进而得到采购生产过滤数据组,将采购生产过滤数据组发送大数据云端网络;运输仓储产业链数据优化处理模块:用于对运输仓储产业链数据组和对应的特征数据组简化过滤,得到运输仓储特征过滤系数,进而得到运输仓储过滤数据组,将运输仓储过滤数据组发送大数据云端网络;销售回收产业链数据优化处理模块:用于对销售回收产业链数据组和对应的特征数据组简化过滤,得到销售回收特征过滤系数,进而得到销售回收过滤数据组,将销售回收过滤数据组发送大数据云端网络;大数据云端网络优化处理模块:用于由大数据云端网络接收大数据本地网络发送的采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组,集中压缩处理,得到大数据产业链压缩数据组,回传大数据本地网络存储;大数据本地网络存储模块:用于接收大数据云端网络发送的大数据产业链压缩数据组,分别存储在对应的大数据本地网络中。
在本实施例中,先用大数据本地网络采集预处理模块,采集大数据产业链原始数据,对大数据产业链原始数据预处理,分别通过采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块和销售回收产业链数据优化处理模块对对应的产业链数据组和对应的特征数据组简化过滤,得到采购生产过滤数据组、运输仓储过滤数据组和销售回收过滤数据组并将其发送云端网络,再通过大数据云端网络优化处理模块对接收的数据组集中压缩处理,得到大数据产业链压缩数据组并将其回传大数据本地网络,最后大数据本地网络存储模块接收并存储大数据产业链压缩数据组。
上述本申请实施例中的技术方案,至少具有如下的技术效果或优点:相对于公开号为CN113888268A的发明专利申请公开的一种基于数字经济乳品产业供应链智能优化服务方法和平台,本申请实施例通过本申请实施例通过对本地网络原始数据分类简化过滤最后压缩,使得数据多次精简,且数据保留面较全,而不是只保留物流信息,从而使得整体产业链网络节省大量运算效力和存储空间;相对于公开号为CN116166978A的发明专利公开的一种用于供应链管理的物流数据压缩存储方法,本申请实施例通过对本地网络原始数据分类简化过滤压缩,最后分布存储在本地网络,使得数据多次精简后存储在唯一对应的本地网络,方便以后再次调用,从而使得整体产业链网络大大提高了响应速率和数据处理能力。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于大数据的产业供应链优化方法,其特征在于,包括以下步骤:
S1,大数据本地网络采集预处理:采集大数据产业供应链原始数据,对大数据产业供应链原始数据预处理,预处理得到采购生产、运输仓储和销售回收产业链数据组和对应的分类特征数据组;
S2,采购生产产业链数据优化处理:对采购生产产业链数据组和对应的特征数据组简化过滤,得到采购生产类别数据组特征过滤评估值,从而得到采购生产特征过滤系数,进而得到采购生产过滤数据组;
S3,运输仓储产业链数据优化处理:对运输仓储产业链数据组和对应的特征数据组简化过滤,得到运输仓储路径数据组特征过滤评估值,从而得到运输仓储特征过滤系数,进而得到运输仓储过滤数据组;
S4,销售回收产业链数据优化处理:对销售回收产业链数据组和对应的特征数据组简化过滤,得到销售回收价值数据组特征过滤评估值,从而得到销售回收特征过滤系数,进而得到销售回收过滤数据组;
S5,大数据云端网络优化处理:由大数据云端网络接收大数据本地网络发送的采购生产过滤数据组、运输仓储过滤数据组和销售回收过滤数据组,压缩处理,得到大数据产业链压缩数据组,回传大数据本地网络存储;
S6,大数据本地网络存储:接收大数据云端网络发送的大数据产业链压缩数据组,分别存储在对应的大数据本地网络中。
2.如权利要求1所述一种基于大数据的产业供应链优化方法,其特征在于,所述S1中的大数据本地网络采集预处理的具体步骤为:
S11,从大数据本地网络上获取大数据本地网络产业供应链原始数据,按采购生产、运输仓储和销售回收分类组成三个产业供应链数据组,分别记为采购生产产业链原始数据组、运输仓储产业链原始数据组和销售回收产业链原始数据组;
S12,将采购生产产业链原始数据组、运输仓储产业链原始数据组和销售回收产业链原始数据组经过与白噪音设定阈值进行对比,将低于白噪音设定阈值的数据定为数据白噪音,舍去,将三个数据组剩下的数据分别记为有效采购生产原始数据组、有效运输仓储原始数据组和有效销售回收原始数据;
S13,有效采购生产原始数据组数据数量记为,/>,/>为有效采购生产原始数据组数据总数,从有效采购生产原始数据组提取有效采购生产原始数据组分类特征数据,有效采购生产原始数据组分类特征数据类别记为/>,/>,/>为有效采购生产原始数据组分类特征数据类别总数,同类别有效采购生产原始数据组分类特征数据数量记为/>,/>,/>为同类别有效采购生产原始数据组分类特征数据总数,则第类第/>个有效采购生产原始数据组分类特征数据记为/>,并据此通过计算公式得到第/>类有效采购生产原始数据组分类特征数据评估值/>,具体计算公式为:
,其中/>表示第/>类第/>个设定有效采购生产原始数据组分类特征数据标准值,/>表示有效采购生产原始数据组分类特征数据提取误差因子,将第/>类有效采购生产原始数据组分类特征数据评估值与设定有效采购生产原始数据组分类特征数据评估值对比,在误差允许范围之内的保留对应的有效采购生产原始数据组分类特征数据,对所有类别有效采购生产原始数据组数据重复此步骤,将所有保留的数据记为采购生产分类特征数据组;
S14,使用与步骤S13同样的大数据本地网络采集预处理的步骤,得到运输仓储分类特征数据组和销售回收分类特征数据组。
3.如权利要求2所述一种基于大数据的产业供应链优化方法,其特征在于,所述S2中得到采购生产类别数据组特征过滤评估值的具体步骤为:
根据采购生产分类特征数据组中的预定义分类特征数据将采购生产产业链原始数据组分类,得到采购生产类别数据组、采购生产数量数据组和采购生产成本数据组,采购生产类别数据组数据数量记为,/>,/>为采购生产类别数据组数据总数,采购生产类别数据组数据记为/>,并据此通过计算公式得到采购生产类别数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定采购生产类别数据组特征过滤评估值,/>表示采购生产类别特征提取误差因子。
4.如权利要求3所述一种基于大数据的产业供应链优化方法,其特征在于,所述S2中进而得到采购生产过滤数据组的具体步骤为:
同样的对采购生产产业链数据组和对应的特征数据组简化过滤的步骤,得到采购生产数量数据组特征过滤评估值,采购生产成本数据组特征过滤评估值/>,根据采购生产类别数据组特征过滤评估值/>,采购生产数量数据组特征过滤评估值/>,采购生产成本数据组特征过滤评估值/>,通过计算公式得到采购生产特征过滤系数/>,具体计算公式为:
,其中/>表示采购生产类别数据组特征过滤评估值对应的权重因子,/>表示采购生产数量数据组特征过滤评估值对应的权重因子,/>表示采购生产成本数据组特征过滤评估值对应的权重因子,/>表示采购生产类别数量成本三种数据之间的关联特征过滤系数;
将采购生产特征过滤系数与预定义采购生产特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为采购生产过滤数据组,将采购生产分类特征数据组和采购生产过滤数据组发送大数据云端网络。
5.如权利要求4所述一种基于大数据的产业供应链优化方法,其特征在于,所述S3中进而得到运输仓储过滤数据组的具体步骤为:
S31,通过运输仓储分类特征数据组将运输仓储产业链原始数据组分类,得到运输仓储路径数据组、运输仓储效率数据组和运输仓储模式数据组,运输仓储路径数据组数据数量记为,/>,/>为运输仓储路径数据组数据总数,运输仓储路径数据组数据记为/>,根据运输仓储路径数据组数据数量和运输仓储路径数据组数据通过计算公式得到运输仓储路径数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定运输仓储路径数据组特征过滤评估值,/>表示运输仓储路径特征权重因子,/>表示运输仓储路径特征误差设定加权乘方,/>表示运输仓储路径特征提取误差因子,/>表示自然常数;
S32,同样地根据得到运输仓储路径数据组特征过滤评估值的步骤,得到运输仓储效率数据组特征过滤评估值,运输仓储模式数据组特征过滤评估值/>,并据此通过计算公式得到运输仓储特征过滤系数/>,具体计算公式为:
,其中/>表示运输仓储路径数据组特征过滤评估值对应的除权因子,/>表示运输仓储效率数据组特征过滤评估值对应的除权因子,/>表示运输仓储模式数据组特征过滤评估值对应的除权因子,/>表示运输仓储路径效率模式三种数据之间的关联特征系数;
S33,将运输仓储特征过滤系数与预定义运输仓储特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为运输仓储过滤数据组,将运输仓储分类特征数据组和运输仓储过滤数据组发送大数据云端网络。
6.如权利要求5所述一种基于大数据的产业供应链优化方法,其特征在于,所述S4中进而得到销售回收过滤数据组的具体步骤为:
S41,通过销售回收分类特征数据组将销售回收产业链原始数据组分类,得到销售回收价值数据组、销售回收效率数据组和销售回收模式数据组,销售回收价值数据组数据数量记为,/>,/>为销售回收价值数据组数据总数,销售回收价值数据组数据记为/>,根据销售回收价值数据组数据数量和销售回收价值数据组数据通过计算公式得到销售回收价值数据组特征过滤评估值记为/>,具体计算公式为:
,其中/>表示设定销售回收价值数据组特征过滤评估值,/>表示设定销售回收价值数据组特征过滤评估值权重因子,/>表示销售回收价值特征误差设定加权乘方,/>表示销售回收价值特征提取误差因子,/>表示销售回收价值实时变化修正系数;
S42,同样地根据得到销售回收价值数据组特征过滤评估值的步骤,得到销售回收价值数据组特征过滤评估值和销售回收价值数据组特征过滤评估值/>,根据销售回收价值数据组特征过滤评估值/>、销售回收价值数据组特征过滤评估值/>和销售回收价值数据组特征过滤评估值/>通过计算公式得到销售回收特征过滤系数/>,具体计算公式为:
,其中/>表示销售回收价值数据组特征过滤评估值对应的权重因子,/>表示销售回收渠道数据组特征过滤评估值对应的权重因子,/>表示销售回收属性数据组特征过滤评估值对应的权重因子,/>表示销售回收价值渠道与属性之间的关联影响因子,/>表示销售回收价值渠道属性三种数据之间的关联特征系数,/>表示销售回收特征过滤加权乘方;
S43,将销售回收特征过滤系数与预定义销售回收特征过滤系数比较,在误差允许范围之内的保留对应数据组里的数据,否则丢弃,过滤保留下来的数据组记为销售回收过滤数据组,将销售回收分类特征数据组和销售回收过滤数据组发送大数据云端网络。
7.如权利要求6所述一种基于大数据的产业供应链优化方法,其特征在于,所述S5中得到大数据产业链压缩数据组的具体步骤为:
S51,由大数据云端网络得到采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组,将采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组合并成一个新的数据组,记为大数据云端产业链数据组;
S52,将大数据云端产业链数据组按预定义产业链特征数据组分割大小分割成/>个,单个分割数据组记为大数据云端产业链特征数据组,/>,/>为大数据云端产业链特征数据组总数;
S53,对所有大数据云端产业链特征数据组进行数据压缩,将压缩后的大数据云端产业链特征数据组,与大数据云端产业链数据组对比评估得到大数据云端产业链特征数据组数据精确度和大数据云端产业链特征数据组数据保留率/>,根据第/>个大数据云端产业链特征数据组数据精确度/>和第/>个大数据云端产业链特征数据组数据保留率/>和预定义产业链特征数据组分割大小/>通过计算公式得到压缩评估系数记为/>,具体计算公式为:/>,其中/>表示预定义分割数据组数据范围修正因子,/>表示大数据云端产业链特征数据组分割相对比例修正因子,表示压缩对比误差系数;
S54,将压缩评估系数与预定义压缩评估系数比较,在误差允许范围内的称为有效压缩,得到大数据产业链压缩数据组。
8.如权利要求7所述一种基于大数据的产业供应链优化方法,其特征在于,所述S5中回传大数据本地网络存储的具体步骤为:
由大数据云端网络接收的数据组包括采购生产分类特征数据组、运输仓储分类特征数据组、销售回收分类特征数据组和大数据产业链压缩数据组,根据采购生产分类特征数据组、运输仓储分类特征数据组、销售回收分类特征数据组将大数据产业链压缩数据组分成采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组,并通过采购生产分类特征数据组、运输仓储分类特征数据组和销售回收分类特征数据组中包含的唯一对应的预定义存储本地网络将采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组发送到对应的唯一的大数据本地网络。
9.如权利要求8所述一种基于大数据的产业供应链优化方法,其特征在于,所述S6大数据本地网络存储的具体步骤为:
根据采购生产分类特征数据组、运输仓储分类特征数据组和销售回收分类特征数据组中包含的唯一对应的预定义存储本地网络,将采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组发送到唯一对应的预定义存储本地网络中;
由对应的唯一的大数据本地网络接收并存储大数据云端网络发送的大数据产业链压缩数据组,包括采购生产产业链压缩数据组、运输仓储产业链压缩数据组和销售回收产业链压缩数据组。
10.一种应用如权利要求1-9中任意一项方法的产业供应链优化系统,其特征在于,所述一种基于大数据的产业供应链优化系统包括:大数据本地网络采集预处理模块、采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块、大数据云端网络优化处理模块和大数据本地网络存储模块;
大数据本地网络采集预处理模块分别和采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块相连,采购生产产业链数据优化处理模块、运输仓储产业链数据优化处理模块、销售回收产业链数据优化处理模块和大数据云端网络优化处理模块相连,大数据云端网络优化处理模块和大数据本地网络存储模块相连;
所述大数据本地网络采集预处理模块:用于采集大数据产业供应链原始数据,对大数据产业供应链原始数据预处理,预处理后分类得到采购生产、运输仓储和销售回收产业链数据组和对应的分类特征数据组;
所述采购生产产业链数据优化处理模块:用于对采购生产产业链数据组和对应的特征数据组简化过滤,得到采购生产特征过滤系数,进而得到采购生产过滤数据组,将采购生产过滤数据组发送大数据云端网络;
所述运输仓储产业链数据优化处理模块:用于对运输仓储产业链数据组和对应的特征数据组简化过滤,得到运输仓储特征过滤系数,进而得到运输仓储过滤数据组,将运输仓储过滤数据组发送大数据云端网络;
所述销售回收产业链数据优化处理模块:用于对销售回收产业链数据组和对应的特征数据组简化过滤,得到销售回收特征过滤系数,进而得到销售回收过滤数据组,将销售回收过滤数据组发送大数据云端网络;
所述大数据云端网络优化处理模块:用于由大数据云端网络接收大数据本地网络发送的采购生产过滤数据组、运输仓储过滤数据组、销售回收过滤数据组,集中压缩处理,得到大数据产业链压缩数据组,回传大数据本地网络存储;
所述大数据本地网络存储模块:用于接收大数据云端网络发送的大数据产业链压缩数据组,分别存储在对应的大数据本地网络中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311240779.XA CN116992350A (zh) | 2023-09-25 | 2023-09-25 | 一种基于大数据的产业供应链优化方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311240779.XA CN116992350A (zh) | 2023-09-25 | 2023-09-25 | 一种基于大数据的产业供应链优化方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116992350A true CN116992350A (zh) | 2023-11-03 |
Family
ID=88532401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311240779.XA Pending CN116992350A (zh) | 2023-09-25 | 2023-09-25 | 一种基于大数据的产业供应链优化方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116992350A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117495019A (zh) * | 2023-11-14 | 2024-02-02 | 扬州市职业大学(扬州开放大学) | 基于农产品供应链的农产品协同调度方法与系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150046363A1 (en) * | 2013-08-07 | 2015-02-12 | Flextronics Ap, Llc | Method and Apparatus for Managing, Displaying, Analyzing, Coordinating, and Optimizing Innovation, Engineering, Manufacturing, and Logistics Infrastructures |
CN106779528A (zh) * | 2016-11-25 | 2017-05-31 | 任万坤 | 一种电子商务供应链管理系统 |
CN109754191A (zh) * | 2019-01-15 | 2019-05-14 | 深圳市毅景科技有限公司 | 一种中小企业一站式销售智能供应链管理平台 |
CN112613751A (zh) * | 2020-12-25 | 2021-04-06 | 北京航天云路有限公司 | 一种基于工业互联网的智慧物流集成系统 |
AU2021100225A4 (en) * | 2021-01-14 | 2021-04-08 | Hongwen Bi | A big data agricultural information management service system and method |
CN112766725A (zh) * | 2021-01-20 | 2021-05-07 | 南京珀煦软件科技有限公司 | 基于人工智能和云计算的生鲜产品供应链智能协调管理系统 |
CN113554321A (zh) * | 2021-07-28 | 2021-10-26 | 陕西科技大学 | 一种乳制品冷链物流质量安全预警方法 |
CN113570192A (zh) * | 2021-06-21 | 2021-10-29 | 天津大学 | 一种基于大数据的农业社交智能服务系统 |
WO2023082553A1 (zh) * | 2021-11-12 | 2023-05-19 | 珠海格力电器股份有限公司 | 采购数据的确定方法及其装置、计算机可读存储介质 |
CN116307970A (zh) * | 2022-12-30 | 2023-06-23 | 山东华丰数字科技有限公司 | 一种用于服务农业的数字园区综合管理方法及系统 |
-
2023
- 2023-09-25 CN CN202311240779.XA patent/CN116992350A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150046363A1 (en) * | 2013-08-07 | 2015-02-12 | Flextronics Ap, Llc | Method and Apparatus for Managing, Displaying, Analyzing, Coordinating, and Optimizing Innovation, Engineering, Manufacturing, and Logistics Infrastructures |
US20200065759A1 (en) * | 2013-08-07 | 2020-02-27 | Flextronics Ap, Llc | Method and Apparatus for Managing, Displaying, Analyzing, Coordinating, and Optimizing Innovation, Engineering, Manufacturing, and Logistics Infrastructures |
CN106779528A (zh) * | 2016-11-25 | 2017-05-31 | 任万坤 | 一种电子商务供应链管理系统 |
CN109754191A (zh) * | 2019-01-15 | 2019-05-14 | 深圳市毅景科技有限公司 | 一种中小企业一站式销售智能供应链管理平台 |
CN112613751A (zh) * | 2020-12-25 | 2021-04-06 | 北京航天云路有限公司 | 一种基于工业互联网的智慧物流集成系统 |
AU2021100225A4 (en) * | 2021-01-14 | 2021-04-08 | Hongwen Bi | A big data agricultural information management service system and method |
CN112766725A (zh) * | 2021-01-20 | 2021-05-07 | 南京珀煦软件科技有限公司 | 基于人工智能和云计算的生鲜产品供应链智能协调管理系统 |
CN113570192A (zh) * | 2021-06-21 | 2021-10-29 | 天津大学 | 一种基于大数据的农业社交智能服务系统 |
CN113554321A (zh) * | 2021-07-28 | 2021-10-26 | 陕西科技大学 | 一种乳制品冷链物流质量安全预警方法 |
WO2023082553A1 (zh) * | 2021-11-12 | 2023-05-19 | 珠海格力电器股份有限公司 | 采购数据的确定方法及其装置、计算机可读存储介质 |
CN116307970A (zh) * | 2022-12-30 | 2023-06-23 | 山东华丰数字科技有限公司 | 一种用于服务农业的数字园区综合管理方法及系统 |
Non-Patent Citations (1)
Title |
---|
吴青;: "新态势下的炼化企业数字化转型――从数字炼化走向智慧炼化", 化工进展, no. 06, pages 115 - 121 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117495019A (zh) * | 2023-11-14 | 2024-02-02 | 扬州市职业大学(扬州开放大学) | 基于农产品供应链的农产品协同调度方法与系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102662988B (zh) | 一种用于rfid中间件的冗余数据过滤方法 | |
CN102682024B (zh) | 未残缺jpeg文件碎片重组的方法 | |
CN116992350A (zh) | 一种基于大数据的产业供应链优化方法及系统 | |
CN111489201A (zh) | 一种客户价值分析的方法、设备、存储介质 | |
CN113345080A (zh) | 一种供应商画像建模方法及系统 | |
CN116955936A (zh) | 企业大数据算法属性数据预测方法 | |
CN115018513A (zh) | 数据巡检方法、装置、设备及存储介质 | |
CN113609393A (zh) | 一种基于数据服务和数据管理的数字化平台 | |
CN116738067A (zh) | 一种基于大数据的供应商推荐方法及系统 | |
CN115618926A (zh) | 一种面向纳税人企业分类的重要因子提取方法及装置 | |
CN115630733A (zh) | 订单送达时间预估方法、系统、介质及电子设备 | |
CN113869423A (zh) | 一种营销响应模型构建方法、设备及介质 | |
CN116861226A (zh) | 一种数据处理的方法以及相关装置 | |
CN113379211A (zh) | 基于区块链的物流信息平台违约风险管控系统及方法 | |
CN113191569A (zh) | 一种基于大数据的企业管理方法及系统 | |
JP2021170244A (ja) | 学習モデル構築システムおよびその方法 | |
CN112651829A (zh) | 一种应用大数据技术及中台架构对银行数据融合治理系统 | |
CN111612302A (zh) | 一种集团级数据管理方法和设备 | |
CN110689241A (zh) | 一种基于大数据的电网实物资产评价系统 | |
CN117520345B (zh) | 基于云计算和区块链的数据处理方法、系统和介质 | |
CN117009921B (zh) | 一种数据融合引擎的优化数据处理方法及系统 | |
CN113360717B (zh) | 一种智能线索处理方法及系统 | |
CN115689128B (zh) | 基于crm的客户数据分析方法及系统 | |
CN116701962B (zh) | 边缘数据处理方法、装置、计算设备及存储介质 | |
CN109508358B (zh) | 一种基于复合优化分析的企业管理效率测度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |