CN116562740B - 一种基于改进型深度学习算法模型的外贸物流平台 - Google Patents
一种基于改进型深度学习算法模型的外贸物流平台 Download PDFInfo
- Publication number
- CN116562740B CN116562740B CN202310833169.4A CN202310833169A CN116562740B CN 116562740 B CN116562740 B CN 116562740B CN 202310833169 A CN202310833169 A CN 202310833169A CN 116562740 B CN116562740 B CN 116562740B
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- foreign trade
- module
- output end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 238000007405 data analysis Methods 0.000 claims abstract description 18
- 238000012795 verification Methods 0.000 claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000012546 transfer Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 27
- 230000009471 action Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 25
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 9
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 8
- 150000001875 compounds Chemical class 0.000 claims description 8
- 230000009977 dual effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000009960 carding Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 claims 3
- 230000010365 information processing Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000003698 laser cutting Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0831—Overseas transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于改进型深度学习算法模型的外贸物流平台，涉及数据信息处理技术领域，主要解决外贸物流平台的数据信息处理滞后问题。基于改进型深度学习算法模型的外贸物流平台包括数据获取模块、数据处理模块、技术转移模块、智能显示模块、数据应用模块和数据分析模块，通过聚类校验算法完成外贸物流数据信息的分类及校验，通过异常监测模型实时检测海量外贸物流数据信息，通过改进型深度学习算法提高数据处理效率及异常检测效率，提高了数据信息处理能力，大大降低了算法复杂度，提高了数据质量，增强了数据传输过程的保密性及真实性。
Description
技术领域
本发明涉及数据信息处理技术领域，且更确切地涉及一种基于改进型深度学习算法模型的外贸物流平台。
背景技术
随着全球化的深入发展，跨国贸易日益增多，对国际物流运输提出了更高的要求。外贸物流平台应运而生，在提高物流效率和降低物流成本，促进全球贸易繁荣等方面发挥了十分重要的作用。外贸物流平台的主要背景包括：
1. 全球化趋势：全球范围内跨国贸易的增多，使得物流行业需要更加高效的协调和管理，外贸物流平台顺应了这种趋势，提供了全球化的物流运输服务。
2. 网络科技的发展：网络科技的发展促进了外贸物流平台的建立和发展，通过互联网技术打通产业链各个环节，提高了物流效率和减少了交易成本。
3. 电子商务应用日益广泛：随着电子商务的普及和发展，在线交易的频繁发生，外贸物流平台通过电子商务技术的应用，为企业提供更加便利的物流运输和订单处理服务。
然而，深度学习算法在外贸物流平台应用中也存在一些弊端：
1. 数据质量不高：外贸物流平台涉及多个环节和多个不同主体的数据，导致数据来源的不确定性、稀疏性、不一致性等问题，影响了建立模型的准确性和稳定性。
2. 数据保密性问题：外贸物流平台中往往涉及到商业机密信息、货物位置信息等敏感数据，深度学习算法在建立数据分析模型时要注意信息保密性。
3. 算法复杂度大：深度学习算法需要进行大量的模型训练和优化，其中涉及到大量的计算资源和时间，需要投入大量的人力、物力和财力。
综上所述，通过深度学习算法模型的建立和优化，可以提高外贸物流平台的运输效率和保证物流质量，但同时也需要注意数据质量和保密性问题，并且涉及到大量的计算资源和人力物力的投入。
发明内容
针对上述技术的不足，本发明公开一种基于改进型深度学习算法模型的外贸物流平台，通过聚类校验算法完成外贸物流数据信息的分类及校验，通过异常监测模型实时检测海量外贸物流数据信息，通过改进型深度学习算法提高数据处理效率及异常检测效率，大大降低了算法复杂度，提高了数据质量，增强了数据传输过程的保密性及真实性。
为了实现上述技术效果，本发明采用以下技术方案，
一种基于改进型深度学习算法模型的外贸物流平台，包括数据获取模块、数据处理模块、技术转移模块、智能显示模块、数据应用模块和数据分析模块；
数据获取模块用于收集海量外贸和物流信息；所述数据获取模块包括数据挖掘单元和信息采集单元，所述数据挖掘单元用于获取外贸和物流信息的原始数据，所述信息采集单元用于获取外贸交易信息及流程；
数据处理模块用于处理收集的海量外贸和物流信息；所述数据处理模块包括数据加密单元、数据划分单元、数据分类单元、数据清洗单元和数据排序单元，所述数据清洗单元用于填补数据残缺和修正异常数据的部分，所述数据分类单元采用聚类校验算法将清洗完成的数据按照外贸交易国家进行分类，所述数据排序单元将分类完成的数据按照时间排成次序，所述数据划分单元用于将排序后的数据按照批次划分为多个相同的数据块，所述数据加密单元通过混合加密算法将数据块进行加密，所述数据清洗单元的输出端连接数据分类单元的输入端，所述数据分类单元输出端连接数据排序单元的输入端，所述数据排序单元的输出端连接数据划分单元的输入端，所述数据划分单元输出端连接数据加密单元的输入端；
技术转移模块用于开发利用全世界各国各行各业的新技术信息资源；
智能显示模块用于可视化展示海量外贸和物流信息数据处理流程及异常检测反馈结果并生成相应的图形报表；
数据应用模块用于根据处理后的海量外贸和物流信息构建异常监测模型；所述数据应用模块为异常监测模型，所述异常监测模型包括特征提取单元、学习训练单元、识别单元和监测单元，所述特征提取单元采用3×3和7×7卷积层以残差网络的形式连接，所述学习训练单元采用改进型深度学习算法将提取的数据特征迭代训练，所述识别单元采用DRSN-CW网络，所述监测单元采用TextRCNN网络进行检测结果识别；所述特征提取单元的输出端连接数据学习训练单元的输入端，所述学习训练单元输出端连接识别单元单元的输入端，所述识别单元的输出端连接监测单元的输入端；
数据分析模块根据异常监测模型对外贸物流的实时检测分析判断异常监测模型并更新优化管理；
所述数据获取模块的输出端连接数据处理模块的输入端，所述数据处理模块的输出端分别连接技术转移模块和数据应用模块的输入端，所述技术转移模块和数据应用模块的输出端连接数据分析模块的输入端，所述数据分析模块的输出端连接智能显示模块。
作为上述技术方案的进一步描述，所述智能显示模块包括预警显示单元、远程交互单元和无线传输单元，所述预警显示单元用于展示外贸物流数据处理结果和异常数据通告，所述无线传输单元用于与多终端进行无线通信并共享外贸物流数据，所述预警显示单元的输出端连接无线传输单元的输入端，所述无线传输单元输出端连接远程交互单元的输入端。
作为上述技术方案的进一步描述，所述数据分析模块包括反馈单元、更新单元、优化单元和管理单元，所述反馈单元用于评判当前异常监测模型的准确性及未知异常的危险性，所述更新单元将未知异常加入训练库并迭代训练，所述优化单元用于调整优化外贸物流平台的工作流程，所述管理单元用于梳理并记录外贸物流平台在交易中产生的数据信息，所述反馈单元的输出端连接更新单元的输入端，所述更新单元的输出端连接优化单元的输入端，所述优化单元的输出端连接管理单元的输入端。
作为上述技术方案的进一步描述，所述改进型深度学习算法包括匹配层、转换层、建模层和经验层，所述匹配层利用正则表达式进行特征匹配，对于匹配的外贸物流信息加入特征权值计算，改进后的计算公式为：
（1）
式（1）中，表示词频，j表示当前列数，n表示总列数，N表示总词特征,/>表示匹配到的关键词权重，k表示维数。
作为上述技术方案的进一步描述，所述转换层通过Word2vec把分词后的外贸物流信息已经变成低维的数值向量，使高纬度高稀疏的数据变成矩阵数据。
作为上述技术方案的进一步描述，所述建模层根据贪婪策略对Q值进行学习更新以获取最佳Q值函数，学习更新函数为：
（2）
式（2）中，表示状态s下执行动作a时的Q值函数，/>表示状态s下执行动作a时获取的即时奖励，/>表示新状态采取的动作获取的Q值函数，/>表示折现率，/>表示最大值，/>表示最小值；
通过双重Q网络机制增强学习效率和实时性，采用的损失函数为：
（3）
式（3）中，表示双重Q网络下的作用值，/>表示损失函数，/>表示贪婪函数。
作为上述技术方案的进一步描述，所述经验层通过确定性策略解决相关性及非静态分布问题，并通过拟合函数验证Q网络，所述拟合函数为：
（4）
式（4）中，表示确定性策略，/>表示当前时刻状态下的动作偏差值，/>表示当前状态，/>表示当前动作。
作为上述技术方案的进一步描述，所述聚类校验算法的工作方法为：首先使用谱聚类算法将外贸物流信息数据映射到低维空间进行聚类得到初始聚类结果，对每个聚类计算出海明向量，然后对每个聚类的海明向量进行聚类，从而得到校验聚类，接着比较校验聚类和初始聚类的相似程度，采用DBSCAN算法处理分离的点或噪声点，对于没有被正确聚类的离群点和海明向量则作为新的一类进行分析，最终得到的聚类结果包含多个数据类别、离群点以及异常点。
综上所述，由于采用上述技术方案，本发明的有益效果是：
本发明公开一种基于改进型深度学习算法模型的外贸物流平台，通过聚类校验算法完成外贸物流数据信息的分类及校验，通过异常监测模型实时检测海量外贸物流数据信息，通过改进型深度学习算法提高数据处理效率及异常检测效率，本发明能够大大降低了算法复杂度，提高了数据质量，增强了数据传输过程的保密性及真实性，大大提高了数据信息处理能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，
图1为本发明总体架构示意图；
图2为数据处理模块结构示意图；
图3为异常监测模型结构示意图；
图4为智能显示模块结构示意图；
图5为数据分析模块结构示意图。
具体实施方式
下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1-图5示，一种基于改进型深度学习算法模型的外贸物流平台，包括数据获取模块、数据处理模块、技术转移模块、智能显示模块、数据应用模块和数据分析模块；
数据获取模块用于收集海量外贸和物流信息；所述数据获取模块包括数据挖掘单元和信息采集单元，所述数据挖掘单元用于获取外贸和物流信息的原始数据，所述信息采集单元用于获取外贸交易信息及流程；
数据处理模块用于处理收集的海量外贸和物流信息；所述数据处理模块包括数据加密单元、数据划分单元、数据分类单元、数据清洗单元和数据排序单元，所述数据清洗单元用于填补数据残缺和修正异常数据的部分，所述数据分类单元采用聚类校验算法将清洗完成的数据按照外贸交易国家进行分类，所述数据排序单元将分类完成的数据按照时间排成次序，所述数据划分单元用于将排序后的数据按照批次划分为多个相同的数据块，所述数据加密单元通过混合加密算法将数据块进行加密，所述数据清洗单元的输出端连接数据分类单元的输入端，所述数据分类单元输出端连接数据排序单元的输入端，所述数据排序单元的输出端连接数据划分单元的输入端，所述数据划分单元输出端连接数据加密单元的输入端；
技术转移模块用于开发利用全世界各国各行各业的新技术信息资源；
智能显示模块用于可视化展示海量外贸和物流信息数据处理流程及异常检测反馈结果并生成相应的图形报表；
数据应用模块用于根据处理后的海量外贸和物流信息构建异常监测模型；所述数据应用模块为异常监测模型，所述异常监测模型包括特征提取单元、学习训练单元、识别单元和监测单元，所述特征提取单元采用3×3和7×7卷积层以残差网络的形式连接，所述学习训练单元采用改进型深度学习算法将提取的数据特征迭代训练，所述识别单元采用DRSN-CW网络，所述监测单元采用TextRCNN网络进行检测结果识别；所述特征提取单元的输出端连接数据学习训练单元的输入端，所述学习训练单元输出端连接识别单元单元的输入端，所述识别单元的输出端连接监测单元的输入端；
数据分析模块根据异常监测模型对外贸物流的实时检测分析判断异常监测模型并更新优化管理；
所述数据获取模块的输出端连接数据处理模块的输入端，所述数据处理模块的输出端分别连接技术转移模块和数据应用模块的输入端，所述技术转移模块和数据应用模块的输出端连接数据分析模块的输入端，所述数据分析模块的输出端连接智能显示模块。
进一步地实施例，所述智能显示模块包括预警显示单元、远程交互单元和无线传输单元，所述预警显示单元用于展示外贸物流数据处理结果和异常数据通告，所述无线传输单元用于与多终端进行无线通信并共享外贸物流数据，所述预警显示单元的输出端连接无线传输单元的输入端，所述无线传输单元输出端连接远程交互单元的输入端。
进一步地实施例，所述数据分析模块包括反馈单元、更新单元、优化单元和管理单元，所述反馈单元用于评判当前异常监测模型的准确性及未知异常的危险性，所述更新单元将未知异常加入训练库并迭代训练，所述优化单元用于调整优化外贸物流平台的工作流程，所述管理单元用于梳理并记录外贸物流平台在交易中产生的数据信息，所述反馈单元的输出端连接更新单元的输入端，所述更新单元的输出端连接优化单元的输入端，所述优化单元的输出端连接管理单元的输入端。
进一步地实施例，所述改进型深度学习算法包括匹配层、转换层、建模层和经验层，所述匹配层利用正则表达式进行特征匹配，对于匹配的外贸物流信息加入特征权值计算，改进后的计算公式为：
（1）
式（1）中，表示词频，j表示当前列数，n表示总列数，N表示总词特征,/>表示匹配到的关键词权重，k表示维数，
所述匹配层的工作原理为：在全局特征集合中，为每个特征分配一个相应的权重，对于所有可能的特征组合或者子集，将它们与权重相乘，得到一个组合得分，通过一定的匹配算法，比如贪心、最大流、线性规划等，来求解最佳的特征组合，对于特征组合上的复杂度有要求的情况下，可以进行算法优化，避免枚举所有的特征组合，通过对不同特征的权重分配和不同的特征组合进行排列组合，可以更好地确定优秀的特征组合，从而解决了特征选择和特征组合问题，如表1所示。
表1信息匹配表
由表1可知，未改进算法和改进型算法的准确率分别为83%和86%，改进型算法的准确率比未改进算法高了3个百分点。这表明改进型算法在MR数据集上较未改进算法具有更好的表现。未改进算法和改进型算法的准确率分别为89%和93%。改进型算法的准确率比未改进算法高了4个百分点。这表明改进型算法在SST-2数据集上较未改进算法具有更好的表现。综上所述，改进型算法在两个数据集MR和SST-2上的表现均优于未改进算法。这表明通过引入新的思路、方法和技术等，改进型算法在处理NLP任务方面具有更好的表现。在实际应用中，建议使用改进型算法以获得更好的性能。
进一步地实施例，所述转换层通过Word2vec把分词后的外贸物流信息已经变成低维的数值向量，使高纬度高稀疏的数据变成矩阵数据，
所述转换层的工作原理为：给定一个原始的文本语料库，将每个单词表示为一个独特的标识符，建立一个上下文窗口，按顺序读取每个单词，选取给定半径内的所有单词作为该单词的上下文，用一个K维向量来表示每个单词，其中K表示词向量的维度。遍历整个语料库，生成一个共现矩阵，记录每个单词与其上下文中其他单词之间的共现频率，使用skip-gram或者CBOW模型，基于共现矩阵对单词进行训练，学习使用词向量来预测上下文单词和目标单词的概率。具体地，skip-gram模型试图从上下文单词中预测目标单词，而CBOW模型则尝试从目标单词预测上下文单词，训练Word2vec模型后，生成一个词向量空间，将每个单词表示成该空间中的一个实数向量，向量维度与模型中设置的词向量维度一致。
进一步地实施例，所述建模层根据贪婪策略对Q值进行学习更新以获取最佳Q值函数，学习更新函数为：
（2）
式（2）中，表示状态s下执行动作a时的Q值函数，/>表示状态s下执行动作a时获取的即时奖励，/>表示新状态采取的动作获取的Q值函数，/>表示折现率，/>表示最大值，/>表示最小值；
通过双重Q网络机制增强学习效率和实时性，采用的损失函数为：
（3）
式（3）中，表示双重Q网络下的作用值，/>表示损失函数，/>表示贪婪函数，
所述建模层的工作原理为：定义马尔可夫决策过程（MDP）中的状态、动作和关联的奖励，建立起强化学习的环境。创建两个神经网络：主网络和辅助网络。主网络用于基于当前状态选择最大的 Q 值，辅助网络则用于估计选择最大动作的 Q 值。在每个时间步骤，根据一定的概率从辅助网络中选择动作，并将其 Q 值用作 Q-learning 更新的目标。使用反向传播算法训练主网络和辅助网络，从而最小化预测 Q 值和目标 Q 值之间的平均误差。在更新时，需要将当前状态、动作和奖励作为输入，并将当前状态的 Q 值与使用随机动作（ε-greedy做法）从辅助网络中估计出来的 Q 值结合，得到更新后的 Q 值。在训练完成后，使用训练好的双 Q 值网络来评估每个状态下所有可能动作的 Q 值。使用训练好的算法来选择最优动作，并在实际环境中应用获得回报；
进一步地实施例，所述经验层通过确定性策略解决相关性及非静态分布问题，并通过拟合函数验证Q网络，所述拟合函数为：
（4）
式（4）中，表示确定性策略，/>表示当前时刻状态下的动作偏差值，/>表示当前状态，/>表示当前动作，
所述经验层的原理为：将智能体在环境中的经验存储在一个经验回放缓冲器中，其中包括当前的状态、动作、奖励和下一状态，从回放缓冲器中随机采样一定数量的经验作为训练数据，通过神经网络进行训练，使用反向传播算法更新神经网络的权重，使其能够更好地适应环境，并提高未来决策的准确性。
在具体实施例中，为了验证改进型深度学习算法模型的有效性和实用性，实现初始训练数据的预处理、初始化容量的设定、初始化网络输入的大小设定、折扣因子γ的设定，学习率α的设定，动作奖励值的绝对值限制范围的设定、监测结果图像化对比结果输出等功能，利用引入智能体机制、双重Ｑ网络机制后的改进深度强化学习算法对初始数据进行反复的调整训练，获取强大的自学能力，进行定量与定性两个层面的对比分析，设置卷积神经网络算法、典型深度强化学习算法为对照组，如表2所示。
表2改进型深度学习算法模型定量分析对比表
由表2可知，改进型算法的有效率最高为96.31%，并且显著高于典型算法和神经网络算法。这表明改进型算法更快地达到了预期的目标，并且在效率上比其他算法具有显著优势。改进型算法的周期耗时最短为0.013s，远低于典型算法和神经网络算法。这表明改进型算法在相同的周期内能够处理更多的数据，从而提高了其工作效率。改进型算法的稳定回合（指模型在持续迭代训练后表现最稳定的回合数）也高于典型算法和神经网络算法。这表明改进型算法更容易收敛，并且在训练结束后具有更好的泛化能力。综合以上分析，可以得出改进型算法在三个方面都优于典型算法和神经网络算法，即有效率、周期耗时和稳定回合。因此，在实际应用中，如果需要具有较高的工作效率和稳定性，可以优先考虑改进型算法。
进一步地实施例，所述聚类校验算法的工作方法为：首先使用谱聚类算法将外贸物流信息数据映射到低维空间进行聚类得到初始聚类结果，对每个聚类计算出海明向量，然后对每个聚类的海明向量进行聚类，从而得到校验聚类，接着比较校验聚类和初始聚类的相似程度，采用DBSCAN算法处理分离的点或噪声点，对于没有被正确聚类的离群点和海明向量则作为新的一类进行分析，最终得到的聚类结果包含多个数据类别、离群点以及异常点，
所述聚类校验算法的工作原理为：在防辐射医用自动门检测到紧急情况时，由气源系统为激光切割仪提供飞行动力，通过磁吸系统和智能系统调节飞行方向、速度和切割位置，到达可切割位置时调整光学系统令光纤激光器发射凝聚于一点的激光束，再由磁吸系统通过调整磁力大小改变切割方向，当切割完成时，由收纳系统将激光切割仪进行降温并将其收起。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。
Claims (4)
1.一种基于改进型深度学习算法模型的外贸物流平台，其特征在于：所述外贸物流平台包括数据获取模块、数据处理模块、技术转移模块、智能显示模块、数据应用模块和数据分析模块；其中：
数据获取模块用于收集海量外贸和物流信息；所述数据获取模块包括数据挖掘单元和信息采集单元，所述数据挖掘单元用于获取外贸和物流信息的原始数据，所述信息采集单元用于获取外贸交易信息及流程；
数据处理模块用于处理收集的海量外贸和物流信息；所述数据处理模块包括数据加密单元、数据划分单元、数据分类单元、数据清洗单元和数据排序单元，所述数据清洗单元用于填补数据残缺和修正异常数据的部分，所述数据分类单元采用聚类校验算法将清洗完成的数据按照外贸交易国家进行分类，所述数据排序单元将分类完成的数据按照时间排成次序，所述数据划分单元用于将排序后的数据按照批次划分为多个相同的数据块，所述数据加密单元通过混合加密算法将数据块进行加密，所述数据清洗单元的输出端连接数据分类单元的输入端，所述数据分类单元输出端连接数据排序单元的输入端，所述数据排序单元的输出端连接数据划分单元的输入端，所述数据划分单元输出端连接数据加密单元的输入端；
技术转移模块用于开发利用全世界各国各行各业的新技术信息资源；
智能显示模块用于可视化展示海量外贸和物流信息数据处理流程及异常检测反馈结果并生成相应的图形报表；
数据应用模块用于根据处理后的海量外贸和物流信息构建异常监测模型；所述数据应用模块为异常监测模型，所述异常监测模型包括特征提取单元、学习训练单元、识别单元和监测单元，所述特征提取单元采用3×3和7×7卷积层以残差网络的形式连接，所述学习训练单元采用改进型深度学习算法将提取的数据特征迭代训练，所述识别单元采用DRSN-CW网络，所述监测单元采用TextRCNN网络进行检测结果识别；所述特征提取单元的输出端连接数据学习训练单元的输入端，所述学习训练单元输出端连接识别单元单元的输入端，所述识别单元的输出端连接监测单元的输入端；
数据分析模块根据异常监测模型对外贸物流的实时检测分析判断异常监测模型并更新优化管理；
所述数据获取模块的输出端连接数据处理模块的输入端，所述数据处理模块的输出端分别连接技术转移模块和数据应用模块的输入端，所述技术转移模块和数据应用模块的输出端连接数据分析模块的输入端，所述数据分析模块的输出端连接智能显示模块；
所述改进型深度学习算法包括匹配层、转换层、建模层和经验层，所述匹配层利用正则表达式进行特征匹配，对于匹配的外贸物流信息加入特征权值计算，所述转换层通过Word2vec把分词后的外贸物流信息变成低维的数值向量，使高纬度高稀疏的数据变成矩阵数据；所述建模层根据贪婪策略对Q值进行学习更新以获取最佳Q值函数，学习更新函数为：
（1）
式（1）中，表示状态s下执行动作/>时的Q值函数，/>表示状态s下执行动作/>时获取的即时奖励，/>表示新状态采取的动作获取的Q值函数，/>表示折现率，表示最大值，/>表示最小值；通过双重Q网络机制增强学习效率和实时性，采用的损失函数为：
（2）
式（2）中，表示双重Q网络下的作用值，/>表示损失函数，/>表示贪婪函数；
所述经验层通过确定性策略解决相关性及非静态分布问题，并通过拟合函数验证Q网络，所述拟合函数为：
（3）
式（3）中，表示确定性策略，/>表示当前时刻状态下的动作偏差值，/>表示当前状态，/>表示当前动作。
2.根据权利要求1所述的一种基于改进型深度学习算法模型的外贸物流平台，其特征在于：所述智能显示模块包括预警显示单元、远程交互单元和无线传输单元，所述预警显示单元用于展示外贸物流数据处理结果和异常数据通告，所述无线传输单元用于与多终端进行无线通信并共享外贸物流数据，所述预警显示单元的输出端连接无线传输单元的输入端，所述无线传输单元输出端连接远程交互单元的输入端。
3.根据权利要求1所述的一种基于改进型深度学习算法模型的外贸物流平台，其特征在于：所述数据分析模块包括反馈单元、更新单元、优化单元和管理单元，所述反馈单元用于评判当前异常监测模型的准确性及未知异常的危险性，所述更新单元将未知异常加入训练库并迭代训练，所述优化单元用于调整优化外贸物流平台的工作流程，所述管理单元用于梳理并记录外贸物流平台在交易中产生的数据信息，所述反馈单元的输出端连接更新单元的输入端，所述更新单元的输出端连接优化单元的输入端，所述优化单元的输出端连接管理单元的输入端。
4.根据权利要求1所述的一种基于改进型深度学习算法模型的外贸物流平台，其特征在于：所述聚类校验算法的工作方法为：首先使用谱聚类算法将外贸物流信息数据映射到低维空间进行聚类得到初始聚类结果，对每个聚类计算出海明向量，然后对每个聚类的海明向量进行聚类，从而得到校验聚类，接着比较校验聚类和初始聚类的相似程度，采用DBSCAN算法处理分离的点或噪声点，对于没有被正确聚类的离群点和海明向量则作为新的一类进行分析，最终得到的聚类结果包含多个数据类别、离群点以及异常点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310833169.4A CN116562740B (zh) | 2023-07-10 | 2023-07-10 | 一种基于改进型深度学习算法模型的外贸物流平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310833169.4A CN116562740B (zh) | 2023-07-10 | 2023-07-10 | 一种基于改进型深度学习算法模型的外贸物流平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116562740A CN116562740A (zh) | 2023-08-08 |
| CN116562740B true CN116562740B (zh) | 2023-09-22 |
Family
ID=87491905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310833169.4A Active CN116562740B (zh) | 2023-07-10 | 2023-07-10 | 一种基于改进型深度学习算法模型的外贸物流平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116562740B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117309824B (zh) * | 2023-11-08 | 2024-03-26 | 广州市市维检测有限公司 | 一种光触媒覆膜层检测系统及方法 |
| CN117407443B (zh) * | 2023-12-14 | 2024-03-26 | 烟台云朵软件有限公司 | 一种面向海量瞬变数据的异常快速发现方法及系统 |
| CN117787223B (zh) * | 2023-12-27 | 2024-05-24 | 大脑工场文化产业发展有限公司 | 一种商家信息自动化发布方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101774411B1 (ko) * | 2017-01-18 | 2017-09-04 | 주식회사 한국비즈넷 | 인터넷 클라우드 인프라를 이용한 국제물류 통합시스템 및 그 구축방법 |
| CN110008337A (zh) * | 2019-01-24 | 2019-07-12 | 科大国创软件股份有限公司 | 基于相应度衡量的并行lstm结构海关商品分类方法 |
| CN113254197A (zh) * | 2021-04-30 | 2021-08-13 | 西安电子科技大学 | 一种基于深度强化学习的网络资源调度方法及系统 |
| CN113568954A (zh) * | 2021-08-02 | 2021-10-29 | 湖北工业大学 | 网络流量预测数据预处理阶段的参数最优化方法及系统 |
| CN113807466A (zh) * | 2021-10-09 | 2021-12-17 | 中山大学 | 一种基于深度学习的物流包裹自主检测方法 |
| KR20220072311A (ko) * | 2020-11-25 | 2022-06-02 | 재단법인 한국우편사업진흥원 | 지능형 종합물류 플랫폼 설계 방법 |
| CN114969272A (zh) * | 2022-06-27 | 2022-08-30 | 哈尔滨工业大学 | 在api知识图谱上基于q学习的api序列搜索方法 |
| WO2022241808A1 (zh) * | 2021-05-19 | 2022-11-24 | 广州中国科学院先进技术研究所 | 一种多机器人轨迹规划方法 |
| CN116029471A (zh) * | 2022-12-28 | 2023-04-28 | 辽宁石油化工大学 | 一种基于CVaR的第四方物流路径优化方法 |
| CN116232707A (zh) * | 2023-02-16 | 2023-06-06 | 北京交通大学 | 一种基于深度强化学习的apt攻击防御方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200294073A1 (en) * | 2019-03-11 | 2020-09-17 | Applied Methods Inc. | Platform for In-Memory Analysis of Network Data Applied to Logistics For Best Facility Recommendations with Current Market Information |
| CN112202736B (zh) * | 2020-09-15 | 2021-07-06 | 浙江大学 | 基于统计学习和深度学习的通信网络异常分类方法 |
-
2023
- 2023-07-10 CN CN202310833169.4A patent/CN116562740B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101774411B1 (ko) * | 2017-01-18 | 2017-09-04 | 주식회사 한국비즈넷 | 인터넷 클라우드 인프라를 이용한 국제물류 통합시스템 및 그 구축방법 |
| CN110008337A (zh) * | 2019-01-24 | 2019-07-12 | 科大国创软件股份有限公司 | 基于相应度衡量的并行lstm结构海关商品分类方法 |
| KR20220072311A (ko) * | 2020-11-25 | 2022-06-02 | 재단법인 한국우편사업진흥원 | 지능형 종합물류 플랫폼 설계 방법 |
| CN113254197A (zh) * | 2021-04-30 | 2021-08-13 | 西安电子科技大学 | 一种基于深度强化学习的网络资源调度方法及系统 |
| WO2022241808A1 (zh) * | 2021-05-19 | 2022-11-24 | 广州中国科学院先进技术研究所 | 一种多机器人轨迹规划方法 |
| CN113568954A (zh) * | 2021-08-02 | 2021-10-29 | 湖北工业大学 | 网络流量预测数据预处理阶段的参数最优化方法及系统 |
| CN113807466A (zh) * | 2021-10-09 | 2021-12-17 | 中山大学 | 一种基于深度学习的物流包裹自主检测方法 |
| CN114969272A (zh) * | 2022-06-27 | 2022-08-30 | 哈尔滨工业大学 | 在api知识图谱上基于q学习的api序列搜索方法 |
| CN116029471A (zh) * | 2022-12-28 | 2023-04-28 | 辽宁石油化工大学 | 一种基于CVaR的第四方物流路径优化方法 |
| CN116232707A (zh) * | 2023-02-16 | 2023-06-06 | 北京交通大学 | 一种基于深度强化学习的apt攻击防御方法 |
Non-Patent Citations (3)
| Title |
|---|
| 一种最大置信上界经验采样的深度Q网络方法;朱斐;吴文;刘全;伏玉琛;;计算机研究与发展(08);全文 * |
| 基于改进深度强化学习算法的电力市场监测模型研究;许杨子;强文;刘俊;孙鸿雁;胡成刚;;国外电子测量技术(01);全文 * |
| 面向智慧社区的视频监控异常行为识别方法的研究;刘艳;《新型工业化》;第10卷(第8期);17-18、23 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116562740A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116562740B (zh) | 一种基于改进型深度学习算法模型的外贸物流平台 | |
| CN109657805B (zh) | 超参数确定方法、装置、电子设备及计算机可读介质 | |
| Wang et al. | Big data driven cycle time parallel prediction for production planning in wafer manufacturing | |
| Choi et al. | Identifying emerging technologies to envision a future innovation ecosystem: A machine learning approach to patent data | |
| Mustika et al. | Analysis accuracy of xgboost model for multiclass classification-a case study of applicant level risk prediction for life insurance | |
| CN110995459B (zh) | 异常对象识别方法、装置、介质及电子设备 | |
| Hssayni et al. | A deep learning framework for time series classification using normal cloud representation and convolutional neural network optimization | |
| Liu | Logistics distribution route optimization model based on recursive fuzzy neural network algorithm | |
| CN110991247B (zh) | 一种基于深度学习与nca融合的电子元器件识别方法 | |
| CN115358481A (zh) | 一种企业外迁预警识别的方法、系统及装置 | |
| Liu et al. | End-to-end pareto set prediction with graph neural networks for multi-objective facility location | |
| Sui et al. | Learning 3-opt heuristics for traveling salesman problem via deep reinforcement learning | |
| Baty et al. | Combinatorial Optimization-Enriched Machine Learning to Solve the Dynamic Vehicle Routing Problem with Time Windows | |
| Gao et al. | An efficient evolutionary algorithm based on deep reinforcement learning for large-scale sparse multiobjective optimization | |
| Haridasan et al. | Arithmetic Optimization with Deep Learning Enabled Churn Prediction Model for Telecommunication Industries. | |
| Li et al. | An improved genetic-XGBoost classifier for customer consumption behavior prediction | |
| Abdollahnejad et al. | A deep learning bert-based approach to person-job fit in talent recruitment | |
| CN115544112A (zh) | 一种基于大数据人工智能的双创成果高价值专利筛选方法 | |
| Xiong et al. | L-RBF: A customer churn prediction model based on lasso+ RBF | |
| Louati et al. | Embedding channel pruning within the CNN architecture design using a bi-level evolutionary approach | |
| Benidis et al. | Solving recurrent mips with semi-supervised graph neural networks | |
| Duan et al. | The optimization of feature selection based on chaos clustering strategy and niche particle swarm optimization | |
| Hiranandani et al. | Big Data Analytics Using Multi-Classifier Approach with Rhadoop | |
| García-Victoria et al. | PBIL for optimizing inception module in convolutional neural networks | |
| Bhoite et al. | Automating Real-Time Data Analysis with Machine Learning Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |