CN117670172A - 一种外贸数据处理方法和系统 - Google Patents

Abstract

本申请公开了一种外贸数据处理方法和系统，可以应用在跨境贸易系统中，方法包括：基于车载终端的历史数据建立物流数据预测模型并按照第一频率上报实际的物流数据；服务器接收所述车载终端当前实际的物流数据，并基于服务器存储的车载终端的历史数据以及车载终端当前实际的物流数据，通过物流数据预测模型预测下一次车载终端上报物流数据之前的至少一个预测物流数据；服务器根据车载终端上报的实际的物流数据以及预测得到的预测物流数据，对车载终端的物流数据进行可视处理；服务器确定当前处于观测集合中的目标车载终端，向所述目标车载终端下发第一指令以配置所述目标车载终端按照第二频率上报当前的物流数据；其中第二频率大于第一频率。

Description

一种外贸数据处理方法和系统

技术领域

本申请涉及数据可视化和数据分析，特别是一种外贸数据处理方法和系统。

背景技术

随着跨境贸易的发展，贸易相关的金融系统和物流系统得到了较多的发展，贸易金融与物流跟踪大数据息息相关。

人们在通关物流大数据可视化的应用场景下，物流跟踪的监控手段主要依靠两种方式，第一种是检测设备，最常用的如GPS，不管是用在车上的还是用在货物本身上的，都可以实时反馈货物的所在位置。此外如温控监测设备，可以实时反馈货物的环境温度，等等。第二类是节点反馈，每到一个新的物流节点，由交接双方通过各种方式在系统中反馈，通过节点反馈信息确认货物的位置、状态。然而数据可视化过程中，作为数据监控核心环节的数据实时收集、处理和分析通常出现问题，有人为的原因如数据监控和上传设备终端被用户关闭，也有设备原因，例如硬件设备响应速度带来的数据发送故障、延迟等，例如数据收集时间差异造成可视化图像渲染处理只能从最后一组数据的手机时间开始处理；针对上述问题，现有解决方案通常为：1、保证数据监控和上传设备终端的后台运行，数据收发量大，尤其是通信信号较差时容易造成设备终端通信资源被挤占；2、优化通信链路，但作为监控端开发商，通信链路质量的优化仅限于算法优化，无法在硬件端进行优化设置，因此效果有限；3、优化图像渲染算法、增加渲染计算资源投入以减少通信传输端的压力，但会增加软件开发成本和运营成本。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供一种外贸数据处理方法和系统。

一方面本申请实施例，提供了一种外贸数据处理方法，包括：

基于车载终端的历史数据建立物流数据预测模型；

车载终端按照第一频率上报实际的物流数据；

服务器接收所述车载终端当前实际的物流数据，并基于服务器存储的车载终端的历史数据以及车载终端当前实际的物流数据，通过物流数据预测模型预测下一次车载终端上报物流数据之前的至少一个预测物流数据；

服务器根据车载终端上报的实际的物流数据以及预测得到的预测物流数据，对车载终端的物流数据进行可视处理；

其中，所述服务器确定当前处于观测集合中的目标车载终端，向所述目标车载终端下发第一指令以配置所述目标车载终端按照第二频率上报当前的物流数据；其中，所述第二频率大于第一频率。

在一些实施例中，还包括以下步骤：

服务器根据预测得到的预测物流数据与车载终端上报的实际的物流数据进行比较，当所述预测物流数据与所述车载终端上报的实际的物流数据差异满足异常条件时，服务器向对应的车载终端下发第二指令以配置所述目标车载终端按照第三频率上报当前的物流数据；其中，所述第三频率大于第一频率。

在一些实施例中，还包括以下步骤：

服务器获取通关节点采集的图像数据，根据所述图像数据匹配车载终端所述对应的车型、车身颜色以及箱柜颜色，根据所述车型、车身颜色以及箱柜颜色生成在可视化界面中车辆的模型。

在一些实施例中，所述物流数据预测模型具体为基于聚类分析的预测模型。

在一些实施例中，所述服务器根据用户终端的访问请求向用户终端返回可视化数据，并由用户终端对所述可视化数据进行渲染显示；当用户终端选中任意车载终端或者监测特定范围内的车载终端时，将被选中的车载终端或者特定范围内的车载终端纳入观测集合。

在一些实施例中，所述车载终端所上报的物流数据包括位置信息、剩余资源信息或者用于表示车辆运行状态的传感器信息。

在一些实施例中，所述车载终端上报的物流数据的种类有多种，对于不同种的数据上报的频率不相同，其中，位置信息的上报频率大于所述剩余资源信息以及用于表示车辆运行状态的传感器信息的上报频率。

在一些实施例中，当处于观测集合中的目标车载终端超过预设个上报周期无数据上报，则停止对目标车载终端的数据预测，在提示异常后将所述目标车载终端从观测集合中去除。

在一些实施例中，还包括：根据当前访问服务器的用户的偏好设置或者针对用户历史操作信息的统计，调整车载终端的各类物流数据的上报频率。

另一方面，本申请实施例提供了一种外贸数据处理系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的外贸数据处理系统方法。

通过本申请实施例通过让车载终端定期上报的方式来减少传输成本，利用预测的方式替代可视化系统中的数据，以预测代替实际数据来保持系统的数据更新实时性，同时基于实际用户的观测对象，调整对应目标对象的上报频率，以使得用户进行观测的特定对象集合的数据更加贴近实际。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍。

图1是本申请实施例所提供的系统示意图；

图2是本申请实施例所提供的方法流程图；

图3为图2步骤S1的一具体实施例子步骤流程图；

图4为图2步骤S1的另一具体实施例子步骤流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1和图2，本申请实施例提供了一种外贸数据处理方法，包括：

S1、基于车载终端的历史数据建立物流数据预测模型。上述预测模型主要针对外贸金融中相关的外贸物流数据进行预测，可以采取时序预测模型，即根据前几个数据预测未来的若干个数据，而数据的规律可以利用历史数据对模型进行训练得到。上述数据模型可以采用诸如LSTM这样的神经网络模型，也可以采用基于聚类分析的预测模型。

S2、车载终端按照第一频率上报实际的物流数据。可以理解的是，第一频率可以是每3秒一次。意味着，车载终端一侧可能是按照每秒一次进行数据采集，但是实际上报只会每3秒上报一次数据。而在服务器一侧，通过预测的方式对数据进行填补，可以减少通信次数，并及时更新可视化系统。定期上报的数据在一定程度上会纠正模型的预测结果。使得服务器通过预测填补的数据更加贴近真实值。

S3、服务器接收所述车载终端当前实际的物流数据，并基于服务器存储的车载终端的历史数据以及车载终端当前实际的物流数据，通过物流数据预测模型预测下一次车载终端上报物流数据之前的至少一个预测物流数据。

车载终端采集到数据可以是物流轨迹、定位数据、油量电量、司机疲劳状态、车辆下次维护时间、送达时间等数据，本发明对此不做限定。

S4、服务器根据车载终端上报的实际的物流数据以及预测得到的预测物流数据，对车载终端的物流数据进行可视处理。可以理解的是，本申请在进行可视化处理的时候，是结合预测的数据和实际的数据进行可视化处理的。也就是利用预测数据来替代部分实际数据以减少实际数据的传输。

S5、服务器确定当前处于观测集合中的目标车载终端，向所述目标车载终端下发第一指令以配置所述目标车载终端按照第二频率上报当前的物流数据；其中，所述第二频率大于第一频率。对于部分用户针对部分目标对象，例如某个车辆的数据进行观测时，为了使得用户观测到的可视化数据更加贴近现实，可以对这部分车辆的上报频率进行增加，这样可以使得用户观测到的数据更加贴近于现实。此时，当用户针对个别或者数个具体对象进行观测的时候，不容易察觉部分数据是预测的。

在一些实施例中，还包括以下步骤：

服务器根据预测得到的预测物流数据与车载终端上报的实际的物流数据进行比较，当所述预测物流数据与所述车载终端上报的实际的物流数据差异满足异常条件时，服务器向对应的车载终端下发第二指令以配置所述目标车载终端按照第三频率上报当前的物流数据；其中，所述第三频率大于第一频率。其中，第三频率可以与第二频率相同，也可以不同。可以理解的是所述异常条件是指预测的结果与实际结果存在较大的差异。此时，需要更多的实际数据来参与预测以保证预测的结果更加贴近实际数据。而所述的差异条件，根据数据类型的不同会不同，对于数值预测，可以衡量预测数据和实际数据的差异是否大于阈值。或者差异的大小占据实际数据的比例是否大于阈值等。

在一些实施例中，例如用户在可视化界面中选择观测特定的对象，为了还原这些对象(车辆)的真实情况，可以基于服务器接入的一些通关节点(如道路关卡等)所上报的数据，基于定位和车牌匹配的方式，在可视化模型中还原车辆的真实外观情况，在该实施例中还包括以下步骤：

服务器获取通关节点采集的图像数据，根据所述图像数据匹配车载终端所述对应的车型、车身颜色以及箱柜颜色，根据所述车型、车身颜色以及箱柜颜色生成在可视化界面中车辆的模型。可以理解的是，例如车辆通过某个通关关口时，通过关口会记录车辆的照片，通过获得这些照片，可以基于图像识别模型，分析车辆的特征，如车型、车身颜色、货柜颜色等。使得用户在通过可视化方式观察某个通关车辆的时候，能够套入具体的模型。

在一些实施例中，所述服务器根据用户终端的访问请求向用户终端返回可视化数据，并由用户终端对所述可视化数据进行渲染显示；当用户终端选中任意车载终端或者监测特定范围内的车载终端时，将被选中的车载终端或者特定范围内的车载终端纳入观测集合。当然，用户不在观察的对象会被移出观测集合，并且服务器下发指令回复其第一频率的数据上报频率。可以理解的是，用户可以选择某个具体的对象或者处于某个区域的对象集合，或者符合某种条件的对象集合作为观测对象。可以理解的是，整体的数据以相对较多的预测数据和实际数据组成进行及时的可视化。而用户针对局部对象进行具体的观察的时候，采用更多的实际数据和相对较少的预测数据进行可视化，使得用户具体观察的对象的可视化结果更加贴近于实际情况。

在一些实施例中，所述车载终端所上报的物流数据包括位置信息、剩余资源信息或者用于表示车辆运行状态的传感器信息。所述车载终端上报的物流数据的种类有多种，对于不同种的数据上报的频率不相同，其中，位置信息的上报频率大于所述剩余资源信息以及用于表示车辆运行状态的传感器信息的上报频率。

可以理解的是，当车载终端上报的传感器数据有多种的时候，可以配置不同的上报频率。例如，位置信息变化几乎实时的，因此可以采取更高的上报频率。对于货柜温度变化的情况，一般温度变化是缓慢的，可以采用更低的上报频率。

在一些实施例中，当处于观测集合中的目标车载终端超过预设个上报周期无数据上报，则停止对目标车载终端的数据预测，在提示异常后将所述目标车载终端从观测集合中去除。

在一些实施例中，还包括：根据当前访问服务器的用户的偏好设置或者针对用户历史操作信息的统计，调整车载终端的各类物流数据的上报频率。本实施例可以基于用户所关注的数据，来将用户关注度高的数据，采用更高的上报频率。

可以理解的是，在本申请中，所采取的主要是改变车辆终端上报频率方案，主要从服务器侧进行分析和控制车载终端。

在另外的实施例中，也可以由车载终端一侧搭载与服务器一侧相同的预测模型，并在车载终端同时使用预测模型进行预测。在预测结果与实际结果差异较大的时候，主动向服务器上报实际数据，亦可以解决上述问题。具体地，当车载终端基于与服务器相同的预测模型所预测得到的结果与实际采集结果差异满足条件时，如差异大于阈值等，车载终端向服务器主动上报数据，以避免服务器预测结果有较大的偏离。

在一些实施例中，所述物流数据预测模型具体为基于聚类分析的预测模型。

参照图3，所述基于车载终端的历史数据建立物流数据预测模型这一步骤，具体为：

S101、将车载终端的历史数据在当前第一数据空间的数据点随机选取两个数据点作为正常类簇和异常类簇的中心点；

S102、计算数据点分别与正常类簇和异常类簇的中心点的距离，并更新正常类簇和异常类簇的中心点；

具体为获取清理归集后的实时流数据，然后计算数据点分别与正常类簇和异常类簇的中心点的距离，并更新正常类簇和异常类簇的中心点，所述物流数据预测模型中的距离计算方法采用最短距离法、最长距离法、中心法、类平均法、中间距离法或者离差平方和法。

S103、基于小波变换，将车载终端的历史数据对应的时间序列T分解为不同粒度下的时间序列{T1，T2，…，Tn}；

由于通关物流的数据中通常时间特征有重要的影响，常规的预测算法如神经网络或者线性回归等在时间序列变化趋势复杂是，预测准确性偏低，例如物流路径中的车辆移动速度存在一定的不确定性，因此有必要基于不同时间粒度的分解计算来避免单一模型预测的偏差。

S104、基于不同粒度下的时间序列{T1，T2，…，Tn}在车载终端的历史数据中对应的数据点计算预测的下一时刻数据点集{P1，P2，…，Pn}；

S105、分别计算预测的下一时刻数据点集{P1，P2，…，Pn}中n个数据点与正常类簇和异常类簇的中心点的距离，并计算n个数据点中接近于正常类簇的中心点的所有数据点的平均值；

S106、确定n个数据点中与上述平均值最近的数据点Pm作为下一时刻的预测数据。

参照图4，进一步作为优选的实施方式，所述基于车载终端的历史数据建立物流数据预测模型这一步骤，具体为：

S110、将车载终端的历史数据在当前第一数据空间的数据点映射到第二数据空间的数据点；

在更新类簇的中心时常用的方法是直接将该类簇内所有的点进行平均得到其类簇中心，然而由于物流数据尤其是定位数据的离散性，常规方法可能造成计算结果偏差，因此在数据处理前，将车载终端的历史数据在当前第一数据空间的数据点进行预处理，即将其映射到第二数据空间的数据点，具体可以是将第一数据空间的历史的定位数据映射到第二数据空间的历史的定位数据、定位数据偏差平均值、定位数据标准差，相当于提高楼数据的维度，从而增加计算结果的准确性。

S111、在第二数据空间中随机选取两个数据点作为正常类簇和异常类簇的中心点；

S112、计算数据点分别与正常类簇和异常类簇的中心点的距离，并更新正常类簇和异常类簇的中心点；

S113、基于小波变换，将车载终端的历史数据对应的时间序列T分解为不同粒度下的时间序列{T1，T2，…，Tn}；

同样地，由于通关物流的数据中通常时间特征有重要的影响，常规的预测算法如神经网络或者线性回归等在时间序列变化趋势复杂是，预测准确性偏低，例如物流路径中的车辆移动速度存在一定的不确定性，因此有必要基于不同时间粒度的分解计算来避免单一模型预测的偏差。

S114、基于不同粒度下的时间序列{T1，T2，…，Tn}在车载终端的历史数据中对应的数据点计算预测的下一时刻数据点集{P1，P2，…，Pn}并映射到第二数据空间的n个数据点{P’1，P’2，…，P’n}；

S115、分别计算n个数据点与正常类簇和异常类簇的中心点的距离，并计算n个数据点中接近于正常类簇的中心点的所有数据点的平均值；

S116、确定n个数据点中与上述平均值最近的数据点P’m，将数据点P’m对应的第一数据空间的数据点Pm作为下一时刻的预测数据。

进一步作为优选的实施方式，所述基于小波变换，将车载终端的历史数据对应的时间序列T分解为不同粒度下的时间序列{T1，T2，…，Tn}这一步骤，具体为：

基于小波变换选择最优阶数的Daubechies小波作为基函数；

将车载终端的历史数据对应的时间序列T分解为不同粒度下的时间序列{T1，T2，…，Tn}。

进一步作为优选的实施方式，所述时间序列T分解采用以下公式：

f＝D₁+D₂+…+D_j+A_j

其中，φ_j,k为粒度为j的尺度函数，ψ_j,k为粒度为j的小波函数，j为分解层数，D_j为细节成分，A_j为概貌成分，分解层数j根据下式计算：

std表示标准偏差。

上述复合模型中采用了小波变换生成时间序列并结合聚类方法的类簇中心点进行预测，相当于每个不同粒度下的时间序列{T1，T2，…，Tn}对应一个预测模型，而又不需要进行n次重复的聚类操作以生成不同的聚类模型，避免了常规聚类算法的缺点，即样本容量大的时候需要消耗大量的计算内存，因此本发明的复合模型尤其适用于车载终端的边缘计算算力。

另一方面，本申请实施例提供了一种外贸数据处理系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的外贸数据处理系统方法。

通过本申请实施例通过让车载终端定期上报的方式来减少传输成本，利用预测的方式替代可视化系统中的数据，以预测代替实际数据来保持系统的数据更新实时性，同时基于实际用户的观测对象，调整对应目标对象的上报频率，以使得用户进行观测的特定对象集合的数据更加贴近实际。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种外贸数据处理方法，其特征在于，包括：

基于车载终端的历史数据建立物流数据预测模型；

车载终端按照第一频率上报实际的物流数据；

服务器接收所述车载终端当前实际的物流数据，并基于服务器存储的车载终端的历史数据以及车载终端当前实际的物流数据，通过物流数据预测模型预测下一次车载终端上报物流数据之前的至少一个预测物流数据；

服务器根据车载终端上报的实际的物流数据以及预测得到的预测物流数据，对车载终端的物流数据进行可视处理；

服务器确定当前处于观测集合中的目标车载终端，向所述目标车载终端下发第一指令以配置所述目标车载终端按照第二频率上报当前的物流数据；其中，所述第二频率大于第一频率。

2.根据权利要求1所述的外贸数据处理方法，其特征在于，还包括以下步骤：

服务器根据预测得到的预测物流数据与车载终端上报的实际的物流数据进行比较，当所述预测物流数据与所述车载终端上报的实际的物流数据差异满足异常条件时，服务器向对应的车载终端下发第二指令以配置所述目标车载终端按照第三频率上报当前的物流数据；其中，所述第三频率大于第一频率。

3.根据权利要求1所述的外贸数据处理方法，其特征在于，还包括以下步骤：

服务器获取通关节点采集的图像数据，根据所述图像数据匹配车载终端所述对应的车型、车身颜色以及箱柜颜色，根据所述车型、车身颜色以及箱柜颜色生成在可视化界面中车辆的模型。

4.根据权利要求1所述的外贸数据处理方法，其特征在于，所述物流数据预测模型具体为基于聚类分析的预测模型。

5.根据权利要求1所述的外贸数据处理方法，其特征在于，所述服务器根据用户终端的访问请求向用户终端返回可视化数据，并由用户终端对所述可视化数据进行渲染显示；当用户终端选中任意车载终端或者监测特定范围内的车载终端时，将被选中的车载终端或者特定范围内的车载终端纳入观测集合。

6.根据权利要求1所述的外贸数据处理方法，其特征在于，所述车载终端所上报的物流数据包括位置信息、剩余资源信息或者用于表示车辆运行状态的传感器信息。

7.根据权利要求6所述的外贸数据处理方法，其特征在于，所述车载终端上报的物流数据的种类有多种，对于不同种的数据上报的频率不相同，其中，位置信息的上报频率大于所述剩余资源信息以及用于表示车辆运行状态的传感器信息的上报频率。

8.根据权利要求1所述的外贸数据处理方法，其特征在于，当处于观测集合中的目标车载终端超过预设个上报周期无数据上报，则停止对目标车载终端的数据预测，在提示异常后将所述目标车载终端从观测集合中去除。

9.根据权利要求1所述的外贸数据处理方法，其特征在于，还包括：根据当前访问服务器的用户的偏好设置或者针对用户历史操作信息的统计，调整车载终端的各类物流数据的上报频率。

10.一种外贸数据处理系统，其特征在于，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-9任一项所述的外贸数据处理系统方法。