CN116976605B - 一种基于大数据的数据运营系统 - Google Patents

Abstract

本发明公开了一种基于大数据的数据运营系统，包括数据采集模块用于采集外部数据源中的实时数据；预处理模块用于对实时数据进行识别，检测实时数据的有效性；预存储模块还用于短暂储存采集模块采集的实时数据；数据处理模块对实时数据进行整理，并从数据库模块中调取历史数据，以实时数据和历史数据为基础进行建模，计算货物运输结果以构建货物运输方案。本发明基于大数据的数据运营系统通过建立数据之间的映射关系，再根据映射关系建立数据模型，该模型基于客观数据建立，与行业运行规律的贴合度较高，数据模型建立后，系统可合理的规划和调度运输方式，相对于运输方式盲目策划可提升货物运输策略的科学性以及货物运输效率。

Description

一种基于大数据的数据运营系统

技术领域

本发明涉及数据运营领域，具体涉及一种基于大数据的数据运营系统。

背景技术

当前，随着信息技术的不断发展，在数据的管理和应用方面的技术也在不断地更新迭代，从传统的数据仓库、数据集市发展到现在的数据中台，从传统的BI应用发展到现在的智能报表、自动报表，从传统的单体架构发展到现在微服务架构，以及目前主流的云计算平台等，都为进一步加强和提升数据的管理和应用提供了新的方法和路径。

虽然技术得到了快速得发展，但是如何将技术和业务进行合理的适配，满足企业的数据应用需求，成为了当前的主要难题，尤其在货运行业，需要较快的对货物的运输方式迅速的做出抉择，否者将影响货物服务的质量；为了更高效的、更科学的管理货物运输团队，使其的正常运行，因此，提出一种基于大数据的数据运营系统。

发明内容

本发明所要解决的技术问题在于：如何解决更高效的、更科学的管理货物运输团队的问题，提供了一种基于大数据的数据运营系统。

本发明是通过以下技术方案解决上述技术问题的，本发明包括所述数据运营系统连接有多个外部数据源，包括数据采集模块、预处理模块、预存储模块、数据处理模块、数据库模块、数据输出模块；

所述数据采集模块用于采集外部数据源中的实时数据；所述实时数据包括货物类型、货运方式、货物数量、订单时间、目的地；

所述预处理模块用于对实时数据进行识别，检测实时数据的有效性，并将检测结果反馈至数据采集模块；

所述预存储模块还用于短暂储存采集模块采集的实时数据，并将实时数据发送到数据处理模块；

所述数据库模块用于储存历史数据以及货物的标准信息；

所述数据处理模块对实时数据进行整理，并从数据库模块中调取历史数据，以实时数据和历史数据为基础进行建模，建模完成后，计算货物运输结果以构建货物运输方案；

所述数据输出模块用于输出数据处理模块计算的货物运输方案。

进一步的，还包括服务平台模块，所述服务平台模块用于接收预处理模块的反馈信息，并控制数据采集模块重新采集实时数据；

所述预处理模块通过第一检测方法与第二检测方法进行实时数据的有效性判定，其具体判定过程包括，单独使用第一检测方法对实时数据进行有效性判定、单独使用第二检测方法对实时数据进行有效性判定以及同时使用第一检测方法和第二检测方法对实时数据进行有效性判定。

其中，单独使用第一检测方法对实时数据进行有效性判定时，具体处理过程如下：

实时数据包括文字信息、语音信息与图片信息；

当实时数据为文字信息时：

检测单元提取文字信息a并调取数据库模块中的标准信息b；

使用预设规则c对文字信息a和标准信息b进行转化，得到具有相同序列特征的文字信息a′与标准信息b′；

对文字信息a′的文字区域进行定位并提取多个文字特征a1′a2′、a3′...an′；

计算文字特征a1′a2′、a3′...an′在标准信息b′中的占比；

具体处理过程为：

(a1′+a2′+a3′+...+an′)/b′＝f

当f≥预设阈值m时，则将文字信息归类于精准数据，并输出数据；

当f＜预设阈值m时，则判断实时数据为错误数据，此时的实时数据记为第一数据，并将实时数据反馈给数据采集模块，并请求数据采集模块重新采集并发送实时数据；

记录第一数据反馈次数U，当U≥预设阈值N时，则向服务平台模块发送检修报告；

当实时数据为语音信息时，检测单元先对语音内容信息进行去噪，去噪完成后获取到去噪语音，对去噪语音进行音频转文字处理，获取到语音文字内容，再对文字内容进行上述处理过程，并获取语音信息的有效性；

当实时数据为图片信息时，检测单元先对图片进行增强，增强完成后获取到清晰图片信息，进行通过文字识别技术对清晰图片信息进行文字提取获取到图片文字信息，再对文字内容进行上述处理过程，并获取语音信息的有效性。

其中，单独使用第二检测方法对实时数据进行有效性判定时，具体处理过程如下：

根据货物类型对货物进行校验码编排，当数据采集模块采集实时数据后，根据货物类型赋予实时数据指定的校验码；

预处理模块读取并验证货物校验码；

当校验码比对成功时，输出数据；

当校验码比对失败时，将实时数据反馈给数据采集模块，此时的实时数据记为第二数据，并请求数据采集模块重新采集并发送实时数据；

记录第二数据反馈次数H，当H≥预设阈值P时，则向服务平台模块发送检修报告。

其中，同时使用第一检测方法和第二检测方法对实时数据进行有效性判定时，具体处理过程如下：

预处理模块先通过第一检测方法对实时数据进行预处理，并得出实时数据有效性的初步判定；

再通过第二检测方法对实时数据的校验码进行验证；

当第二检测方法验证成功后，则输出数据；当验证失败时，将实时数据反馈给数据采集模块，此时的实时数据记为第三数据，并请求数据采集模块重新采集并发送实时数据；

记录第三数据反馈次数V，当V≥预设阈值J时，则向服务平台模块发送检修报告。

再进一步的，当U＜预设阈值N或H＜预设阈值P或V＜预设阈值J任意一种数据反馈次数发生时，所述预处理模块的处理过程还包括记录出现反馈的频率F,具体处理过程如下：

分别对文字信息的反馈次数t1、语音信息的反馈次数t2、图像信息的反馈次数t3、验证失败的反馈次数t4与总的数据传输次数t5进行统计；

计算总反馈次数占总数据传输次数t5的占比K,具体处理过程为：

K＝(t1+t2+t3+t4)/t5

当K≥预设阈值L时，则向服务平台模块发送查修报告；

分别计算文字信息的反馈频率Ft1、语音信息的反馈频率Ft2、图像信息的反馈频率Ft3、验证失败的反馈频率Ft4，具体处理过程如下：

Ftx＝tx/(t1+t2+t3+t4)

其中，x为1、2、3、4；

当Ftx≥1/2时，则向服务平台模块发送对应信息采集模块的必修报告；

当1/4≤Ftx＜1/2时，则向服务平台模块发送对应信息采集模块的选修报告；

当Ftx＜1/4时，则判断该信息采集模块工作状态正常，不发生报告。

优选的，所述数据处理模块对数据处理的过程如下：

先读取预储存模块中的实时数据并将实时数据进行分类，然后调取数据库模块中的历史数据，最后使用实时数据和历史数据建立数据模型；根据数据模型计算出货物运输方案；

具体处理过程如下：

对实时数据和历史数据进行统计并对应建立多个非空数集G，多个非空数集G分别为：货物特性G1、货物类型G2、运输方式G3、订单时间G4、运输环境G5、货物数量G6、载具数量G7；

以货物特性G1为第一法则建立货物类型G2与运输方式G3的映射关系f(1)；

以运输方式G3为第二法则建立订单时间G4与运输环境G5的映射关系f(2)；

以运输方式G3为第三法则建立货物数量G6与载具数量G7的映射关系f(3)；

建立数据模型，具体处理过程如下：

Y＝F′(X)＝{G3f′(X)|X∈R}

其中，X为货物运输中的选择变量，R为货物类型、货物数量与订单时间的非空数集；G3f′(X)为以运输方式G3为纽带而建立的f(1)、f(2)与f(3)的函数关系；

根据选择变量X，计算出包含有运输方式、运输环境与载具数量的货物运输方案。

优选的，还包括路线监测模块，路线监测模块用于读取数据处理模块的输出的货物运输方案，并对该方案进行实况验证，路线监测模块包括监测单元、导航单元、费用计算单元、时间计算单元，具体验证过程如下：

读取来自于数据处理模块的输出数据，并将该输出数据传输给用于实时检测路况的监测单元；

监测单元检测输出数据中的路况是否发生意外状况，如果无意外状况发生，则将输出数据发送至数据输出模块；

若出现意外状况，导航单元介入重新规划路线，并启用费用计算单元、时间计算单元对新规划的路线的运输时间和运输费用进行计算，产生优化方案并发送至服务平台模块。

优选的，还包括货物匹配模块，用于读取数据库模块中同批次货物的货物运输方案，根据货物运输方案中路线的重复度将不同类型的货物的运输方案进行合并。

优选的，服务平台模块还用于接受数据输出模块输出的货物运输方案，并根据货物运输方案同步显示剩余工作人员数量和剩余载具数量。

本发明相比现有技术具有以下优点：该基于大数据的数据运营系统，通过对实时数据的采集和历史数据的提取，建立数据之间的映射关系，再根据映射关系建立数据模型，该模型基于客观数据建立，与行业运行规律的贴合度较高，数据模型建立后，系统可根据货物类型去合理的规划和调度运输方式，相对于运输方式盲目策划可提升货物运输策略的科学性以及货物运输效率，让该系统更加值得推广使用。

附图说明

图1是本发明的整体模块图；

图2是本发明的路线监测模块的结构图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供一种技术方案：一种基于大数据的数据运营系统，数据运营系统连接有多个外部数据源，包括数据采集模块、预处理模块、预存储模块、数据处理模块、数据库模块、数据输出模块；

数据采集模块用于采集外部数据源中的实时数据；实时数据包括货物类型、货运方式、货物数量、订单时间、目的地；

预处理模块用于对实时数据进行识别，检测实时数据的有效性，并将检测结果反馈至数据采集模块；

预存储模块还用于短暂储存采集模块采集的实时数据，并将实时数据发送到数据处理模块；

数据库模块用于储存历史数据以及货物的标准信息；

数据处理模块对实时数据进行整理，并从数据库模块中调取历史数据，以实时数据和历史数据为基础进行建模，建模完成后，计算货物运输结果以构建货物运输方案；

数据处理模块还用于将预存储模块中的实时数据传输给数据库模块，数据库模块接收到实时数据后，对实时数据进行分类并储存；

数据输出模块用于输出数据处理模块计算的货物运输方案。

该系统主要由数据采集模块、预处理模块、预存储模块、数据处理模块、数据库模块、数据输出模块几部分组成，首先数据采集模块采集实时数据，预处理模块去实时数据进行检测；检测合格后，将实时数据传输到数据处理模块中，数据处理模块对实时数据进行整理，并从数据库模块中调取历史数据，以实时数据和历史数据为基础进行建模，建模完成后，计算货物运输结果以构建货物运输方案。

该基于大数据的数据运营系统，通过对实时数据的采集和历史数据的提取，建立数据之间的映射关系，再根据映射关系建立数据模型，该模型基于客观数据建立，与行业运行规律的贴合度较高，数据模型建立后，系统可根据货物类型去合理的规划和调度运输方式，相对于运输方式盲目策划可提升货物运输策略的科学性以及货物运输效率。

需要说明的是，外部数据源为货物入库汇总信息库，货物入库汇总信息库中包括文字信息、语音信息、图片信息。

进一步的，还包括服务平台模块，服务平台模块用于接收预处理模块的反馈信息，并控制数据采集模块重新采集实时数据；

预处理模块通过第一检测方法与第二检测方法进行实时数据的有效性判定，其具体判定过程包括，单独使用第一检测方法对实时数据进行有效性判定、单独使用第二检测方法对实时数据进行有效性判定以及同时使用第一检测方法和第二检测方法对实时数据进行有效性判定。

其中，单独使用第一检测方法对实时数据进行有效性判定时，具体处理过程如下：

实时数据包括文字信息、语音信息与图片信息；

当实时数据为文字信息时：

检测单元提取文字信息a并调取数据库模块中的标准信息b；

使用预设规则c对文字信息a和标准信息b进行转化，得到具有相同序列特征的文字信息a′与标准信息b′；

需要说明的是，预设规则c可以是关键字排序、关键字的组合等，只要使用同一种预设规则c将文字信息a和标准信息b转化成具有相同序列特征的文字信息即可；序列特征指文字信息中主语、谓语、宾语、定语、状语以及补语的排列顺序。

对文字信息a′的文字区域进行定位并提取多个文字特征a1′a2′、a3′...an′；

需要说明的是，上述文字区域的定位与提取为文字提取技术，属于现有技术，文字提取技术是指对定位出来的文字区域进行分割、识别和提取的过程，此处不在赘述。

计算文字特征a1′a2′、a3′...an′在标准信息b′中的占比；

具体处理过程为：

(a1′+a2′+a3′+...+an′)/b′＝f

当f≥预设阈值m时，则将文字信息归类于精准数据，并输出数据；

当f＜预设阈值m时，则判断实时数据为错误数据，此时的实时数据记为第一数据，并将实时数据反馈给数据采集模块，并请求数据采集模块重新采集并发送实时数据；

记录第一数据反馈次数U，当U≥预设阈值N时，则向服务平台模块发送检修报告；

当实时数据为语音信息时，检测单元先对语音内容信息进行去噪，去噪完成后获取到去噪语音，对去噪语音进行音频转文字处理，获取到语音文字内容，再对文字内容进行上述处理过程，并获取语音信息的有效性；

当实时数据为图片信息时，检测单元先对图片进行增强，增强完成后获取到清晰图片信息，进行通过文字识别技术对清晰图片信息进行文字提取获取到图片文字信息，再对文字内容进行上述处理过程，并获取语音信息的有效性。

其中，单独使用第二检测方法对实时数据进行有效性判定时，具体处理过程如下：

根据货物类型对货物进行校验码编排，当数据采集模块采集实时数据后，根据货物类型赋予实时数据指定的校验码；

预处理模块读取并验证货物校验码；

需要说明的是，对货物进行校验码编排的方法，可以是对具体货物类型进行赋值，根据不同的货物类型分别赋予1、2、3、4、5...n等数值，当与处理模块验证货物时，只需要通过对应的数字来确认货物类型即可，此处校验码编排方式不唯一，只要能建立货物类型与校验码一一对应的关系即可，此时不在赘述。

当校验码比对成功时，输出数据；

当校验码比对失败时，将实时数据反馈给数据采集模块，此时的实时数据记为第二数据，并请求数据采集模块重新采集并发送实时数据；

记录第二数据反馈次数H，当H≥预设阈值P时，则向服务平台模块发送检修报告。

其中，同时使用第一检测方法和第二检测方法对实时数据进行有效性判定时，具体处理过程如下：

预处理模块先通过第一检测方法对实时数据进行预处理，并得出实时数据有效性的初步判定；

再通过第二检测方法对实时数据的校验码进行验证；

当第二检测方法验证成功后，则输出数据；当验证失败时，将实时数据反馈给数据采集模块，此时的实时数据记为第三数据，并请求数据采集模块重新采集并发送实时数据；

记录第三数据反馈次数V，当V≥预设阈值J时，则向服务平台模块发送检修报告。

该基于大数据的数据运营系统，在数据采集的过程中，可根据实时数据的精准度要求选择至少一种方法对实时数据进行检测，通过降低数据采集的错误率，以此来提升实时数据采集的有效性，从而较大程度的提升了运作时的科学性和精准性。

同时上述实施例中，还通过记录数据反馈次数定性的判断数据采集模块是否发送故障，并向服务平台模块发送检修报告，提醒工作人员对硬件设备进行检修。

更进一步的，当U＜预设阈值N或H＜预设阈值P或V＜预设阈值J任意一种数据反馈次数发生时，预处理模块的处理过程还包括记录出现反馈的频率F,具体处理过程如下：

分别对文字信息的反馈次数t1、语音信息的反馈次数t2、图像信息的反馈次数t3、验证失败的反馈次数t4与总的数据传输次数t5进行统计；

计算总反馈次数占总数据传输次数t5的占比K,具体处理过程为：

K＝(t1+t2+t3+t4)/t5

当K≥预设阈值L时，则向服务平台模块发送查修报告；

分别计算文字信息的反馈频率Ft1、语音信息的反馈频率Ft2、图像信息的反馈频率Ft3、验证失败的反馈频率Ft4，具体处理过程如下：

Ftx＝tx/(t1+t2+t3+t4)

其中，x为1、2、3、4；

当Ftx≥1/2时，则向服务平台模块发送对应信息采集模块的必修报告；

当1/4≤Ftx＜1/2时，则向服务平台模块发送对应信息采集模块的选修报告；

当Ftx＜1/4时，则判断该信息采集模块工作状态正常，不发生报告。

该更进一步的实施例中，进一步对数据反馈次数小于预设预设阈值时，数据采集模块是否发送故障进行更进一步的检测，进而挑选出一些具有低数据反馈且高故障的损坏设备，通过维修进一步提升整个系统的运行速度；

同时通过对不同采集模块的故障频率进行计算，进一步找出具体发生故障的信息采集模块，并分别向服务平台模块发送查修报告、必修报告与选修报告，从而降低检修的工作难度，提升检修的效率。

在另一实施例中，数据处理模块对数据处理的过程如下：

先读取预储存模块中的实时数据并将实时数据进行分类，然后调取数据库模块中的历史数据，最后使用实时数据和历史数据建立数据模型；根据数据模型计算出货物运输方案；

具体处理过程如下：

对实时数据和历史数据进行统计并对应建立多个非空数集G，多个非空数集G分别为：货物特性G1、货物类型G2、运输方式G3、订单时间G4、运输环境G5、货物数量G6、载具数量G7；

以货物特性G1为第一法则建立货物类型G2与运输方式G3的映射关系f(1)；

以运输方式G3为第二法则建立订单时间G4与运输环境G5的映射关系f(2)；

以运输方式G3为第三法则建立货物数量G6与载具数量G7的映射关系f(3)；

建立数据模型，具体处理过程如下：

Y＝F′(X)＝{G3f′(X)|X∈R}

其中，X为货物运输中的选择变量，R为货物类型、货物数量与订单时间的非空数集；G3f′(X)为以运输方式G3为纽带而建立的f(1)、f(2)与f(3)的函数关系；

根据选择变量X，计算出包含有运输方式、运输环境与载具数量的货物运输方案。

具体计算过程为，输入的X为货物类型时，通过映射关系f(1)以及该种货物的货物特性来确定运输方式；再输入订单时间，通过映射关系f(2)来确定运输环境，查看历史运输记录中此时间段交通是否拥堵，已选择相对通畅的运输路线；再次输入货物数量，结合运输方式，可以得出载具数量的信息；最后综合上述计算结果得出包含有运输方式、运输环境与载具数量的货物运输方案。

参照图2，优选的，还包括路线监测模块，路线监测模块用于读取数据处理模块的输出的货物运输方案，并对该方案进行实况验证，路线监测模块包括监测单元、导航单元、费用计算单元、时间计算单元，具体验证过程如下：

读取来自于数据处理模块的输出数据，并将该输出数据传输给用于实时检测路况的监测单元；

监测单元检测输出数据中的路况是否发生意外状况，如果无意外状况发生，则将输出数据发送至数据输出模块；

若出现意外状况，导航单元介入重新规划路线，并启用费用计算单元、时间计算单元对新规划的路线的运输时间和运输费用进行计算，产生优化方案并发送至服务平台模块。

该优选方案中，再次通过路线监测模块对货物运输方案进行核查，降低因发生意外事故对货物配送时间产生的影响，从而提升货物运输的效率。

优选的，还包括货物匹配模块，用于读取数据库模块中同批次货物的货物运输方案，根据货物运输方案中路线的重复度将不同类型的货物的运输方案进行合并。

路线的重复度根据货物运输的出发点、目的地以及具体运输路线进行确定，若其中一个货物运输路线Z1的目的地W靠近另一个货物运输路线Z2，这判定为重复度高，可以进行合并，靠近的程度可以规定为W与Z2的距离，当距离小于预设值时，则认为靠近程度符合要求。

优选的，服务平台模块还用于接受数据输出模块输出的货物运输方案，并根据货物运输方案同步显示剩余工作人员数量和剩余载具数量。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于大数据的数据运营系统，所述数据运营系统连接有多个外部数据源，其特征在于，包括数据采集模块、预处理模块、预存储模块、数据处理模块、数据库模块、数据输出模块；

所述数据采集模块用于采集外部数据源中的实时数据；所述实时数据包括货物类型、货运方式、货物数量、订单时间和目的地；

所述预处理模块用于对实时数据进行识别，检测实时数据的有效性，并将检测结果反馈至数据采集模块；

所述预存储模块还用于短暂储存采集模块采集的实时数据，并将实时数据发送到数据处理模块；

所述数据库模块用于储存历史数据以及货物的标准信息；

所述数据处理模块对实时数据进行整理，并从数据库模块中调取历史数据，以实时数据和历史数据为基础进行建模，建模完成后，计算货物运输结果以构建货物运输方案；

所述数据输出模块用于输出数据处理模块计算的货物运输方案；

还包括服务平台模块，所述服务平台模块用于接收预处理模块的反馈信息，并控制数据采集模块重新采集实时数据；

所述预处理模块通过第一检测方法与第二检测方法进行实时数据的有效性判定，其具体判定过程包括，单独使用第一检测方法对实时数据进行有效性判定、单独使用第二检测方法对实时数据进行有效性判定或同时使用第一检测方法和第二检测方法对实时数据进行有效性判定；

单独使用第一检测方法对实时数据进行有效性判定时，具体处理过程如下：

实时数据包括文字信息、语音信息与图片信息；

当实时数据为文字信息时：

检测单元提取文字信息a并调取数据库模块中的标准信息b；

使用预设规则c对文字信息a和标准信息b进行转化，得到具有相同序列特征的文字信息a´与标准信息b´；

对文字信息a´的文字区域进行定位并提取多个文字特征a1´a2´、a3´...an´；

计算文字特征a1´a2´、a3´...an´在标准信息b´中的占比；

具体处理过程为：

（a1´+a2´+a3´+...+an´）/b´=f

当f≥预设阈值m时，则将文字信息归类于精准数据，并输出数据；

当f＜预设阈值m时，则判断实时数据为错误数据，此时的实时数据记为第一数据，并将实时数据反馈给数据采集模块，并请求数据采集模块重新采集并发送实时数据；

记录第一数据反馈次数U，当U≥预设阈值N时，则向服务平台模块发送检修报告；

当实时数据为语音信息时，检测单元先对语音内容信息进行去噪，去噪完成后获取到去噪语音，对去噪语音进行音频转文字处理，获取到语音文字内容，再对文字内容进行上述处理过程，并获取语音信息的有效性；

当实时数据为图片信息时，检测单元先对图片进行增强，增强完成后获取到清晰图片信息，进行通过文字识别技术对清晰图片信息进行文字提取获取到图片文字信息，再对文字内容进行上述处理过程，并获取语音信息的有效性；

单独使用第二检测方法对实时数据进行有效性判定时，具体处理过程如下：

根据货物类型对货物进行校验码编排，当数据采集模块采集实时数据后，根据货物类型赋予实时数据指定的校验码；

预处理模块读取并验证货物校验码；

当校验码比对成功时，输出数据；

当校验码比对失败时，将实时数据反馈给数据采集模块，此时的实时数据记为第二数据，并请求数据采集模块重新采集并发送实时数据；

记录第二数据反馈次数H，当H≥预设阈值P时，则向服务平台模块发送检修报告；

同时使用第一检测方法和第二检测方法对实时数据进行有效性判定时，具体处理过程如下：

预处理模块先通过第一检测方法对实时数据进行预处理，并得出实时数据有效性的初步判定；

再通过第二检测方法对实时数据的校验码进行验证；

当第二检测方法验证成功后，则输出数据；当验证失败时，将实时数据反馈给数据采集模块，此时的实时数据记为第三数据，并请求数据采集模块重新采集并发送实时数据；

记录第三数据反馈次数V，当V≥预设阈值J时，则向服务平台模块发送检修报告；

所述数据处理模块对数据处理的过程如下：

先读取预储存模块中的实时数据并将实时数据进行分类，然后调取数据库模块中的历史数据，最后使用实时数据和历史数据建立数据模型；根据数据模型计算出货物运输方案；

具体处理过程如下：

对实时数据和历史数据进行统计并对应建立多个非空数集G，多个非空数集G分别为：货物特性G1、货物类型G2、运输方式G3、订单时间G4、运输环境G5、货物数量G6和载具数量G7；

以货物特性G1为第一法则建立货物类型G2与运输方式G3的映射关系f（1）；

以运输方式G3为第二法则建立订单时间G4与运输环境G5的映射关系f（2）；

以运输方式G3为第三法则建立货物数量G6与载具数量G7的映射关系f（3）；

建立数据模型，具体处理过程如下：

Y=F´（X）={G3f´（X）|X∈R}

其中，X为货物运输中的选择变量，R为货物类型、货物数量与订单时间的非空数集；G3f´（X）为以运输方式G3为纽带而建立的f（1）、f（2）与f（3）的函数关系；

根据选择变量X，计算出包含有运输方式、运输环境与载具数量的货物运输方案。

2.根据权利要求1所述的一种基于大数据的数据运营系统，其特征在于：当U＜预设阈值N或H＜预设阈值P或V＜预设阈值J任意一种数据反馈次数发生时，所述预处理模块的处理过程还包括记录出现反馈的频率F,具体处理过程如下：

分别对文字信息的反馈次数t1、语音信息的反馈次数t2、图像信息的反馈次数t3、验证失败的反馈次数t4与总的数据传输次数t5进行统计；

计算总反馈次数占总数据传输次数t5的占比K,具体处理过程为：

K=（t1+t2+t3+t4）/t5

当K≥预设阈值L时，则向服务平台模块发送查修报告；

分别计算文字信息的反馈频率Ft1、语音信息的反馈频率Ft2、图像信息的反馈频率Ft3和验证失败的反馈频率Ft4，具体处理过程如下：

Ftx=tx/（t1+t2+t3+t4）

其中，x为1、2、3、4；

当Ftx≥1/2时，则向服务平台模块发送对应信息采集模块的必修报告；

当1/4≤Ftx＜1/2时，则向服务平台模块发送对应信息采集模块的选修报告；

当Ftx＜1/4时，则判断该信息采集模块工作状态正常，不发送报告。

3.根据权利要求1所述的一种基于大数据的数据运营系统，其特征在于：还包括路线监测模块，路线监测模块用于读取数据处理模块的输出的货物运输方案，并对该方案进行实况验证，路线监测模块包括监测单元、导航单元、费用计算单元和时间计算单元，具体验证过程如下：

读取来自于数据处理模块的输出数据，并将该输出数据传输给用于实时检测路况的监测单元；

监测单元检测输出数据中的路况是否发生意外状况，如果无意外状况发生，则将输出数据发送至数据输出模块；

若出现意外状况，导航单元介入重新规划路线，并启用费用计算单元、时间计算单元对新规划的路线的运输时间和运输费用进行计算，产生优化方案并发送至服务平台模块。

4.根据权利要求1或3所述的一种基于大数据的数据运营系统，其特征在于：还包括货物匹配模块，用于读取数据库模块中同批次货物的货物运输方案，根据货物运输方案中路线的重复度将不同类型的货物的运输方案进行合并。

5.根据权利要求1所述的一种基于大数据的数据运营系统，其特征在于：服务平台模块还用于接受数据输出模块输出的货物运输方案，并根据货物运输方案同步显示剩余工作人员数量和剩余载具数量。