CN115843008A - 一种铁路列车记录载体的复杂数据处理的方法 - Google Patents

Abstract

本发明提供一种铁路列车记录载体的复杂数据处理的方法，解决了铁路列车大量监控记录载体数据有大量碎片文件和个别巨型文件对传输效率影响较大的问题；本发明根据记录载体数据文件的复杂类型，通过对下载分块并预设阈值，采集模块判断是否满足文件块阈值进行传输，对不满足文件块阈值的数据移到数据处理模块待处理，通过数据处理模块判断后对大量碎片文件，或个别巨型文件进行处理，最大化利用5G资源，使数据传输平均速率从几十MB/s提高到200MB/s以上；即保证了列车车载传输设备和地面平台站点之间传输文件的速率，又给大数据量传输到地面平台站点提供了基础保障。本发明适用轨道交通记录载体数据转储。

Description

一种铁路列车记录载体的复杂数据处理的方法

技术领域

本发明涉及铁路列车记录载体数据文件转储领域，尤其涉及一种铁路列车记录载体的复杂数据处理的方法。

背景技术

在轨道交通行业，列车、动车、地铁、巡检车、综合检测车等移动装备在行车过程中会产生海量数据，单次交路可能会产生10GB到超过100GB的数据需要转储落地。为保障铁路车载数据在有限的转储时间窗内完成转储落地，除了增加转储传输带宽外，通过对数据文件本身的处理，从而提高传输速率也是一种提升数据转储效率的可行办法。

轨道交通行业铁路列车行驶过程中产生大量的监控数据需要通过车地转储方案落地，且数据种类繁杂多样，文件类型复杂，主要是有大量碎片文件和个别巨型文件对传输效率影响较大。对于碎片化程度高的文件，此类型的数据在一般情况下直接传输速率波动极大，且文件越小传输速率越低，在此状况下，即便在传输时拥有大带宽的资源也是一种浪费。而对于单个巨型文件，在列车每次到达车站的短时间内都难以完成整个文件的传输，导致整个数据落地受影响很大。因此如果对于数据本身不进行处理，在列车到达车站的有限时间内（一般几分钟）就难以实现大量数据快速的上传到地面平台站点。

发明内容

本发明提供一种铁路列车记录载体的复杂数据处理的方法，解决了现有技术中数据上传给地面平台站点缓慢的问题，能够在轨道列车停站后的几分钟内，快速将大量复杂文件类型的车载数据转储到地面平台站点，实现了高效率数据转储到地面平台站点的方式。

本发明提供的一种铁路列车记录载体的复杂数据处理的方法，应用于高速缓存装置，如下步骤：

步骤1、采集模块下载车载设备上产生的第一目标数据文件，获取下载第一目标数据文件名称、大小和数量；采集模块将第一目标数据下载到该采集模块的下载区目录，并累计下载第一目标数据大小和数量；采集模块发送通知消息给数据处理模块；所述通知消息包括第一目标数据的实际大小和数量；

步骤2、数据处理模块接收到采集模块的通知消息后，判断所述第一目标数据文件是否满足预处理条件，若判断结果为满足预处理条件，数据处理模块将第一目标数据文件移到数据处理模块的处理区，并通知采集模块继续下载；数据处理模块是将第一目标数据文件按不同类型数据文件进行判断处理，并生成第二目标数据文件，或第三目标数据文件移到数据处理模块的待传区预分配的第n个blockn目录中， blockn是待传区第n个目录,其中，n是指排序的数字后缀，n≥1；

步骤3、数据上传模块接收到数据处理模块发出的上传数据的指令，数据上传模块将待传区的blockn目录中待传输的第二目标数据文件，或第三目标数据文件，按顺序开始上传给地面平台站点。

优选地，步骤1中的采集模块发送通知消息给数据处理模块，是指采集模块下载文件满足阈值后，所述采集模块发送通知消息给数据处理模块。

优选地，判断第一目标数据文件是否满足预处理条件，是指数据处理模块判断第一目标数据文件是否为碎片文件；如果判断结果为碎片文件，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到数据处理模块的待传区的第n个blockn目录中；

如果数据处理模块判断第一目标数据文件不是碎片文件，继续判断是否为目标单个大文件，如果判断结果为是，对目标单个大文件进行处理形成第二数据文件，该处理是将目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；第二数据文件的M个文件块依次移到数据处理模块待传区第n个blockn目录中。

优选地，如果判断结果为是，对目标单个大文件进行处理形成第二数据文件，处理是将目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；是指将待处理目标单个大文件除以预设单个文件块大小的阈值得到拆分后M个文件块数，该文件块的名称为在所述目标单个大文件名后缀加第M块，其中，M为1,2，……,M；打开该目标单个大文件，从目标单个大文件起始处开始读取数据写入到M个文件块的第1个文件块，读取数据达到预设的单个文件块大小的阈值后停止，生成第二数据文件的第1个文件块，所述第1个文件块，记：原文件名.part1；然后继续从第1个文件块结束的位置之后继续读取预设的单个文件块大小的阈值的数据生成第2个文件块，记：原文件名.part2，同理以此类推，直到生成第M个文件块结束时，将删除第一目标数据文件。

优选地，文件块的名称为在目标单个大文件名后缀加第M块，是指第二目标数据文件的第M个文件块，记：原文件名.partM，数据处理模块将第M个文件块移动到待传区/upload/blockn目录中，同时数据处理模块记录所述blockn目录中的文件信息，该文件信息包括文件大小、数量、是否拆分、拆分文件块总块数、当前文件块序号等。

优选地，如果判断结果为碎片文件，是指碎片文件判断依据是第一目标数据文件的单位大小为1GB内文件数量超过400个，则第一目标数据文件为碎片文件；

其中，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到数据处理模块的待传区第n个的blockn目录中；是指碎片文件的处理，使用压缩工具，将第一目标数据文件打包成为一个单独文件生成第三目标数据文件，记：打包文件名.tar，并将生成第三目标数据文件放入上传模块的待传区第n个的blockn目录中；

第三目标数据文件存放路经即为：/upload/blockn/打包文件名.tar，该upload为待传区目录。

优选地，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到待传区第n个的blockn目录中，还包括打包碎片文件生成第三目标数据文件以文件块的形式按顺序存放第n个blockn目录中，如果待传区目录已经存在待上传数据：将第一目标数据文件处理完成的数据形成第三目标数据文件后，数据处理模块在待传区按顺序生成第n个blockn目录，然后将第三目标数据文件移动到第n个blockn目录中；数据上传模块将第n个blockn目录中的数据作为传输单元上传。

优选地，步骤3中具体是指：数据上传模块在列车到达地面平台站点时，接收到数据处理模块发出的上传文件的指令后，数据上传模块上传第n个blockn目录中的数据，同时会将第n个blockn目录的统计信息上报到地面平台站点；地面平台站点获取到第n个blockn目录中的数据和统计信息，统计信息包括第一目标数据文件打包处理，或者进行拆分处理；如果统计信息是进行拆分处理，还包括文件的拆分信息、拆分总块数、当前接收文件块序号；

地面平台站点接收的blockn目录中的数据为第一目标数据文件拆分处理时，依次全部接收M个文件块的n个blockn目录后，按照M的顺序依次全部以二进制的方式读取文件名为：原文件名.partM，文件内容以二进制的方式写入到所述原文件名文件目录中，全部读写完成后的原文件名为还原的第一目标数据文件的原文件，还原原文件后删除掉第二目标数据文件的M个文件块。

优选地，数据上传模块接收到数据处理模块发出的上传数据的指令，是指高速缓存装置和地面平台站点建立连接后；高速缓存装置向地面平台站点发起注册请求，地面平台站点校验高速缓存装置注册信息是否合法，地面平台站点校验注册信息通过后地面平台站点返回注册成功，否则返回注册失败；注册信息中包含高速缓存装置编号、文件数量、文件总大小。

优选地，高速缓存装置向地面平台站点发起注册请求，地面平台站点校验高速缓存装置注册信息是否合法，地面平台站点校验注册信息通过后地面平台站点返回注册成功，上述描述是指是指高速缓存装置中的数据上传模块将待传区的blockn目录中的数据按照顺序开始上传给地面平台站点，第n个blockn目录传输时会将第一目标数据文件的信息上报至地面平台站点，第一目标数据文件的信息包括目标数据文件名、文件大小、是否是被打包，或者拆分处理过的文件。

本发明实施例提供一种铁路列车记录载体的复杂数据处理的方法，解决了轨道交通行业大量监控记录载体数据有大量碎片文件和个别巨型文件对传输效率影响较大的问题；根据记录载体数据文件的复杂类型进行数据处理，通过对下载文件块大小预设阈值，采集模块判断是否满足文件大小阈值进行传输，对不满足文件大小阈值的数据文件移到数据处理模块中进行数据处理，数据处理模块进行判断后对大量碎片文件和个别巨型文件分别处理，最大化的利用了5G专网的资源，数据处理后传输平均速率从几十MB/s提高到200MB/s以上；即保证了列车车载传输设备和地面平台站点之间的大带宽网络通道传输文件速率，又给大数据量传输给地面平台站点提供了基础保障。

附图说明

图1是一种铁路列车记录载体的复杂数据处理的方法流程示意图；

图2是一种铁路列车记录载体的复杂数据处理的方法传输速率和时间的关系示意图；

图3是一种铁路列车记录载体的复杂数据处理的方法小文件传输速率和时间关系示意图；

图4是一种铁路列车记录载体的复杂数据处理的方法采集模块流程图；

图5是一种铁路列车记录载体的复杂数据处理的方法数据处理模块流程图；

图6是一种铁路列车记录载体的复杂数据处理的方法数据上传模块流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例流程表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。

实施例一

本发明实施例提供的一种铁路列车记录载体的复杂数据处理的方法，应用于高速缓存装置，如图1所示，该方法包括以下步骤：

步骤1、采集模块下载车载设备上产生的第一目标数据文件，获取下载第一目标数据文件名称、大小和数量；采集模块将第一目标数据下载到该采集模块的下载区目录，并累计下载第一目标数据大小和数量；采集模块发送通知消息给数据处理模块；所述通知消息包括第一目标数据的实际大小和数量；

步骤2、数据处理模块接收到采集模块的通知消息后，判断所述第一目标数据文件是否满足预处理条件，若判断结果为满足预处理条件，数据处理模块将第一目标数据文件移到数据处理模块的处理区，并通知采集模块继续下载；数据处理模块是将第一目标数据文件按不同类型数据文件进行判断处理，并生成第二目标数据文件，或第三目标数据文件移到数据处理模块的待传区预分配的第n个blockn目录中， blockn是待传区第n个目录,其中，n是指排序的数字后缀，n≥1；

步骤3、数据上传模块接收到数据处理模块的上传数据的指令，数据上传模块将待传区的blockn目录中待传输的第二目标数据文件，或第三目标数据文件，按照顺序开始上传给地面平台站点。

在一个实施例中，步骤1中的采集模块发送通知消息给数据处理模块，是指采集模块下载文件满足阈值后，采集模块发送通知消息给数据处理模块。

在一个实施例中，步骤2中的判断所述第一目标数据文件是否满足预处理条件，具体是指数据处理模块判断第一目标数据文件是否为碎片文件；如果判断结果为碎片文件，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到所述数据处理模块的待传区的第n个blockn目录中；

如果数据处理模块判断第一目标数据文件不是碎片文件，继续判断是否为目标单个大文件，如果判断结果为是，对目标单个大文件进行处理形成第二数据文件；该处理是将目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；第二数据文件的M个文件块依次移到数据处理模块待传区第n个blockn目录中；

在一个实施例中，如果判断结果为是，对所述目标单个大文件进行处理，形成第二数据文件；处理是将目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；是指将待处理目标单个大文件除以预设文件块大小的阈值得到拆分后M个文件块数，文件块的名称为目标单个大文件名后缀加第M块，其中，M为1,2，……,M；打开目标单个大文件，从目标单个大文件起始处开始读取数据写入到第1个文件块中，读取数据达到预设的文件块大小的阈值后停止，生成第二目标数据文件的第1个文件块，记：原文件名.part1；然后继续从第1个文件块结束的位置之后继续读取预设的文件块大小的阈值的数据生成第2个文件块，记：原文件名.part2，同理以此类推，直到生成第M个文件块结束时，将删除第一目标数据文件。

在一个实施例中，文件块的名称为在目标单个大文件名后缀加第M块，是指第二目标数据文件的第M个文件块，记：原文件名.partM，数据处理模块将第M个文件块移动到待传区的 upload/blockn目录中，同时数据处理模块记录blockn目录中的文件信息，文件信息包括文件大小、数量、是否拆分、拆分文件块总块数、当前文件块序号。

在一个实施例中，如果判断结果为碎片文件，是指碎片文件判断依据是第一目标数据文件的单位大小为1GB内文件数量超过400个，则第一目标数据文件为碎片文件；

其中，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到待传区的第n个的blockn目录中；是指碎片文件的处理，使用压缩工具，将第一目标数据文件打包成为一个单独文件生成第三目标数据文件，记：打包文件名.tar，并将生成第三目标数据文件放入上传模块的待传区第n个的blockn目录中；

第三目标数据文件存放路经即为：/upload/blockn/打包文件名.tar，该upload为待传区目录。

在一个实施例中，打包碎片文件生成第三目标数据文件，并将第三目标数据文件移到数据处理模块的待传区第n个的blockn目录中；还包括打包碎片文件生成第三目标数据文件以文件块的形式按顺序存放第n个blockn目录中，如果待传区目录已经存在待上传数据：将第一目标数据文件处理完成的数据形成第三目标数据文件后，数据处理模块在待传区按顺序生成第n个blockn目录，然后将第三目标数据文件移动到第n个blockn目录中；数据上传模块将第n个blockn目录中的数据作为传输单元上传。

在一个实施例中，步骤3具体是指：数据上传模块在列车到达地面平台站点时，接收到数据处理模块发出上传文件的指令后，数据上传模块上传第n个blockn目录中的数据，同时会将第n个blockn目录的统计信息上报到地面平台站点；地面平台站点获取到第n个blockn目录中的数据和统计信息，统计信息包括第一目标数据文件打包处理，或者进行拆分处理；如果所述统计信息是进行拆分处理，还包括文件的拆分信息、拆分总块数、当前接收文件块序号；地面平台站点接收的blockn为第一目标数据文件打包处理时，将解包所述打包文件名.tar还原为第一目标数据文件，还原所述第一目标数据文件后删除接收到的第三目标数据文件所述打包文件名.tar；

地面平台站点接收的blockn目录中的数据为第一目标数据文件拆分处理时，依次全部接收M个文件块的n个blockn目录后，按照M的顺序依次全部以二进制的方式读取文件名为：原文件名.partM，文件内容以二进制的方式写入到原文件名文件目录中，全部读写完成后的原文件名为还原的第一目标数据文件的原文件，还原原文件后删除掉第二目标数据文件的M个文件块。

在一个实施例中，数据上传模块接收到数据处理模块发出的上传数据的指令，是指高速缓存装置和地面平台站点建立连接后；高速缓存装置向地面平台站点发起注册请求，地面平台站点校验高速缓存装置注册信息是否合法，地面平台站点校验注册信息通过后地面平台站点返回注册成功，否则返回注册失败；注册信息中包含高速缓存装置编号、文件数量、文件总大小。

在一个实施例中，高速缓存装置向地面平台站点发起注册请求，地面平台站点校验高速缓存装置注册信息是否合法，地面平台站点校验注册信息通过后地面平台站点返回注册成功，是指高速缓存装置中的数据上传模块将待传区的blockn目录中的数据按照顺序开始上传给地面平台站点，第n个blockn目录传输时会将第一目标数据文件的信息上报至地面平台站点，第一目标数据文件的信息包括目标数据文件名、文件大小、是否是被打包，或者拆分处理过的文件。

本发明实施例提供一种铁路列车记录载体的复杂数据处理的方法，解决了轨道交通行业大量监控记录载体数据有大量碎片文件和个别巨型文件对传输效率影响较大的问题；根据记录载体数据文件的复杂类型进行数据处理，通过对下载文件块大小预设阈值，采集模块判断是否满足文件大小阈值进行传输，对不满足文件大小阈值的数据文件移到数据处理模块中进行数据处理，数据处理模块进行判断后对大量碎片文件和个别巨型文件分别处理，最大化的利用了5G专网的资源，处理后传输平均速率从几十MB/s提高到200MB/s以上；即保证了列车车载传输设备和地面平台站点之间的大带宽网络通道传输文件速率，又给大数据量的传输给地面平台站点提供了基础保障。

实施例二

本发明实施例提供的一种铁路列车记录载体的复杂数据处理的方法，为了更准确的解决现有技术问题，首先分析问题产生原因，以及传输效率的影响程度。

1.文件大小对于传输效率的影响

文件在网络传输过程中速率和时间的关系示意如图2所示，文件在传输时采用x轴表示时间，y轴表示速率，从启动传输到速率达到最大之间的过程称为启动期，平稳传输时称为传输期，在即将结束时速率从最大降低至0称为结束期。由图可知，文件在启动期时速率较低，随后速率逐渐增大，直到速率达到最大时开始以最大值平稳传输，在传输期即将结束时速率逐渐减小直到传输完成。由此规律可知，只有在文件处于平稳传输期时，才可达到最大速率的传输。而对于海量几KB的小文件，传输过程中速率和时间的关系示意如图3所示，图中虚线表示带宽最大速率，由图可知，一个小文件的传输刚开始就结束了，几乎没有传输期，整个传输过程都处在速率很低的状态下，随后就开始启动下一个文件的传输了，且每个文件传输完成到下一个启动传输也存在间隔时间，因此，在海量小文件的传输过程中，平均速率非常低。

2.实际数据传输时的问题分析

依照实际情况，列车运行中产生的数据有三种，视频、图片和其他检测设备产生的检测专业数据。视频数据文件一般一个文件大小300MB左右，图片文件大小在几KB到几百KB，最大不超过4MB的小文件，检测专业数据一个文件从几GB到几十GB，大的可超过200GB。而列车到达车站后，从车载高速缓存装置到达地面平台站点上行网络速率10GB每分钟，列车停站平均5分钟，传输数据量最大50GB。

2.1 海量碎片文件

实际通常是1MB以下的碎片文件，且总量较大，超过100GB以上。此类型的数据传输速率波动极大，且文件越小速率越低。实际测试传输一分钟的时间内，碎片小文件传输总文件大小几百MB，而非碎片文件的传输速率一分钟10GB。

2.2 单个超大文件

在传输效率上可以达到最大，但列车停站时间短，以最大的速率传输到地面平台站点最大数据量50GB。超过50GB以上的单个文件，在平均5分钟的传输时间内导致每次列车停站都将传输失败。

3.实际处理数据的技术方案

车载高速缓存装置中有三个主要模块：采集模块、数据处理模块以及数据上传模块。

3.1采集模块，工作流程如图4所示，采集模块负责采集下载车载设备上产生的各类文件。采集模块开始采集时下载文件到下载区目录，累计下载的文件大小和数量，当已下载文件大于预设阈值后，会通知数据处理模块预处理，通知消息包括这一批数据的实际大小和数量，数据处理模块将下载区的数据转移到待处理区，并通知采集模块，采集模块接收到数据处理模块预处理完成消息后继续下载数据文件，重新开始记录下载文件数量和大小。

3.2数据处理模块，工作流程如图5所示，数据处理模块开始判断是否接收采集模块的通知消息，在接收到采集模块下载区数据量大于预设阈值的通知后，进行预处理，将下载区的数据文件全部转移到处理区，得到下载区文件数量和大小，并通知采集模块继续下载。然后根据实际文件大小和数量判断这一批数据是否需要处理，根据具体类型进行处理。

数据处理模块判断当前处理区数据是否为碎片文件？如果判断结果为是，打包碎片文件，生成第三目标文件；

如果判断结果为否，进一步判断当前处理区数据是否为当大文件？如果判断结果为是，以设置阈值为单位拆分大文件形成M个文件块。

如果判断结果为否，当前处理区数据是已处理或不需要处理的数据，以设置阈值为单位依次将已处理的数据移到待传区作为第n个blockn目录；记录该blockn目录的信息；本批数据处理完成。

具体碎片文件打包处理和拆分大文件M个文件块详见下文描述。

3.2.1碎片文件处理

数据处理模块对碎片文件判断依据，1GB大小的文件，数量超过400个以上，则平均一个文件的大小在2.56MB以下，可认为此1GB数据为碎片文件。因此，采集模块记录的该批文件的数量大于总大小（GB）乘以400，则这一批数据为碎片文件。

对于碎片文件的处理，使用压缩工具将第一目标数据文件打包成为一个单独文件生成第三目标数据文件，然后将生成的第三目标数据文件转移到数据上传模块的待传区。待传区的数据分批以目录的形式按顺序存放，比如待传区的已经存在的目录：block1，block2，block3，本次处理后第三目标数据文件处理完成后将在待传区按顺序生成一个block4的目录，然后将本批数据转移到block4目录中，数据上传模块将blockn目录作为传输单元上传。如果第一目标数据文件为碎片文件，被处理后的存放路经即为：/upload/block4/打包文件名.tar，upload为待传区目录。如果第一目标数据文件全部是正常大小的视频文件，则它们将全部位于/upload/block5/目录下。

在上述数据处理完成后，数据处理模块会记录下当前生成的blockn目录数据的详细信息，比如文件大小、数量、是否为碎片文件打包等，待列车到达车站上传数据到该blockn时，数据上传模块同时将此blockn目录的统计信息上报到地面平台站点，地面平台站点接收到当前blockn目录中的数据是打包处理后的数据存入blockn目录后，会将此blockn目录下的“打包文件名.tar”解包还原即可得到原文件。

3.2.2单个文件超过50GB大文件处理

当采集模块遇到单个超过50GB的大文件下载后，大小直接超过预设值10GB，此时文件数量为1。数据处理模块在接收到采集模块的通知后判断文件数量为1且大小超过10GB，则该文件为单个大文件。

对于单个大文件，数据处理模块选择拆分的方式进行处理，将第一目标数据文件为50GB的文件拆分为5个10GB的第二目标数据文件即可达到要求。拆分方法如下，从目标单个大文件起始处开始读取数据写入到第1个文件块中，读取数据达到预设的单个文件块大小的阈值后停止，生成第二目标数据文件的第1个文件块，记：原文件名.part1；然后继续从第1个文件块结束的位置之后继续读取预设的文件块大小的阈值的数据生成第2个文件块，记：原文件名.part2，按照此方式，直到第一目标数据文件数据全部被读取完生成第5个文件块时，记：原文件名.part5，拆分完成后删除掉第一目标数据文件50GB的文件。

最后，将原文件名.partM文件转移到待传区/upload/blockn目录中，同时记录该block中的文件大小、数量、是否拆分、总拆分块数、当前块序号。然后依次转移记录其他剩余文件块。

待列车到达车站上传数据到该blockn目录中时，同时会将此blockn目录中的数据统计信息上报到地面平台站点，地面平台站点收到该拆文件块的拆分信息、总拆分块数、当前接收blockn的文件块序号，依次全部接收该拆文件块的全部blockn，全部接收完成后，按照文件名上的后缀名.partM，依次全部读取第一目标数据文件拆分M个文件块的数据写入到原文件名的文件中，全部读写完成后的原文件名为还原的第一目标数据文件的原文件，还原后删除各个文件块。

3.3数据上传模块

数据上传模块，工作流程如图6所示，当高速缓存装置中存有待上传的数据时，车载高速缓存装置通过连接在车头的5G无线收发设备探测网络，5G无线收发设备将会一直探测和地面5G基站网络是否连通，当列车到达地面5G基站网络覆盖区域时，5G无线收发设备和地面基站建立无线连接，形成车载高速缓存装置到地面平台站点的网络通道，网络通道建立成功后，可以进行数据传输。

高速缓存装置和地面平台站点建立连接后，高速缓存装置向地面平台站点发起注册请求，地面平台站点校验高速缓存装置的注册信息并返回注册结果，如果注册结果成功，地面平台站点接着会向高速缓存装置下发上传数据的消息。

高速缓存装置接收地面平台站点返回的注册结果判断是否成功，当注册成功后，开始接收地面平台站点下发的上传数据消息，并判断该消息中是否存在失败需要重传的blockn目录，如果判断结果为是，重新启动上传上次未传输完成的blockn目录；如果判断结果为否，不需要重传的blockn目录，则传输正常，删除已经传输正常的blockn目录。如果判断待传区有数据，将按照待传区blockn目录的顺序上传下一个blockn目录，每个blockn目录传输时会将该目录的相关信息上报至地面平台站点，该目录的相关信息包括当前文件名、文件大小、是否是被打包或者拆分处理过的文件等。如果地面平台站点接收blockn目录中的数据完成，将按照接收到的文件信息对blockn目录中的数据文件进行处理，还原打包的文件或者合并已被拆分的文件。同时回复确认完成并下发继续上传的消息，此时高速缓存装置接收消息如果判断传输正常，将删除当前已经上传完成的blockn目录，开始上传下一个blockn目录，直到待传区没有blockn目录并回复已经无数据的上传消息，此时高速缓存装置将数据全部传输完成。

本发明实施例提供一种铁路列车记录载体的复杂数据处理的方法，解决了轨道交通行业大量监控记录载体数据有大量碎片文件和个别巨型文件对传输效率影响较大的问题；根据记录载体数据文件的复杂类型进行数据处理，通过对下载文件块大小预设阈值，采集模块判断是否满足文件大小阈值进行传输，对不满足文件大小阈值的数据文件移到数据处理模块中进行数据处理，数据处理模块进行判断后对大量碎片文件和个别巨型文件分别处理，最大化的利用了5G专网的资源，处理后传输平均速率从几十MB/s提高到200MB/s以上；即保证了列车车载传输设备和地面平台站点之间的大带宽网络通道传输文件速率，又给大数据量的传输给地面平台站点提供了基础保障。

Claims (10)

1.一种铁路列车记录载体的复杂数据处理的方法，应用于高速缓存装置，其特征在于，所述方法包括如下步骤：

步骤1、采集模块下载车载设备上产生的第一目标数据文件，获取下载所述第一目标数据文件名称、大小和数量；所述采集模块将第一目标数据下载到所述采集模块的下载区目录，并累计下载第一目标数据大小和数量；所述采集模块发送通知消息给数据处理模块；所述通知消息包括第一目标数据的实际大小和数量；

步骤2、数据处理模块接收到所述采集模块的通知消息后，判断所述第一目标数据文件是否满足预处理条件，若判断结果为满足预处理条件，所述数据处理模块将所述第一目标数据文件移到所述数据处理模块的处理区，并通知所述采集模块继续下载；所述数据处理模块是将第一目标数据文件按不同类型数据文件进行判断处理，并生成第二目标数据文件，或第三目标数据文件移到所述数据处理模块的待传区预分配的第n个blockn目录中，所述blockn是待传区第n个目录,其中，n是指排序的数字后缀，n≥1；

步骤3、数据上传模块接收到数据处理模块发出的上传数据的指令，所述数据上传模块将待传区的blockn目录中待传输的第二目标数据文件，或第三目标数据文件，按照顺序开始上传给地面平台站点。

2.根据权利要求1所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述步骤1中的所述采集模块发送通知消息给数据处理模块，是指所述采集模块下载文件满足阈值后，所述采集模块发送通知消息给数据处理模块。

3.根据权利要求1所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述步骤2中的所述判断所述第一目标数据文件是否满足预处理条件，具体是指所述数据处理模块判断第一目标数据文件是否为碎片文件；如果判断结果为碎片文件，打包所述碎片文件生成第三目标数据文件，并将第三目标数据文件移到所述数据处理模块的待传区的第n个blockn目录中；

如果所述数据处理模块判断第一目标数据文件不是碎片文件，继续判断是否为目标单个大文件；如果判断结果为是，对所述目标单个大文件进行处理，形成第二数据文件；所述处理是将所述目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；所述第二数据文件的M个文件块依次移到所述数据处理模块待传区的第n个blockn目录中。

4.根据权利要求3所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述如果判断结果为是，对所述目标单个大文件进行处理，形成第二数据文件；所述处理是将所述目标单个大文件拆分为M个文件块，其中， M为拆分后的文件块总数；具体是指将待处理目标单个大文件除以预设单个文件块大小的阈值得到拆分后M个文件块数，所述文件块的名称为在所述目标单个大文件名后缀加第M块，其中，M为1,2，……,M；打开所述目标单个大文件，从所述目标单个大文件起始处开始读取数据写入到M个文件块的第1个文件块，所述读取数据达到预设的单个文件块大小的阈值后停止，生成第二数据文件的第1个文件块，所述第1个文件块，记：原文件名.part1；然后继续从第1个文件块结束的位置之后继续读取预设的单个文件块大小的阈值的数据生成第2个文件块，记：原文件名.part2，同理以此类推，直到生成第M个文件块结束时，将删除第一目标数据文件。

5.根据权利要求4所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述文件块的名称为在所述目标单个大文件名后缀加第M块，是指所述第二目标数据文件的第M个文件块，记：原文件名.partM，数据处理模块将所述第M个文件块移动到待传区的upload/blockn目录中，同时数据处理模块记录所述blockn目录中的文件信息，所述文件信息包括文件大小、数量、是否拆分、拆分文件块总块数、当前文件块序号。

6.根据权利要求3所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述如果判断结果为碎片文件，是指所述碎片文件判断依据是第一目标数据文件的单位大小为1GB内文件数量超过400个，则第一目标数据文件为碎片文件；

所述打包所述碎片文件生成第三目标数据文件，并将第三目标数据文件移到所述数据处理模块的待传区的第n个的blockn目录中；是指碎片文件的处理，使用压缩工具，将第一目标数据文件打包成为一个单独文件生成第三目标数据文件，记：打包文件名.tar，并将生成第三目标数据文件放入上传模块的待传区第n个的blockn目录中；

所述第三目标数据文件存放路经为：/upload/blockn/打包文件名.tar，所述upload为待传区目录。

7.根据权利要求6所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述打包所述碎片文件生成第三目标数据文件，并将第三目标数据文件移到数据处理模块的待传区第n个的blockn目录中；还包括打包所述碎片文件生成第三目标数据文件以文件块的形式按顺序存放第n个blockn目录中，如果待传区目录已经存在待上传数据：将第一目标数据文件处理完成的数据形成第三目标数据文件后，所述数据处理模块在待传区按顺序生成第n个blockn目录，然后将第三目标数据文件移动到第n个blockn目录中；所述数据上传模块将第n个blockn目录中的数据作为传输单元上传。

8.根据权利要求3所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述步骤3具体是指：数据上传模块在列车到达地面平台站点时，接收到数据处理模块发出的上传数据的指令后，所述数据上传模块上传第n个blockn目录中的数据，同时会将第n个blockn目录的统计信息上报到地面平台站点；所述地面平台站点获取到第n个blockn目录中的数据和统计信息，所述统计信息为第一目标数据文件打包处理，或者进行拆分处理；如果所述统计信息是进行拆分处理，还包括文件的拆分信息、拆分总块数、当前接收文件块序号；所述地面平台站点接收的blockn为第一目标数据文件打包处理时，将解包所述打包文件名.tar还原为第一目标数据文件，还原所述第一目标数据文件后删除接收到的第三目标数据文件所述打包文件名.tar；

所述地面平台站点接收的blockn目录中的数据为第一目标数据文件拆分处理时，依次全部接收M个文件块的n个blockn目录后，按照M的顺序依次全部以二进制的方式读取文件名为：原文件名.partM，文件内容以二进制的方式写入到所述原文件名文件目录中，全部读写完成后的所述原文件名为还原的第一目标数据文件的原文件，还原所述原文件后删除掉第二目标数据文件的M个文件块。

9.根据权利要求1所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述步骤3中所述数据上传模块接收到数据处理模块发出的上传数据的指令，是指高速缓存装置和地面平台站点建立连接后；高速缓存装置向地面平台站点发起注册请求，地面平台站点校验高速缓存装置注册信息是否合法，地面平台站点校验注册信息通过后地面平台站点返回注册成功，否则返回注册失败；注册信息中包含高速缓存装置编号、文件数量、文件总大小。

10.根据权利要求9所述的一种铁路列车记录载体的复杂数据处理的方法，其特征在于，所述高速缓存装置向地面平台站点发起注册请求，地面平台站点校验高速缓存装置注册信息是否合法，地面平台站点校验注册信息通过后地面平台站点返回注册成功，上述描述是指：所述高速缓存装置中的数据上传模块将待传区的blockn目录中的数据按照顺序开始上传给地面平台站点，第n个blockn目录传输时会将第一目标数据文件的信息上报至地面平台站点，第一目标数据文件的信息包括目标数据文件名、文件大小、是否是被打包，或者拆分处理过的文件。

Images