CN113486083A - 数据处理方法、系统、计算机存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种数据处理方法、数据处理系统、计算机存储介质及电子设备，数据处理方法包括以下步骤：S1、记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据；S2、将起点数据和终点数据分别写入分区表；S3、将分区表内的起点数据与终点数据进行匹配；S4、预定时间之后，删除分区表中未匹配成功的起点数据和终点数据。根据本发明实施例的数据处理方法，通过将起点数据和终点数据分别写入不同的分区表，将不同分区表的数据进行匹配，并且在预定时间之后，将未匹配成功的数据进行定期删除，可以合理删除过气数据，避免数据占用过大空间，保证系统运行速度，并且使得数据系统可以长期稳定运行。

Description

数据处理方法、系统、计算机存储介质及电子设备

技术领域

本发明设计数据处理技术领域，具体涉及一种数据处理方法、数据处理系统、计算机存储介质及电子设备。

背景技术

OD(origin-destination)分析，是指一个区域到另外一个区域的发射量和吸收量，通过OD分析能够知道两个地方的车辆进出情况。

每一辆过车，经过了设置的O区域，有可能在未来某一时间经过D区域。形成一条发射量和接收量，也有可能不在D区域出现。通过缓存存储O区域的数据，针对每一个D区域的数据进行一次搜索的对比。或者是通过把O的数据放在数据库表中，通过每条D区域的数据进行对比，进行搜索，匹配上来的就组成了一条OD发射。匹配不上的，而且过期的数据，就进行去除。

目前，OD分析通常采用内存的缓存方案，当数据量大到一定的程度，就需要写入磁盘，对大批量数据的分析，存在较大限制。

如果采用单表写入数据库的方式，当O区域的车辆数据和D区域的车辆数据匹配后，生成一条OD量，那么这条数据在O区域和D区域则已经形成过期数据。而车辆如果只是经过O区域或者是D区域，在很长一段时间没有同时经过两个区域，那这辆车的数据也是过期数据。由于过期的数据混合在有效数据中，只能使用DML语句删除。这种方案在数据库中会出现如下问题：会留下数据孔隙，随着系统不断的运行，单表会越来越大，查询匹配会越来越慢。

发明内容

本申请的一个目的是提供一种数据处理方法、数据处理系统、计算机存储介质及电子设备，可以合理删除过期数据，避免数据占用过大空间，保证系统运行速度。

根据本发明第一方面实施例的数据处理方法，包括以下步骤：S1、记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据；

S2、将所述起点数据和所述终点数据分别写入分区表；S3、将所述分区表内的所述起点数据与所述终点数据进行匹配；S4、预定时间之后，删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

根据本发明实施例的数据处理方法，通过将起点数据和终点数据分别写入不同的分区表，将不同分区表的数据进行匹配，并且在预定时间之后，将未匹配成功的数据进行定期删除，可以合理删除过气数据，避免数据占用过大空间，保证系统运行速度，并且使得数据系统可以长期稳定运行。

根据本发明的一个实施例，所述分区表为OD表。

根据本发明的一个实施例，所述分区表按照时间进行分区。

根据本发明的一个实施例，所述分区表由PostgreSQL使用派生表的方式支持。

根据本发明的一个实施例，所述分区表的父表为空表，所述分区表的子表为多个，多个所述子表的数据分别独立处理。

根据本发明的一个实施例，在步骤S4中，所述预定时间为一天、一周或一个月。

根据本发明的一个实施例，在步骤S4中，采用DDL的方式删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

根据本发明第二方面实施例的数据处理系统，包括：记录模块，所述记录模块记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据；写入模块，所述写入模块将所述起点数据和所述终点数据分别写入分区表；匹配模块，所述匹配模块将所述起点数据与所述终点数据进行匹配；计时模块，所述计时模块记录所述起点数据与所述终点数据匹配的时间；删除模块，所述删除模块在所述计时模块达到预定时间之后，删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

第三方面，本发明实施例提供一种计算机存储介质，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如上述实施例所述的方法。

根据本发明第四方面实施例的电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如上述任一实施例所述的方法。

通过以下参照附图对本申请的示例性实施例的详细描述，本申请的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且连同其说明一起用于解释本申请的原理。

图1是根据本发明实施例的数据处理方法的流程图；

图2是根据本发明实施例的数据处理方法的工作原理图；

图3是根据本发明实施例的数据处理系统的示意图；

图4是根据本发明实施例的电子设备的工作原理图。

附图标记：

记录模块10；写入模块20；匹配模块30；计时模块40；删除模块50；

电子设备100；

存储器110；操作系统111；应用程序112；

处理器120；网络接口130；输入设备140；硬盘150；显示设备160。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

下面首先结合附图具体描述根据本发明实施例的数据处理方法。

如图1至图2所示，根据本发明实施例的数据处理方法，包括以下步骤：

S1、记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据。

S2、将所述起点数据和所述终点数据分别写入分区表。

S3、将所述分区表内的所述起点数据与所述终点数据进行匹配。

S4、预定时间之后，删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

换句话说，根据本发明实施例的数据处理方法在运行时，首先对每一辆经过起点区域(O区域)和终点区域(D区域)的车辆分别进行记录，经过起点区域的车辆记录得到起点数据，经过终点区域的车辆记录得到终点数据。然后将车辆的起点数据和终点数据分别写入分区表，即起点数据和终点数据分别写入分区表内不同的区域。

接着，将分区表内不同区域的起点数据和终点数据进行匹配，匹配方式为本领域常规的匹配方式，在此不再赘述。在预定时间之后，将匹配成功的起点数据和终点数据进行储存，将未匹配成功的起点数据和终点数据进行删除。并且在后续运行过程中，每隔预定时间，可以对未匹配成功的起点数据和终点数据进行定期删除，从而避免过多的过期数据占用系统空间。

由此，根据本发明实施例的数据处理方法，通过将起点数据和终点数据分别写入不同的分区表，将不同分区表的数据进行匹配，并且在预定时间之后，将未匹配成功的数据进行定期删除，可以合理删除过气数据，避免数据占用过大空间，保证系统运行速度，并且使得数据系统可以长期稳定运行。

可选地，根据本发明的一个实施例，所述分区表为OD表。所述分区表按照时间进行分区。

在本发明的另一些具体实施方式中，所述分区表由PostgreSQL使用派生表的方式支持，所述分区表的父表为空表，所述分区表的子表为多个，多个所述子表的数据分别独立处理。

可选地，在步骤S4中，所述预定时间为一天、一周或一个月。

也就是说，根据本发明实施例的数据处理方法，针对每一辆经过O区域和D区域的过车数据，都产生一条记录放在od表里面。Od表是一个分区表，PostgreSQL使用派生表的方式去支持分区表，按照时间进行分区，可以是一个月，一个星期，或者是一天，具体可以根据系统所记录的数据量进行调整。其中，父表是一个空表，每个子表的数据进行独立处理。

根据本发明的一个实施例，在步骤S4中，采用DDL的方式删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

换句话说，当时间已经过去预定时间之后，分区表中没有匹配上的起点数据和终点数据，可以直接删除。其中，删除所采用是DDL(Data Definition Language)的方式，连同空间一起删除，并不留下任何的垃圾数据。由此能够很好的解决随着时间的发展，由于垃圾数据的堆叠，使数据系统不断的变得不可用的问题。

根据本发明实施例的数据处理方法的工作原理如图2所示，通过把起点数据和终点数据进行分表，而且按照时间的方式进行划分，并利用PostgreSQL父表的特性，使得应用有统一的接口。当时间达到预定时间，某些子表的数据已经是过期的数据，那么可以直接使用DDL语句进行批量删除数据，并回收空间。

总而言之，根据本发明实施例的数据处理方法是一种数据不断的增加，又不断的过期的数据系统的处理方法，通过对数据的分区处理，实现了过期数据的合理删除，避免数据占用用空洞的空间，能够使得数据系统长期稳定的运行。

如图3所示，根据本发明第二方面实施例的数据处理系统包括：记录模块10、写入模块20、匹配模块30、计时模块40和删除模块50。

具体而言，记录模块10记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据；写入模块20将起点数据和终点数据分别写入分区表，匹配模块30将起点数据与终点数据进行匹配，计时模块40记录起点数据与终点数据匹配的时间，删除模块50在计时模块达到预定时间之后，删除分区表中未匹配成功的起点数据和终点数据。

换言之，根据本发明实施例的数据处理系统主要由记录模块10、写入模块20、匹配模块30、计时模块40和删除模块50组成，其中，记录模块10对每一辆经过起点区域(O区域)和终点区域(D区域)的车辆分别进行记录，经过起点区域的车辆记录得到起点数据(Origin数据)，经过终点区域的车辆记录得到终点数据(Destination数据)。然后由写入模块20将车辆的起点数据和终点数据分别写入分区表，即起点数据和终点数据分别写入分区表内不同的区域。

接着，匹配模块30将分区表内不同区域的起点数据和终点数据进行匹配，匹配方式为本领域常规的匹配方式，在此不再赘述。计时模块40对起点数据和终点数据的匹配时间进行记录，在预定时间之后，将匹配成功的起点数据和终点数据进行储存，删除模块50则将未匹配成功的起点数据和终点数据进行删除。并且在后续运行过程中，每隔预定时间，可以对未匹配成功的起点数据和终点数据进行定期删除，从而避免过多的过期数据占用系统空间。

由此，根据本发明实施例的数据处理系统，通过将起点数据和终点数据分别写入不同的分区表，将不同分区表的数据进行匹配，并且在预定时间之后，将未匹配成功的数据进行定期删除，可以合理删除过气数据，避免数据占用过大空间，保证系统运行速度，并且使得数据系统可以长期稳定运行。

另外，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述任一所述的方法。

也就是说，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一所述的方法。

如图4所示，本发明实施例提供了一种电子设备100，包括存储器110和处理器120，所述存储器110用于存储一条或多条计算机指令，所述处理器120用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。

也就是说，电子设备100包括：处理器120和存储器110，在所述存储器110中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器120执行上述任一所述的方法。

进一步地，如图4所示，电子设备100还包括网络接口130、输入设备140、硬盘150、和显示设备160。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器120代表的一个或者多个中央处理器(CPU)，以及由存储器110代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

所述网络接口130，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘150中。

所述输入设备140，可以接收操作人员输入的各种指令，并发送给处理器120以供执行。所述输入设备140可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

所述显示设备160，可以将处理器120执行指令获得的结果进行显示。

所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器120计算过程中的中间结果等数据。

可以理解，本发明实施例中的存储器110可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器110旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器110存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统111和应用程序112。

其中，操作系统111，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序112，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序112中。

上述处理器120，当调用并执行所述存储器110中所存储的应用程序和数据，具体的，可以是应用程序112中存储的程序或指令时，将第一集合和第二集合中的一者分散发送至所述第一集合和第二集合中的另一者所分布的节点，其中，所述另一者分散存储于至少两个节点；并根据所述第一集合的节点分布和所述第二集合的节点分布，分节点地进行交集处理。

本发明上述实施例揭示的方法可以应用于处理器120中，或者由处理器120实现。处理器120可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器120可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器110，处理器120读取存储器110中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器120还用于读取所述计算机程序，执行上述任一所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：

S1、记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据；

S2、将所述起点数据和所述终点数据分别写入分区表；

S3、将所述分区表内的所述起点数据与所述终点数据进行匹配；

S4、预定时间之后，删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

2.根据权利要求1所述的方法，其特征在于，所述分区表为OD表。

3.根据权利要求1所述的方法，其特征在于，所述分区表按照时间进行分区。

4.根据权利要求3所述的方法，其特征在于，所述分区表由PostgreSQL使用派生表的方式支持。

5.根据权利要求4所述的方法，其特征在于，所述分区表的父表为空表，所述分区表的子表为多个，多个所述子表的数据分别独立处理。

6.根据权利要求1所述的方法，其特征在于，在步骤S4中，所述预定时间为一天、一周或一个月。

7.根据权利要求1所述的方法，其特征在于，在步骤S4中，采用DDL的方式删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

8.一种数据处理系统，其特征在于，包括：

记录模块，所述记录模块记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据；

写入模块，所述写入模块将所述起点数据和所述终点数据分别写入分区表；

匹配模块，所述匹配模块将所述起点数据与所述终点数据进行匹配；

计时模块，所述计时模块记录所述起点数据与所述终点数据匹配的时间；

删除模块，所述删除模块在所述计时模块达到预定时间之后，删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

9.一种计算机存储介质，其特征在于，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如权利要求1-8中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，

所述存储器用于存储一条或多条计算机指令；

所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如权利要求1-8中任一项所述的方法。

Images