CN106649310B - 数据获取的方法及装置 - Google Patents

Abstract

本发明公开了一种数据获取的方法及装置，涉及互联网技术领域，为解决现有技术中获取CSV文件中的数据过程不可复用的问题而发明。本发明的方法包括：接收业务需求对应的元数据信息，元数据信息包括属性名、列标识以及不同属性信息对应的格式类型，其中，列标识为逗号分隔值CSV文件中列的标识；根据元数据信息建立映射表，映射表中记录有属性名、列标识以及格式类型三者之间的对应关系；根据映射表从CSV文件中提取对应列标识的数据；根据映射表将提取的数据转换为对应列标识的格式类型；将格式转换后的数据与对应列标识的属性名进行绑定。本发明适合应用在提取CSV文件中的数据的过程中。

Description

数据获取的方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据获取的方法及装置。

背景技术

在用户需要交换信息时，可能需要将一种以私有格式存储数据的数据库程序导入到一个数据库格式完全不同的电子表格。通常会先将私有格式存储数据库的程序导出为“逗号分隔值(Comma-Separated Values，简称CSV)”格式，CSV格式是一种广泛应用在程序之间转移表格数据的一种通用的、相对简单的文件格式。然后将CSV格式的文件导入到一个数据库格式完全不同的电子表格中。

在将CSV格式文件导入到一个新的电子表格时，需要从CSV文件中获取数据，现有的获取CSV文件中的数据的过程是：读取CSV文件中的每一行数据；根据具体的业务创建业务对象；按照标题名或是索引获取指定的列数据；根据当前业务对象的属性的数据类型，对获取的列数据进行格式的转化。

在上述获取CSV文件中的数据的过程中，发明人发现，对于不同的业务，需要构造一个相对固定的数据获取和格式转化的业务逻辑，数据获取的过程不能复用，因此在系统中会形成许多代码碎片，增加了系统的维护的难度。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据获取的方法及装置。

为解决上述技术问题，一方面，本发明提供了一种数据获取的方法，该方法包括：

接收业务需求对应的元数据信息，所述元数据信息包括属性名、列标识以及不同属性信息对应的格式类型，其中，所述列标识为CSV文件中列的标识；

根据所述元数据信息建立映射表，所述映射表中记录有所述属性名、所述列标识以及所述格式类型三者之间的对应关系；

根据所述映射表从CSV文件中提取对应所述列标识的数据；

根据所述映射表将提取的数据转换为对应所述列标识的格式类型；

将格式转换后的数据与对应所述列标识的属性名进行绑定。

另一方面，本发明还提供了一种数据获取的装置，该装置包括：

接收单元，用于接收业务需求对应的元数据信息，所述元数据信息包括属性名、列标识以及不同属性信息对应的格式类型，其中，所述列标识为CSV文件中列的标识；

建立单元，用于根据所述元数据信息建立映射表，所述映射表中记录有所述属性名、所述列标识以及所述格式类型三者之间的对应关系；

提取单元，用于根据所述映射表从CSV文件中提取对应所述列标识的数据；

转换单元，用于根据所述映射表将提取的数据转换为对应所述列标识的格式类型；

绑定单元，用于将格式转换后的数据与对应所述列标识的属性名进行绑定。

借由上述技术方案，本发明提供的数据获取的方法及装置，能够按照不同的业务需求配置的元数据信息建立业务属性名、列标识以及不同属性信息对应的格式类型的映射表，然后提取CSV中的对应于映射表中列标识对应的数据，并将提取的数据按照对应的格式类型进行转换，最后将转换后的数据与对应列标识的属性名进行绑定。与现有技术相比，本发明通过仅仅配置业务需求的元数据信息，就能够直接从CSV文件数据中提取并转换为业务需求的数据，不需要针对不同的业务需求设计不同的数据获取的逻辑，使得数据获取的过程可以复用，减少了数据获取过程中的代码碎片，使系统更容易维护。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据获取的方法流程图；

图2示出了本发明实施例提供的另一种数据获取的方法流程图；

图3示出了本发明实施例提供的一种数据获取的装置的组成框图；

图4示出了本发明实施例提供的另一种数据获取的装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决现有技术中获取CSV文件中数据的过程不可复用的问题，本发明实施例提供了一种数据查询的方法，如图1所示，该方法包括：

101、接收业务需求对应的元数据信息，元数据信息包括属性名、列标识以及不同属性信息对应的格式类型，其中，列标识为CSV文件中列的标识。

元数据是描述其它数据的数据，又称中介数据、中继数据，主要是描述数据属性信息，另外还具有支持指示存储位置、文件记录等功能。

CSV文件中的数据是以纯文本形式存储的，纯文本就是指文件是一个字符序列，以某种换行符分隔为多条记录，每条记录由字段组成，字段间的用分隔符分隔，通常所有记录都有完全相同的字段序列。

在接收业务需求对应的元数据信息之前，用户先根据自己的业务需求定义一个业务对象名，然后配置业务元数据信息，其中包括：定义业务对象中所包含的属性名、列标识、不同属性信息对应的格式类型，其中列标识为CSV文件中的列的标识。对于CSV文件中的列标识可以是标题名或者下标，标题名位于CSV文件数据的首行。一般CSV文件中有标题名行的就以标题名作为列标识，若CSV文件数据中没有标题名行，就将下标作为列标识，比如，第一列对应的下标为“0”，则其对应的列标识为“0”，然后依次按顺序得到每一列的列标识为“1”、“2”、“3”等。另外本实施例中的CSV文件中的列指的是将每行数据按照逗号或其他分隔符为分界点划分定义的列。

需要说明的是在配置业务元数据信息时，是根据CSV中的数据信息进行配置的。即，用户确定创建的业务对象相关的数据必须是在CSV文件中可以获取到的。

102、根据元数据信息建立映射表，映射表中记录有属性名、列标识以及格式类型三者之间的对应关系。

将步骤101中接收的元数据信息转化为一个映射表，映射表中建立了属性名-格式类型-列标识之间的对应关系，格式类型是指不同属性对应的数据的类型比如整型、长整型、单精度浮点型等。属性名、列标识以及格式类型三者中两两都是相互对应的，一个属性名对应一种格式类型，一个属性名对应一个列标识，一个列标识对应一种格式类型，通过三者中的任意一项都可以确定其它两项。

本步骤中映射表的建立也为后面的数据提取和转换做准备。

103、根据映射表从CSV文件中提取对应列标识的数据。

将CSV文件加载进来，扫描CSV文件中的数据，在扫描的过程中加入列标识作为筛选条件，将映射表中列标识对应的数据分隔并提取出来，然后将提取得到的数据存储起来，等待后续的数据处理。

104、根据映射表将提取的数据转换为对应列标识的格式类型。

因为CSV文件中的数据是字符序列的形式，所以被步骤103分隔提取之后得到的数据都是字符型的。为了满足不同的业务需求需要将字符型的数据转换为业务需求定义的格式类型的数据。

映射表中已经确定不同属性信息对应的格式类型，因此可以对应于映射表将由步骤103中得到的数据提取出来进行对应的格式类型的转换，得到业务需求定义的不同属性信息对应的格式类型，也就是对应列标识的格式类型。其中数据转换的过程是将从CSV文件数据中提取的字符型数据和业务需求的格式类型输入到已经设计好的转换块中，然后由转换块内部进行转换，输出对应格式类型的数据。

105、将格式转换后的数据与对应列标识的属性名进行绑定。

将通过步骤104得到的格式转换后的数据与对应列标识的属性名进行绑定。本步骤是为了将经过格式转换后的数据根据属性名做进一步的数据整合。

本实施例提供的数据获取的方法，能够按照不同的业务需求配置的元数据信息建立业务属性名、列标识以及不同属性信息对应的格式类型的映射表，然后提取CSV中的对应于映射表中列标识对应的数据，并将提取的数据按照对应的格式类型进行转换，最后将转换后的数据与对应列标识的属性名进行绑定。与现有技术相比，本实施例通过仅仅配置业务需求的元数据信息，就能够直接从CSV文件数据中提取并转换为业务需求的数据，不需要针对不同的业务需求设计不同的数据获取的逻辑，使得数据获取的过程可以复用，减少了数据获取过程中的代码碎片，使系统更容易维护。

进一步的，作为对图1所示实施例的细化及扩展，本发明还提供了另一实施例。如图2所示，该实施例中数据获取的方法包括：

201、接收业务需求对应的元数据信息，元数据信息包括属性名、列标识以及不同属性信息对应的格式类型，其中，列标识为CSV文件中列的标识。

该步骤的实现方式与图1步骤101的实现方式相同，此处不再赘述。

202、提取游标所在的数据行中的数据。

游标是处理数据的一种方法，它提供依次以行为单位进行浏览或扫描数据，相当于一个指针。游标可以指定任何位置的数据进行处理，能够在设定游标起始位置和范围之后逐行扫描数据。

使用游标的方式处理CSV文件中的数据，不仅可以提高数据处理过程，还可以标记每次提取数据的位置，避免重复提取。具体的，本实施例中使用游标来提取CSV文件中的数据：首先扫描游标所指定的位置对应的数据行中的数据；然后依次遍历数据行中对应各个列标识的数据；根据列标识提取对应映射表中的列标识对应的数据。

203、当完成数据行中的数据提取后，将游标移动到下一数据行，并继续提取下一数据行中的数据。

完成游标所在行的数据的提取后，将游标移动到下一数据行，并继续按照步骤202中的提取CSV文件中数据的方式提取列标识对应的数据。

重复步骤203的过程，直到将CSV文件中的数据行数据处理完为止。当CSV文件中数据行数特别多的情况下，可以设置游标当前批次提取的数据范围，该范围是指对提取数据行数的限定。然后，下一批次从上次提取截止的数据行的下一行开始继续提取，直到提取完所有的数据行，每一批次提取数据的范围可以不完全相同，可以根据实际的数据行数和业务需求任意设置。

204、将提取的数据写为key-value形式的数据。

将由步骤203中提取得到的对应映射表中的列标识的数据写为key-value的形式并进行存储，比如可以存储在数据字典中。其中key对应的是列标识，value对应的是列标识对应的数据。

需要说明的是，每一个列标识对应的每个数据都与对应的列标识写为key-value的形式。当某个列标识对应的数据为空时，也需要将其写成key-value的形式，可以用“Null”或是“”来指代空值数据。

205、通过通用格式转换器将提取的数据转换为对应列标识的格式类型。

将步骤204中得到的key-value形式的数据和业务需求的格式类型输入到通用格式转换器中，按照映射表列标识对应的格式类型进行格式转换。其中数据转换的过程是将key-value形式中的数据和格式类型输入到已经设计好的通用格式转换器中，然后由通用格式转换器内部进行转换，将key-value中“value”值根据对应的“key”对应的格式类型进行转换，最后输出对应格式类型的数据。

本实施例中的通用格式转换器可以将CSV文件中的字符型数据转换为任意一种数据类型的数据，比如整型、长整型、单精度浮点型等。因此具有通用性，保证了不同业务需求的不同格式类型都可以通过通用格式转换器得到。

206、将格式转换后的数据与对应列标识的属性名进行绑定。

将通过步骤205得到的格式转换后的数据与对应列标识的属性名进行绑定。本步骤是为了将经过格式转换后的数据根据属性名做进一步的数据整合。具体的：将步骤205中得到经过格式转换的key-value形式的数据，重新按照“key”对应的列标识的属性名进行绑定，得到的结果是每一个属性与所有的该属性对应的数据进行绑定，得到表格形式的数据。

另外，本实施例相当于将CSV文件中字符型数据的某些列提取出来并还原为表格形式，而且表格中的数据是经过格式类型转换符合不同业务需求的数据。本实施例是为获取数据提供了一套通用的数据分析、数据提取、数据转换、数据绑定的过程。

为了进一步说明图2实施例中使用游标提取CSV文件中的数据并写为“key-value”形式的方法，给出示例进行说明，如下所示：

假设一个CSV文件中的数据为：

年,制造商,型号,说明,价值

1997,Ford,E350,"ac,abs,moon",3000.00

1999,Chevy,"Venture""Extended Edition""","",4900.00

1999,Chevy,"Venture""Extended Edition,Very Large""","",5000.00

1996,Jeep,"Grand Cherokee","MUST SELL！air,moon roof,loaded",4799.00

假设游标从第一行开始，依次逐行扫描，扫描的范围为3行，指定业务需求的列标识为“年”和“制造商”，则实现过程如下：

首先，游标扫描第一行数据“1997,Ford,E350,"ac,abs,moon",3000.00”，遍历所有数据，提取出列标识为“年”和“制造商”的数据为“1997”“Ford”，将其与对应的列标识写为“年-1997”“制造商-Ford”的形式。

其次，游标下移扫描第二行数据“1999,Chevy,"Venture""ExtendedEdition""","",4900.00”，提取出列标识为“年”和“制造商”的数据为“1999”“Chevy”，将其与对应的列标识写为“年-1999”“制造商-Chevy”的形式。

继续扫描第三行数据，同理得到“1999”“Chevy”，将其与对应的列标识写为“年-1999”“制造商-Chevy”的形式。因为设置的扫描范围为3行，所以结束扫描，游标停止在第三行的位置，并作为这次提取数据的一个标记，下次可以从第四行开始向下扫描数据。

最终从CSV文件中提取得到的数据为：“年-1997”“制造商-Ford”“年-1999”“制造商-Chevy”“年-1999”“制造商-Chevy”。

进一步的，作为对上述图1和图2所示方法的实现，本发明实施例另一实施例还提供了一种数据获取的装置，用于对上述图1和图2所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图3所示，该装置包括：接收单元31、建立单元32、提取单元33、转换单元34及绑定单元35。

接收单元31，用于接收业务需求对应的元数据信息，元数据信息包括属性名、列标识以及不同属性信息对应的格式类型，其中，列标识为CSV文件中列的标识；

建立单元32，用于根据元数据信息建立映射表，映射表中记录有属性名、列标识以及格式类型三者之间的对应关系；

提取单元33，用于根据映射表从CSV文件中提取对应列标识的数据；

转换单元34，用于根据映射表将提取的数据转换为对应列标识的格式类型；

绑定单元35，用于将格式转换后的数据与对应列标识的属性名进行绑定。

进一步的，如图4所示，提取单元33，包括：

提取模块331，用于提取游标所在的数据行中的数据；

移动模块332，用于当完成数据行中的数据提取后，将游标移动到下一数据行，并继续提取下一数据行中的数据。

进一步的，提取模块331用于：

依次遍历数据行中对应各个列标识的数据，提取对应映射表中的列标识的数据。

进一步的，如图4所示，装置进一步包括：

写数据单元36，用于将提取的数据写为key-value形式的数据。

进一步的，转换单元34用于：

通过通用格式转换器将提取的数据转换为对应列标识的格式类型。

本实施例提供的数据获取的装置，能够按照不同的业务需求配置的元数据信息建立业务属性名、列标识以及不同属性信息对应的格式类型的映射表，然后提取CSV中的对应于映射表中列标识对应的数据，并将提取的数据按照对应的格式类型进行转换，最后将转换后的数据与对应列标识的属性名进行绑定。与现有技术相比，本实施例通过仅仅配置业务需求的元数据信息，就能够直接从CSV文件数据中提取并转换为业务需求的数据，不需要针对不同的业务需求设计不同的数据获取的逻辑，使得数据获取的过程可以复用，减少了数据获取过程中的代码碎片，使系统更容易维护。

所述数据获取装置包括处理器和存储器，上述接收单元31、建立单元32、提取单元33、转换单元34及绑定单元35等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：接收业务需求对应的元数据信息，元数据信息包括属性名、列标识以及不同属性信息对应的格式类型，其中，列标识为逗号分隔值CSV文件中列的标识；根据元数据信息建立映射表，映射表中记录有属性名、列标识以及格式类型三者之间的对应关系；根据映射表从CSV文件中提取对应列标识的数据；根据映射表将提取的数据转换为对应列标识的格式类型；将格式转换后的数据与对应列标识的属性名进行绑定。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据获取的方法，其特征在于，所述方法包括：

接收业务需求对应的元数据信息；其中，所述元数据信息包括属性名、列标识以及不同属性信息对应的格式类型；所述列标识为逗号分隔值CSV文件中列的标识；

根据所述元数据信息建立映射表，所述映射表中记录有所述属性名、所述列标识以及所述格式类型三者之间的对应关系；

根据所述映射表从CSV文件中提取对应所述列标识的数据；

根据所述映射表将提取的数据转换为对应所述列标识的格式类型；

将格式转换后的数据与对应所述列标识的属性名进行绑定；

所述根据所述映射表从CSV文件中提取对应所述列标识的数据，包括：

提取游标所在的数据行中的数据；

当完成所述数据行中的数据提取后，将所述游标移动到下一数据行，并继续提取下一数据行中的数据。

2.根据权利要求1所述的方法，其特征在于，所述提取游标所在的数据行中的数据，包括：

依次遍历所述数据行中对应各个列标识的数据，提取对应所述映射表中的列标识的数据。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

将提取的数据写为关键字-值key-value形式的数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述映射表将提取的数据转换为对应所述列标识的格式类型，包括：

通过通用格式转换器将提取的数据转换为对应所述列标识的格式类型。

5.一种数据获取的装置，其特征在于，所述装置包括：

接收单元，用于接收业务需求对应的元数据信息，所述元数据信息包括属性名、列标识以及不同属性信息对应的格式类型，其中，所述列标识为CSV文件中列的标识；

建立单元，用于根据所述元数据信息建立映射表，所述映射表中记录有所述属性名、所述列标识以及所述格式类型三者之间的对应关系；

提取单元，用于根据所述映射表从CSV文件中提取对应所述列标识的数据；

转换单元，用于根据所述映射表将提取的数据转换为对应所述列标识的格式类型；

绑定单元，用于将格式转换后的数据与对应所述列标识的属性名进行绑定；

所述提取单元，包括：

提取模块，用于提取游标所在的数据行中的数据；

移动模块，用于当完成所述数据行中的数据提取后，将所述游标移动到下一数据行，并继续提取下一数据行中的数据。

6.根据权利要求5所述的装置，其特征在于，所述提取模块用于：

依次遍历所述数据行中对应各个列标识的数据，提取对应所述映射表中的列标识的数据。

7.根据权利要求5所述的装置，其特征在于，所述装置进一步包括：

写数据单元，用于将提取的数据写为key-value形式的数据。

8.根据权利要求5所述的装置，其特征在于，所述转换单元用于：

通过通用格式转换器将提取的数据转换为对应所述列标识的格式类型。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任意一项所述的数据获取的方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求4中任意一项所述的数据获取的方法。

Images