CN106294862A - 一种数据读取方法及装置 - Google Patents

一种数据读取方法及装置 Download PDF

Info

Publication number
CN106294862A
CN106294862A CN201610707930.XA CN201610707930A CN106294862A CN 106294862 A CN106294862 A CN 106294862A CN 201610707930 A CN201610707930 A CN 201610707930A CN 106294862 A CN106294862 A CN 106294862A
Authority
CN
China
Prior art keywords
data
unit row
row data
target
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610707930.XA
Other languages
English (en)
Other versions
CN106294862B (zh
Inventor
江滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Tvmining Juyuan Media Technology Co Ltd
Original Assignee
Wuxi Tvmining Juyuan Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Tvmining Juyuan Media Technology Co Ltd filed Critical Wuxi Tvmining Juyuan Media Technology Co Ltd
Priority to CN201610707930.XA priority Critical patent/CN106294862B/zh
Publication of CN106294862A publication Critical patent/CN106294862A/zh
Application granted granted Critical
Publication of CN106294862B publication Critical patent/CN106294862B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Character Input (AREA)

Abstract

本发明公开了一种数据读取方法及装置。所述方法包括:从数据库中读取单位行数据;在所述单位行数据的末尾位置添加N个预设字符,获得目标单位行数据,所述N为正整数;判断所述目标单位行数据的总长度是否满足预设条件;当所述目标单位行数据的总长度满足所述预设条件时,读取所述单位行数据中的目标数据进行处理。该技术方案使得在读取数据时无需再对单位行数据的字符长度进行多次重复性的判断,而只需在添加预设字符之后判断一次,即可确定是否从单位行数据中读取数据,在很大程度上节省了数据读取过程中的繁琐步骤,提高了数据读取的效率。

Description

一种数据读取方法及装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据读取方法及装置。
背景技术
在数据库的一些行数据的末尾,包括有以下三项数据:经度、维度以及半径,而也有一些行数据的末尾不存在这三项数据,这就使得每行数据的字段长度无法确定,例如,当行数据的末尾包括上述三项数据时,其字段长度为23,当行数据的末尾不包括上述三项数据时,其字段长度为20,从而造成读取数据时的不便。
现有技术中,在读取数据时,需首先判断行数据的字段长度是否等于23,如果等于则把最后三项数据进行验证;如果不等于并且数组的字段长度大于等于20且小于23,则重新创建一个字段长度等于23的新数组、然后把之前数组的数据都放入到新数组里面,再给差的位置上补上空字符串;如果是数组的字段长度小于20则判断该数据有问题,丢弃。可见,整个数据读取过程需要多次对数组长度进行判断,执行起来十分繁琐。
发明内容
本发明实施例提供一种数据读取方法及装置,用于提高数据读取的效率。
一种数据读取方法,包括以下步骤:
从数据库中读取单位行数据;
在所述单位行数据的末尾位置添加N个预设字符,获得目标单位行数据,所述N为正整数;
判断所述目标单位行数据的总长度是否满足预设条件;
当所述目标单位行数据的总长度满足所述预设条件时,读取所述单位行数据中的目标数据进行处理。
在一个实施例中,所述预设字符包括水平制表符和/或空格。
在一个实施例中,所述判断所述目标单位行数据的总长度是否满足预设条件,包括:
将所述目标单位行数据分隔为由多个字段组成的字符串数组,其中,每个字段对应所述字符串数组中的一个元素;
判断所述字符串数组中的字段总数是否大于或等于预设阈值;
当所述字符串数组中的字段总数大于或等于所述预设阈值时,确定所述目标单位行数据的总长度满足所述预设条件。
在一个实施例中,所述读取所述单位行数据中的目标数据进行处理,包括:
获取所述字符串数据的数组下标;
根据所述数组下标确定待处理的目标数据;
从所述单位行数据中读取所述目标数据进行处理。
在一个实施例中,所述方法还包括:
当所述字符串数组的字段总数小于所述预设阈值时,丢弃所述单位行数据。
一种数据读取装置,包括:
第一读取模块,用于从数据库中读取单位行数据;
添加模块,用于在所述单位行数据的末尾位置添加N个预设字符,获得目标单位行数据,所述N为正整数;
判断模块,用于判断所述目标单位行数据的总长度是否满足预设条件;
第二读取模块,用于当所述目标单位行数据的总长度满足所述预设条件时,读取所述单位行数据中的目标数据进行处理。
在一个实施例中,所述预设字符包括水平制表符和/或空格。
在一个实施例中,所述判断模块包括:
分隔单元,用于将所述目标单位行数据分隔为由多个字段组成的字符串数组,其中,每个字段对应所述字符串数组中的一个元素;
判断单元,用于判断所述字符串数组中的字段总数是否大于或等于预设阈值;
第一确定单元,用于当所述字符串数组中的字段总数大于或等于所述预设阈值时,确定所述目标单位行数据的总长度满足所述预设条件。
在一个实施例中,所述第二读取模块包括:
获取单元,用于获取所述字符串数据的数组下标;
第二确定单元,用于根据所述数组下标确定待处理的目标数据;
读取单元,用于从所述单位行数据中读取所述目标数据进行处理。
在一个实施例中,所述装置还包括:
丢弃模块,用于当所述字符串数组的字段总数小于所述预设阈值时,丢弃所述单位行数据。
本发明实施例的一些有益效果可以包括:
采用本发明实施例提供的技术方案,通过在单位行数据的末尾位置添加预设字符,然后判断添加有预设字符的目标单位行数据的总长度是否满足预设条件,并在满足预设条件时读取数据,使得在读取数据时无需再对单位行数据的字符长度进行多次重复性的判断,而只需在添加预设字符之后判断一次,即可确定是否从单位行数据中读取数据,在很大程度上节省了数据读取过程中的繁琐步骤,提高了数据读取的效率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种数据读取方法的流程图;
图2为本发明实施例中一种数据读取方法中步骤S13的流程图;
图3为本发明一具体实施例中一种数据读取方法的流程图;
图4为本发明一具体实施例中一种数据读取装置的框图;
图5为本发明一具体实施例中一种数据读取装置中判断模块的框图;
图6为本发明一具体实施例中一种数据读取装置中第二读取模块的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1为本发明实施例中一种数据读取方法的流程图。如图1所示,该方法包括以下步骤S11-S14:
步骤S11,从数据库中读取单位行数据。
步骤S12,在单位行数据的末尾位置添加N个预设字符,获得目标单位行数据。
其中,N为正整数,预设字符包括水平制表符“\t”和/或空格。在通常情况下,由于一些单位行数据的末尾包括有以下三项数据:经度、维度以及半径,而也有一些单位行数据的末尾不存在这三项数据,因此,为便于准确判断单位行数据的可读性,可将N设定为3,例如,预设字符为水平制表符“\t”,则可在单位行数据的末尾位置添加3个“\t”。
步骤S13,判断目标单位行数据的总长度是否满足预设条件。
步骤S14,当目标单位行数据的总长度满足预设条件时,读取单位行数据中的目标数据进行处理。
在一个实施例中,执行步骤S13之后,如果判定目标单位行数据的总长度不满足预设条件,则说明单位行数据不具有可读性,可直接丢弃对应的单位行数据。
在一个实施例中,如图2所示,步骤S13可实施为以下步骤S21-S24:
步骤S21,将目标单位行数据分隔为由多个字段组成的字符串数组,其中,每个字段对应字符串数组中的一个元素。
例如,用水平制表符“\t”将目标单位行数据分隔为由多个字段组成的字符串数组。
步骤S22,判断字符串数组中的字段总数是否大于或等于预设阈值;当字符串数组中的字段总数大于或等于预设阈值时,执行步骤S23;当字符串数组中的字段总数小于预设阈值时,执行步骤S24。
其中,预设阈值的值可设定为包括有经度、维度以及半径的单位行数据的字段长度。
步骤S23,确定目标单位行数据的总长度满足预设条件。
步骤S24,确定目标单位行数据的总长度不满足预设条件。
在一个实施例中,步骤S14可实施为以下步骤:首先,获取字符串数据的数组下标;然后,根据数组下标确定待处理的目标数据;最后,从单位行数据中读取目标数据进行处理。
图3为本发明一具体实施例中一种数据读取方法的流程图。在该具体实施例中,假设包括经度、维度以及半径的单位行数据的字段长度为23,而不包括经度、维度以及半径的单位行数据的字段长度为20,此时,上述实施例中的预设阈值为23。如图3所示,该方法包括以下步骤S31-S37:
步骤S31,从数据库中读取单位行数据。
步骤S32,在单位行数据的末尾位置添加3个水平制表符“\t”,获得目标单位行数据。
步骤S33,使用水平制表符“\t”将目标单位行数据分隔为由多个字段组成的字符串数组;其中,每个字段对应字符串数组中的一个元素。
步骤S34,判断字符串数组中的字段总数是否大于或等于23。如果字符串数组中的字段总数大于或等于23,则执行步骤S35;如果字符串数组中的字段总数小于23,则执行步骤S37。
步骤S35,确定目标单位行数据的总长度满足预设条件。
步骤S36,根据字符串数据的数组下标读取单位行数据中的数据进行处理。
步骤S37,确定目标单位行数据的总长度不满足预设条件,并丢弃该目标单位行数据。
上述任一实施例中的数据读取方法可达到以下有益效果:
采用本发明实施例提供的技术方案,通过在单位行数据的末尾位置添加预设字符,然后判断添加有预设字符的目标单位行数据的总长度是否满足预设条件,并在满足预设条件时读取数据,使得在读取数据时无需再对单位行数据的字符长度进行多次重复性的判断,而只需在添加预设字符之后判断一次,即可确定是否从单位行数据中读取数据,在很大程度上节省了数据读取过程中的繁琐步骤,提高了数据读取的效率。
图4为本发明实施例中一种数据读取装置的框图。如图4所示,该装置包括:
第一读取模块41,用于从数据库中读取单位行数据;
添加模块42,用于在单位行数据的末尾位置添加N个预设字符,获得目标单位行数据,N为正整数;
判断模块43,用于判断目标单位行数据的总长度是否满足预设条件;
第二读取模块44,用于当目标单位行数据的总长度满足预设条件时,读取单位行数据中的目标数据进行处理。
在一个实施例中,预设字符包括水平制表符和/或空格。
在一个实施例中,如图5所示,判断模块43包括:
分隔单元431,用于将目标单位行数据分隔为由多个字段组成的字符串数组,其中,每个字段对应字符串数组中的一个元素;
判断单元432,用于判断字符串数组中的字段总数是否大于或等于预设阈值;
第一确定单元433,用于当字符串数组中的字段总数大于或等于预设阈值时,确定目标单位行数据的总长度满足预设条件。
在一个实施例中,如图6所示,第二读取模块44包括:
获取单元441,用于获取字符串数据的数组下标;
第二确定单元442,用于根据数组下标确定待处理的目标数据;
读取单元443,用于从单位行数据中读取目标数据进行处理。
在一个实施例中,上述装置还包括:
丢弃模块,用于当字符串数组的字段总数小于预设阈值时,丢弃单位行数据。
采用本发明实施例提供的装置,通过在单位行数据的末尾位置添加预设字符,然后判断添加有预设字符的目标单位行数据的总长度是否满足预设条件,并在满足预设条件时读取数据,使得在读取数据时无需再对单位行数据的字符长度进行多次重复性的判断,而只需在添加预设字符之后判断一次,即可确定是否从单位行数据中读取数据,在很大程度上节省了数据读取过程中的繁琐步骤,提高了数据读取的效率。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据读取方法,其特征在于,包括:
从数据库中读取单位行数据;
在所述单位行数据的末尾位置添加N个预设字符,获得目标单位行数据,所述N为正整数;
判断所述目标单位行数据的总长度是否满足预设条件;
当所述目标单位行数据的总长度满足所述预设条件时,读取所述单位行数据中的目标数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述预设字符包括水平制表符和/或空格。
3.根据权利要求1所述的方法,其特征在于,所述判断所述目标单位行数据的总长度是否满足预设条件,包括:
将所述目标单位行数据分隔为由多个字段组成的字符串数组,其中,每个字段对应所述字符串数组中的一个元素;
判断所述字符串数组中的字段总数是否大于或等于预设阈值;
当所述字符串数组中的字段总数大于或等于所述预设阈值时,确定所述目标单位行数据的总长度满足所述预设条件。
4.根据权利要求1所述的方法,其特征在于,所述读取所述单位行数据中的目标数据进行处理,包括:
获取所述字符串数据的数组下标;
根据所述数组下标确定待处理的目标数据;
从所述单位行数据中读取所述目标数据进行处理。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述字符串数组的字段总数小于所述预设阈值时,丢弃所述单位行数据。
6.一种数据读取装置,其特征在于,包括:
第一读取模块,用于从数据库中读取单位行数据;
添加模块,用于在所述单位行数据的末尾位置添加N个预设字符,获得目标单位行数据,所述N为正整数;
判断模块,用于判断所述目标单位行数据的总长度是否满足预设条件;
第二读取模块,用于当所述目标单位行数据的总长度满足所述预设条件时,读取所述单位行数据中的目标数据进行处理。
7.根据权利要求6所述的装置,其特征在于,所述预设字符包括水平制表符和/或空格。
8.根据权利要求6所述的装置,其特征在于,所述判断模块包括:
分隔单元,用于将所述目标单位行数据分隔为由多个字段组成的字符串数组,其中,每个字段对应所述字符串数组中的一个元素;
判断单元,用于判断所述字符串数组中的字段总数是否大于或等于预设阈值;
第一确定单元,用于当所述字符串数组中的字段总数大于或等于所述预设阈值时,确定所述目标单位行数据的总长度满足所述预设条件。
9.根据权利要求6所述的装置,其特征在于,所述第二读取模块包括:
获取单元,用于获取所述字符串数据的数组下标;
第二确定单元,用于根据所述数组下标确定待处理的目标数据;
读取单元,用于从所述单位行数据中读取所述目标数据进行处理。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
丢弃模块,用于当所述字符串数组的字段总数小于所述预设阈值时,丢弃所述单位行数据。
CN201610707930.XA 2016-08-23 2016-08-23 一种数据读取方法及装置 Expired - Fee Related CN106294862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610707930.XA CN106294862B (zh) 2016-08-23 2016-08-23 一种数据读取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610707930.XA CN106294862B (zh) 2016-08-23 2016-08-23 一种数据读取方法及装置

Publications (2)

Publication Number Publication Date
CN106294862A true CN106294862A (zh) 2017-01-04
CN106294862B CN106294862B (zh) 2019-09-24

Family

ID=57615724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610707930.XA Expired - Fee Related CN106294862B (zh) 2016-08-23 2016-08-23 一种数据读取方法及装置

Country Status (1)

Country Link
CN (1) CN106294862B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4688035A (en) * 1983-11-28 1987-08-18 International Business Machines Corp. End user data stream syntax
CN101252524A (zh) * 2008-04-08 2008-08-27 华为技术有限公司 一种报文传输的方法、系统和装置
WO2008111019A3 (en) * 2007-03-15 2008-11-06 Nokia Corp Apparatus, computer program product, and methods for flexible data unit segmentation and arrangement
CN101494531A (zh) * 2009-02-24 2009-07-29 华为技术有限公司 调整滑动窗口的方法和装置
CN102790659A (zh) * 2012-07-18 2012-11-21 福建先创通信有限公司 一种移动通信系统中数据包的传输方法
CN103001958A (zh) * 2012-11-27 2013-03-27 北京百度网讯科技有限公司 异常tcp报文处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4688035A (en) * 1983-11-28 1987-08-18 International Business Machines Corp. End user data stream syntax
WO2008111019A3 (en) * 2007-03-15 2008-11-06 Nokia Corp Apparatus, computer program product, and methods for flexible data unit segmentation and arrangement
CN101252524A (zh) * 2008-04-08 2008-08-27 华为技术有限公司 一种报文传输的方法、系统和装置
CN101494531A (zh) * 2009-02-24 2009-07-29 华为技术有限公司 调整滑动窗口的方法和装置
CN102790659A (zh) * 2012-07-18 2012-11-21 福建先创通信有限公司 一种移动通信系统中数据包的传输方法
CN103001958A (zh) * 2012-11-27 2013-03-27 北京百度网讯科技有限公司 异常tcp报文处理方法及装置

Also Published As

Publication number Publication date
CN106294862B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN109994155B (zh) 一种基因变异识别方法、装置和存储介质
CN109033772B (zh) 一种验证信息的输入方法及装置
CN108985066A (zh) 一种智能合约安全漏洞检测方法、装置、终端及存储介质
CN109783388A (zh) Ui自动化测试方法、装置及电子设备
CN104850489B (zh) 移动应用测试系统
CN109979530B (zh) 一种基因变异识别方法、装置和存储介质
US20210151124A1 (en) Genetic variation identification method, genetic variation identification apparatuses, and storage medium
CN107622008A (zh) 一种应用页面的遍历方法和装置
CN107133190A (zh) 一种机器学习系统的训练方法和训练系统
CN109145981A (zh) 深度学习自动化模型训练方法及设备
CN108664471A (zh) 文字识别纠错方法、装置、设备及计算机可读存储介质
CN112527676A (zh) 模型自动化测试方法、装置及存储介质
CN115391439A (zh) 文档数据导出方法、装置、电子设备和存储介质
CN106649210A (zh) 一种数据转换方法及装置
CN110580171A (zh) App分类方法、相关装置及产品
CN109582549A (zh) 一种设备类型的识别方法及装置
CN109597982A (zh) 摘要文本识别方法及装置
US8055470B2 (en) Simulated bucket testing
CN103885977A (zh) 一种网页数据的分类方法、装置和系统
CN112905451B (zh) 应用程序的自动化测试方法及装置
CN114692889A (zh) 用于机器学习算法的元特征训练模型
CN113722894A (zh) 一种基于模型简化的火灾蔓延模拟加速方法及系统
CN111597336B (zh) 训练文本的处理方法、装置、电子设备及可读存储介质
CN106202374A (zh) 一种数据处理方法及装置
CN106294862A (zh) 一种数据读取方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A data reading method and device

Effective date of registration: 20210104

Granted publication date: 20190924

Pledgee: Inner Mongolia Huipu Energy Co.,Ltd.

Pledgor: WUXI TVMINING MEDIA SCIENCE & TECHNOLOGY Co.,Ltd.

Registration number: Y2020990001517

PE01 Entry into force of the registration of the contract for pledge of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190924

Termination date: 20210823

CF01 Termination of patent right due to non-payment of annual fee