CN106294376B - 数据处理方法和装置 - Google Patents

数据处理方法和装置 Download PDF

Info

Publication number
CN106294376B
CN106294376B CN201510250830.4A CN201510250830A CN106294376B CN 106294376 B CN106294376 B CN 106294376B CN 201510250830 A CN201510250830 A CN 201510250830A CN 106294376 B CN106294376 B CN 106294376B
Authority
CN
China
Prior art keywords
data
preview
query result
export
concentrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510250830.4A
Other languages
English (en)
Other versions
CN106294376A (zh
Inventor
相利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201510250830.4A priority Critical patent/CN106294376B/zh
Publication of CN106294376A publication Critical patent/CN106294376A/zh
Application granted granted Critical
Publication of CN106294376B publication Critical patent/CN106294376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法和装置。其中,该方法包括:对目标数据库执行数据查询;将执行数据查询得到的数据存储在数据查询结果集中;将数据查询结果集中的数据添加至预览数据存储器;通过调用预览数据存储器中的数据执行数据预览,得到预览数据;将预览数据添加至导出数据存储器;以及通过导出数据存储器执行数据导出,得到导出数据。本发明解决了现有技术执行两次查询实现数据库导出数据过程中预览导出数据的技术问题。

Description

数据处理方法和装置
技术领域
本发明涉及数据库领域,具体而言,涉及一种数据处理方法和装置。
背景技术
随着大数据时代的到来,提高数据处理效率已经成为了关键问题。由于实际情况的需求,从数据库中导出数据时往往需要对导出数据进行预览。为了实现从数据库中导出数据时预览导出数据,现有技术采用分两个线程分别执行两次查询操作的方法,即数据导出线程用于实现从数据库中导出数据,数据预览线程用于实现预览导出数据,其中,数据导出线程对对查询结果的数量没有限制,数据预览线程对查询结果的数量有限制。对于提供数据查询的数据库而言,执行了两次功能相同的查询操作,这两次查询操作的区别仅在于数据预览线程对应的查询只获取了部分查询结果。现有技术实现从数据库中导出数据时预览导出数据所采用的方法做了重复查询工作,降低了数据处理效率,浪费了数据资源。
针对现有技术执行两次查询实现数据库导出数据过程中预览导出数据的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法和装置,以至少解决现有技术执行两次查询实现数据库导出数据过程中预览导出数据的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法,包括:对目标数据库执行数据查询;将执行数据查询得到的数据存储在数据查询结果集中;将数据查询结果集中的数据添加至预览数据存储器;通过调用预览数据存储器中的数据执行数据预览,得到预览数据;将预览数据添加至导出数据存储器;以及通过导出数据存储器执行数据导出,得到导出数据。
进一步地,将数据查询结果集中的数据添加至预览数据存储器包括:遍历数据查询结果集,逐条读取数据;每读取一条数据查询结果集中的数据,将读取到的数据查询结果集中的数据添加至预览数据存储器中,并判断数据查询结果集中是否存在未读取数据,其中,当判断出数据查询结果集中不存在未读取数据时,执行调用预览数据存储器中的数据执行数据预览,得到预览数据。
进一步地,在判断数据查询结果集中是否存在未读取数据之后,该数据处理方法还包括:如果判断出数据查询结果集中存在未读取数据,判断预览数据存储器中的数据量是否达到预设预览数据量;如果判断出预览数据存储器中的数据量未达到预设预览数据量,继续从数据查询结果集中读取数据;以及如果判断出预览数据存储器中的数据量达到预设预览数据量,执行将预览数据添加至导出数据存储器。
进一步地,在将预览数据添加至导出数据存储器之后,该数据处理方法还包括:判断数据查询结果集中是否存在未读取数据;如果判断出数据查询结果集中存在未读取数据,继续从数据查询结果集中读取数据添加至导出数据存储器中;以及如果判断出数据查询结果集中不存在未读取数据,通过导出数据存储器执行数据导出,得到导出数据。
进一步地,导出数据包括:当数据查询结果集中的数据量小于预设预览数据量时,导出数据包括预览数据;以及当数据查询结果集中的数据量大于预设预览数据量时,导出数据包括预览数据和数据查询结果集中预设预览数据量之外的数据。
进一步地,数据查询结果集中还包括标识符,其中,一个标识符对应一条数据,将数据查询结果集中的数据添加至预览数据存储器包括:确定待预览标识符;从数据查询结果集中筛选出待预览标识符对应的数据;以及将待预览标识符对应的数据添加至预览数据存储器中。
根据本发明实施例的另一方面,还提供了一种数据处理装置,包括:查询模块,用于对目标数据库执行数据查询;存储模块,用于将执行数据查询得到的数据存储在数据查询结果集中;第一添加模块,用于将数据查询结果集中的数据添加至预览数据存储器;预览模块,用于通过调用预览数据存储器中的数据执行数据预览,得到预览数据;第二添加模块,用于将预览数据添加至导出数据存储器;以及导出模块,用于通过导出数据存储器执行数据导出,得到导出数据。
进一步地,第一添加模块包括:第一读取模块,用于遍历数据查询结果集,逐条读取数据;第一判断模块,用于每读取一条数据查询结果集中的数据,将读取到的数据查询结果集中的数据添加至预览数据存储器中,并判断数据查询结果集中是否存在未读取数据,第一执行模块,用于当判断出数据查询结果集中不存在未读取数据时,执行调用预览数据存储器中的数据执行数据预览,得到预览数据。
进一步地,该数据处理装置还包括:第二判断模块,用于当判断出数据查询结果集中存在未读取数据时,判断预览数据存储器中的数据量是否达到预设预览数据量;第二读取模块,用于当判断出预览数据存储器中的数据量未达到预设预览数据量时,继续从数据查询结果集中读取数据;以及第二执行模块,用于当判断出预览数据存储器中的数据量达到预设预览数据量时,执行将预览数据添加至导出数据存储器。
进一步地,该数据处理装置还包括:第三判断模块,用于判断数据查询结果集中是否存在未读取数据;第三读取模块,用于当判断出数据查询结果集中存在未读取数据时,继续从数据查询结果集中读取数据添加至导出数据存储器中;以及第三执行模块,用于当判断出数据查询结果集中不存在未读取数据时,通过导出数据存储器执行数据导出,得到导出数据。
进一步地,数据查询结果集中还包括标识符,其中,一个标识符对应一条数据,第一添加模块包括:确定模块,用于确定待预览标识符;筛选模块,用于从数据查询结果集中筛选出待预览标识符对应的数据;以及第一添加子模块,用于将待预览标识符对应的数据添加至预览数据存储器中。
为了实现上述目的,根据本发明的另一方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的数据处理方法。
为了实现上述目的,根据本发明的另一方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的数据处理方法。
在本发明实施例中,采用数据查询结果集复用的方式,通过对目标数据库执行一次数据查询,在完成导出数据之前进行数据预览,达到了通过一次数据查询实现导出数据的同时对导出数据进行预览的目的,从而实现了提高数据处理效率的技术效果,进而解决了现有技术执行两次查询实现数据库导出数据过程中预览导出数据的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明第一实施例的数据处理方法的流程图;
图2是根据本发明第二实施例的数据处理方法的流程图;以及
图3是根据本发明实施例的数据处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种数据处理方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明第一实施例的数据处理方法的流程图,如图1所示,该数据处理方法包括如下步骤:
步骤S102,对目标数据库执行数据查询。
步骤S104,将执行数据查询得到的数据存储在数据查询结果集中。
对目标数据库执行数据查询之前,根据实际需求确定查询条件,按照查询条件对目标数据库执行查询,并将执行数据查询得到的数据存储在数据查询结果集中。其中,数据查询结果集用于存储执行数据查询得到的数据,数据查询结果集可以是一个数据表,也可以是其他用于存储数据的存储容器。
按照查询条件进行数据查询得到的数据可以有一条,也可以有多条,即目标数据库中符合查询条件的数据可以有一条,也可以有多条。数据查询结果集用于存储执行数据查询得到的数据,所以,数据查询结果集中存储的数据可以有一条,也可以有多条。可选地,数据查询结果集中还包括标识符,标识符主要用于标识数据,其中,一个标识符对应一条数据。标识符可以根据需求设定,比如用每条数据的行号作为标识符。
步骤S106,将数据查询结果集中的数据添加至预览数据存储器。
步骤S108,通过调用预览数据存储器中的数据执行数据预览,得到预览数据。
在按照查询条件执行数据查询,并将执行数据查询得到的数据存储至数据查询结果集中之后,遍历数据查询结果集,逐条读取数据;每读取一条数据查询结果集中的数据,将读取到的数据查询结果集中的数据添加至预览数据存储器中,其中,通过调用预览数据存储器中的数据执行数据预览,得到预览数据。
可选地,每读取一条数据查询结果集中的数据进行一次判断数据查询结果集中是否存在未读取数据,如果判断出数据查询结果集中不存在未读取数据,执行调用预览数据存储器中的数据执行数据预览,得到预览数据。如果判断出数据查询结果集中存在未读取数据,判断预览数据存储器中的数据量是否达到预设预览数据量,其中,如果判断出预览数据存储器中的数据量未达到预设预览数据量,继续从数据查询结果集中读取数据,并将读取到的数据添加至预览数据存储器中;如果判断出预览数据存储器中的数据量达到预设预览数据量,则首先调用预览数据存储器中的数据执行数据预览,得到预览数据,然后再将预览数据存储器中的存储的数据添加至导出数据存储器。其中,此处将将预览数据存储器中的存储的数据添加至导出数据存储器可以是将预览数据存储器中的存储的数据进行复制,将复制数据添加至导出数据存储器,也可以是在调用预览数据存储器中的数据执行数据预览之后,将预览数据存储器中的存储的数据直接添加至导出数据存储器。
可选地,该实施例的数据处理方法可以将需要预览的数据添加至预览数据存储器中。具体包括:确定待预览标识符;从数据查询结果集中筛选出待预览标识符对应的数据;以及将待预览标识符对应的数据添加至预览数据存储器中。待预览标识符为数据查询结果集中待预览数据对应的标识符,其中,标识符可以是待预览数据所在行的标号,也可以是其他能够标识该待预览数据的标识符,比如数据类别、数据大小等。根据实际预览需求,会存在需要预览数据查询结果集中的部分数据的情况,此时,该实施例的数据处理方法可以根据待预览数据对应的标识符,即待预览标识符从数据查询结果集中进行查找,并将查找到的数据添加至预览数据存储器中。
步骤S110,将预览数据添加至导出数据存储器。
步骤S112,通过导出数据存储器执行数据导出,得到导出数据。
在将预览数据添加至导出数据存储器之后,该实施例的数据处理方法还包括:判断数据查询结果集中是否存在未读取数据;如果判断出数据查询结果集中存在未读取数据,继续从数据查询结果集中读取数据添加至导出数据存储器中;以及如果判断出数据查询结果集中不存在未读取数据,通过导出数据存储器执行数据导出,得到导出数据。
该实施例的数据处理方法中的预设预览数据量为预览数据存储器的最大存储容量。预览数据存储器中存储的数据为预览数据,通过调用预览数据存储器中的数据进行数据预览,得到预览数据。其中,预览数据包括:当数据查询结果集中的数据量小于预设预览数据量时,数据查询结果集中的数据可以全部添加至预览数据存储器中,即预览数据存储器中存储的预览数据为数据查询结果集中的全部数据。当数据查询结果集中的数据量大于预设预览数据量时,预览数据存储器中存储有数据查询结果集中的预设预览数据量的数据,即预览数据的数据量为预设预览数据量。在预览数据存储器中存储的数据量达到预设预览数据量之后,通过调用预览数据存储器中的数据执行数据预览,得到预览数据,然后将预览数据存储器中的数据添加至导出数据存储器。由于数据查询结果集中的数据还有剩余,且预览数据已经达到预设预览数据量,故数据查询结果集中的除预设预览数据量之外的数据无需再添加至预览数据存储器,而是直接添加至导出数据存储器中。
该实施例的数据处理方法中的导出数据存储器用于存储导出数据,通过调用导出数据存储器执行数据导出,得到导出数据。其中,导出数据包括:当数据查询结果集中的数据量小于预设预览数据量时,将数据查询结果集中的全部数据添加至预览数据存储器中,然后将预览数据存储器中的数据添加至导出数据存储器中,此时,导出数据和预览数据一样。当数据查询结果集中的数据量大于预设预览数据量时,将数据查询结果集中的预设预览数据量的数据添加至预览数据存储器中,然后将预览数据存储器中的预览数据添加至导出数据存储器中且将数据查询结果集中预设预览数据量之外的数据添加至导出数据存储器中,此时,导出数据包括预览数据和数据查询结果集中除预设预览数据量之外的数据。
该实施例的数据处理方法中的预览数据存储器和导出数据存储器均用于存储数据,且预览数据存储器和导出数据存储器存储数据的方式可以是缓存,也可以是永久性存储。
该实施例的数据处理方法通过上述步骤,采用对目标数据库执行数据查询;将执行数据查询得到的数据存储在数据查询结果集中;将数据查询结果集中的数据添加至预览数据存储器;通过调用预览数据存储器中的数据执行数据预览,得到预览数据;将预览数据添加至导出数据存储器;以及通过导出数据存储器执行数据导出,得到导出数据,实现了执行一次数据查询使得在导出数据之前对导出数据进行预览的目的,解决了现有技术执行两次查询实现数据库导出数据过程中预览导出数据的问题,达到了提高数据处理效率的效果。
图2是根据本发明第二实施例的数据处理方法的流程图,如图2所示,该数据处理方法包括如下步骤:
步骤S201,对目标数据库执行数据查询。
步骤S202,将执行数据查询得到的数据存储在数据查询结果集中。
步骤S203,从数据查询结果集中读取一条数据。
步骤S204,将读取到的数据添加至预览数据存储器。
步骤S205,判断数据查询结果集中是否存在未读取数据。如果判断出数据查询结果集中存在未读取数据,执行步骤S206;如果判断出数据查询结果集中不存在未读取数据,执行步骤S207和步骤S208,即通过调用预览数据存储器中的数据执行数据预览的同时将预览数据存储器中的数据添加至导出数据存储器中。
步骤S206,判断数据预览存储器中的数据是否达到预设预览数据量。如果判断出数据预览存储器中的数据达到预设预览数据量,执行步骤S209和步骤S207;如果判断出数据预览存储器中的数据未达到预设预览数据量,执行步骤S203。
步骤S207,调用预览数据存储器中的数据执行数据预览,得到预览数据。
步骤S208,将预览数据添加至导出数据存储器中,执行步骤S213。
步骤S209,将预览数据存储器中的预设预览数据量的数据添加至导出数据存储器中。
步骤S210,继续从数据查询结果集中读取数据。
步骤S211,将读取到的数据添加至导出数据存储器中。
步骤S212,判断数据查询结果集中是否存在未读取数据。如果判断出数据查询结果集中存在未读取数据,返回步骤S210;如果判断出数据查询结果集中不存在未读取数据,执行步骤S213。
步骤S213,通过导出数据存储器执行数据导出,得到导出数据。
该实施例的数据处理方法通过执行一次数据查询获取数据查询结果集,对数据查询结果集进行复用,实现在导出数据的之前对导出数据进行预览。通过该实施例的数据处理方法解决了现有技术执行两次查询实现数据库导出数据过程中预览导出数据的问题,达到了提高数据处理效率的效果。
为了实现上述目的,根据本发明的另一方面,本发明实施例还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的数据处理方法。
为了实现上述目的,根据本发明的另一方面,本发明实施例还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的数据处理方法。
根据本发明实施例,提供了一种数据处理装置实施例,需要说明的是,该数据处理装置可以用于执行本发明实施例的数据处理方法。
图3是根据本发明实施例的数据处理装置的示意图,如图3所示,该数据处理装置包括:查询模块10,存储模块20,第一添加模块30,预览模块40,第二添加模块50和导出模块60。
查询模块10,用于对目标数据库执行数据查询。
存储模块20,用于将执行数据查询得到的数据存储在数据查询结果集中。
第一添加模块30,用于将数据查询结果集中的数据添加至预览数据存储器。
可选地,第一添加模块30包括:第一读取模块,用于遍历数据查询结果集,逐条读取数据;第一判断模块,用于每读取一条数据查询结果集中的数据,将读取到的数据查询结果集中的数据添加至预览数据存储器中,并判断数据查询结果集中是否存在未读取数据,第一执行模块,用于当判断出数据查询结果集中不存在未读取数据时,执行调用预览数据存储器中的数据执行数据预览,得到预览数据。
可选地,该实施例的数据处理装置还可以包括:第二判断模块,用于当判断出数据查询结果集中存在未读取数据时,判断预览数据存储器中的数据量是否达到预设预览数据量;第二读取模块,用于当判断出预览数据存储器中的数据量未达到预设预览数据量时,继续从数据查询结果集中读取数据;以及第二执行模块,用于当判断出预览数据存储器中的数据量达到预设预览数据量时,执行将预览数据添加至导出数据存储器。
可选地,数据查询结果集中还包括标识符,其中,一个标识符对应一条数据,第一添加模块30包括:确定模块,用于确定待预览标识符;筛选模块,用于从数据查询结果集中筛选出待预览标识符对应的数据;以及第一添加子模块,用于将待预览标识符对应的数据添加至预览数据存储器中。
预览模块40,用于通过调用预览数据存储器中的数据执行数据预览,得到预览数据。
第二添加模块50,用于将预览数据添加至导出数据存储器。
可选地,该实施例的数据处理装置还可以包括:第三判断模块,用于判断数据查询结果集中是否存在未读取数据;第三读取模块,用于当判断出数据查询结果集中存在未读取数据时,继续从数据查询结果集中读取数据添加至导出数据存储器中;以及第三执行模块,用于当判断出数据查询结果集中不存在未读取数据时,通过导出数据存储器执行数据导出,得到导出数据。
导出模块60,用于通过导出数据存储器执行数据导出,得到导出数据。
该实施例的数据处理装置包括查询模块10,存储模块20,第一添加模块30,预览模块40,第二添加模块50和导出模块60。通过该实施例的数据处理装置解决了现有技术执行两次查询实现数据库导出数据过程中预览导出数据的问题,通过执行一次数据查询实现了从数据库中导出数据之前对导出数据进行预览,达到了提高数据处理效率的效果。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种数据处理方法,其特征在于,包括:
对目标数据库执行数据查询;
将执行数据查询得到的数据存储在数据查询结果集中;
将所述数据查询结果集中的数据添加至预览数据存储器;
通过调用所述预览数据存储器中的数据执行数据预览,得到预览数据;
将所述预览数据添加至导出数据存储器;以及
通过所述导出数据存储器执行数据导出,得到导出数据;
其中,所述导出数据包括:
当所述数据查询结果集中的数据量小于预设预览数据量时,所述导出数据包括所述预览数据;以及
当所述数据查询结果集中的数据量大于所述预设预览数据量时,所述导出数据包括所述预览数据和所述数据查询结果集中所述预设预览数据量之外的数据。
2.根据权利要求1所述的数据处理方法,其特征在于,将所述数据查询结果集中的数据添加至预览数据存储器包括:
遍历所述数据查询结果集,逐条读取数据;
每读取一条所述数据查询结果集中的数据,将读取到的所述数据查询结果集中的数据添加至所述预览数据存储器中,并判断所述数据查询结果集中是否存在未读取数据,
其中,当判断出所述数据查询结果集中不存在未读取数据时,执行调用所述预览数据存储器中的数据执行数据预览,得到预览数据。
3.根据权利要求2所述的数据处理方法,其特征在于,在判断所述数据查询结果集中是否存在未读取数据之后,所述方法还包括:
如果判断出所述数据查询结果集中存在未读取数据,判断所述预览数据存储器中的数据量是否达到预设预览数据量;
如果判断出所述预览数据存储器中的数据量未达到所述预设预览数据量,继续从所述数据查询结果集中读取数据;以及
如果判断出所述预览数据存储器中的数据量达到所述预设预览数据量,执行将所述预览数据添加至导出数据存储器。
4.根据权利要求3所述的数据处理方法,其特征在于,在将所述预览数据添加至导出数据存储器之后,所述方法还包括:
判断所述数据查询结果集中是否存在未读取数据;
如果判断出所述数据查询结果集中存在未读取数据,继续从所述数据查询结果集中读取数据添加至所述导出数据存储器中;以及
如果判断出所述数据查询结果集中不存在未读取数据,通过所述导出数据存储器执行数据导出,得到导出数据。
5.根据权利要求1所述的数据处理方法,其特征在于,所述数据查询结果集中还包括标识符,其中,一个标识符对应一条数据,将所述数据查询结果集中的数据添加至预览数据存储器包括:
确定待预览标识符;
从所述数据查询结果集中筛选出所述待预览标识符对应的数据;以及
将所述待预览标识符对应的数据添加至所述预览数据存储器中。
6.一种数据处理装置,其特征在于,包括:
查询模块,用于对目标数据库执行数据查询;
存储模块,用于将执行数据查询得到的数据存储在数据查询结果集中;
第一添加模块,用于将所述数据查询结果集中的数据添加至预览数据存储器;
预览模块,用于通过调用所述预览数据存储器中的数据执行数据预览,得到预览数据;
第二添加模块,用于将所述预览数据添加至导出数据存储器;以及
导出模块,用于通过所述导出数据存储器执行数据导出,得到导出数据;
其中,所述导出数据包括:
当所述数据查询结果集中的数据量小于预设预览数据量时,所述导出数据包括所述预览数据;以及
当所述数据查询结果集中的数据量大于所述预设预览数据量时,所述导出数据包括所述预览数据和所述数据查询结果集中所述预设预览数据量之外的数据。
7.根据权利要求6所述的数据处理装置,其特征在于,所述第一添加模块包括:
第一读取模块,用于遍历所述数据查询结果集,逐条读取数据;
第一判断模块,用于每读取一条所述数据查询结果集中的数据,将读取到的所述数据查询结果集中的数据添加至所述预览数据存储器中,并判断所述数据查询结果集中是否存在未读取数据,
第一执行模块,用于当判断出所述数据查询结果集中不存在未读取数据时,执行调用所述预览数据存储器中的数据执行数据预览,得到预览数据。
8.根据权利要求7所述的数据处理装置,其特征在于,所述装置还包括:
第二判断模块,用于当判断出所述数据查询结果集中存在未读取数据时,判断所述预览数据存储器中的数据量是否达到预设预览数据量;
第二读取模块,用于当判断出所述预览数据存储器中的数据量未达到所述预设预览数据量时,继续从所述数据查询结果集中读取数据;以及
第二执行模块,用于当判断出所述预览数据存储器中的数据量达到所述预设预览数据量时,执行将所述预览数据添加至导出数据存储器。
9.根据权利要求8所述的数据处理装置,其特征在于,所述装置还包括:
第三判断模块,用于判断所述数据查询结果集中是否存在未读取数据;
第三读取模块,用于当判断出所述数据查询结果集中存在未读取数据时,继续从所述数据查询结果集中读取数据添加至所述导出数据存储器中;以及
第三执行模块,用于当判断出所述数据查询结果集中不存在未读取数据时,通过所述导出数据存储器执行数据导出,得到导出数据。
10.根据权利要求6所述的数据处理装置,其特征在于,所述数据查询结果集中还包括标识符,其中,一个标识符对应一条数据,所述第一添加模块包括:
确定模块,用于确定待预览标识符;
筛选模块,用于从所述数据查询结果集中筛选出所述待预览标识符对应的数据;以及
第一添加子模块,用于将所述待预览标识符对应的数据添加至所述预览数据存储器中。
11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求5中任意一项所述的数据处理方法。
12.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至权利要求5中任意一项所述的数据处理方法。
CN201510250830.4A 2015-05-15 2015-05-15 数据处理方法和装置 Active CN106294376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510250830.4A CN106294376B (zh) 2015-05-15 2015-05-15 数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510250830.4A CN106294376B (zh) 2015-05-15 2015-05-15 数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN106294376A CN106294376A (zh) 2017-01-04
CN106294376B true CN106294376B (zh) 2019-08-20

Family

ID=57631963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510250830.4A Active CN106294376B (zh) 2015-05-15 2015-05-15 数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN106294376B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019288B (zh) * 2017-08-25 2020-12-08 中国移动通信集团甘肃有限公司 一种数据操作方法及装置
CN110557324B (zh) * 2019-08-27 2022-05-27 贝壳技术有限公司 未读im消息处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452487A (zh) * 2008-12-31 2009-06-10 中国建设银行股份有限公司 一种数据加载的方法、系统及数据加载装置
CN101866364A (zh) * 2010-06-22 2010-10-20 用友软件股份有限公司 数据导入方法和装置
CN102141933A (zh) * 2011-01-17 2011-08-03 博视联(苏州)信息科技有限公司 提供计算机应用程序多次复用粘贴的系统及其方法
CN102184177A (zh) * 2011-01-04 2011-09-14 北京开心人信息技术有限公司 一种预览文件的方法与系统
US8145630B1 (en) * 2007-12-28 2012-03-27 Google Inc. Session-based dynamic search snippets
CN102693305A (zh) * 2012-05-24 2012-09-26 惠州Tcl移动通信有限公司 一种文件信息预览方法及系统
US8312426B2 (en) * 2008-01-07 2012-11-13 International Business Machines Corporation Method and system for simplified service composition in web environment
CN103942344A (zh) * 2014-05-12 2014-07-23 深圳市中博科创信息技术有限公司 一种预览文件的方法及文件处理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9465879B2 (en) * 2010-01-14 2016-10-11 Excalibur Ip, Llc Search engine recency using content preview

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145630B1 (en) * 2007-12-28 2012-03-27 Google Inc. Session-based dynamic search snippets
US8312426B2 (en) * 2008-01-07 2012-11-13 International Business Machines Corporation Method and system for simplified service composition in web environment
CN101452487A (zh) * 2008-12-31 2009-06-10 中国建设银行股份有限公司 一种数据加载的方法、系统及数据加载装置
CN101866364A (zh) * 2010-06-22 2010-10-20 用友软件股份有限公司 数据导入方法和装置
CN102184177A (zh) * 2011-01-04 2011-09-14 北京开心人信息技术有限公司 一种预览文件的方法与系统
CN102141933A (zh) * 2011-01-17 2011-08-03 博视联(苏州)信息科技有限公司 提供计算机应用程序多次复用粘贴的系统及其方法
CN102693305A (zh) * 2012-05-24 2012-09-26 惠州Tcl移动通信有限公司 一种文件信息预览方法及系统
CN103942344A (zh) * 2014-05-12 2014-07-23 深圳市中博科创信息技术有限公司 一种预览文件的方法及文件处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集;utf7;《CSDN博客https://blog.csdn.net/seven_3306/article/details/9303879》;20130711;全文

Also Published As

Publication number Publication date
CN106294376A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN107656958B (zh) 一种多数据源数据的归类方法及服务器
CN104050041A (zh) 用于在处理器中调度规则匹配的调度方法和装置
CN105117289A (zh) 基于云测试平台的任务分配方法、装置及系统
CN104978526B (zh) 病毒特征的提取方法及装置
CN110383274A (zh) 识别设备的方法、装置、系统、存储介质、处理器和终端
CN104580027A (zh) 一种OpenFlow报文转发方法及设备
CN109271793A (zh) 物联网云平台设备类别识别方法及系统
CN107545315A (zh) 订单处理方法及装置
CN108875091A (zh) 一种统一管理的分布式网络爬虫系统
CN110035009A (zh) 分组转发路径元素的节点表示
CN106294376B (zh) 数据处理方法和装置
CN110020086A (zh) 一种用户画像查询方法及装置
CN105183564A (zh) 基于云测试平台的设备调度方法、装置及系统
CN105701128B (zh) 一种查询语句的优化方法和装置
CN108520024A (zh) 基于Spark Streaming的双周期爬虫系统及其运行方法
CN104462420B (zh) 数据库的查询任务的执行方法和装置
CN104756079A (zh) 规则分配服务器、事件处理系统和方法以及程序
CN105159927B (zh) 目标文本主题词的选取方法、装置及终端
CN105550180B (zh) 数据处理的方法、装置及系统
CN104750834B (zh) 一种规则的存储方法、匹配方法及装置
CN109697281A (zh) 在线合并文档的方法、装置及电子设备
CN106933904B (zh) 数据的过滤方法和装置
CN101150431A (zh) 一种告警处理流水线及告警处理的方法
CN110222286A (zh) 信息获取方法、装置、终端和计算机可读存储介质
CN101146113A (zh) 面向网络服务性能的动态配置系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant