CN101727505B - 一种高效的数据处理方法及装置 - Google Patents

一种高效的数据处理方法及装置 Download PDF

Info

Publication number
CN101727505B
CN101727505B CN201010110840.5A CN201010110840A CN101727505B CN 101727505 B CN101727505 B CN 101727505B CN 201010110840 A CN201010110840 A CN 201010110840A CN 101727505 B CN101727505 B CN 101727505B
Authority
CN
China
Prior art keywords
location information
data
record location
information aggregate
data recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010110840.5A
Other languages
English (en)
Other versions
CN101727505A (zh
Inventor
曹民
范畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201010110840.5A priority Critical patent/CN101727505B/zh
Publication of CN101727505A publication Critical patent/CN101727505A/zh
Priority to PCT/CN2010/078963 priority patent/WO2011095029A1/zh
Application granted granted Critical
Publication of CN101727505B publication Critical patent/CN101727505B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种高效的数据处理方法，包括：将表格显示所涉及到的所有原始表格从数据库下载到本地并存储；在本地对所述原始表格执行拼接操作，得到所要显示的所有数据记录，并在拼接的同时将已拼接完毕的数据记录显示在表格中。本发明还同时公开了一种高效的数据处理装置，运用该方法和装置可降低数据库的资源消耗，减少用户等待时间，提高用户的满意度。

Description

一种高效的数据处理方法及装置
技术领域
本发明涉及通信领域中的数据处理技术，尤其涉及一种高效的数据处理方法及装置。
背景技术
在现有计算机数据的处理过程中，相关技术人员采用图形用户接口(GUI)处理并显示数据，且通常利用表格显示数据，所述表格里的每行记录通常都是由数据库中的多张表拼接形成的，那么，多行记录组成的整张表格所需进行拼接的表格数目将会很大。在目前的解决方案中，通常利用在数据库系统中运行SQL脚本等的方法来实现数据的多表拼接过程，之后将拼接好的结果保存为一张新的表格显示给用户。但是，所述已有的处理方法存在一定缺陷：
1)由于数据的拼接过程是在数据库系统中进行的，当需处理的表格数目很大时，即需处理的数据量很大时，需要数据库系统做很长时间的运算，导致数据库系统长时间被占用，浪费了数据库资源，使得数据库的运行成本很高；
2)现有的处理方法无法动态地显示数据处理结果，原因为：现有的处理方法是将所有记录均逐条拼接完成后，才将整张表格一次性地显示给用户，在处理过程中，已经拼接完毕的记录存储于数据库内存中，不能及时显示给用户，用户只能在所有记录均处理完毕后才能看到结果，因此，用户需花费很长时间等待数据库处理数据，从而导致用户的满意度降低。
发明内容
有鉴于此，本发明的主要目的在于提供一种高效的数据处理方法及装置，可降低数据库的资源消耗，减少用户等待时间，提高用户的满意度。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种高效的数据处理方法，该方法包括：
将表格显示所涉及到的所有原始表格从数据库下载到本地并存储；
在本地将每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合；
将每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息集合，结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录显示在表格中。
其中，所述每张原始表格的数据文件由所述每张原始表格编码生成的多条数据记录组成。
其中，所述每个数据文件对应的记录定位信息集合由多个记录定位信息元组成。
其中，所述一个记录定位信息元对应存储一条数据记录中所有数据的索引。
上述方案中，所述同时将已解析完毕的数据记录显示在表格中的操作，为：
在解析的过程中设置一独立于解码过程的数据处理线程，每解析完一条新的数据记录，则显示一条新的数据记录。
本发明还提供了一种高效的数据处理装置，该装置包括：下载模块、数据处理模块和数据显示模块；其中，
所述下载模块，用于将表格显示所涉及到的所有原始表格从数据库下载到本地并存储，并将下载的内容发送到数据处理模块；
所述数据处理模块，用于在本地将每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合；将每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息集合，结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录发送到数据显示模块；
所述数据显示模块，用于将数据处理模块所发的已解析完毕的数据记录显示在表格中。
其中，所述数据处理模块中进一步包括：编码配置模块和拼接解析模块；其中，
所述编码配置模块，用于将下载模块下载的每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合，并将所有数据文件及对应的记录定位信息集合发送到拼接解析模块；
所述拼接解析模块，用于将编码配置模块所发的每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息集合，结合新的记录定位信息集合和编码配置模块所发的与新的记录定位信息集合对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录发送到数据显示模块；
相应的，所述下载模块，进一步用于将下载的内容发送到编码配置模块；
所述数据显示模块，进一步用于将编码配置模块所发的已拼接完毕的数据记录显示在表格中。
其中，所述每张原始表格的数据文件由所述每张原始表格编码生成的多条数据记录组成。
本发明提供的高效的数据处理方法及装置，将表格显示所涉及到的所有原始表格从数据库下载到本地并存储；在本地对所述原始表格执行拼接操作，得到所要显示的所有数据记录，并在拼接的同时将已拼接完毕的数据记录显示在表格中。本发明将数据库中最终表格显示所需的所有原始表格下载到本地后，后续的多表拼接的过程均在本地执行，脱离了数据库环境，使得数据库的资源消耗得到降低，节省了数据库的运行成本。
此外，本发明在执行拼接操作的过程中，设置一独立于拼接过程的数据处理线程，每解析完一条新的数据记录，则显示一条新的数据记录，达到了动态显示数据处理结果的目的，减少了用户的等待时间，用户的满意度得到提高。
附图说明
图1为本发明高效的数据处理方法的实现流程示意图；
图2为本发明高效的数据处理装置的结构示意图。
具体实施方式
本发明的基本思想是：将表格显示所涉及到的所有原始表格从数据库下载到本地并存储；在本地对所述原始表格执行拼接操作，得到所要显示的所有数据记录，并在拼接的同时将已拼接完毕的数据记录显示在表格中。
其中，所述在本地执行拼接操作，得到所要显示的所有数据记录，并在拼接的同时显示已拼接完毕的数据记录的过程为：
在本地将每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合；将每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息集合，结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录显示在表格中。
这里，所述每张原始表格对应的数据文件中包括对原始表格进行编码生成的多条数据记录，也就是多条经编码生成的数据记录共同组成每张原始表格的数据文件；所述记录定位信息集合包括多个记录定位信息元，每个记录定位信息元与所述每条数据记录一一对应。
下面结合附图及具体实施例对本发明作进一步详细说明。
图1为本发明高效的数据处理方法的实现流程示意图，如图1所示，该方法的实现流程如下：
步骤101：将表格显示所涉及到的所有原始表格从数据库下载到本地并存储；
具体为：将最终表格显示时所涉及到的所有原始表格从数据库下载到本地，也就是直接将所有原始表格原封不动的下载到本地，并保存于本地，以备后续处理，这里，可利用文件传输协议(FTP)将涉及到的所有原始表格下载到本地，当然也可采用其它方式下载。
本发明中，所述将表格显示所涉及到的所有原始表格从数据库下载到本地后，后续的处理流程均在本地执行，以达到降低数据库的资源消耗的目的。
步骤102：将每张原始表格编码生成对应的数据文件；
具体为：将本地存储的每张原始表格采用现有的编码方法编码生成多条数据记录，所述多条数据记录组成与原始表格对应的数据文件，例如：利用java语言中的PrintWriter方法将数据库中下载的原始表格生成txt格式的数据文件，也就是每个原始表格对应一个数据文件，多张原始表格对应多个数据文件，原始表格和数据文件之间是一一对应的关系。
步骤103：为每个数据文件配置对应的记录定位信息集合；
具体为：为每个数据文件配置对应的记录定位信息集合，所述记录定位信息集合包括多个记录定位信息元，每个记录定位信息元与步骤102中所述数据文件中的一条数据记录对应，也就是说，每个表格对应的数据文件中所包括的数据记录的条数与记录定位信息元的个数相等，每个记录定位信息元用于存储所对应的数据记录中包括的所有数据的索引。其中，所述数据的索引用于后续执行解析操作时，可快速定位数据。
步骤104：将每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息集合；
具体为：将每个记录定位信息集合中的关键字，也就是将每个记录定位信息集合中后续拼接所需的记录定位信息元按规则拼接起来，组成关键字集合，即组成新的记录定位信息集合。
这里，相关操作人员可根据最终的显示需要确定拼接关键字的规则，例如：有三个原始表格，为：表格1、表格2和表格3，表格1的记录定位信息集合中包括八个记录定位信息元，表格2的记录定位信息集合中包括十个记录定位信息元，表格3的记录定位信息集合中包括十二个记录定位信息元，根据数据显示的需要在表格1的记录定位信息集合中选出三个记录定位信息元，在表格2的记录定位信息集合中选出五个记录定位信息元，在表格3的记录定位信息集合中选出六个记录定位信息元，再按照显示的需要将选出的关键字按顺序拼接，即按表格1的三个记录定位信息元+表格2的五个记录定位信息元+表格3的六个记录定位信息元的先后顺序排列，组成新的记录定位信息集合。
这里，可根据需要选出各原始表格的记录定位信息集合中的部分或全部记录定位信息元，并可按不同的顺序排列，也就是说，新的记录定位信息集合中的记录定位信息元个数小于或等于所有原始表格记录定位信息集合中的记录定位信息元的总个数，如果只选出各原始表的记录定位信息集合中的部分记录定位信息元，证明其它未被选择的记录定位信息元与最终的表格显示无关。
步骤105：结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录显示在表格中；
具体为：根据新的记录定位信息集合中每个记录定位信息元中存储的数据索引在与新的记录定位信息集合对应的数据文件中找到对应的数据，将每个记录定位信息元对应的所有数据按记录定位信息元的拼接规则拼接起来，组成一条完整的数据记录，例如：令表格1的三个记录定位信息元对应的数据+表格2的五个记录定位信息元对应的数据+表格3的六个记录定位信息元对应的数据，最后形成一条新的完整的数据记录，以上即为解析的全过程。
此外，在解析的过程中设置一独立于解码过程的数据处理线程，用于动态地将已解析完毕的数据记录加载在表格中以显示给用户，即每解析完一条新的数据记录，则显示一条新的数据记录，减少了用户的等待时间。
图2为本发明高效的数据处理装置的结构示意图，如图2所示，该装置包括：下载模块、数据处理模块和数据显示模块；其中，
所述下载模块，用于将表格显示所涉及到的所有原始表格从数据库下载到本地并存储，并将下载的内容发送到数据处理模块；
所述数据处理模块，用于在本地对所述下载模块下载的原始表格执行拼接操作，得到所要显示的所有数据记录，并在拼接的同时将已拼接完毕的数据记录发送到数据显示模块；
所述数据显示模块，用于将数据处理模块所发的已拼接完毕的数据记录显示在表格中。
其中，所述数据处理模块在本地执行拼接操作，得到所要显示的所有数据记录，并在拼接的同时将已拼接完毕的数据记录发送到数据显示模块，具体为：
数据处理模块在本地将每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合；将每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息集合，结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录发送到数据显示模块。
所述数据处理模块中进一步包括：编码配置模块和拼接解析模块；其中，
所述编码配置模块，用于将下载模块下载的每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合，并将所有数据文件及对应的记录定位信息集合发送到拼接解析模块；
所述拼接解析模块，用于将编码配置模块所发的每个记录定位信息集合中的关键字拼接起来组成新的记录定位信息集合，结合新的记录定位信息集合和编码配置模块所发的与新的记录定位信息集合对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录发送到数据显示模块；
相应的，所述下载模块，进一步用于将下载的内容发送到编码配置模块；
所述数据显示模块，进一步用于将编码配置模块所发的已拼接完毕的数据记录显示在表格中。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种高效的数据处理方法，其特征在于，该方法包括：
将表格显示所涉及到的所有原始表格从数据库下载到本地并存储；
在本地将每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合；其中，每个数据文件对应的记录定位信息集合由多个记录定位信息元组成，每一个记录定位信息元对应存储一条数据记录中所有数据的索引；
将每个记录定位信息集合中的后续拼接所需的记录定位信息元按规则拼接起来，组成新的记录定位信息集合，结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录显示在表格中。
2.根据权利要求1所述的高效的数据处理方法，其特征在于，所述每张原始表格的数据文件由所述每张原始表格编码生成的多条数据记录组成。
3.根据权利要求1或2所述的高效的数据处理方法，其特征在于，所述同时将已解析完毕的数据记录显示在表格中的操作，为：
在解析的过程中设置一独立于解码过程的数据处理线程，每解析完一条新的数据记录，则显示一条新的数据记录。
4.一种高效的数据处理装置，其特征在于，该装置包括：下载模块、数据处理模块和数据显示模块；其中，
所述下载模块，用于将表格显示所涉及到的所有原始表格从数据库下载到本地并存储，并将下载的内容发送到数据处理模块；
所述数据处理模块，用于在本地将每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合；将每个记录定位信息集合中的后续拼接所需的记录定位信息元按规则拼接起来，组成新的记录定位信息集合，结合新的记录定位信息集合和与之对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录发送到数据显示模块；
其中，每个数据文件对应的记录定位信息集合由多个记录定位信息元组成，每一个记录定位信息元对应存储一条数据记录中所有数据的索引；
所述数据显示模块，用于将数据处理模块所发的已解析完毕的数据记录显示在表格中。
5.根据权利要求4所述的高效的数据处理装置，其特征在于，所述数据处理模块中进一步包括：编码配置模块和拼接解析模块；其中，
所述编码配置模块，用于将下载模块下载的每张原始表格编码生成对应的数据文件，并为每个数据文件配置对应的记录定位信息集合，并将所有数据文件及对应的记录定位信息集合发送到拼接解析模块；
所述拼接解析模块，用于将编码配置模块所发的每个记录定位信息集合中的后续拼接所需的记录定位信息元按规则拼接起来，组成新的记录定位信息集合，结合新的记录定位信息集合和编码配置模块所发的与新的记录定位信息集合对应的数据文件逐条解析出对应的数据记录，并在解析数据记录的同时将已解析完毕的数据记录发送到数据显示模块；
相应的，所述下载模块，进一步用于将下载的内容发送到编码配置模块；
所述数据显示模块，进一步用于将拼接解析模块所发的已拼接完毕的数据记录显示在表格中。
6.根据权利要求5所述的高效的数据处理装置，其特征在于，所述每张原始表格的数据文件由所述每张原始表格编码生成的多条数据记录组成。
CN201010110840.5A 2010-02-03 2010-02-03 一种高效的数据处理方法及装置 Expired - Fee Related CN101727505B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201010110840.5A CN101727505B (zh) 2010-02-03 2010-02-03 一种高效的数据处理方法及装置
PCT/CN2010/078963 WO2011095029A1 (zh) 2010-02-03 2010-11-22 一种高效的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010110840.5A CN101727505B (zh) 2010-02-03 2010-02-03 一种高效的数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN101727505A CN101727505A (zh) 2010-06-09
CN101727505B true CN101727505B (zh) 2014-12-10

Family

ID=42448391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010110840.5A Expired - Fee Related CN101727505B (zh) 2010-02-03 2010-02-03 一种高效的数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN101727505B (zh)
WO (1) WO2011095029A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727505B (zh) * 2010-02-03 2014-12-10 中兴通讯股份有限公司 一种高效的数据处理方法及装置
CN103020227B (zh) * 2012-12-13 2016-06-29 中国银行股份有限公司 计算机设备中的数据处理方法和系统
US9544386B2 (en) * 2012-12-19 2017-01-10 Beijing Qihoo Technology Company Limited Device and method for processing slice data
CN103036992B (zh) * 2012-12-19 2015-10-07 北京奇虎科技有限公司 一种数据下载方法和装置
CN111723088B (zh) * 2019-03-20 2024-04-05 北京沃东天骏信息技术有限公司 一种推送汇总层表的方法和装置
CN111859879B (zh) * 2020-07-31 2024-01-30 抖音视界有限公司 基于虚拟表格的数据展示方法、装置以及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295312A (zh) * 2008-06-18 2008-10-29 中兴通讯股份有限公司 一种使用表格呈现数据的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2310513B (en) * 1996-02-20 2000-02-16 Ibm Computer with reduced power consumption
CN1464413A (zh) * 2002-06-13 2003-12-31 英业达股份有限公司 以网页为基础的提案数据检索管理系统及其方法
CN100383787C (zh) * 2005-03-17 2008-04-23 华为技术有限公司 一种数据库多表信息初始化方法
CN101436129A (zh) * 2008-11-18 2009-05-20 浪潮集团山东通用软件有限公司 一种基础信息集中管理的方法
CN101727505B (zh) * 2010-02-03 2014-12-10 中兴通讯股份有限公司 一种高效的数据处理方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295312A (zh) * 2008-06-18 2008-10-29 中兴通讯股份有限公司 一种使用表格呈现数据的方法

Also Published As

Publication number Publication date
CN101727505A (zh) 2010-06-09
WO2011095029A1 (zh) 2011-08-11

Similar Documents

Publication Publication Date Title
US8380680B2 (en) Piecemeal list prefetch
CN101727505B (zh) 一种高效的数据处理方法及装置
JP6488508B2 (ja) ウェブページのアクセス方法、装置、デバイス及びプログラム
US9594845B2 (en) Automating web tasks based on web browsing histories and user actions
US8972936B2 (en) Version labeling in a version control system
CN104036011A (zh) 网页元素的显示方法以及浏览器装置
CN105095168A (zh) 一种合同文档的自动生成方法和装置
US20120158742A1 (en) Managing documents using weighted prevalence data for statements
CN110688544A (zh) 一种查询数据库的方法、设备及存储介质
CN112395253B (zh) 索引文件生成方法、终端设备、电子设备及介质
JP2012113706A (ja) データベース・クエリ最適化のためのコンピュータで実装される方法、コンピュータ・プログラム、およびデータ処理システム
CN109522341A (zh) 实现基于sql的流式数据处理引擎的方法、装置、设备
CN103971036A (zh) 页面栏位权限控制系统及方法
CN112182359A (zh) 推荐模型的特征管理方法及系统
US8473504B2 (en) Stabilized binary differencing
CN103136172A (zh) 输出试题的方法和装置
US20170255475A1 (en) Automatic execution of objects in a user interface
CN112328257A (zh) 代码转换方法及装置
CN102467502A (zh) 一种检索方法及系统
CN107077499B (zh) 用于内容管理系统的映射定义的生成
CN103678687A (zh) 基于配置系统的项目创建方法及装置
CN104378393A (zh) 一种资源分享方法和相应的装置
CN102289358A (zh) 用于更有效地显示数据的计算机实现的方法、计算机程序产品和嵌入式系统
CN114968917A (zh) 一种文件数据快速导入方法及装置
CN109101429A (zh) 一种机顶盒的浏览器页面调试的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141210

Termination date: 20190203