CN110532311A - 一种基于队列的分布式数据导出方法及系统 - Google Patents
一种基于队列的分布式数据导出方法及系统 Download PDFInfo
- Publication number
- CN110532311A CN110532311A CN201910747039.2A CN201910747039A CN110532311A CN 110532311 A CN110532311 A CN 110532311A CN 201910747039 A CN201910747039 A CN 201910747039A CN 110532311 A CN110532311 A CN 110532311A
- Authority
- CN
- China
- Prior art keywords
- data
- thread
- queue
- inquiry
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 31
- 238000011068 loading method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000009795 derivation Methods 0.000 claims description 29
- 238000013499 data model Methods 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 abstract description 4
- 241001269238 Data Species 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于队列的分布式数据导出方法及系统，涉及数据处理技术领域，应用服务器根据web端用户发出的数据导出请求配置循环查询线程，将循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，如果队列中存在数据装载，所述应用服务器则唤醒excel导出，将队列中的数据输出为excel表格。循环的查询线程根据预设的查询范围对数据服务器中的数据进行查询，查询到的数据载入到队列中。当数据进入队列后，则开始将入栈的数据转换为excel表格，实现了数据查询进行中就可以实现表格的生成。进而当数据量较大时，实现对数据的多线程多次查询，而且同步生成excel表格，提高了数据导出excel表格的速度。
Description
技术领域
本申请涉及数据处理技术领域，具体涉及一种基于队列的分布式数据导出方法及系统。
背景技术
传统技术中为了实现对数据的可视化统计，一般需要对数据库中的数据进行导出，生成excel表格。目前，在c#语言环境下，对数据库数据导出到excel，一种是采用一次查询获得所有数据库中的数据，查询完毕后将所有的数据生成excel表格。第二种是获得数据的总条数，根据数据总条数进行分页实现分页查询，每次查询完成后再生成excel表格。
上述两种方法虽然在一定程度上可以实现数据的查询导出excel表格，但是当数据量较大时，使得查询总条数较多，进而导致数据导出excel表格速度较慢。
发明内容
本申请为了解决上述技术问题，提出了如下技术方案：
第一方面，本申请实施例提供了一种基于队列的分布式数据导出方法，所述方法包括：应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述循环查询线程用于在数据服务器中进行数据查询；所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询；如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。
采用上述实现方式，循环的查询线程可以根据预设的查询范围对数据服务器中的数据进行查询，查询到的数据载入到队列中。当数据进入队列后，则开始将入栈的数据转换为excel表格，实现了数据查询进行中就可以实现表格的生成。进而当数据量较大时，实现对数据的多线程多次查询，而且同步生成excel表格，提高了数据导出excel表格的速度。
结合第一方面，在第一方面第一种可能的实现方式中，所述应用服务器根据web端用户发出的数据导出请求配置查询线程包括：确定每个所述查询线程的查询数据范围；根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。
结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述应用服务器根据线程查询结果更新全局标志位，包括：如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。
结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态；如果所述全局标志位为false,则结束数据查询操作。
结合第一方面，在第一方面第四种可能的实现方式中，所述如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，包括：如果所述队列中存在数据装载，则判断是否存在excel导出进程；如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队里中装载的数据依次生成excel表格。
第二方面，本申请实施例提供了一种基于队列的分布式数据导出系统，所述系统包括：配置模块，用于应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述循环查询线程用于在数据服务器中进行数据查询；处理模块，用于所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询；数据导出模块，用于如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。
结合第二方面，在第二方面第一种可能的实现方式中，所述配置模块包括：第一确定单元，用于确定每个所述查询线程的查询数据范围；第二确定单元，用于根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。
结合第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述处理模块包括：全局标志位更新单元，用于如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。
结合第二方面第二种可能的实现方式，在第二方面第三种可能的实现方式中，还包括：第三确定单元，用于每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态；处理单元，用于如果所述全局标志位为false,则结束数据查询操作。
结合第二方面，在第二方面第四种可能的实现方式中，所述数据导出模块包括：判定单元，用于如果所述队列中存在数据装载，则判断是否存在excel导出进程；表格生成单元，用于如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队里中装载的数据依次生成excel表格。
附图说明
图1为本申请实施例提供的系统环境框架示意图；
图2为本申请实施例提供的一种基于队列的分布式数据导出方法的流程示意图；
图3为本申请实施例提供的一种基于队列的分布式数据导出系统的示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
图1为本申请实施例提供的系统环境框架示意图，参加图1，系统框架包括web端、应用服务器和数据服务器，其中web端用于数据操作人员进行数据导出请求的输入和筛选条件的确定。应用服务器接收web端发送的数据导出请求后，生成查询线程，通过查询线程实现对数据服务器中数据的查询。其中，本申请实施例中的查询线程为循环查询线程，可以实现数据的循环查询。
本申请实施例基于对c#队列、线程、线程锁的有效组合使用，数据及应用的分别部署，可实现读、写分离的分布式导出方案，无需查询总数据条数，提升大数据量的实时导出效率，降低服务器压力。
而且至少需两台服务器，分别为：用于数据存储、查询的数据服务器和用于数据组织、状态控制及Excel表格生成的应用服务器。
基于上述的系统环境框架，参见图2，本申请实施例提供的基于队列的分布式数据导出方法包括：
S101，应用服务器根据web端用户发出的数据导出请求配置循环查询线程。
web前端请求时所发送的带有筛选条件的导出请求，例如如需要查询某个年龄段男性的数量，则请求中携带有年龄段、性别的参数。应用服务器接收web端发来的请求后，根据预先配置的循环查询线程，根据web前端请求中携带的筛选条件，分别循环发起数据查询，本申请实施例中所述循环查询线程用于在数据服务器中进行数据查询。
其中，配置循环查询线程时，首先确定每个所述查询线程的查询数据范围，根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。
例如，比如配置允许开启两个查询线程，每个查询线程的查询数据范围为1000条，则第一次循环时第一个线程查询第0-1000条，第二个线程查询1001-2000条。第二次循环时第一个线程查询第2001-3000条，第二个线程查询第3001-4000条，以此类推。
S102，所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位。
如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。
仍以上述每个查询线程的数据查询范围为1000条为例，例如：第一线程在某次循环中查出900条数据，而第二线程未查出数据，则第一线程将本线程的900条数据放入队列中，而第二线程则将是否继续查询的全局标志位(如isContinue)，更新为否(如isContinue＝false)，第二线程同时退出自身的循环状态。
并且每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态，如果所述全局标志位为false,则结束数据查询操作。例如第一线程在决定是否进行下次数据查询时，首先判断全局标志位isContinue是否为false，如果为false则不再进行查询。
S103，如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。
所述数据查询线程从数据服务器中查询到数据后，装载至队列中，并且对队列加线程锁。线程锁的目的是保证不同查询线程查询获得的数据装载队列中是不会相互影响，例如当第一线程查询到的数据装载至队列中时，第二线程查询到的数据无法插队装载，必须等待第一线程查询到的数据装载完毕后，第二线程查询获得的数据才可以装载至队列。如果此时队列中存在数据，则判断是否存在excel导出进程。如果excel导出进程不存在，则唤醒所述excel导出进程，实现将队列中装载的数据导出生成excel表格。
同样地，在excel导出进程运行中不断的判断队列中是否存在新的数据载入。如果队列中不断有新的数据载入，则队列中一直存在数据，则excel导出进程继续将数据导出生成excel表格。相反地，如果队列中不在存在数据的载入，也就是时候数据服务器中数据已经查询完毕，而且队列中不存在剩余的数据，则控制excel导出进程结束。
例如，Excel导出进程在第一次启动时，队列中存在1000条数据，则将此1000条数据取出，并组织成excel表格文件。完成后循环再去判断队列中数据的状态，如果不存在新的数据载入且队列中已无数据，则Excel导出进程暂时结束。
本申请实施例当循环查询线程全部停止，则表示数据服务器中的数据已经全部查询完毕，并且Excel导出进程也停止工作，则表明载入到队列中的数据已经完成导出，生成了excel表格文件，此时可以将最终生成的excel表格文件导出，进行下一步的操作。
本实施例中操作人员通过web端配置查询参数，在应用服务器侧生成循环查询线程，循环查询线程在数据服务器侧对数据查询线程，查询获得的数据反馈到应用服务器侧进行数据的导出。整个操作数据的查询和导出是同步进行的，不需要完全等数据查询完毕后，才进行数据的全体导出，进而使得数据导出效率更高，服务器侧压力减小。
由上述实施例可知，本实施例提供了一种基于队列的分布式数据导出方法，本实施例中循环的查询线程可以根据预设的查询范围对数据服务器中的数据进行查询，查询到的数据载入到队列中。当数据进入队列后，则开始将入栈的数据转换为excel表格，实现了数据查询进行中就可以实现表格的生成。进而当数据量较大时，实现对数据的多线程多次查询，而且同步生成excel表格，进而提高了数据导出excel表格的速度。
与上述实施例提供的一种基于队列的分布式数据导出方法相对应，本申请还提供了一种基于队列的分布式数据导出系统的实施例。参见图3，本实施例提供的数据导出系统20包括：配置模块201、处理模块202和数据导出模块203。
所述配置模块201，用于应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述循环查询线程用于在数据服务器中进行数据查询。
所述配置模块201包括：第一确定单元和第二确定单元。所述第一确定单元，用于确定每个所述查询线程的查询数据范围。所述第二确定单元，用于根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。
所述处理模块202，用于所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询。
进一步地，所述处理模块202包括：全局标志位更新单元，用于如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。
本实施例提供的数据导出系统20还包括：第三确定单元和处理单元。
所述第三确定单元，用于每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态。所述处理单元，用于如果所述全局标志位为false,则结束数据查询操作。
所述数据导出模块203，用于如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。
所述数据导出模块203包括：判定单元和表格生成单元。所述判定单元，用于如果所述队列中存在数据装载，则判断是否存在excel导出进程。所述表格生成单元，用于如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队里中装载的数据依次生成excel表格需
要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。
Claims (10)
1.一种基于队列的分布式数据导出方法，其特征在于，所述方法包括：
应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述循环查询线程用于在数据服务器中进行数据查询；
所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询；
如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。
2.根据权利要求1所述的基于队列的分布式数据导出方法，其特征在于，所述应用服务器根据web端用户发出的数据导出请求配置查询线程包括：
确定每个所述查询线程的查询数据范围；
根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。
3.根据权利要求2所述的基于队列的分布式数据导出方法，其特征在于，所述应用服务器根据线程查询结果更新全局标志位，包括：
如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。
4.根据权利要求3所述的基于队列的分布式数据导出方法，其特征在于，
每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态；
如果所述全局标志位为false,则结束数据查询操作。
5.根据权利要求1所述的基于队列的分布式数据导出方法，其特征在于，所述如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，包括：
如果所述队列中存在数据装载，则判断是否存在excel导出进程；
如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队里中装载的数据依次生成excel表格。
6.一种基于队列的分布式数据导出系统，其特征在于，所述系统包括：
配置模块，用于应用服务器根据web端用户发出的数据导出请求配置循环查询线程，所述循环查询线程用于在数据服务器中进行数据查询；
处理模块，用于所述应用服务器将所述循环查询线程获得的数据装载至队列并根据线程查询结果更新全局标志位，所述全局标志位用于指示循环查询线程下一时刻是否继续进行数据查询；
数据导出模块，用于如果所述队列中存在数据装载，所述应用服务器则唤醒excel导出，将所述队列中的数据输出为excel表格。
7.根据权利要求6所述的基于队列的分布式数据导出系统，其特征在于，所述配置模块包括：
第一确定单元，用于确定每个所述查询线程的查询数据范围；
第二确定单元，用于根据所述查询线程的配置数量和每个所述查询线程的查询数据范围，确定每个所述查询线程每一次的数据查询对应的起始点和终止点。
8.根据权利要求7所述的基于队列的分布式数据导出系统，其特征在于，所述处理模块包括：
全局标志位更新单元，用于如果第一线程在第一时刻的数据查询结果中对应的数据条数小于所述查询数据范围中对应的数据条数，则将所述全局标志位更新为false，所述第一线程为任一线程，所述第一时刻为所述应用服务器接收所述查询线程的查询结果的任一时刻。
9.根据权利要求8所述的基于队列的分布式数据导出系统，其特征在于，还包括：
第三确定单元，用于每个所述查询线程在进行下一次查询前，确定所述全局标志位的状态；
处理单元，用于如果所述全局标志位为false,则结束数据查询操作。
10.根据权利要求6所述的基于队列的分布式数据导出系统，其特征在于，所述数据导出模块包括：
判定单元，用于如果所述队列中存在数据装载，则判断是否存在excel导出进程；
表格生成单元，用于如果所述excel导出进程不存在，则唤醒所述excel导出进程，所述excel导出进程用于将所述队里中装载的数据依次生成excel表格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910747039.2A CN110532311B (zh) | 2019-08-14 | 2019-08-14 | 一种基于队列的分布式数据导出方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910747039.2A CN110532311B (zh) | 2019-08-14 | 2019-08-14 | 一种基于队列的分布式数据导出方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110532311A true CN110532311A (zh) | 2019-12-03 |
| CN110532311B CN110532311B (zh) | 2023-11-28 |
Family
ID=68663088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910747039.2A Active CN110532311B (zh) | 2019-08-14 | 2019-08-14 | 一种基于队列的分布式数据导出方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110532311B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143462A (zh) * | 2019-12-31 | 2020-05-12 | 广州酷旅旅行社有限公司 | 数据导出的方法、装置、计算机设备和存储介质 |
| CN113609168A (zh) * | 2021-07-14 | 2021-11-05 | 远景智能国际私人投资有限公司 | 数据导出方法、装置、终端以及可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996067A (zh) * | 2009-08-19 | 2011-03-30 | 阿里巴巴集团控股有限公司 | 一种数据导出的方法和装置 |
| US20110145835A1 (en) * | 2009-12-14 | 2011-06-16 | Verisign, Inc. | Lockless Queues |
| CN102449605A (zh) * | 2010-06-14 | 2012-05-09 | 松下电器产业株式会社 | 多线程并行执行装置、广播流再现装置、广播流储存装置、储存流再现装置、储存流再编码装置、集成电路、多线程并行执行方法、多线程编译器 |
| CN104484456A (zh) * | 2014-12-29 | 2015-04-01 | 哈尔滨工业大学 | 一种基于多线程并行的SQLite数据库快速加载方法 |
| CN106021399A (zh) * | 2016-05-12 | 2016-10-12 | 网易（杭州）网络有限公司 | 查询请求消息的处理方法及装置 |
| CN106407231A (zh) * | 2015-08-03 | 2017-02-15 | 天脉聚源（北京）科技有限公司 | 一种数据多线程导出方法及系统 |
| CN107229656A (zh) * | 2016-03-25 | 2017-10-03 | 北京京东尚科信息技术有限公司 | 全量数据导出方法、装置及系统 |
| CN107798111A (zh) * | 2017-11-01 | 2018-03-13 | 四川长虹电器股份有限公司 | 一种分布式环境中大批量导出数据的方法 |
| US20180210804A1 (en) * | 2017-01-23 | 2018-07-26 | American Express Travel Related Services Company, Inc. | System and method for dynamic scaling of concurrent processing threads |
| CN110008262A (zh) * | 2019-02-02 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种数据导出方法及装置 |
-
2019
- 2019-08-14 CN CN201910747039.2A patent/CN110532311B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996067A (zh) * | 2009-08-19 | 2011-03-30 | 阿里巴巴集团控股有限公司 | 一种数据导出的方法和装置 |
| US20110145835A1 (en) * | 2009-12-14 | 2011-06-16 | Verisign, Inc. | Lockless Queues |
| CN102449605A (zh) * | 2010-06-14 | 2012-05-09 | 松下电器产业株式会社 | 多线程并行执行装置、广播流再现装置、广播流储存装置、储存流再现装置、储存流再编码装置、集成电路、多线程并行执行方法、多线程编译器 |
| CN104484456A (zh) * | 2014-12-29 | 2015-04-01 | 哈尔滨工业大学 | 一种基于多线程并行的SQLite数据库快速加载方法 |
| CN106407231A (zh) * | 2015-08-03 | 2017-02-15 | 天脉聚源（北京）科技有限公司 | 一种数据多线程导出方法及系统 |
| CN107229656A (zh) * | 2016-03-25 | 2017-10-03 | 北京京东尚科信息技术有限公司 | 全量数据导出方法、装置及系统 |
| CN106021399A (zh) * | 2016-05-12 | 2016-10-12 | 网易（杭州）网络有限公司 | 查询请求消息的处理方法及装置 |
| US20180210804A1 (en) * | 2017-01-23 | 2018-07-26 | American Express Travel Related Services Company, Inc. | System and method for dynamic scaling of concurrent processing threads |
| CN107798111A (zh) * | 2017-11-01 | 2018-03-13 | 四川长虹电器股份有限公司 | 一种分布式环境中大批量导出数据的方法 |
| CN110008262A (zh) * | 2019-02-02 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种数据导出方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 李瑞: "数据库查询优化技术的研究与实现", 《电子科学技术》 * |
| 李瑞: "数据库查询优化技术的研究与实现", 《电子科学技术》, no. 01, 10 January 2017 (2017-01-10) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143462A (zh) * | 2019-12-31 | 2020-05-12 | 广州酷旅旅行社有限公司 | 数据导出的方法、装置、计算机设备和存储介质 |
| CN111143462B (zh) * | 2019-12-31 | 2024-04-09 | 广州酷旅旅行社有限公司 | 数据导出的方法、装置、计算机设备和存储介质 |
| CN113609168A (zh) * | 2021-07-14 | 2021-11-05 | 远景智能国际私人投资有限公司 | 数据导出方法、装置、终端以及可读存储介质 |
| CN113609168B (zh) * | 2021-07-14 | 2024-01-05 | 远景智能国际私人投资有限公司 | 数据导出方法、装置、终端以及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110532311B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106649378B (zh) | 一种数据同步方法及装置 | |
| EP2932370B1 (en) | System and method for performing a transaction in a massively parallel processing database | |
| KR100984580B1 (ko) | 스케줄링 서비스의 사용자-지정 구성 | |
| CN108197237A (zh) | 可视化数据采集到展现系统 | |
| CN105243528A (zh) | 大数据环境下金融it系统中图形化集中对账系统与方法 | |
| CN102254246A (zh) | 一种工作流管理方法及其系统 | |
| CN113487155B (zh) | 一种用于塑料行业的智能排程系统 | |
| CN102819557B (zh) | 数据查询处理装置和数据查询处理方法 | |
| CN104778078B (zh) | 一种内容管理系统以及信息内容发布方法 | |
| CN101382957A (zh) | 建立查询模型的系统及建立方法 | |
| US8862637B2 (en) | Generating data access operations based on a data model using a data services model | |
| CN110532311A (zh) | 一种基于队列的分布式数据导出方法及系统 | |
| CN112364046A (zh) | 一种基于知识图谱的异构环境下主数据管理方法 | |
| US20110060440A1 (en) | Method and a system for propagating a scaling mode in a production process | |
| CN104050297B (zh) | 一种查询事务分配方法及装置 | |
| CN105809302A (zh) | 一种基于cep推理引擎的产线调度方法和系统 | |
| WO2022253165A1 (zh) | 调度方法、系统、服务器和计算机可读存储介质 | |
| Duan | Analysis of ERP enterprise management information system based on cloud computing mode | |
| WO2016165317A1 (zh) | 一种高速列车需求数据实例构建方法和装置 | |
| CN101794218B (zh) | 一种基于知识库并支持复杂产品先进制造系统的语义soa集成方法 | |
| CN108647939A (zh) | 一种农作业供需服务系统 | |
| CN100474297C (zh) | 人机语言生成系统及其方法 | |
| CN112527872A (zh) | 数据查询方法及装置、存储介质及电子设备 | |
| CN107729410A (zh) | 一种适用于电力设备大数据的数据库引擎 | |
| CN105320562A (zh) | 一种基于作业特征指纹的分布式作业加速运行方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |