CN111859084A - 一种针对大量数据处理的方法 - Google Patents

一种针对大量数据处理的方法 Download PDF

Info

Publication number
CN111859084A
CN111859084A CN202010625078.8A CN202010625078A CN111859084A CN 111859084 A CN111859084 A CN 111859084A CN 202010625078 A CN202010625078 A CN 202010625078A CN 111859084 A CN111859084 A CN 111859084A
Authority
CN
China
Prior art keywords
request information
server
client
records
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010625078.8A
Other languages
English (en)
Inventor
曹越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Di'an Technology Co ltd
Original Assignee
Shanghai Di'an Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Di'an Technology Co ltd filed Critical Shanghai Di'an Technology Co ltd
Priority to CN202010625078.8A priority Critical patent/CN111859084A/zh
Publication of CN111859084A publication Critical patent/CN111859084A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种针对大量数据处理的方法，对于用户、设备等相互传输的http请求信息，首先需要以一定顺序进行存储，并且按序给予数字id，一般可以根据发送顺序或者接收顺序进行排序存储。在服务器获取客户端的http请求时，需要带有上一次获取的最大id号以及所需要获取的记录条数n。服务器收到后，将大于此id号的数据，按id从小到大排序，将排序中id最小的n条记录返回给客户端。该方法减少单个请求前端相应时间，尽快在前端进行展示或处理；减少后端内存或存储空间消耗，有效解决系统瓶颈；对于信息总量没有限制，在响应时间充分的情况下，可以无限扩展。

Description

一种针对大量数据处理的方法
技术领域
本发明涉及数据处理术领域，尤其涉及一种针对大量数据处理的方法。
背景技术
随着互联网时代的高速发展，人们的生活发生了巨大的变化。人们会利用互联网进行工作、学习和生活，其中利用互联网的便利寻找学习资料、工作资料、购置生活用品的现象已经非常普遍。现代社会已经进入高科技时代，所有的办公环境及沟通交流都是通过电子产品，数据的产生速度及共享速度也成指数增长，从而导致数据量的剧增。但由于数据的来源及类型变得复杂多样性，数据量非常庞大，与传统的数据有很大的区别。在传统数据中，数据存储、处理及分析的数据量相对较少，可以采用关系型数据库和并行仓库处理，难以保证扩展性。
在通信过程中，经常有需要获取一组连续数据统计信息的情况，例如在前端需要获取大量用户的相关信息。通用的做法是前端发送一个请求，后端针对这个请求，回复一段很长的数据回复。
发明内容
本发明提供的一种技术方案是一种针对大量数据处理的方法，其解决大量数据的获取过程中，如果数据量很大，会消耗客户端和服务端的大量资源，导致获取速度慢甚至无法获取任何数据的问题。
本发明的技术方案是：对于用户、设备等相互传输的请求信息，前端页面发送http请求给服务器，请求略大于一定数量的用户信息时，http服务器内存会增大，回复较慢，从而导致前端加载时间长，会卡住一段时间后才能正常显示。
前端页面发送http请求给服务器，请求大于一定数量的用户信息并达到更高的存储临界值后，会因为返回太慢，整个页面无响应而报错。
因此，为了解决上述问题，对于用户、设备等相互传输的http请求信息，首先需要以一定顺序进行存储，并且按序给予数字id，一般可以根据发送顺序或者接收顺序进行排序存储。
在服务器获取客户端的http请求时，需要带有上一次获取的最大id号以及所需要获取的记录条数n。
服务器收到后，将大于此id号的数据，按id从小到大排序，将排序中id最小的n条记录返回给客户端。
这样每次请求最多会拿到n条记录，当总数为m条时，最多需请求要m/n +1 次。
客户端的第一个请求所带的id号，需要小于数字id的最小值，一般来说，数字id的值域为正整数，第一个请求所带的id号为0。
所需要的记录条数n可变，取值一般以一条记录长度不超过整个系统的瓶颈长度（实际常使用的n值为50或100）。
本发明的优点是：
1、减少单个请求前端相应时间，尽快在前端进行展示或处理。
2、减少后端内存或存储空间消耗，有效解决系统瓶颈。
3、对于信息总量没有限制，在响应时间充分的情况下，可以无限扩展。
具体实施方式
实施例1
对于用户、设备等相互传输的http请求信息，首先需要以一定顺序进行存储，并且按序给予数字id，一般可以根据发送顺序或者接收顺序进行排序存储。
在服务器获取客户端的http请求时，需要带有上一次获取的最大id号以及所需要获取的记录条数n。
服务器收到后，将大于此id号的数据，按id从小到大排序，将排序中id最小的n条记录返回给客户端。
这样每次请求最多会拿到n条记录，当总数为m条时，最多需请求要m/n +1 次。
客户端的第一个请求所带的id号，需要小于数字id的最小值，一般来说，数字id的值域为正整数，第一个请求所带的id号为0。
所需要的记录条数n可变，取值一般以一条记录长度不超过整个系统的瓶颈长度（实际常使用的n值为50或100）。
例如一次实际收发过程，ID号0~9999，n=50，此时对于id在0到49的50条记录，前端可以在小于1毫秒的时间内获取并进行分页展示，后续的记录会依次向后端申请获得，并不影响前端展示，在使用者看来，页面获取的时间很短（小于1ms），相比之下，如果同时获取10000条记录，则前端刷新需要1s到2s的时间，大约是1000倍，并且消耗的瞬时内存和队列长度均为分次请求的50倍。
本发明实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明的。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明的所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (5)

1.一种针对大量数据处理的方法，包括；服务器和客户端；在客户端上进行前端页面发送请求信息给服务器；服务器从待接收的数据中获取请求信息；
其特征在于：请求信息包括用户信息和设备信息；对于客户端上输入的请求信息进行顺序存储于所述服务器中，且对请求信息安存储顺序标定数字ID；
服务器获取请求信息时附带有上一次获取的多条请求信息的数字ID中最大ID号及请求信息所需要获取的记录条数n；
服务器对单次获取动作所接受到的请求信息中大于所述最大ID号的数字ID进行升序排列；在升序排列的数字ID中将前n条请求信息的记录返回给客户端。
2.根据权利要求1所述的一种针对大量数据处理的方法，其特征在于：所述客户端的第一个请求信息的ID号为零。
3.根据权利要求1所述的一种针对大量数据处理的方法，其特征在于：所述数字ID的值域为正整数。
4.根据权利要求1所述的一种针对大量数据处理的方法，其特征在于：所述记录条数n的取值范围为：单条记录的长度值至整个系统的瓶颈长度值。
5.根据权利要求4所述的一种针对大量数据处理的方法，其特征在于：所述记录条数n的取值为50或100。
CN202010625078.8A 2020-07-02 2020-07-02 一种针对大量数据处理的方法 Pending CN111859084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010625078.8A CN111859084A (zh) 2020-07-02 2020-07-02 一种针对大量数据处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625078.8A CN111859084A (zh) 2020-07-02 2020-07-02 一种针对大量数据处理的方法

Publications (1)

Publication Number Publication Date
CN111859084A true CN111859084A (zh) 2020-10-30

Family

ID=72989676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625078.8A Pending CN111859084A (zh) 2020-07-02 2020-07-02 一种针对大量数据处理的方法

Country Status (1)

Country Link
CN (1) CN111859084A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874254A (zh) * 2005-06-02 2006-12-06 华为技术有限公司 一种基于客户端/服务器端结构的数据浏览方法
CN105681252A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 一种基于客户端侧数据的处理方法及装置
CN106559385A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据鉴权方法和装置
CN111339242A (zh) * 2020-02-26 2020-06-26 广东小天才科技有限公司 一种评论数据处理方法、显示方法、服务器及客户端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874254A (zh) * 2005-06-02 2006-12-06 华为技术有限公司 一种基于客户端/服务器端结构的数据浏览方法
CN105681252A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 一种基于客户端侧数据的处理方法及装置
CN106559385A (zh) * 2015-09-25 2017-04-05 阿里巴巴集团控股有限公司 一种数据鉴权方法和装置
CN111339242A (zh) * 2020-02-26 2020-06-26 广东小天才科技有限公司 一种评论数据处理方法、显示方法、服务器及客户端

Similar Documents

Publication Publication Date Title
US8433705B1 (en) Facet suggestion for search query augmentation
US7171406B2 (en) OLAP-based web access analysis method and system
US9792310B2 (en) Run index compression
CN109829077B (zh) 一种页面显示方法、装置和设备
CN111552885B (zh) 实现自动化实时消息推送运营的系统及其方法
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN106874326A (zh) 一种条目列表获取请求处理方法及装置
US10552484B2 (en) Guided data exploration
CN111476015A (zh) 一种文档处理方法、装置、电子设备及存储介质
US8073834B2 (en) Efficient handling of multipart queries against relational data
CN112396462A (zh) 基于Clickhouse的人群圈选方法及装置
CN105392117A (zh) 一种查询近距离对象的方法和装置
US20150120697A1 (en) System and method for analysis of a database proxy
CN110377668A (zh) 数据分析方法和系统
CN111859084A (zh) 一种针对大量数据处理的方法
CN113760640A (zh) 监控日志处理方法、装置、设备及存储介质
Lev An information theory analysis of budget variances
CN111400510B (zh) 数据归档处理方法、装置、设备以及可读存储介质
CN115712677A (zh) 搜索数据同步方法及其装置、设备、介质、产品
CN115481026A (zh) 测试案例的生成方法、装置、计算机设备、存储介质
CN115795187A (zh) 资源访问方法、装置及设备
CN111506613A (zh) 一种数据记录的关联关系的查询方法、系统、装置及设备
CN111090672A (zh) 一种数据优化方法及装置
CN109299139B (zh) 一种信息查询方法及装置
Lyu et al. STEM: A Simulation-Based Testbed for Electromagnetic Big Data Management.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication