CN104683472A - 一种支持大数据量的数据传输方法 - Google Patents
一种支持大数据量的数据传输方法 Download PDFInfo
- Publication number
- CN104683472A CN104683472A CN201510108020.5A CN201510108020A CN104683472A CN 104683472 A CN104683472 A CN 104683472A CN 201510108020 A CN201510108020 A CN 201510108020A CN 104683472 A CN104683472 A CN 104683472A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- message queue
- read
- transmission method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种支持大数据量的数据传输方法，其具体实现过程为：初始化并启动各执行步骤；读取客户端数据；序列化客户端数据；传输数据；服务端反序列化数据。该一种支持大数据量的数据传输方法与现有技术相比，通过分批并行传输的方式，可以支持大数据量的数据传输，并且提高了传输效率，传输时间短，占用内存小，避免出现内存溢出的问题，实用性强。
Description
技术领域
本发明涉及数据传输技术领域，具体地说是一种实用性强、支持大数据量的数据传输方法。
背景技术
企业的应用系统，比如ERP、CRM等，用户在客户端处理的数据量有时比较大，这些比较大的客户端数据需要传输到服务端进行处理或存储。传统的数据传输方式，一般采用一次性传输或者分批同步传输；支持的传输数据量比较小，而且传输性能比较差。一次性传输的方式，占用内存比较大，常出现内存溢出的问题；并且占用网络资源比较大。分批同步传输的方式，传输效率比较低，传输时间比较长。
针对这种问题，本专利提出了一种支持大数据量的数据传输方法。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、支持大数据量的数据传输方法。
一种支持大数据量的数据传输方法，其具体实现过程为：
一、初始化并启动以下数据传输的各个执行步骤；
二、读取客户端数据，即逐条读取客户端的数据，并把数据按顺序发送到该步骤对应的消息队列中；
三、对读取的客户端数据进行序列化处理；
四、将序列化处理的数据进行传输；
五、服务端读取传输来的数据并进行反序列化处理；
上述步骤一至步骤四中，每个步骤对应一个线程，并行执行每个线程：即每个步骤配置一个消息队列，消息队列存储每个步骤的输出的数据。
所述步骤三的详细过程为：每隔一个时间周期，逐条从步骤二对应的消息队列中读取消息，读取的每个消息在后台进行序列化处理，并把序列化后的数据发送到该步骤三对应的消息队列中。
所述步骤三中对读取的消息进行序列化处理时，消息队列执行出队操作，即消息从步骤二对应的消息队列删除；每条数据序列化是在客户端后台并行处理的。
所述步骤四的详细过程为：每隔一个时间周期，逐条从步骤三对应的消息队列中读取消息，把读取后的数据放到内存中，当内存中的数据累加到n条时，把数据传输到服务端，并发送到该步骤四对应的消息队列，所述n为≥1的自然数。
所述步骤五的详细过程为：每隔一个时间周期，逐条从步骤四对应的消息队列中读取消息，把读取后的数据反序列化，并把数据追加到目标数据结果集DataSet中。
本发明的一种支持大数据量的数据传输方法，具有以下优点：
本发明提出的一种支持大数据量的数据传输方法，通过分批并行传输的方式，可以支持大数据量的数据传输，并且提高了传输效率，传输时间短，占用内存小，避免出现内存溢出的问题，占用较小的网络资源即可，彻底解决客户端数据较大时无法有效传输到服务端的问题，实用性强，易于推广。
附图说明
附图1为本发明的客户端与服务端通讯的示意图。
附图2为数据传输流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
本发明提供一种支持大数据量的数据传输方法，该方法使用消息队列技术进行分批并行数据传输，其具体实现过程为：
一、初始化并启动以下数据传输的各个执行步骤；
二、读取客户端数据，进一步说明，逐条读取客户端的数据，并把数据按顺序发送到该步骤对应的消息队列（以下简称S11-MQ）中；
三、对读取的客户端数据进行序列化处理；
四、将序列化处理的数据进行传输；
五、服务端读取传输来的数据并进行反序列化处理；
上述步骤一至步骤四中，每个步骤对应一个线程，并行执行每个线程：即每个步骤配置一个消息队列，消息队列存储每个步骤的输出的数据；为了控制内存占用，每个消息队列可以设置容量。
所述步骤三的详细过程为：每隔一个时间周期（时间周期可配置，默认设置为1s），逐条从S11-MQ中读取消息，读取的每个消息在后台进行序列化处理，并把序列化后的数据发送到该步骤对应的消息队列（以下简称S12-MQ）中。读取消息时，消息队列执行出队操作，即消息从S11-MQ删除；每条数据序列化是在客户端后台并行处理的。
所述步骤四的详细过程为：每隔一个时间周期（时间周期可配置，默认设置为1s），逐条从S12-MQ中读取消息，把读取后的数据放到内存中，当内存中的数据累加到n（n>=1，可根据使用场景设置n的大小）条时，把数据传输到服务端，并发送到该步骤对应的消息队列（以下简称S13-MQ）中。
所述步骤五的详细过程为：服务端反序列化数据。进一步说明，每隔一个时间周期（时间周期可配置，默认设置为1s），逐条从S13-MQ中读取消息，把读取后的数据反序列化，并把数据追加到目标数据结果集DataSet中。
实施例说明：
某CRM系统中，通过客户线索管理功能，把用户界面中编辑的客户线索数据保存到数据库。客户端与服务端交互方式如图1所示。
首先配置初始化并启动数据传输的各个步骤。系统把数据传输流程中的几个步骤分解为以下几个线程，且并行启动。
T1：读取客户端数据；
T2：序列化客户端数据；
T3：传输客户端数据；
T4：服务端反序列化数据。
然后，上述线程分别按照对应步骤的逻辑分别处理相应的数据，并把处理结果发送到对应的消息队列中。传输流程处理如图2所示。
在T1线程中，逐条读取客户端的客户线索数据，并把数据按顺序发送到S11-MQ中。
在T2线程中，每隔1s逐条从S11-MQ中读取消息进行序列化处理，并把序列化后的数据发送到S12-MQ中。
在T3线程中，每隔1s逐条从S12-MQ中读取数据放到内存中，当内存中的数据累加到10条时，把数据传输到服务端，并发送到S13-MQ中。
在T4线程中，每隔1s逐条从S13-MQ中读取消息，把读取后的数据反序列化，并把数据追加到目标数据结果集DataSet中。
本发明的应用场景，主要针对把客户端处理的数据传输到应用服务端的场景；本发明仅介绍了结构化数据的传输，非结构化数据的传输也可以采用本发明的思想进行分解并行传输。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种支持大数据量的数据传输方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (5)
1.一种支持大数据量的数据传输方法，其特征在于，其具体实现过程为：
一、初始化并启动以下数据传输的各个执行步骤；
二、读取客户端数据，即逐条读取客户端的数据，并把数据按顺序发送到该步骤对应的消息队列中；
三、对读取的客户端数据进行序列化处理；
四、将序列化处理的数据进行传输；
五、服务端读取传输来的数据并进行反序列化处理；
上述步骤一至步骤四中，每个步骤对应一个线程，并行执行每个线程：即每个步骤配置一个消息队列，消息队列存储每个步骤的输出的数据。
2.根据权利要求1所述的一种支持大数据量的数据传输方法，其特征在于，所述步骤三的详细过程为：每隔一个时间周期，逐条从步骤二对应的消息队列中读取消息，读取的每个消息在后台进行序列化处理，并把序列化后的数据发送到该步骤三对应的消息队列中。
3.根据权利要求2所述的一种支持大数据量的数据传输方法，其特征在于，所述步骤三中对读取的消息进行序列化处理时，消息队列执行出队操作，即消息从步骤二对应的消息队列删除；每条数据序列化是在客户端后台并行处理的。
4.根据权利要求1所述的一种支持大数据量的数据传输方法，其特征在于，所述步骤四的详细过程为：每隔一个时间周期，逐条从步骤三对应的消息队列中读取消息，把读取后的数据放到内存中，当内存中的数据累加到n条时，把数据传输到服务端，并发送到该步骤四对应的消息队列，所述n为≥1的自然数。
5.根据权利要求1所述的一种支持大数据量的数据传输方法，其特征在于，所述步骤五的详细过程为：每隔一个时间周期，逐条从步骤四对应的消息队列中读取消息，把读取后的数据反序列化，并把数据追加到目标数据结果集DataSet中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510108020.5A CN104683472A (zh) | 2015-03-12 | 2015-03-12 | 一种支持大数据量的数据传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510108020.5A CN104683472A (zh) | 2015-03-12 | 2015-03-12 | 一种支持大数据量的数据传输方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104683472A true CN104683472A (zh) | 2015-06-03 |
Family
ID=53318038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510108020.5A Pending CN104683472A (zh) | 2015-03-12 | 2015-03-12 | 一种支持大数据量的数据传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104683472A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106453250A (zh) * | 2016-09-05 | 2017-02-22 | 掌阅科技股份有限公司 | 一种大数据rpc的处理方法 |
| CN106648934A (zh) * | 2016-12-27 | 2017-05-10 | 中科天玑数据科技股份有限公司 | 一种Impala与HBase之间的高效数据传输方法及系统 |
| CN108924041A (zh) * | 2018-08-03 | 2018-11-30 | 北京捷易迅信息技术有限公司 | 一种即时通讯中消息高效可靠发送方法 |
| CN109460304A (zh) * | 2017-09-06 | 2019-03-12 | 阿里巴巴集团控股有限公司 | 一种跨应用的通知展示、通知内容封装方法和装置 |
| CN109831485A (zh) * | 2018-12-29 | 2019-05-31 | 芜湖哈特机器人产业技术研究院有限公司 | 一种激光雷达的数据通信与解析方法 |
| CN110138506A (zh) * | 2019-04-19 | 2019-08-16 | 中电科安科技股份有限公司 | 大规模物联网断路器数据传输方法 |
| CN110442635A (zh) * | 2019-08-22 | 2019-11-12 | 深圳市元征科技股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
| CN110603799A (zh) * | 2017-04-26 | 2019-12-20 | 西门子股份公司 | 从设备到数据管理装置的数据传输的方法，交换单元，设备和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070265796A1 (en) * | 2006-05-09 | 2007-11-15 | Stephen Taylor | Scalable, concurrent, distributed sensor system and method |
| CN102957627A (zh) * | 2012-11-19 | 2013-03-06 | 浪潮电子信息产业股份有限公司 | 一种基于tcp长连接的提高数据传输效率的方法 |
| CN103051676A (zh) * | 2012-11-26 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种分布式数据存储管理方法 |
| CN103530388A (zh) * | 2013-10-22 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种云存储系统中提升性能的数据处理方法 |
-
2015
- 2015-03-12 CN CN201510108020.5A patent/CN104683472A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070265796A1 (en) * | 2006-05-09 | 2007-11-15 | Stephen Taylor | Scalable, concurrent, distributed sensor system and method |
| CN102957627A (zh) * | 2012-11-19 | 2013-03-06 | 浪潮电子信息产业股份有限公司 | 一种基于tcp长连接的提高数据传输效率的方法 |
| CN103051676A (zh) * | 2012-11-26 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种分布式数据存储管理方法 |
| CN103530388A (zh) * | 2013-10-22 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种云存储系统中提升性能的数据处理方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106453250A (zh) * | 2016-09-05 | 2017-02-22 | 掌阅科技股份有限公司 | 一种大数据rpc的处理方法 |
| CN106453250B (zh) * | 2016-09-05 | 2019-07-09 | 掌阅科技股份有限公司 | 一种大数据rpc的处理方法 |
| CN106648934A (zh) * | 2016-12-27 | 2017-05-10 | 中科天玑数据科技股份有限公司 | 一种Impala与HBase之间的高效数据传输方法及系统 |
| CN106648934B (zh) * | 2016-12-27 | 2019-12-03 | 中国科学院计算技术研究所 | 一种Impala与HBase之间的高效数据传输方法及系统 |
| CN110603799A (zh) * | 2017-04-26 | 2019-12-20 | 西门子股份公司 | 从设备到数据管理装置的数据传输的方法，交换单元，设备和系统 |
| US11601494B2 (en) | 2017-04-26 | 2023-03-07 | Siemens Aktiengesellschaft | Method for transferring data from a device to a data management means, switching unit, device and system |
| CN109460304A (zh) * | 2017-09-06 | 2019-03-12 | 阿里巴巴集团控股有限公司 | 一种跨应用的通知展示、通知内容封装方法和装置 |
| CN108924041A (zh) * | 2018-08-03 | 2018-11-30 | 北京捷易迅信息技术有限公司 | 一种即时通讯中消息高效可靠发送方法 |
| CN109831485A (zh) * | 2018-12-29 | 2019-05-31 | 芜湖哈特机器人产业技术研究院有限公司 | 一种激光雷达的数据通信与解析方法 |
| CN110138506A (zh) * | 2019-04-19 | 2019-08-16 | 中电科安科技股份有限公司 | 大规模物联网断路器数据传输方法 |
| CN110442635A (zh) * | 2019-08-22 | 2019-11-12 | 深圳市元征科技股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104683472A (zh) | 一种支持大数据量的数据传输方法 | |
| US11762697B2 (en) | Method and apparatus for scheduling resource for deep learning framework | |
| US11188380B2 (en) | Method and apparatus for processing task in smart device | |
| RU2666245C1 (ru) | Способ и устройство для сохранения данных с высокой степенью многопоточности | |
| US20180365254A1 (en) | Method and apparatus for processing information flow data | |
| US9832275B2 (en) | Message processing method, device and system for internet of things | |
| CN107515878B (zh) | 一种数据索引的管理方法及装置 | |
| CN107256206B (zh) | 字符流格式转换的方法和装置 | |
| US20150347305A1 (en) | Method and apparatus for outputting log information | |
| CN103646073A (zh) | 一种基于HBase表的条件查询优化方法 | |
| WO2019047441A1 (zh) | 一种通信优化方法及系统 | |
| CN106776395B (zh) | 一种共享集群的任务调度方法及装置 | |
| CN105187327A (zh) | 一种分布式消息队列中间件 | |
| CN109032796B (zh) | 一种数据处理方法和装置 | |
| CN104391748A (zh) | 一种mapreduce计算过程优化方法 | |
| CN103761146A (zh) | 一种MapReduce动态设定slots数量的方法 | |
| CN104461710A (zh) | 任务处理方法及装置 | |
| CN110572464A (zh) | 底层资源状态同步方法、装置、云平台系统及存储介质 | |
| CN113076304A (zh) | 一种分布式版本管理方法、装置和系统 | |
| CN111107022B (zh) | 数据传输优化方法、设备及可读存储介质 | |
| CN106201666A (zh) | 一种分布式事务实现方法 | |
| CN114218135A (zh) | 一种基于Redis缓存的源端流控方法及系统 | |
| CN111767149A (zh) | 调度方法、装置、设备及存储设备 | |
| CN115525666A (zh) | 一种实时数据更新方法、装置、电子设备及存储介质 | |
| CN111191103B (zh) | 从互联网中识别分析企业主体信息方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150603 |