CN110650185A - 多类型异构数据不同步上传及延迟集成的方法及系统 - Google Patents
多类型异构数据不同步上传及延迟集成的方法及系统 Download PDFInfo
- Publication number
- CN110650185A CN110650185A CN201910832756.5A CN201910832756A CN110650185A CN 110650185 A CN110650185 A CN 110650185A CN 201910832756 A CN201910832756 A CN 201910832756A CN 110650185 A CN110650185 A CN 110650185A
- Authority
- CN
- China
- Prior art keywords
- data
- uploading
- network
- data file
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种多类型异构数据不同步上传及延迟集成的方法，包括以下步骤：(1)业务终端服务器定义网络空闲时段、网络忙碌时段、各数据文件的上传需求；(2)根据业务终端服务器产生的数据文件进行分析判断，将数据文件分为实时上传数据和延迟上传数据：对延迟上传数据，业务终端服务器标记延迟上传的标识；对实时上传数据，向业务终端服务器发出文件上传请求，并判断是否上传成功，若上传失败，业务终端服务器于网络空闲时段检测上传失败数据和延迟上传数据，重复本步骤直至结束上传。还公开了一种多类型异构数据不同步上传及延迟集成的系统。通过上述方式，本发明显著提高了文件同步上传效率，有效防止数据文件漏传。
Description
技术领域
本发明涉及数据通讯领域，特别是涉及一种多类型异构数据不同步上传及延迟集成的方法及系统。
背景技术
根据国家统计局公布的2011年粮食产量数据显示，初步统计，2011年全国粮食总产量达到57121万吨，创造了新的历史纪录，比2010年增产2473万吨，增长4.5％。粮食产量的增长带来直接影响就是剩余粮食的储存量也将大幅度的提高。
我国粮食行业和粮食系统的信息化水平一直比较低，尤其是信息化建设发展不均衡，而且最近几年的粮食系统调整改革，使得原有的信息监管基础设施已不适应新的形势，信息采集分散、多种设施并存、接口和交换独立、标准不统一、信息孤岛现象严重。
“数字粮库”工程，是国家粮食局实施“数字粮食”工程的背景下，重点以粮库的作业与管理实现信息化、自动化和智能化为建设目标，通过数字粮库管理平台与数字粮库系统，实现对储备粮集中监管，增强政府对粮食宏观调控能力的专项工程，是“数字粮食”工程的重要组成部分。
目前粮库管理平台若对粮库进行全局化的管理和相关调度，需获取大量的前端数据，且前端数据为多类型异构数据，因此如何将这些庞大的前端业务信息数据和接口文件顺畅有序地上传至数字粮库管理平台显得尤为重要。
发明内容
本发明所要解决的技术问题是提供一种多类型异构数据不同步上传及延迟集成的方法及系统，能够显著提高数据文件同步上传效率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种多类型异构数据不同步上传及延迟集成的方法，包括以下步骤：
(1)业务终端服务器定义网络空闲时段、网络忙碌时段、各数据文件的上传需求；
(2)根据业务终端服务器产生的数据文件进行分析判断，将数据文件分为实时上传数据和延迟上传数据：
对延迟上传数据，业务终端服务器标记延迟上传的标识；
对实时上传数据，向业务终端服务器发出基于hessian、webservice文件上传请求，并判断是否上传成功，若上传失败，业务终端服务器于网络空闲时段定时循环检测上传失败数据和延迟上传数据，并提交业务终端服务器进行上传。
在本发明一个较佳实施例中，在步骤(1)中，各数据文件的上传需求包括业务数据类型、网络空闲时段上传/网络忙碌时段上传、数据文件大小。
在本发明一个较佳实施例中，在步骤(2)中，对数据文件进行分析判断的具体过程包括以下步骤：
(21)获取数据文件的类型和大小以及在业务终端服务器中设置的配置参数；
(22)判断参数中该类型数据文件是否需要切割，若需要切割，则结合业务数据进行切割；若不需要切割，则判断当前时间段是网络空闲时段还是网络忙碌时段；
(23)若当前时间段是网络空闲时段，则直接进行上传；若当前时间段是网络忙碌时段，则判断参数中该类型数据文件是否网络忙碌时段上传；
(24)若参数中该类型数据文件需要网络忙碌时段上传，则进行上传，若不需要网络忙碌时段上传，则进行延迟上传的标记，等待网络空闲时段进行上传。
进一步的，在步骤(21)中，所述数据文件的类型包括短视频数据、文件数据、结构化的业务信息、运行日志。
进一步的，在步骤(22)中，数据文件进行切割的方法为：
根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。
更进一步的，在步骤(24)中，参数中该类型数据文件需要网络忙碌时段上传的数据为小于切割点阈值大小的数据文件。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种多类型异构数据不同步上传及延迟集成的系统，主要包括：
参数定义模块，用于网络空闲时段、网络忙碌时段、各数据文件的上传需求的定义；
数据文件分析判断模块，用于对系统产生的数据文件进行分析判断，并将数据文件分为实时上传数据和延迟上传数据；
数据文件上传模块，基于hessian、webservice文件上传实时上传数据和延迟上传数据；
数据文件标识模块，用于对延迟上传数据、上传成功数据和网络空闲时段上传失败数据进行标记。
在本发明一个较佳实施例中，所述数据文件分析判断模块包括数据文件分割模块，用于根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。
进一步的，该系统采用业务终端服务器。
本发明的有益效果是：本发明将分散的多类型异构数据按照网络性能及实时性要求，分类为实时上传数据和延迟上传数据，减少网络忙碌时段时，数据文件上传积压，减少网络压力的同时提高了文件同步上传效率，并且提高了网络空闲时段网络的利用率，有效防止上传失败造成数据文件漏传；同时粮库只进行一次上传申请，由系统提供实时和非实时的分析，实时数据同步共享，非实时数据通过定义的空闲时段重复抓取直至数据共享完成，实现延迟集成。
附图说明
图1是本发明多类型异构数据不同步上传及延迟集成的方法的流程图；
图2是对数据文件进行分析判断的具体流程示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种多类型异构数据不同步上传及延迟集成的方法，包括以下步骤：
(1)业务终端服务器定义网络空闲时段、网络忙碌时段、各数据文件的上传需求；
为描述简便，以下对网络空闲时段、网络忙碌时段分别描述为闲时、忙时。对忙时、闲时的定义基于日常工作时间、非工作时间，例如9:00—4:00定义为忙时，其它时间定义为闲时；若遇农忙时节，对忙时、闲时的定义可进行参数变更，实现参数配置的灵活性。
各数据文件的上传需求包括业务数据类型、闲时上传/忙时上传、数据文件大小。例如业务数据类型包括出入库、质检等。
(2)根据业务终端服务器产生的数据文件进行分析判断，将数据文件分为实时上传数据和延迟上传数据：
对延迟上传数据，业务终端服务器标记延迟上传的标识；
对实时上传数据，向业务终端服务器发出基于hessian、webservice文件上传请求，并判断是否上传成功，若上传失败，业务终端服务器于网络空闲时段定时循环检测上传失败数据和延迟上传数据，并提交业务终端服务器进行上传。
结合图2，对数据文件进行分析判断的具体过程包括以下步骤：
(21)获取数据文件的类型和大小以及在业务终端服务器中设置的配置参数；
其中，数据文件的类型包括短视频数据(MP4格式)、文件数据(TXT、XML格式)、结构化的业务信息、运行日志。所述结构化的业务信息为口令，包括库点信息、出入库时间、仓房信息、粮食种类等。
在业务终端服务器中设置的配置参数与步骤(1)中预先定义的各数据文件的上传需求相同。
此步骤中，获取数据文件的类型和大小是根据业务需求信息即时获取相关数据文件，获取数据文件在业务终端服务器中设置的配置参数是根据库点状态进行配置获得。例如配置参数包括当前库点状态为出入库、数据文件闲时上传/忙时上传、数据文件是否需要切割。
(22)判断参数中该类型数据文件是否需要切割，若需要切割，则结合业务数据进行切割；若不需要切割，则判断当前时间段是闲时还是忙时；
数据文件进行切割的方法为：根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。例如出入库粮食过磅的视频数据，会根据一卡通的读卡和取卡时间决定视频截取的开始点和结束点。
按照步骤(21)的数据类型，需要分割的多数为数据较大的视频文件，优选的，视频文件的切割点阈值设置为10M。
(23)若当前时间段是闲时，则直接进行上传；若当前时间段是忙时，则判断参数中该类型数据文件是否忙时上传；
(24)若参数中该类型数据文件需要忙时上传，则进行上传，并标记“已上传成功”；若不需要忙时上传，则进行延迟上传的标记，等待闲时进行上传，并标记“闲时待上传”。
参数中该类型数据文件需要忙时上传的数据为小于切割点阈值大小的数据文件，例如结构化的业务信息可选择忙时上传。
本实施例还对应给出了一种多类型异构数据不同步上传及延迟集成的系统，主要包括：
参数定义模块，用于网络空闲时段、网络忙碌时段、各数据文件的上传需求的定义；
数据文件分析判断模块，用于对系统产生的数据文件进行分析判断，并将数据文件分为实时上传数据和延迟上传数据；
数据文件上传模块，基于hessian、webservice文件上传实时上传数据和延迟上传数据；
数据文件标识模块，用于对延迟上传数据、上传成功数据和网络空闲时段上传失败数据进行标记。
其中，所述数据文件分析判断模块还包括数据文件分割模块，用于根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。
进一步的，该系统采用业务终端服务器，例如数字粮库管理平台。
本发明将分散的多类型异构数据按照网络性能及实时性要求，分类为实时上传数据和延迟上传数据，减少网络忙碌时段时，数据文件上传积压，减少网络压力的同时提高了文件同步上传效率，并且提高了网络空闲时段网络的利用率，有效防止上传失败造成数据文件漏传；同时粮库只进行一次上传申请，由系统提供实时和非实时的分析，实时数据同步共享，非实时数据通过定义的空闲时段重复抓取直至数据共享完成，实现延迟集成。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种多类型异构数据不同步上传及延迟集成的方法，包括以下步骤：
(1)业务终端服务器定义网络空闲时段、网络忙碌时段、各数据文件的上传需求；
(2)根据业务终端服务器产生的数据文件进行分析判断，将数据文件分为实时上传数据和延迟上传数据：
对延迟上传数据，业务终端服务器标记延迟上传的标识；
对实时上传数据，向业务终端服务器发出基于hessian、webservice文件上传请求，并判断是否上传成功，若上传失败，业务终端服务器于网络空闲时段定时循环检测上传失败数据和延迟上传数据，并提交业务终端服务器进行上传。
2.根据权利要求1所述的多类型异构数据不同步上传及延迟集成的方法，其特征在于，在步骤(1)中，各数据文件的上传需求包括业务数据类型、网络空闲时段上传/网络忙碌时段上传、数据文件大小。
3.根据权利要求1所述的多类型异构数据不同步上传及延迟集成的方法，其特征在于，在步骤(2)中，对数据文件进行分析判断的具体过程包括以下步骤：
(21)获取数据文件的类型和大小以及在业务终端服务器中设置的配置参数；
(22)判断参数中该类型数据文件是否需要切割，若需要切割，则结合业务数据进行切割；若不需要切割，则判断当前时间段是网络空闲时段还是网络忙碌时段；
(23)若当前时间段是网络空闲时段，则直接进行上传；若当前时间段是网络忙碌时段，则判断参数中该类型数据文件是否网络忙碌时段上传；
(24)若参数中该类型数据文件需要网络忙碌时段上传，则进行上传，若不需要网络忙碌时段上传，则进行延迟上传的标记，等待网络空闲时段进行上传。
4.根据权利要求3所述的多类型异构数据不同步上传及延迟集成的方法，其特征在于，在步骤(21)中，所述数据文件的类型包括短视频数据、文件数据、结构化的业务信息、运行日志。
5.根据权利要求3所述的多类型异构数据不同步上传及延迟集成的方法，其特征在于，在步骤(22)中，数据文件进行切割的方法为：
根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。
6.根据权利要求5所述的多类型异构数据不同步上传及延迟集成的方法，其特征在于，在步骤(24)中，参数中该类型数据文件需要网络忙碌时段上传的数据为小于切割点阈值大小的数据文件。
7.一种多类型异构数据不同步上传及延迟集成的系统，其特征在于，主要包括：
参数定义模块，用于网络空闲时段、网络忙碌时段、各数据文件的上传需求的定义；
数据文件分析判断模块，用于对系统产生的数据文件进行分析判断，并将数据文件分为实时上传数据和延迟上传数据；
数据文件上传模块，基于hessian、webservice文件上传实时上传数据和延迟上传数据；
数据文件标识模块，用于对延迟上传数据、上传成功数据和网络空闲时段上传失败数据进行标记。
8.根据权利要求7所述的多类型异构数据不同步上传及延迟集成的系统，其特征在于，所述数据文件分析判断模块包括数据文件分割模块，用于根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。
9.根据权利要求7或8所述的多类型异构数据不同步上传及延迟集成的系统，其特征在于，该系统采用业务终端服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910832756.5A CN110650185A (zh) | 2019-09-04 | 2019-09-04 | 多类型异构数据不同步上传及延迟集成的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910832756.5A CN110650185A (zh) | 2019-09-04 | 2019-09-04 | 多类型异构数据不同步上传及延迟集成的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110650185A true CN110650185A (zh) | 2020-01-03 |
Family
ID=68991541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910832756.5A Pending CN110650185A (zh) | 2019-09-04 | 2019-09-04 | 多类型异构数据不同步上传及延迟集成的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110650185A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111984432A (zh) * | 2020-07-31 | 2020-11-24 | 青岛百洋智能科技股份有限公司 | 一种基于netty框架的多类型文件解析上报系统 |
| CN112235627A (zh) * | 2020-10-22 | 2021-01-15 | 江苏欧帝电子科技有限公司 | 一种本地存储分时传送方法 |
| CN113507497A (zh) * | 2021-06-01 | 2021-10-15 | 常州皓鸣信息科技有限公司 | 一种多类型数据多节点异步下发与延迟集成的方法 |
| CN114003175A (zh) * | 2021-11-02 | 2022-02-01 | 青岛海信日立空调系统有限公司 | 一种空调器及其控制系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102984244A (zh) * | 2012-11-21 | 2013-03-20 | 用友软件股份有限公司 | 单据数据的上传系统和上传方法 |
| CN103870977A (zh) * | 2012-12-18 | 2014-06-18 | 风网科技（北京）有限公司 | 移动广告平台数据同步方法及其系统 |
| CN104468656A (zh) * | 2013-09-18 | 2015-03-25 | 中国移动通信集团四川有限公司 | 一种移动数据的下载上传方法和系统 |
| CN108093439A (zh) * | 2017-10-30 | 2018-05-29 | 努比亚技术有限公司 | 用户行为数据上报控制方法、终端及计算机可读存储介质 |
| CN109818789A (zh) * | 2019-01-22 | 2019-05-28 | 苏州科达科技股份有限公司 | 图片传输方法及系统、存储介质、电子设备 |
-
2019
- 2019-09-04 CN CN201910832756.5A patent/CN110650185A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102984244A (zh) * | 2012-11-21 | 2013-03-20 | 用友软件股份有限公司 | 单据数据的上传系统和上传方法 |
| CN103870977A (zh) * | 2012-12-18 | 2014-06-18 | 风网科技（北京）有限公司 | 移动广告平台数据同步方法及其系统 |
| CN104468656A (zh) * | 2013-09-18 | 2015-03-25 | 中国移动通信集团四川有限公司 | 一种移动数据的下载上传方法和系统 |
| CN108093439A (zh) * | 2017-10-30 | 2018-05-29 | 努比亚技术有限公司 | 用户行为数据上报控制方法、终端及计算机可读存储介质 |
| CN109818789A (zh) * | 2019-01-22 | 2019-05-28 | 苏州科达科技股份有限公司 | 图片传输方法及系统、存储介质、电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111984432A (zh) * | 2020-07-31 | 2020-11-24 | 青岛百洋智能科技股份有限公司 | 一种基于netty框架的多类型文件解析上报系统 |
| CN112235627A (zh) * | 2020-10-22 | 2021-01-15 | 江苏欧帝电子科技有限公司 | 一种本地存储分时传送方法 |
| CN113507497A (zh) * | 2021-06-01 | 2021-10-15 | 常州皓鸣信息科技有限公司 | 一种多类型数据多节点异步下发与延迟集成的方法 |
| CN114003175A (zh) * | 2021-11-02 | 2022-02-01 | 青岛海信日立空调系统有限公司 | 一种空调器及其控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110650185A (zh) | 多类型异构数据不同步上传及延迟集成的方法及系统 | |
| CN112507029B (zh) | 数据处理系统及数据实时处理方法 | |
| CN102984244A (zh) | 单据数据的上传系统和上传方法 | |
| CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
| CN112422452A (zh) | 一种基于电力物联网平台的数据分级处理方法及装置 | |
| CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
| CN112286664B (zh) | 任务调度方法、装置、计算机设备及可读存储介质 | |
| US9606886B2 (en) | Method and device for measuring system performance in real time | |
| CN115086379B (zh) | 一种基于边缘计算及虚拟化技术的数控机床数据采集方法 | |
| CN112632127A (zh) | 设备运行实时数据采集及时序的数据处理方法 | |
| CN112367384A (zh) | 基于Kafka集群的动态限速方法、装置以及计算机设备 | |
| CN104426942A (zh) | 文件上传方法及系统 | |
| CN104601374A (zh) | 用于数控机床的网络故障处理方法和装置 | |
| CN112015813B (zh) | 配电网的数据共享方法、系统、装置和计算机设备 | |
| CN111309442B (zh) | 微服务容器数量的调整方法、装置、系统、介质及设备 | |
| CN112751722B (zh) | 数据传输质量监控方法和系统 | |
| CN101227330B (zh) | 一种历史性能数据采集方法和系统 | |
| CN116502802A (zh) | 一种基于大数据与无线传感技术的数据管理系统 | |
| CN115664992A (zh) | 网络运行数据的处理方法、装置、电子设备及介质 | |
| CN114257618A (zh) | 一种基于车联网平台的车辆运行数据实时分析系统 | |
| CN113659722B (zh) | 一种5g电力网络的多功能网络系统及其管理方法 | |
| CN112437315B (zh) | 适应多系统版本的音频适配方法及系统 | |
| CN115576973A (zh) | 一种业务部署方法、装置、计算机设备和可读存储介质 | |
| CN114090409A (zh) | 一种消息处理方法及装置 | |
| CN113507497A (zh) | 一种多类型数据多节点异步下发与延迟集成的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200103 |
|
| RJ01 | Rejection of invention patent application after publication |