CN110351270A - 一种提高并发数据处理效率的方法及系统 - Google Patents

一种提高并发数据处理效率的方法及系统 Download PDF

Info

Publication number
CN110351270A
CN110351270A CN201910604826.1A CN201910604826A CN110351270A CN 110351270 A CN110351270 A CN 110351270A CN 201910604826 A CN201910604826 A CN 201910604826A CN 110351270 A CN110351270 A CN 110351270A
Authority
CN
China
Prior art keywords
data
resolver
gateway
internet
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910604826.1A
Other languages
English (en)
Inventor
魏钦淋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN HAOKE ELECTRONICS CO Ltd
Original Assignee
SHENZHEN HAOKE ELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN HAOKE ELECTRONICS CO Ltd filed Critical SHENZHEN HAOKE ELECTRONICS CO Ltd
Priority to CN201910604826.1A priority Critical patent/CN110351270A/zh
Publication of CN110351270A publication Critical patent/CN110351270A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Abstract

本发明提供了一种提高并发数据处理效率的方法及系统，该方法包括：指令数据传输步骤：前端设备将下发的指令数据经过网关、消息队列中间件、协议解析器传输至对应的物联网设备，物联网设备将返回的指令数据结果经过协议解析器、消息队列中间件、网关传输至前端设备；业务数据传输步骤：物联网设备与前端设备之间的业务数据经过协议解析器、分布式消息队列、数据处理模块、网关进行传输。本发明的有益效果是：本发明引入消息队列中间件，通过消息队列中间件单独处理指令数据，从而保证指令和报警信息的高效稳定的收发，通过两条不同的路径分别传输指令数据和业务数据，从而使业务数据处理不受影响，又可以快速高效的传送指令、报警数据。

Description

一种提高并发数据处理效率的方法及系统
技术领域
本发明涉及物联网技术领域，尤其涉及一种提高并发数据处理效率的方法及系统。
背景技术
随着通信及计算机的发展，物联网也得到了快速的发展，但是，目前在物联网中，为了平台的统一性，各个协议解析器初步解析出的数据按照统一格式传入分步式消息队列，消息队列后端成倍数挂有消息信息处理端。
这样做的好处是：1.分步式消息队列便于扩展，当前接入设备增加，数据量增大时，通过水平扩展消息队列来达到扩容。2.消息队列具有落盘功能，暂时处理不过来的数据，可以存入到硬盘，达到应对前端数据突发的情况。
指令数据和业务数据统一进入数据缓存，不做任何区分，造成如下不良现象：1.当数据量增加时，消息队列的后端处理能力并没有增加，会造成消息的处理时间变长；2.当突发数据到来时消息队列缓存数据增大，也会达到消息处理不及时。此时报警信息、指令信息这些要求实时性的信息被延迟，影响整个交互体验。
发明内容
本发明提供了一种提高并发数据处理效率的方法，包括：
指令数据传输步骤：前端设备将下发的指令数据经过网关、消息队列中间件、协议解析器传输至对应的物联网设备，物联网设备将返回的指令数据结果经过协议解析器、消息队列中间件、网关传输至前端设备；
业务数据传输步骤：前端设备与物联网设备之间的业务数据经过协议解析器、分布式消息队列、数据处理模块、网关进行传输。
作为本发明的进一步改进，协议解析器包括基于ASCII码的一种字符协议解析器、基于二进制的超长待机项目协议解析器、交通部808协议精简协议解析器、公司私用二进制协议解析器。
作为本发明的进一步改进，物联网设备信息包括物联网设备IMEI、物联网设备配置参数、物联网设备位置信息、物联网设备通信信息。
作为本发明的进一步改进，前端设备包括电脑、移动终端。
作为本发明的进一步改进，所述消息队列中间件为activeMQ消息队列。
本发明还提供了一种提高并发数据处理效率的系统，包括：网关、消息队列中间件、协议解析器、分布式消息队列、数据处理模块，前端设备将下发的指令数据经过网关、消息队列中间件、协议解析器传输至对应的物联网设备，物联网设备将返回的指令数据结果经过协议解析器、消息队列中间件、网关传输至前端设备；前端设备与物联网设备之间的业务数据经过协议解析器、分布式消息队列、数据处理模块、网关进行传输。
作为本发明的进一步改进，协议解析器包括基于ASCII码的一种字符协议解析器、基于二进制的超长待机项目协议解析器、交通部808协议精简协议解析器、公司私用二进制协议解析器。
作为本发明的进一步改进，物联网设备信息包括物联网设备IMEI、物联网设备配置参数、物联网设备位置信息、物联网设备通信信息。
作为本发明的进一步改进，前端设备包括电脑、移动终端。
作为本发明的进一步改进，所述消息队列中间件为activeMQ消息队列。
本发明的有益效果是：本发明引入消息队列中间件，通过消息队列中间件单独处理指令数据，从而保证指令和报警信息的高效稳定的收发，通过两条不同的路径分别传输指令数据和业务数据，从而使业务数据处理不受影响，又可以快速高效的传送指令、报警数据。
附图说明
图1是本发明的指令数据传输步骤流程图。
图2是本发明的业务数据传输步骤流程图。
图3是本发明的业务数据存储步骤流程图。
图4是本发明的原理框图。
具体实施方式
为应对消息队列延迟问题，本发明引入消息队列中间件，通过消息队列中间件单独处理指令数据，指令数据包括指令和报警信息，从而保证指令和报警信息的高效稳定的收发，单独引进来处理指令收发，从而，本发明公开了一种提高并发数据处理效率的方法，包括：
如图1所示，指令数据传输步骤：前端设备将下发的指令数据经过网关、消息队列中间件、协议解析器传输至对应的物联网设备，物联网设备将返回的指令数据结果经过协议解析器、消息队列中间件、网关传输至前端设备；
如图2所示，业务数据传输步骤：前端设备与物联网设备之间的业务数据经过协议解析器、分布式消息队列、数据处理模块、网关进行传输。
通过指令数据传输步骤传输指令数据，通过业务数据传输步骤传输业务数据，使用两条不同的路径分别传输指令数据和业务数据，从而使业务数据处理不受影响，又可以快速高效的传送指令、报警数据。既保证了数据量又保证了速度。
协议解析器包括：基于ASCII码的一种字符协议解析器(IfengStarIO)、基于二进制的超长待机项目协议解析器(BSJ_IO)、交通部808协议精简协议解析器(BSJ_KM_IO)、公司私用二进制协议解析器(HK_IO)。
前端设备包括电脑、移动终端，电脑可以是台式机、笔记本电脑、平板电脑。移动终端可以是安装Android或者IOS操作系统的智能手机。
消息队列中间件为activeMQ消息队列。
如图3所示，本发明还包括业务数据存储步骤，所述业务数据存储步骤：物联网设备将业务数据进行分析再转换为字符格式通过网关传输至分布式消息队列，分布式消息队列的消费端按顺序取出分布式消息队列中的业务数据进行处理，并将结果存入数据库或者更新Redis热数据。
本发明公开了一种提高并发数据处理效率的系统，包括：网关、消息队列中间件、协议解析器、分布式消息队列、数据处理模块，前端设备将下发的指令数据经过网关、消息队列中间件、协议解析器传输至对应的物联网设备，物联网设备将返回的指令数据结果经过协议解析器、消息队列中间件、网关传输至前端设备；前端设备与物联网设备之间的业务数据经过协议解析器、分布式消息队列、数据处理模块、网关进行传输。
协议解析器包括基于ASCII码的一种字符协议解析器、基于二进制的超长待机项目协议解析器、交通部808协议精简协议解析器、公司私用二进制协议解析器。
前端设备包括电脑、移动终端，消息队列中间件为activeMQ消息队列。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种提高并发数据处理效率的方法，其特征在于，包括：
指令数据传输步骤：前端设备将下发的指令数据经过网关、消息队列中间件、协议解析器传输至对应的物联网设备，物联网设备将返回的指令数据结果经过协议解析器、消息队列中间件、网关传输至前端设备；
业务数据传输步骤：物联网设备与前端设备之间的业务数据经过协议解析器、分布式消息队列、数据处理模块、网关进行传输。
2.根据权利要求1所述的方法，其特征在于，协议解析器包括基于ASCII码的一种字符协议解析器、基于二进制的超长待机项目协议解析器、交通部808协议精简协议解析器、公司私用二进制协议解析器。
3.根据权利要求1所述的方法，其特征在于：前端设备包括电脑、移动终端。
4.根据权利要求1所述的方法，其特征在于：所述消息队列中间件为activeMQ消息队列。
5.根据权利要求1至4任一项所述的方法，其特征在于：该方法还包括业务数据存储步骤，所述业务数据存储步骤：物联网设备将业务数据进行分析再转换为字符格式通过网关传输至分布式消息队列，分布式消息队列的消费端按顺序取出分布式消息队列中的业务数据进行处理，并将结果存入数据库或者更新Redis热数据。
6.一种提高并发数据处理效率的系统，其特征在于，包括：网关、消息队列中间件、协议解析器、分布式消息队列、数据处理模块，前端设备将下发的指令数据经过网关、消息队列中间件、协议解析器传输至对应的物联网设备，物联网设备将返回的指令数据结果经过协议解析器、消息队列中间件、网关传输至前端设备；前端设备与物联网设备之间的业务数据经过协议解析器、分布式消息队列、数据处理模块、网关进行传输。
7.根据权利要求6所述的系统，其特征在于：协议解析器包括基于ASCII码的一种字符协议解析器、基于二进制的超长待机项目协议解析器、交通部808协议精简协议解析器、公司私用二进制协议解析器。
8.根据权利要求6所述的系统，其特征在于：前端设备包括电脑、移动终端。
9.根据权利要求6所述的系统，其特征在于：所述消息队列中间件为activeMQ消息队列。
10.根据权利要求6至9任一项所述的系统，其特征在于：物联网设备将业务数据进行分析再转换为字符格式通过网关传输至分布式消息队列，分布式消息队列的消费端按顺序取出分布式消息队列中的业务数据进行处理，并将结果存入数据库或者更新Redis热数据。
CN201910604826.1A 2019-07-05 2019-07-05 一种提高并发数据处理效率的方法及系统 Pending CN110351270A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910604826.1A CN110351270A (zh) 2019-07-05 2019-07-05 一种提高并发数据处理效率的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910604826.1A CN110351270A (zh) 2019-07-05 2019-07-05 一种提高并发数据处理效率的方法及系统

Publications (1)

Publication Number Publication Date
CN110351270A true CN110351270A (zh) 2019-10-18

Family

ID=68178478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910604826.1A Pending CN110351270A (zh) 2019-07-05 2019-07-05 一种提高并发数据处理效率的方法及系统

Country Status (1)

Country Link
CN (1) CN110351270A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405046A (zh) * 2020-03-18 2020-07-10 浩云科技股份有限公司 一种批量设备的授权方法
CN111782631A (zh) * 2020-06-28 2020-10-16 河北晟宇智科环境科技有限公司 一种基于mysql和redis数据库的管理系统及管理方法
CN112073466A (zh) * 2020-08-10 2020-12-11 武汉时波网络技术有限公司 一种终端分布式指令下发方法和系统
CN113988051A (zh) * 2021-12-29 2022-01-28 潍柴雷沃重工股份有限公司 一种车辆数据的处理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428627A (zh) * 2012-05-22 2013-12-04 中国移动通信集团江苏有限公司 物联网系统中数据的传送方法、物联网系统及相应装置
CN103699692A (zh) * 2014-01-11 2014-04-02 樊建 物联网接入平台数据管理方法
CN104244451A (zh) * 2013-06-24 2014-12-24 中兴通讯股份有限公司 基于m2m业务平台的承载分离方法及m2m业务平台
US20180302424A1 (en) * 2017-04-12 2018-10-18 International Business Machines Corporation Security for internet of things devices
CN108833237A (zh) * 2018-07-20 2018-11-16 京东方科技集团股份有限公司 智能家居网关及其管控方法
CN109951463A (zh) * 2019-03-07 2019-06-28 成都古河云科技有限公司 一种基于流计算和新型列式存储的物联网大数据分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428627A (zh) * 2012-05-22 2013-12-04 中国移动通信集团江苏有限公司 物联网系统中数据的传送方法、物联网系统及相应装置
CN104244451A (zh) * 2013-06-24 2014-12-24 中兴通讯股份有限公司 基于m2m业务平台的承载分离方法及m2m业务平台
CN103699692A (zh) * 2014-01-11 2014-04-02 樊建 物联网接入平台数据管理方法
US20180302424A1 (en) * 2017-04-12 2018-10-18 International Business Machines Corporation Security for internet of things devices
CN108833237A (zh) * 2018-07-20 2018-11-16 京东方科技集团股份有限公司 智能家居网关及其管控方法
CN109951463A (zh) * 2019-03-07 2019-06-28 成都古河云科技有限公司 一种基于流计算和新型列式存储的物联网大数据分析方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405046A (zh) * 2020-03-18 2020-07-10 浩云科技股份有限公司 一种批量设备的授权方法
CN111782631A (zh) * 2020-06-28 2020-10-16 河北晟宇智科环境科技有限公司 一种基于mysql和redis数据库的管理系统及管理方法
CN112073466A (zh) * 2020-08-10 2020-12-11 武汉时波网络技术有限公司 一种终端分布式指令下发方法和系统
CN112073466B (zh) * 2020-08-10 2023-07-04 武汉时波网络技术有限公司 一种终端分布式指令下发方法
CN113988051A (zh) * 2021-12-29 2022-01-28 潍柴雷沃重工股份有限公司 一种车辆数据的处理系统

Similar Documents

Publication Publication Date Title
CN110351270A (zh) 一种提高并发数据处理效率的方法及系统
CN102761864B (zh) 一种数据传输的方法、系统及设备
CN111818136B (zh) 数据处理方法、装置、电子设备及计算机可读介质
CN103634364B (zh) 一种实现远程桌面的系统、方法、客户端和服务中心
CN102594876B (zh) 游戏实时数据和更新数据的混合加速系统
CN109889567B (zh) 支持海量设备接入的物联网平台的实现方法
CN106790678B (zh) 一种保证重要数据优先传输消费的传输系统及方法
CN110417629A (zh) 一种多种不同类型的物联网设备接入物联网的方法及系统
US20230300726A1 (en) Data processing method and apparatus, network element device, storage medium, and program product
CN103607423A (zh) 一种基于WebSocket协议的分布式广播系统
CN101977362A (zh) 一种短信群发方法和系统
CN103037000B (zh) 一种发布订阅系统及其通知消息处理方法
CN109714439A (zh) 基于边缘计算的数据处理方法及系统
CN102957594A (zh) 基于消息队列的消息处理方法、相关设备及系统
CN114615096A (zh) 基于事件驱动架构的电信计费方法、系统及相关设备
US20230163998A1 (en) Data processing method, device, electronic device and computer readable medium
CN103533001A (zh) 基于http多重代理的通信方法和系统、中间代理服务器
CN102902593A (zh) 基于缓存机制的协议分发处理系统
CN108536854A (zh) 数据交互的方法、装置及计算机可读存储介质
CN109738913A (zh) 一种基于网络交互的云端北斗指挥型用户机系统及通信方法
CN113472846B (zh) 消息处理方法、装置、设备和计算机可读存储介质
CN103500387B (zh) 一种天车智能终端和仓储运输管理系统的通讯方法
CN106547715B (zh) 一种基于网络传输的监控设备的数据管理方法
CN111782322A (zh) 基于云桌面服务器的内外网消息通讯服务器及系统
CN106899671B (zh) 一种虚链路实现集群服务器响应请求的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018

RJ01 Rejection of invention patent application after publication