CN110727722A - 一种海量并发性雷达数据存储方法 - Google Patents
一种海量并发性雷达数据存储方法 Download PDFInfo
- Publication number
- CN110727722A CN110727722A CN201910812960.0A CN201910812960A CN110727722A CN 110727722 A CN110727722 A CN 110727722A CN 201910812960 A CN201910812960 A CN 201910812960A CN 110727722 A CN110727722 A CN 110727722A
- Authority
- CN
- China
- Prior art keywords
- data
- radar
- mass
- concurrency
- radar data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013500 data storage Methods 0.000 title claims abstract description 16
- 238000004891 communication Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种海量并发性雷达数据存储方法，包括如下步骤：将雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信，进行海量数据通信；由雷达设备前端处采集并获取到海量并发性雷达数据；通过服务端Netty数据接收服务将采集到的海量并发性雷达数据推送至Kafka的消息队列中；通过数据采集和抽取方法获取到所述Kafka的消息队列中的海量并发性雷达数据，并将海量并发性雷达数据转存到ElasticSearch的数据库中。本发明能够将海量的并发性雷达数据连续的存储至数据库，提高了对海量的并发性雷达数据的处理能力。
Description
技术领域
本发明涉及大数据存储处理领域，具体地讲涉及一种海量并发性雷达数据存储方法。
背景技术
在安全防护领域，雷达探测作为一种常用的技术手段得到了广泛的应用。在城市交通业务领域，该技术为方便日后对交通违法行为查证提供了证据。近年来，随着经济发展人们的物质生活需要日益增长，车辆的快速增长已成为必然趋势。但随之而来的交通问题也日益明显，雷达设备的应用也随之增多，因此海量的并行性雷达数据也在快速的生成。
如何对海量的并行性雷达数据进行存储是3D交通雷达联网系统中的一个重要环节，是实现对大量雷达设备的在线监控和历史状态查询的关键问题。在这个场景中，目前存在的方案主要依靠关系数据库作为存储，而这类方案，往往无法支撑千万级别的设备同时连续不间断的上传数据。而且关系型数据库的吞吐量往往不足以满足海量实时数据接入的性能要求，或需要更多的设备成本。因此缓存技术开始被应用于海量级数据的存储，部分地解决和缓解了上述问题，但对于海量的并发性数据，缓存技术还是具有很大的受限。
Netty是由JBOSS提供的一个java开源框架，Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。Netty还具有处理大容量数据流更简单，处理协议编码和单元测试更简单的特性，便于对海量数据进行处理和报文转换。
Kafka是一个高吞吐量分布式消息系统，采用Scala和Java语言编写，它提供了快速、可扩展的、分布式、分区的和可复制的日志订阅服务。它由Producer、Broker、Consumer三部分构成。Producer向某个Topic发布消息，而Consumer订阅某个Topic的消息。一旦有某个Topic新产生的消息，Broker会传递给订阅它的所有Consumer。Kafka还具有速度快、高吞吐量、分布式、多分区，支持多消费者，支持online和offline的场景等特点。
因此，提出一种基于Netty和Kafka的海量的并发性雷达数据的存储方法很有必要。
发明内容
根据现有技术中存在的问题，本发明提供了一种海量并发性雷达数据存储方法，其能够将海量的并发性雷达数据连续的存储至数据库，提高了对海量的并发性雷达数据的处理能力。
本发明采用以下技术方案：
一种海量并发性雷达数据存储方法，包括如下步骤：
S1，将雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信，进行海量数据通信；
S2，由雷达设备前端处采集并获取到海量并发性雷达数据；
S3，通过服务端Netty数据接收服务将采集到的海量并发性雷达数据推送至Kafka的消息队列中；
S4，通过数据采集和抽取方法获取到所述Kafka的消息队列中的海量并发性雷达数据，并将海量并发性雷达数据转存到ElasticSearch的数据库中。
优选的，步骤S1中，在雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信时，通信报文结构包括开始标记、数据头、数据体、CRC校验码、接收标记。
步骤S2中，雷达设备前端首先将采集到的海量自定义报文数据发送给Netty数据接收服务，然后Netty数据接收服务实时、高并发性的完成海量自定义报文数据的解析，解析后最终得到海量并发性雷达数据。
步骤S3的具体过程如下：所述Netty数据接收服务每接收到一条自定义报文数据后，利用Kafka的多线程消费快速的完成自定义报文数据的解析，并将解析后得到的海量并发性雷达数据推送到Kafka的消息队列中。
步骤S4包括如下步骤：
S41，在kafka的消息队列中定义一个Topic主题；
S42，Netty数据接收服务将解析后得到的海量并发性雷达数据转换成Json格式字符串，并实时推送到所述Topic主题下；
S43，通过数据采集和抽取方法订阅所述Topic主题，进而获取到海量并发性雷达数据；
S44，将海量并发性雷达数据转存到ElasticSearch的数据库中。
本发明的优点和有益效果在于：
1)本发明的海量并发性雷达数据存储方法首先对监测到的海量雷达前端数据进行采集，并通过Netty的高并发特性得到雷达实时数据，然后通过Netty数据接收服务将得到的雷达实时数据推送至kafka消息队列中，再通过数据采集和抽取方法获取得到所述kafka消息队列中的海量并发性雷达数据信息，最后将海量并发性雷达数据转存到ElasticSearch数据库中。本发明能够将海量的并发性雷达数据连续的存储至数据库，提高了对海量的并发性雷达数据的处理能力。
附图说明
图1为本发明的海量并发性雷达数据存储方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种海量并发性雷达数据存储方法包括如下步骤：
1、将雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信，进行海量数据通信；
具体的，在雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信时，通信报文结构包括开始标记、数据头、数据体、CRC校验码、接收标记。
2、由雷达设备前端处采集并获取到海量并发性雷达数据；
具体的，雷达设备前端首先将采集到的海量自定义报文数据发送给Netty数据接收服务，然后Netty数据接收服务实时、高并发性的完成海量自定义报文数据的解析，解析后最终得到海量并发性雷达数据；
3、通过服务端Netty数据接收服务将采集到的海量并发性雷达数据推送至Kafka的消息队列中；
具体的，所述Netty数据接收服务每接收到一条自定义报文数据后，利用Kafka的多线程消费快速的完成自定义报文数据的解析，并将解析后得到的海量并发性雷达数据推送到Kafka的消息队列中；
4、通过数据采集和抽取方法获取到所述Kafka的消息队列中的海量并发性雷达数据，并将海量并发性雷达数据转存到ElasticSearch的数据库中；
1)在kafka的消息队列中定义一个Topic主题；
2)Netty数据接收服务将解析后得到的海量并发性雷达数据转换成Json格式字符串，并实时推送到所述Topic主题下；
3)通过数据采集和抽取方法订阅所述Topic主题，进而获取到海量并发性雷达数据；
4)将海量并发性雷达数据转存到ElasticSearch的数据库中。
下面结合具体实施例对本发明的海量并发性雷达数据存储方法作进一步说明。
在3D交通雷达联网系统中，如何对海量的并行性雷达数据进行存储是的一个重要环节，是实现对大量雷达设备的在线监控和历史状态查询的关键问题。
根据本发明的海量并发性雷达数据存储方法，本实施例的具体步骤如下：
1、将雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信，进行海量数据通信，在合肥市包河大道架设了22套3D雷达设备，分布在不同的路段和路口，进行雷达设备前端数据采集，在3D雷达设备内置程序中，会向Netty数据接收服务发送建立基于UDP协议的Socket连接，并将采集到的前端数据转换成自定义报文数据，包括：速度、车道、车辆类型、方位角、水平位置、垂直位置等信息，并通过Socket计算发送给Netty数据接收服务，然后Netty数据接收服务实时、高并发性的完成海量自定义报文数据的解析，最终得到海量并发性雷达数据。
2、Netty数据接收服务接收到一条自定义报文数据后，利用Kafka的多线程消费快速的完成自定义报文数据的解析，并将解析后得到的海量并发性雷达数据推送到Kafka的消息队列中，生成海量并发性雷达数据，即结构化数据对象，包括速度、车辆类型、方位角、水平位置、垂直位置信息。
3、通过数据采集和抽取方法获取到Topic为RadarData的Kafka的消息队列中的结构化数据对象，具体步骤如下：
(1)在kafka消息队列中定义一个Topic主题为RadarData。
(2)Netty数据接收服务将结构化数据对象转换成Json格式字符串，并实时推送到该Topic为RadarData的主题下。
(3)通过数据采集和抽取方法订阅RadarData主题，进而抓取到结构化数据对象；
(4)将抓取到的结构化数据对象存入ElasticSearch大数据库中
综上所述，本发明提供了一种海量并发性雷达数据存储方法，其能够将海量的并发性雷达数据连续的存储至数据库，提升了对海量的并发性雷达数据的处理能力。
Claims (5)
1.一种海量并发性雷达数据存储方法，其特征在于，包括如下步骤：
S1，将雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信，进行海量数据通信；
S2，由雷达设备前端处采集并获取到海量并发性雷达数据；
S3，通过服务端Netty数据接收服务将采集到的海量并发性雷达数据推送至Kafka的消息队列中；
S4，通过数据采集和抽取方法获取到所述Kafka的消息队列中的海量并发性雷达数据，并将海量并发性雷达数据转存到ElasticSearch的数据库中。
2.根据权利要求1所述的一种海量并发性雷达数据存储方法，其特征在于：步骤S1中，在雷达设备前端与服务端Netty数据接收服务之间建立自定义协议通信时，通信报文结构包括开始标记、数据头、数据体、CRC校验码、接收标记。
3.根据权利要求2所述的一种海量并发性雷达数据存储方法，其特征在于：步骤S2中，雷达设备前端首先将采集到的海量自定义报文数据发送给Netty数据接收服务，然后Netty数据接收服务实时、高并发性的完成海量自定义报文数据的解析，解析后最终得到海量并发性雷达数据。
4.根据权利要求3所述的一种海量并发性雷达数据存储方法，其特征在于，步骤S3的具体过程如下：所述Netty数据接收服务每接收到一条自定义报文数据后，利用Kafka的多线程消费快速的完成自定义报文数据的解析，并将解析后得到的海量并发性雷达数据推送到Kafka的消息队列中。
5.根据权利要求4所述的一种海量并发性雷达数据存储方法，其特征在于，步骤S4包括如下步骤：
S41，在kafka的消息队列中定义一个Topic主题；
S42，Netty数据接收服务将解析后得到的海量并发性雷达数据转换成Json格式字符串，并实时推送到所述Topic主题下；
S43，通过数据采集和抽取方法订阅所述Topic主题，进而获取到海量并发性雷达数据；
S44，将海量并发性雷达数据转存到ElasticSearch的数据库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910812960.0A CN110727722A (zh) | 2019-08-30 | 2019-08-30 | 一种海量并发性雷达数据存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910812960.0A CN110727722A (zh) | 2019-08-30 | 2019-08-30 | 一种海量并发性雷达数据存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110727722A true CN110727722A (zh) | 2020-01-24 |
Family
ID=69218834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910812960.0A Pending CN110727722A (zh) | 2019-08-30 | 2019-08-30 | 一种海量并发性雷达数据存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727722A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113572854A (zh) * | 2021-08-10 | 2021-10-29 | 北京无线电测量研究所 | 基于Kafka组件的数据传输方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160219089A1 (en) * | 2015-01-23 | 2016-07-28 | Ebay Inc. | Systems and methods for messaging and processing high volume data over networks |
| CN106953901A (zh) * | 2017-03-10 | 2017-07-14 | 重庆邮电大学 | 一种提高消息传递性能的集群通信系统及其方法 |
| CN107229639A (zh) * | 2016-03-24 | 2017-10-03 | 上海宝信软件股份有限公司 | 分布式实时数据库的存储系统 |
| CN107294801A (zh) * | 2016-12-30 | 2017-10-24 | 江苏号百信息服务有限公司 | 基于海量实时互联网dpi数据的流式处理方法及系统 |
-
2019
- 2019-08-30 CN CN201910812960.0A patent/CN110727722A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160219089A1 (en) * | 2015-01-23 | 2016-07-28 | Ebay Inc. | Systems and methods for messaging and processing high volume data over networks |
| CN107229639A (zh) * | 2016-03-24 | 2017-10-03 | 上海宝信软件股份有限公司 | 分布式实时数据库的存储系统 |
| CN107294801A (zh) * | 2016-12-30 | 2017-10-24 | 江苏号百信息服务有限公司 | 基于海量实时互联网dpi数据的流式处理方法及系统 |
| CN106953901A (zh) * | 2017-03-10 | 2017-07-14 | 重庆邮电大学 | 一种提高消息传递性能的集群通信系统及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 甄凯成，黄河，宋良图: "基于 Netty 和 Kafka 的物联网数据接入系统", 《计算机工程与应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113572854A (zh) * | 2021-08-10 | 2021-10-29 | 北京无线电测量研究所 | 基于Kafka组件的数据传输方法及系统 |
| CN113572854B (zh) * | 2021-08-10 | 2023-11-14 | 北京无线电测量研究所 | 基于Kafka组件的数据传输方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104424229B (zh) | 一种多维度拆分的计算方法及系统 | |
| CN103268336A (zh) | 一种快数据和大数据结合的数据处理方法及其系统 | |
| CN108270860A (zh) | 环境质量在线监测数据的采集系统及方法 | |
| CN108900619B (zh) | 一种独立访客统计方法及装置 | |
| CN107516063A (zh) | 基于云分支服务器人脸识别的方法 | |
| CN106227780A (zh) | 一种海量网页的自动化截图取证方法和系统 | |
| CN111459986A (zh) | 数据计算系统及方法 | |
| CN103870574A (zh) | 基于h.264密文云视频存储的标签制作及索引方法 | |
| CN103325371A (zh) | 基于云的语音识别系统与方法 | |
| CN104849180A (zh) | 一种颗粒图像实时处理系统和方法 | |
| Xia et al. | WiserVR: Semantic communication enabled wireless virtual reality delivery | |
| CN106559498A (zh) | 风控数据收集平台及其收集方法 | |
| CN111709928A (zh) | 一种基于视频的近岸浪高实时检测系统 | |
| CN110727722A (zh) | 一种海量并发性雷达数据存储方法 | |
| CN114637886A (zh) | 一种基于多协议的机器视觉系统 | |
| CN102984242B (zh) | 一种应用协议的自动识别方法和装置 | |
| CN117130870B (zh) | 面向Java架构微服务系统的透明请求追踪及采样方法和装置 | |
| CN108564762A (zh) | 一种基于分布式计算的森林烟火识别智能云系统 | |
| CN103900533A (zh) | 基于3s技术的海岛资源动态监测方法 | |
| CN111049898A (zh) | 一种实现计算集群资源跨域架构的方法及系统 | |
| CN205304877U (zh) | 基于喷泉码的智能电能表误差大数据安全存储装置 | |
| CN103927399A (zh) | 一种信息推送方法及装置 | |
| CN114205151A (zh) | 基于多特征融合学习的http/2页面访问流量识别方法 | |
| CN203554606U (zh) | 一种用于车联网系统的数据传输终端 | |
| CN205563692U (zh) | 一种基于云端的运营数据智能分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |