CN113282608A - 一种基于列数据库的智能交通数据分析和存储方法 - Google Patents

一种基于列数据库的智能交通数据分析和存储方法 Download PDF

Info

Publication number
CN113282608A
CN113282608A CN202110650327.3A CN202110650327A CN113282608A CN 113282608 A CN113282608 A CN 113282608A CN 202110650327 A CN202110650327 A CN 202110650327A CN 113282608 A CN113282608 A CN 113282608A
Authority
CN
China
Prior art keywords
data
clickhouse
storage
traffic
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110650327.3A
Other languages
English (en)
Inventor
华威
刘俊清
黄杰
谢利军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Li Zhong Zhongtian Technology Development Co ltd
Original Assignee
Hunan Li Zhong Zhongtian Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Li Zhong Zhongtian Technology Development Co ltd filed Critical Hunan Li Zhong Zhongtian Technology Development Co ltd
Priority to CN202110650327.3A priority Critical patent/CN113282608A/zh
Publication of CN113282608A publication Critical patent/CN113282608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data

Abstract

本发明公开了一种基于列数据库的智能交通数据分析和存储方法，包括：获取多个系统的交通数据；按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中，使用clickhouse的函数和聚合函数，执行sql语句处理数据的查询分析，快速返回结果。本发明方法管理方便，存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，用户看到的是单一存储空间，提高了存储效率，解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能，能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。

Description

一种基于列数据库的智能交通数据分析和存储方法
技术领域
本发明涉及一种较大范围，具体是一种基于列数据库的智能交通数据分析和存储方法。
背景技术
智能交通管理系统包括平台软件系统和交通视频监控、电子警察、交通卡口、信号控制、交通诱导、流量检测、事件检测、匝道控制等设备系统。当前情况下，大多数系统呈分散、封闭状态，各种数据分别存储，给数据分析展示和存储带来不便。
由于电子警察、交通卡口、视频监控、流量检测等智能交通电子设施大部分分阶段建设的，建设年份不同，建设单位不同，时间跨度大，建设标准不统一，同样是电子警察或交通卡口，往往一个项目或几个项目就有一种数据存储介质，多套平台的存储介质可能不一样，数据结构不统一，数据共享困难，导致智能交通电子设施数据的存储存在管理难、扩展难、分析难、利用率低等问题，严重阻碍了智能交通管理系统的发展。
发明内容
本发明的目的在于提供一种基于列数据库的智能交通数据分析和存储方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于列数据库的智能交通数据分析和存储方法，包括：获取多个系统的交通数据；按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中；通过构建大规模分布式集群，实现数据分区存储、数据TTL管理和数据分片处理，构建基于开源列式数据库的数据分析处理框架；通过clickhouse的递归式解析器，执行sql语句处理数据的查询分析，快速返回结果。
作为本发明进一步的方案，所述交通数据包括平台软件系统和交通视频监控、电子警察、交通卡口、信号控制、交通诱导、流量检测、事件检测、匝道控制设备系统的交通数据。
作为本发明进一步的方案，所述存储到clickhouse的日志表，包括日志表、kafka引擎表、物化视图、数据存储表。
作为本发明再进一步的方案，所述通过clickhouse的递归式解析器，使用clickhouse 的函数和聚合函数，执行sql语句处理数据的查询分析，快速返回结果。
与现有技术相比，本发明的有益效果是：本发明方法管理方便，存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，用户看到的是单一存储空间，提高了存储效率，解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能，能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费；低延迟，能在没有对数据做预处理的情况下以极低的延迟处理查询并得到分析的结果。
附图说明
图1为基于列数据库的智能交通数据分析和存储方法典型实施例的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中，一种基于列数据库的智能交通数据分析和存储方法，包括：获取多个系统的交通数据；按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中；通过构建大规模分布式集群，实现数据分区存储、数据TTL管理和数据分片处理，构建基于开源列式数据库的数据分析处理框架；通过clickhouse的递归式解析器，使用clickhouse的函数和聚合函数，执行sql语句处理数据的查询分析，快速返回结果。
由上述方案可知，本发明方法管理方便，存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，用户看到的是单一存储空间，提高了存储效率，解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能，能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费；低延迟，能在没有对数据做预处理的情况下以极低的延迟处理查询并得到分析的结果。
作为本发明的一个优选实施例，如图1所示，本发明方法的处理过程如下：
步骤1：获取交通数据。包括平台软件系统和交通视频监控、电子警察、交通卡口、信号控制、交通诱导、流量检测、事件检测、匝道控制等设备系统。
步骤2：逻辑判断。判断步骤1中数据是否满足特定条件，如果满足条件，进入步骤3，如果不满足条件，进入步骤4.1。
步骤3：数据写入消息中间件。供步骤4.2消费。
步骤4：数据存入开源列式数据库clickhouse。包括日志表、kafka引擎表、物化视图、数据存储表。
步骤4.1：日志表。将不满足条件的数据存入日志表，供步骤5使用。
步骤4.2：kafka引擎表。接收步骤3中的数据。
步骤4.3：物化视图。将步骤4.2的数据实时同步到数据存储表。
步骤4.4：数据存储表。存入结构化数据，供步骤5使用。
步骤5：数据分析查询。执行sql语句处理数据的查询分析。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于列数据库的智能交通数据分析和存储方法，其特征在于，包括：
获取多个系统的交通数据；
按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；
使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中；
通过构建大规模分布式集群，实现数据分区存储、数据TTL管理和数据分片处理，构建基于开源列式数据库的数据分析处理框架；
通过clickhouse的递归式解析器，执行sql语句处理数据的查询分析，快速返回结果。
2.根据权利要求1所述的基于列数据库的智能交通数据分析和存储方法，其特征在于，所述交通数据包括平台软件系统和交通视频监控、电子警察、交通卡口、信号控制、交通诱导、流量检测、事件检测、匝道控制设备系统的交通数据。
3.根据权利要求1所述的基于列数据库的智能交通数据分析和存储方法，其特征在于，所述存储到clickhouse的日志表，包括日志表、kafka引擎表、物化视图、数据存储表。
4.根据权利要求1所述的基于列数据库的智能交通数据分析和存储方法，其特征在于，所述通过clickhouse的递归式解析器，使用clickhouse的函数和聚合函数，执行sql语句处理数据的查询分析，快速返回结果。
CN202110650327.3A 2021-06-10 2021-06-10 一种基于列数据库的智能交通数据分析和存储方法 Pending CN113282608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110650327.3A CN113282608A (zh) 2021-06-10 2021-06-10 一种基于列数据库的智能交通数据分析和存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110650327.3A CN113282608A (zh) 2021-06-10 2021-06-10 一种基于列数据库的智能交通数据分析和存储方法

Publications (1)

Publication Number Publication Date
CN113282608A true CN113282608A (zh) 2021-08-20

Family

ID=77284216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110650327.3A Pending CN113282608A (zh) 2021-06-10 2021-06-10 一种基于列数据库的智能交通数据分析和存储方法

Country Status (1)

Country Link
CN (1) CN113282608A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113934797A (zh) * 2021-12-17 2022-01-14 江苏苏宁银行股份有限公司 一种银行业超大数据同步方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488261A (zh) * 2020-03-11 2020-08-04 北京健康之家科技有限公司 用户行为分析系统、方法、存储介质及计算设备
CN112163048A (zh) * 2020-09-23 2021-01-01 常州微亿智造科技有限公司 基于ClickHouse实现OLAP分析的方法、装置
CN112507003A (zh) * 2021-02-03 2021-03-16 江苏海平面数据科技有限公司 一种基于大数据架构的车联网数据分析平台
CN112883011A (zh) * 2021-02-05 2021-06-01 京东方科技集团股份有限公司 实时数据处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488261A (zh) * 2020-03-11 2020-08-04 北京健康之家科技有限公司 用户行为分析系统、方法、存储介质及计算设备
CN112163048A (zh) * 2020-09-23 2021-01-01 常州微亿智造科技有限公司 基于ClickHouse实现OLAP分析的方法、装置
CN112507003A (zh) * 2021-02-03 2021-03-16 江苏海平面数据科技有限公司 一种基于大数据架构的车联网数据分析平台
CN112883011A (zh) * 2021-02-05 2021-06-01 京东方科技集团股份有限公司 实时数据处理方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113934797A (zh) * 2021-12-17 2022-01-14 江苏苏宁银行股份有限公司 一种银行业超大数据同步方法和系统

Similar Documents

Publication Publication Date Title
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN107729413B (zh) 基于大数据的区域交通智能管理系统
CN110321359B (zh) 一种基于cmsp的空间数据增量更新方法
CN110598075A (zh) 一种基于人工智能的互联网媒体内容安全监测系统及方法
CN108021487B (zh) 一种gpu图形处理性能监测与分析方法
CN106055618B (zh) 一种基于网络爬虫与结构化存储的数据处理方法
CN110765143B (zh) 数据处理方法、装置、服务器和存储介质
EP4044031A1 (en) Cloud orchestration system and method based on read-write separation and auto-scaling
CN111737364B (zh) 安全多方数据融合与联邦共享方法、装置、设备及介质
CN111258798A (zh) 监控数据的故障定位方法、装置、计算机设备及存储介质
CN111581056B (zh) 基于人工智能的软件工程数据库维护与预警系统
CN113282608A (zh) 一种基于列数据库的智能交通数据分析和存储方法
CN110134688B (zh) 一种在线社交网络中热点事件数据存储管理方法及系统
CN112650889A (zh) 一种企业安全环保及安防监控数据的数仓建设方法和系统
CN109542912B (zh) 区间数据存储方法、装置、服务器及存储介质
CN111198983A (zh) 一种敏感资讯信息检测方法、装置及存储介质
CN115391361A (zh) 一种基于分布式数据库的实时数据处理方法及其装置
CN110825744A (zh) 一种基于集群环境的空气质量监测大数据分区存储方法
CN116185298A (zh) 一种日志分布式存储的方法
CN110609861A (zh) 车辆识别方法、装置、电子设备及存储介质
CN114201508A (zh) 数据处理方法、数据处理装置、电子设备和存储介质
CN113485887A (zh) 数据库监控方法、装置、电子设备及存储介质
CN113901093A (zh) 一种基于内存缓存的业务调用日志关系分析方法及系统
CN105930328A (zh) 异常数据的解析方法及系统
CN112463570B (zh) 一种日志统计方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820