CN113177049A - 一种数据处理方法、装置和系统 - Google Patents

一种数据处理方法、装置和系统 Download PDF

Info

Publication number
CN113177049A
CN113177049A CN202110521146.0A CN202110521146A CN113177049A CN 113177049 A CN113177049 A CN 113177049A CN 202110521146 A CN202110521146 A CN 202110521146A CN 113177049 A CN113177049 A CN 113177049A
Authority
CN
China
Prior art keywords
data
element data
target
traffic
traffic scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110521146.0A
Other languages
English (en)
Inventor
张宁
刘林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Shanghai ICT Co Ltd, CM Intelligent Mobility Network Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110521146.0A priority Critical patent/CN113177049A/zh
Publication of CN113177049A publication Critical patent/CN113177049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据处理方法、装置和系统，该方法包括：通过批处理，获取目标区域的历史交通场景的第一要素数据；通过流处理，获取目标区域的实时交通场景的第二要素数据；对第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在目标区域对应的缓存区中。本发明对于数据量庞大的历史交通场景的第一要素数据采用批处理的方式导入，对于数据量较小的实时交通场景的第二要素数据采用流处理的方式导入，提高了数据的导入速率，可提供后续数据的检索分析效率，另外，将导入的第一要素数据和第二要素数据放在缓存区中，无需每次重新获取上述要素数据，能够进一步提高数据的检索分析效率，进而能够快速地检索出交通场景下的业务数据。

Description

一种数据处理方法、装置和系统
技术领域
本发明涉及数据库技术领域，特别是指一种数据处理方法、装置和系统。
背景技术
现有数据湖存储方法，大多泛指异构数据或全数据形态的数据的存储，描述范围比较大，涵盖数据形式也比较宽泛，没有具体针对某一行业某种场景的具体业务数据，检索结果比较散杂，数据分析效率较低，难以快速地检索出某种具体应用场景下的业务数据，进而导致数据湖不具备专业应用能力。
发明内容
本发明的目的是提供一种数据处理方法、装置和系统，以解决基于现有数据湖难以快速地检索出某种具体应用场景下的业务数据的问题。
为达到上述目的，本发明的实施例提供一种数据处理方法，包括：
通过批处理，获取目标区域的历史交通场景的第一要素数据；
通过流处理，获取所述目标区域的实时交通场景的第二要素数据；
对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
可选地，所述将聚合后的要素数据存储在所述目标区域对应的缓存区中，包括：
将聚合后的要素数据以键值对K-V的形式存储在所述目标区域对应的缓存区中。
可选地，本发明实施例的方法，还包括：
根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数；
在所述目标交通事件的发生次数大于预设阈值的情况下，发送警示信息。
可选地，根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数，包括：
在所述第一要素数据和第二要素数据中，按照预设筛选规则，筛选出目标交通场景对应的数据；
根据所述目标交通场景对应的数据，确定目标交通事件的发生次数。
可选地，所述第一要素数据或所述第二要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
可选地，本发明实施例的方法，还包括：
获取检索关键词；
在所述缓存区中，基于预设交通场景要素关系图谱，查找与所述检索关键词有关联关系的交通场景目标要素数据；
根据所述交通场景目标要素数据，获取查询结果；
其中，所述预设交通场景要素关系图谱中保存有交通场景的要素数据之间的关联关系。
为了实现上述目的，本发明实施例还提供了一种数据处理装置，包括：
第一获取模块，用于通过批处理，获取目标区域的历史交通场景的第一要素数据；
第二获取模块，用于通过流处理，获取所述目标区域的实时交通场景的第二要素数据；
处理模块，用于对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
可选地，所述处理模块用于将聚合后的要素数据以键值对K-V的形式存储在所述目标区域对应的缓存区中。
可选地，本发明实施例的装置，还包括：
第一确定模块，用于根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数；
第一发送模块，用于在所述目标交通事件的发生次数大于预设阈值的情况下，发送警示信息。
可选地，所述第一确定模块包括：
筛选子模块，用于在所述第一要素数据和第二要素数据中，按照预设筛选规则，筛选出目标交通场景对应的数据；
确定子模块，用于根据所述目标交通场景对应的数据，确定目标交通事件的发生次数。
可选地，所述第一要素数据或所述第二要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
可选地，本发明实施例的装置，还包括：
第三获取模块，用于获取检索关键词；
查找模块，用于在所述缓存区中，基于预设交通场景要素关系图谱，查找与所述检索关键词有关联关系的交通场景目标要素数据；
第四获取模块，用于根据所述交通场景目标要素数据，获取查询结果；
其中，所述预设交通场景要素关系图谱中保存有交通场景的要素数据之间的关联关系。
本发明的实施例还提供了一种数据处理装置，包括：处理器，所述处理器用于：
通过批处理，获取目标区域的历史交通场景的第一要素数据；通过流处理，获取所述目标区域的实时交通场景的第二要素数据；对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
本发明的实施例还提供了一种数据处理装置，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上所述的数据处理方法中的步骤。
本发明的实施例还提供了一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如上所述的数据处理方法中的步骤。
本发明的实施例还提供了一种数据处理系统，包括：源数据接入层、源数据存储层和业务存储层；
其中，所述源数据接入层，用于获取目标区域的历史交通场景的第一要素数据和所述目标区域的实时交通场景的第二要素数据；
所述源数据存储层，用于对所述第一要素数据和所述第二要素数据进行存储；
所述业务存储层，用于通过批处理，获取目标区域的历史交通场景的第一要素数据；通过流处理，获取所述目标区域的实时交通场景的第二要素数据；对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
本发明的上述技术方案的有益效果如下：
本发明实施例中，对于数据量庞大的历史交通场景的第一要素数据采用批处理的方式导入，对于数据量较小的实时交通场景的第二要素数据采用流处理的方式导入，提高了数据的导入速率，进而可提供后续数据的检索分析效率，另外，将导入的第一要素数据和第二要素数据放在缓存区中，无需每次重新获取上述要素数据，能够进一步提高数据的检索分析效率，进而能够快速地检索出交通场景下的业务数据。
附图说明
图1为本发明实施例中数据湖的结构示意图；
图2为本发明实施例中交通场景要素关系图谱的示意图；
图3为本发明实施例的数据处理方法的流程示意图；
图4为本发明实施例中历史交通场景的第一要素数据和实时交通场景的第二要素数据的处理示意图；
图5为本发明实施例的检索流程图；
图6为本发明实施例的数据处理装置的模块示意图；
图7为本发明实施例的数据处理装置的结构框图之一；
图8为本发明实施例的数据处理装置的结构框图之二。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
本发明实施例的数据处理方法，是基于针对交通业务场景的数据湖来实现的，下面先对该数据湖进行如下说明。
如图1所示，本发明实施例的数据湖包括源数据接入层、源数据存储层和业务存储层。
其中，源数据分为三类：传感器原始数据、传感器结构化数据、标签数据。其中，传感器原始数据来自摄像头、激光雷达等传感器，传感器结构化数据主要是通过识别算法输出的，标签数据主要是通过机器学习输出的，由此组成交通场景数据湖的源数据接入层。
基于上述三种结构的源数据，源数据存储层以对象存储、文档存储和关系型数据库实现多源异构源数据的分布式存储。对象存储用于存储视频、图片文件，可以快速定位到文件，并读取内容，支持大量小文件存储而不影响性能。文档存储用于半结构化的数据存储，支持全文索引，快速基于内容检索相关的数据，并产生基础的统计分析。关系型数据库存储结构化的、非大规模的数据。其中，传感器原始数据可以采用对象存储的方式进行存储，传感器结构化数据可以采用文档存储的形式进行存储，标签数据可以采用对象存储的形式进行存储。
上述业务存储层中主要使用两种典型模式以及业务驱动下的创新存储方法：全文检索(文档存储)-关系图谱(图数据库)，数据仓库分析系统-缓存(K-V存储)。其中，关系图谱搜索是对应关系图谱(图数据库)，分布式检索过程对应文档存储(对象存储)。基于知识图谱检索出场景的实体及关系，按照实体关系进行全文检索(感知后结构化数据)，最后搜索出对应文件。
全文检索主要分为两个过程，索引创建和搜索索引。本发明中引入了交通场景要素关系图谱，以此作为检索的索引，该关系图谱由多个传感器源数据以及结构化的带标签的数据提取实体、属性和关联关系而得，包括多个交通场景要素数据和这些交通场景要素数据之间的多种关联，具体如图2所示。结合该关系图谱，查找与检索关键词有关联的交通场景要素数据。
如图3所示，本发明实施例提供了一种数据处理方法，包括：
步骤301：通过批处理，获取目标区域的历史交通场景的第一要素数据。
其中，历史交通场景的第一要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
由于历史数据比较庞大，本步骤中，采用批处理的方式来处理上述第一要素数据，以MapReduce批处理引擎为例，其基本处理过程包括：(1)从分布式文件系统HDFS读取数据集；(2)将数据集拆分成小块并分配给所有可用节点；(3)针对每个节点上的数据子集进行计算(计算的中间态结果会重新写入HDFS)；(4)重新分配中间态结果并按照键进行分组；(5)通过对每个节点计算的结果进行汇总和组合对每个键的值进行化简(Reducing)；(6)将计算而来的最终结果重新写入HDFS。
步骤302：通过流处理，获取所述目标区域的实时交通场景的第二要素数据。
其中，所述第二要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
本步骤中，对于数据量相对较小的第二要素数据采取流处理的方式，能够增加数据处理速率。
步骤303：对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
如图4所示，通过批处理导入该区域历史交通场景的第一要素数据，并通过流处理的方式接入该区域正在发生的实时交通场景的第二要素数据，将这两类数据进行聚合，并将聚合后的要素数据存储在相应的缓存区中，该缓存区支持多协议互通访问，能够减少数据移动，实现数据资源的高效共享，同时在上层应用层支持多种数据分析引擎，包括交互式数据探索和分布式统计算法库，加速数据分析过程，可实现对区域流量分析的主体展示。
本申请实施例的数据处理方法，对于数据量庞大的历史交通场景的第一要素数据采用批处理的方式导入，对于数据量较小的实时交通场景的第二要素数据采用流处理的方式导入，提高了数据的导入速率，进而可提供后续数据的检索分析效率，另外，将导入的第一要素数据和第二要素数据放在缓存区中，无需每次重新获取上述要素数据，能够进一步提高数据的检索分析效率，进而能够快速地检索出交通场景下的业务数据。
可选地，所述将聚合后的要素数据存储在所述目标区域对应的缓存区中，包括：
将聚合后的要素数据以键值对K-V的形式存储在所述目标区域对应的缓存区中。
本申请实施例中，采用K-V的形式将聚合后的要素数据存储在缓存区中，可选地，场景分类主题是Key，具体的场景数据是Value，该存储模式能够实现针对主题的查询，且能够提供更好地实时性，进一步提升数据分析的效率。
可选地，本申请实施例的方法，还包括：
根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数；
在所述目标交通事件的发生次数大于预设阈值的情况下，发送警示信息。
进一步可选地，根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数，包括：
在所述第一要素数据和第二要素数据中，按照预设筛选规则，筛选出目标交通场景对应的数据；
根据所述目标交通场景对应的数据，确定目标交通事件的发生次数。
上述第三要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
例如，上述目标交通场景为小汽车与行人碰撞，则在上述第一要素数据和第二要素数据中搜索小汽车、行为和碰撞，得到包含小汽车、行人和碰撞的数据，并根据该数据，确定目标交通事件的发生次数。
具体的，基于交通场景筛选出一些鲜明的业务场景需求，比如关键词搜索(包括场景、事件、交通参与者、行为特征等)，区域事故预警分析、区域违规驾驶分析、区域驾驶态势分析、场景或事件回放，区域流量分析、区域交通参与者跟踪。以上所有的业务场景均可以从本发明的交通场景数据湖抽取所需的数据，依据适宜的数据抽取规则、数据分析/计算引擎、数据存储方法，最终获取数据驱动下的业务反馈结果。
在依据具体的业务场景建模分析之外，还在计算引擎中增设了隐藏需求，比如当某路口事故发生值超过某一设定的阈值，则需要反馈至交通部门，是否需要增设该路口“事故多发点”的警示标志，并同步更新进高德地图等导航app中，为驾驶员提供警示信息，即在数据支撑之下能够提供有效的主动需求报警，适应交通场景的特殊性。
可选地，本发明实施例的方法，还包括：
获取检索关键词；
在所述缓存区中，基于预设交通场景要素关系图谱，查找与所述检索关键词有关联关系的交通场景目标要素数据；
根据所述交通场景目标要素数据，获取查询结果；
其中，所述预设交通场景要素关系图谱中保存有交通场景的要素数据之间的关联关系。
本发明实施例中，结合如图2所示的关系图谱，查找与检索关键词有关联的交通场景目标要素数据：文档存储以及所述交通场景要素关系图谱；该关系图谱根据所述交通场景要素数据之间的归属关联、空间关联的至少一种得到。其中，归属关联是指交通场景要素数据之间的归属关系，比如说Y型交叉警示标志、环形交叉警示标志等均归属于道路交通标志牌。空间关联是指一个区域分布的地理事物的某一属性和其它所有事物的同种属性之间的关系，比如说在上海罗山高架路上发生的交通场景要素，则产生了空间关联。以搜索词“碰撞”为例，全文检索的流程图如图5所示。
另外，为了避免数据沼泽，数据湖管理必不可少。本发明在构建交通场景数据湖的过程中，同时引入任务管理、访问控制、元数据管理、数据治理，确保数据质量和数据湖系统的稳定。
本发明实施例中，对于数据量庞大的历史交通场景的第一要素数据采用批处理的方式导入，对于数据量较小的实时交通场景的第二要素数据采用流处理的方式导入，提高了数据的导入速率，进而可提供后续数据的检索分析效率，另外，将导入的第一要素数据和第二要素数据放在缓存区中，无需每次重新获取上述要素数据，能够进一步提高数据的检索分析效率。
如图6所示，本发明实施例还提供了一种数据处理装置600，包括：
第一获取模块601，用于通过批处理，获取目标区域的历史交通场景的第一要素数据；
第二获取模块602，用于通过流处理，获取所述目标区域的实时交通场景的第二要素数据；
处理模块603，用于对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
本发明实施例的数据处理装置，所述处理模块用于将聚合后的要素数据以键值对K-V的形式存储在所述目标区域对应的缓存区中。
本发明实施例的数据处理装置，还包括：
第一确定模块，用于根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数；
第一发送模块，用于在所述目标交通事件的发生次数大于预设阈值的情况下，发送警示信息。
本发明实施例的数据处理装置，所述第一确定模块包括：
筛选子模块，用于在所述第一要素数据和第二要素数据中，按照预设筛选规则，筛选出目标交通场景对应的数据；
确定子模块，用于根据所述目标交通场景对应的数据，确定目标交通事件的发生次数。
本发明实施例的数据处理装置，所述第一要素数据或所述第二要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
本发明实施例的数据处理装置，还包括：
第三获取模块，用于获取检索关键词；
查找模块，用于在所述缓存区中，基于预设交通场景要素关系图谱，查找与所述检索关键词有关联关系的交通场景目标要素数据；
第四获取模块，用于根据所述交通场景目标要素数据，获取查询结果；
其中，所述预设交通场景要素关系图谱中保存有交通场景的要素数据之间的关联关系。
该数据处理装置能够实现上述数据处理方法实施例中的所有实现方式，且能达到相同的效果，为避免重复，此处不再赘述。
如图7所示，本发明实施例还提供了一种数据处理装置700，包括：处理器710，所述处理器710用于：
通过批处理，获取目标区域的历史交通场景的第一要素数据；通过流处理，获取所述目标区域的实时交通场景的第二要素数据；对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
可选地，所述处理器710用于将聚合后的要素数据以键值对K-V的形式存储在所述目标区域对应的缓存区中。
可选地，所述处理器710还用于根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数；在所述目标交通事件的发生次数大于预设阈值的情况下，发送警示信息。
可选地，所述处理器710还用于在所述第一要素数据和第二要素数据中，按照预设筛选规则，筛选出目标交通场景对应的数据；根据所述目标交通场景对应的数据，确定目标交通事件的发生次数。
可选地，所述第一要素数据或所述第二要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
可选地，所述处理器710还用于获取检索关键词；在所述缓存区中，基于预设交通场景要素关系图谱，查找与所述检索关键词有关联关系的交通场景目标要素数据；根据所述交通场景目标要素数据，获取查询结果；
其中，所述预设交通场景要素关系图谱中保存有交通场景的要素数据之间的关联关系。
该数据处理装置能够实现上述数据处理方法实施例中的所有实现方式，且能达到相同的效果，为避免重复，此处不再赘述。
本发明另一实施例中还提供了一种数据处理装置，如图8所示，包括收发器810、处理器800、存储器820及存储在所述存储器820上并可在所述处理器800上运行的程序或指令；所述处理器800执行所述程序或指令时实现上述数据处理方法的步骤。
所述收发器810，用于在处理器800的控制下接收和发送数据。
其中，在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器800代表的一个或多个处理器和存储器820代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器810可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器800负责管理总线架构和通常的处理，存储器820可以存储处理器800在执行操作时所使用的数据。
本发明实施例还提供了一种数据处理系统，如图1所示，包括：源数据接入层、源数据存储层和业务存储层；
其中，所述源数据接入层，用于获取目标区域的历史交通场景的第一要素数据和所述目标区域的实时交通场景的第二要素数据；
所述源数据存储层，用于对所述第一要素数据和所述第二要素数据进行存储；
所述业务存储层，用于通过批处理，获取目标区域的历史交通场景的第一要素数据；通过流处理，获取所述目标区域的实时交通场景的第二要素数据；对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
这里，该源数据接入层、源数据存储层和业务存储层的具体工作原理已在上述实施例中进行详细描述，此处不再赘述。
本发明实施例还提供了一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的数据处理方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的数据处理装置中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种数据处理方法，其特征在于，包括：
通过批处理，获取目标区域的历史交通场景的第一要素数据；
通过流处理，获取所述目标区域的实时交通场景的第二要素数据；
对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
2.根据权利要求1所述的方法，其特征在于，所述将聚合后的要素数据存储在所述目标区域对应的缓存区中，包括：
将聚合后的要素数据以键值对K-V的形式存储在所述目标区域对应的缓存区中。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数；
在所述目标交通事件的发生次数大于预设阈值的情况下，发送警示信息。
4.根据权利要求3所述的方法，其特征在于，根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数，包括：
在所述第一要素数据和第二要素数据中，按照预设筛选规则，筛选出目标交通场景对应的数据；
根据所述目标交通场景对应的数据，确定目标交通事件的发生次数。
5.根据权利要求1所述的方法，其特征在于，所述第一要素数据或所述第二要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取检索关键词；
在所述缓存区中，基于预设交通场景要素关系图谱，查找与所述检索关键词有关联关系的交通场景目标要素数据；
根据所述交通场景目标要素数据，获取查询结果；
其中，所述预设交通场景要素关系图谱中保存有交通场景的要素数据之间的关联关系。
7.一种数据处理装置，其特征在于，包括：
第一获取模块，用于通过批处理，获取目标区域的历史交通场景的第一要素数据；
第二获取模块，用于通过流处理，获取所述目标区域的实时交通场景的第二要素数据；
处理模块，用于对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
8.根据权利要求7所述的装置，其特征在于，所述处理模块用于将聚合后的要素数据以键值对K-V的形式存储在所述目标区域对应的缓存区中。
9.根据权利要求8所述的装置，其特征在于，还包括：
第一确定模块，用于根据所述第一要素数据和所述第二要素数据，确定目标交通场景中目标交通事件的发生次数；
第一发送模块，用于在所述目标交通事件的发生次数大于预设阈值的情况下，发送警示信息。
10.根据权利要求9所述的装置，其特征在于，所述第一确定模块包括：
筛选子模块，用于在所述第一要素数据和第二要素数据中，按照预设筛选规则，筛选出目标交通场景对应的数据；
确定子模块，用于根据所述目标交通场景对应的数据，确定目标交通事件的发生次数。
11.根据权利要求7所述的装置，其特征在于，所述第一要素数据或所述第二要素数据包括以下至少一项：
交通参与者；
道路场景；
交通参与者的行为特征；
道路交通标志或属性；
路面标志；
天气因素。
12.根据权利要求7所述的装置，其特征在于，还包括：
第三获取模块，用于获取检索关键词；
查找模块，用于在所述缓存区中，基于预设交通场景要素关系图谱，查找与所述检索关键词有关联关系的交通场景目标要素数据；
第四获取模块，用于根据所述交通场景目标要素数据，获取查询结果；
其中，所述预设交通场景要素关系图谱中保存有交通场景的要素数据之间的关联关系。
13.一种数据处理装置，其特征在于，包括：处理器，所述处理器用于：
通过批处理，获取目标区域的历史交通场景的第一要素数据；通过流处理，获取所述目标区域的实时交通场景的第二要素数据；对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
14.一种数据处理装置，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1至6任一项所述的数据处理方法中的步骤。
15.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至6任一项所述的数据处理方法中的步骤。
16.一种数据处理系统，其特征在于，包括：源数据接入层、源数据存储层和业务存储层；
其中，所述源数据接入层，用于获取目标区域的历史交通场景的第一要素数据和所述目标区域的实时交通场景的第二要素数据；
所述源数据存储层，用于对所述第一要素数据和所述第二要素数据进行存储；
所述业务存储层，用于通过批处理，获取目标区域的历史交通场景的第一要素数据；通过流处理，获取所述目标区域的实时交通场景的第二要素数据；对所述第一要素数据和第二要素数据进行聚合处理，并将聚合后的要素数据存储在所述目标区域对应的缓存区中。
CN202110521146.0A 2021-05-13 2021-05-13 一种数据处理方法、装置和系统 Pending CN113177049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110521146.0A CN113177049A (zh) 2021-05-13 2021-05-13 一种数据处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110521146.0A CN113177049A (zh) 2021-05-13 2021-05-13 一种数据处理方法、装置和系统

Publications (1)

Publication Number Publication Date
CN113177049A true CN113177049A (zh) 2021-07-27

Family

ID=76929102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110521146.0A Pending CN113177049A (zh) 2021-05-13 2021-05-13 一种数据处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN113177049A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455031A (zh) * 2022-09-20 2022-12-09 北京火山引擎科技有限公司 一种Doris的数据查询方法、装置、存储介质及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243169A (zh) * 2015-11-12 2016-01-13 中国建设银行股份有限公司 一种数据查询方法及系统
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法
CN106816020A (zh) * 2015-12-02 2017-06-09 大陆汽车投资（上海）有限公司 基于数据分析的交通事故信息处理方法
CN106951552A (zh) * 2017-03-27 2017-07-14 重庆邮电大学 一种基于Hadoop的用户行为数据处理方法
CN107766401A (zh) * 2017-05-26 2018-03-06 温州市勘察测绘研究院 基于大数据的人行道违停分析方法及系统
CN109033102A (zh) * 2017-06-08 2018-12-18 上海济通信息技术有限公司 城市客运交通信息资源整合平台数据仓库构建的方法
CN111209352A (zh) * 2020-04-20 2020-05-29 北京聪明核桃教育科技有限公司 一种数据处理方法、装置、电子设备及存储介质
CN111680075A (zh) * 2020-04-16 2020-09-18 兰州理工大学 一种基于离线分析和在线预测结合的Hadoop+Spark交通预测系统及方法
CN112183926A (zh) * 2020-08-26 2021-01-05 银江股份有限公司 基于图数据库的交通运行状况评估方法、装置、设备及介质
CN112652168A (zh) * 2020-12-15 2021-04-13 安徽百诚慧通科技有限公司 一种重大交通事故预警方法、系统及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243169A (zh) * 2015-11-12 2016-01-13 中国建设银行股份有限公司 一种数据查询方法及系统
CN106816020A (zh) * 2015-12-02 2017-06-09 大陆汽车投资（上海）有限公司 基于数据分析的交通事故信息处理方法
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法
CN106951552A (zh) * 2017-03-27 2017-07-14 重庆邮电大学 一种基于Hadoop的用户行为数据处理方法
CN107766401A (zh) * 2017-05-26 2018-03-06 温州市勘察测绘研究院 基于大数据的人行道违停分析方法及系统
CN109033102A (zh) * 2017-06-08 2018-12-18 上海济通信息技术有限公司 城市客运交通信息资源整合平台数据仓库构建的方法
CN111680075A (zh) * 2020-04-16 2020-09-18 兰州理工大学 一种基于离线分析和在线预测结合的Hadoop+Spark交通预测系统及方法
CN111209352A (zh) * 2020-04-20 2020-05-29 北京聪明核桃教育科技有限公司 一种数据处理方法、装置、电子设备及存储介质
CN112183926A (zh) * 2020-08-26 2021-01-05 银江股份有限公司 基于图数据库的交通运行状况评估方法、装置、设备及介质
CN112652168A (zh) * 2020-12-15 2021-04-13 安徽百诚慧通科技有限公司 一种重大交通事故预警方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455031A (zh) * 2022-09-20 2022-12-09 北京火山引擎科技有限公司 一种Doris的数据查询方法、装置、存储介质及设备
CN115455031B (zh) * 2022-09-20 2024-05-24 北京火山引擎科技有限公司 一种Doris的数据查询方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
Li et al. Trajmesa: A distributed nosql storage engine for big trajectory data
Cong et al. Querying geo-textual data: Spatial keyword queries and beyond
CN103984710B (zh) 基于海量数据的视频交互查询方法及系统
CN109726225B (zh) 一种基于Storm的分布式流数据存储与查询方法
Zheng et al. Popularity-aware spatial keyword search on activity trajectories
Pelekis et al. On temporal-constrained sub-trajectory cluster analysis
Aved et al. Multi-int query language for dddas designs
Alarabi et al. TAREEG: A MapReduce-based system for extracting spatial data from OpenStreetMap
US10078624B2 (en) Method of generating hierarchical data structure
US20180248977A1 (en) Selective distribution of messages in a publish-subscribe system
US20140019454A1 (en) Systems and Methods for Caching Data Object Identifiers
Jung et al. Real-time car tracking system based on surveillance videos
US20070064974A1 (en) Video data management
CN113177049A (zh) 一种数据处理方法、装置和系统
Xu et al. Automated pedestrian safety analysis using data from traffic monitoring cameras
CN112231344B (zh) 实时流数据查询方法及装置
Brandt et al. GeoStreams: A survey
Yang et al. GridMesa: A NoSQL-based big spatial data management system with an adaptive grid approximation model
Vieira et al. Spatio-temporal databases: Complex motion pattern queries
Ghosh et al. Aid*: a spatial index for visual exploration of geo-spatial data
CN110019210B (zh) 数据写入方法及设备
Migliorini et al. CoPart: a context-based partitioning technique for big data
CN116524210A (zh) 自动驾驶数据筛选方法、系统、电子设备和存储介质
Xu et al. The semantic analysis of knowledge map for the traffic violations from the surveillance video big data.
Eom et al. Efficient generation of spatiotemporal relationships from spatial data streams and static data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210727

RJ01 Rejection of invention patent application after publication