CN116129640B - 一种用于道路数据的数据治理方法及设备 - Google Patents

一种用于道路数据的数据治理方法及设备 Download PDF

Info

Publication number
CN116129640B
CN116129640B CN202310026937.5A CN202310026937A CN116129640B CN 116129640 B CN116129640 B CN 116129640B CN 202310026937 A CN202310026937 A CN 202310026937A CN 116129640 B CN116129640 B CN 116129640B
Authority
CN
China
Prior art keywords
data
traffic
information
dimension
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310026937.5A
Other languages
English (en)
Other versions
CN116129640A (zh
Inventor
景皓鑫
朱斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Intelligent Technology Co Ltd
Original Assignee
Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Intelligent Technology Co Ltd filed Critical Inspur Intelligent Technology Co Ltd
Priority to CN202310026937.5A priority Critical patent/CN116129640B/zh
Publication of CN116129640A publication Critical patent/CN116129640A/zh
Application granted granted Critical
Publication of CN116129640B publication Critical patent/CN116129640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种用于道路数据的数据治理方法及设备,该方法包括:通过预设多源数据标准化接口,获取交通多维实时数据;根据交通多维实时数据的数据类型,将交通多维实时数据,分布式存储于预设数据库,以得到交通多维存储数据;数据类型包括结构化数据、非结构化数据。按照预设数据管理目录,依次生成交通多维存储数据对应的数据展示表单;根据交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,基于相应的交通管控算法模型的输出结果,生成交通辅助治理信息;交通信息维度至少包括:交通流量维度、交通事故维度、交通执法维度、交通拥堵维度。将数据展示表单及相应的交通辅助治理信息,发送至与交通信息维度匹配的道路监管终端。

Description

一种用于道路数据的数据治理方法及设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种用于道路数据的数据治理方法及设备。
背景技术
随着道路交通的逐渐发展,公路通车里程越来越长。伴随着公路里程的延伸,交管部门、交警部门、互联网软件企业如地图软件开发企业、导航企业,对于公路数据的采集也随之增多。
目前,公路数据所面对的上述数据需求对象,能够依靠其软件系统得到所需数据。但是,由于公路数据的数据量庞大,且其产生速度快,数据多源异构以及数据提供方及提供格式存在不统一等原因,公路数据的存储方式过于分散,在面对分散的海量数据时,道路数据不能被及时处理,并对处理后的道路数据向不同的数据需求方进行及时展示。
发明内容
本申请实施例提供了一种用于道路数据的数据治理方法及设备,用于解决道路数据不能被及时处理,并将处理后的道路数据向不同的数据需求方进行及时展示的问题。
一方面,本申请实施例提供了一种用于道路数据的数据治理方法,该方法包括:
通过预设多源数据标准化接口,获取交通多维实时数据;
根据所述交通多维实时数据的数据类型,将所述交通多维实时数据,分布式存储于预设数据库,以得到交通多维存储数据;所述数据类型包括结构化数据、非结构化数据;
按照预设数据管理目录,依次生成所述交通多维存储数据对应的数据展示表单;
根据所述交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,基于相应的所述交通管控算法模型的输出结果,生成交通辅助治理信息;所述交通信息维度至少包括:交通流量维度、交通事故维度、交通执法维度、交通拥堵维度;
将所述数据展示表单及相应的所述交通辅助治理信息,发送至与所述交通信息维度匹配的道路监管终端。
在本申请的一种实现方式中,确定采集所述交通多维存储数据的所述多源数据标准化接口的接口类型;
根据所述接口类型,匹配所述交通多维存储数据对应的至少一个所述交通信息维度,以根据所述交通信息维度,遍历预设算法模型库中,各所述交通管控算法模型,确定所述交通信息维度对应的至少一个所述交通管控算法模型。
在本申请的一种实现方式中,将所述交通多维存储数据,输入相应的所述交通管控算法模型进行计算,以得到相应的输出结果;其中,所述交通管控算法模型至少包括:交通流量分析模型、交通事故分析模型、交通执法行为分析模型、交通拥堵分析模型;
根据所述输出结果对应的所述交通管控算法模型,从预设数据库确定与所述交通管控算法模型相应的分析文本集合;
将所述输出结果及其对应的所述交通信息维度,输入预设短文本生成模型,以确定相应的第一文本向量;
将所述分析文本集合中各分析文本语句,编码为第二文本向量;
计算所述第一文本向量与各所述第二文本向量的余弦相似度,以根据各所述余弦相似度的最大值,确定所述输出结果匹配的分析文本语句为所述交通辅助治理信息。
在本申请的一种实现方式中,在所述交通多维存储数据对应于所述交通流量维度的情况下,确定所述交通多维存储数据中的非结构化数据对应的道路图像及测速信息;
将预设时间内的所述道路图像,输入所述交通管控算法模型,以确定所述道路图像中的车辆外形特征信息、车辆车距信息;
根据所述车辆外形特征信息、所述车辆车距信息、测速信息及预设车流量计算公式,确定所述预设时间内的道路车流量,为所述输出结果。
在本申请的一种实现方式中,在所述交通多维存储数据对应于所述交通事故维度的情况下,确定所述交通多维存储数据中的若干事故图像及其事故描述信息;其中,所述事故图像、所述事故描述信息来自于交警终端;
通过所述交通事故分析模型,按照事故分类维度,将各所述事故图像及相应的所述事故描述信息进行分类处理,以确定道路事故在各所述事故分类维度的统计分析信息,为所述输出结果;其中,所述事故分类维度至少包括时间维度、道路路段维度、道路事故原因维度。
在本申请的一种实现方式中,在所述交通多维存储数据对应于所述交通执法维度的情况下,确定所述交通多维存储数据中的违法相关信息;所述违法相关信息包括各车型或各路段对应的超载信息、超速信息;
通过所述交通执法行为分析模型,将所述违法相关信息进行统计分析,以确定违法提示序列,并将所述违法提示序列作为所述输出结果;所述违法提示序列用于表征各车型或各路段的违法概率。
在本申请的一种实现方式中,在所述交通多维存储数据对应于所述交通拥堵维度的情况下,将所述交通多维存储数据中的交通行程数据,输入所述交通拥堵分析模型;其中,所述交通行程数据包括道路车辆实际行程时间及预设的道路车辆标准行程时间;
通过所述交通拥堵分析模型,确定各道路的拥堵延时指数,作为所述输出结果。
在本申请的一种实现方式中,所述多源数据标准化接口采用Web Service技术,以及采用简单对象访问协议SOAP进行数据传输;所述多源数据标准化接口的数据交换格式采用XML或JSON;
所述多源数据标准化接口对二进制数据采用Base64进行编码。
在本申请的一种实现方式中,根据所述交通多维存储数据,建立所述数据展示表单对应的数据管理目录,及对所述目录进行管理;
按照预设质量检查规则,对所述交通多维实时数据进行检测;
对预设数据库中的数据进行监控,并对所述数据库进行分层建设及分级防护。
另一方面,本申请实施例提供了一种用于道路数据的数据治理设备,所述设备包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
通过预设多源数据标准化接口,获取交通多维实时数据;
根据所述交通多维实时数据的数据类型,将所述交通多维实时数据,分布式存储于预设数据库,以得到交通多维存储数据;所述数据类型包括结构化数据、非结构化数据;
按照预设数据管理目录,依次生成所述交通多维存储数据对应的数据展示表单;
根据所述交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,基于相应的所述交通管控算法模型的输出结果,生成交通辅助治理信息;所述交通信息维度至少包括:交通流量维度、交通事故维度、交通执法维度、交通拥堵维度;
将所述数据展示表单及相应的所述交通辅助治理信息,发送至与所述交通信息维度匹配的道路监管终端。
通过上述方案,通过多源数据标准化接口采集的交通数据,进行多维度的数据分析,并对分析结果进行展示。从而公路数据的存储方式过于分散的情况下,在面对分散的海量数据时,本申请能够对道路数据进行及时处理及上报,并对处理后的道路数据向不同的数据需求方进行及时地多维度个性化展示。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中一种用于道路数据的数据治理方法对应的系统的结构示意图;
图2为本申请实施例中一种用于道路数据的数据治理方法的流程示意图;
图3为本申请实施例中一种用于道路数据的数据治理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
数据不是拿来看的,而是拿来用的。大一统的数据中心只是完成了数据接入整合、统一汇聚、存储的第一步,要想充分发挥数据中心海量多源异构数据的应用价值、提供服务,就必须构建一个标准化、流程化、规范化的数据体系,全局认知和构建数据世界的新框架。
数据体系的要素,包括总体、技术层面、业务层面和管理体系层面;数据体系的构建是一个解构、重构、创新、优化、一体化的构建过程,要把数据体系、业务体系、组织体系协调管理起来,建立数据指挥调度平台;把标准、规则、流程建立起来,把数据逻辑、业务逻辑及如何实现数据最小颗粒度、标准化关联和责任体系管理起来;为了管理好数据,还要把目录、标签、清晰应用、主题服务管理起来。通过这个新的数据体系,真正能形成采集、汇聚、融合、治理、开发、维护一体化的长效机制。此体系绝对不是各个系统简单地拼装、关联,而是一个生命体。构建一站式数据资源管理与服务平台,全面管控数据质量,提升数据资源规范化管理能力,改善传统数据信息不共享导致的“数据烟囱、信息孤岛”现象,从根本上发挥出数据的最大价值,打破数据孤岛,完成行业全域大数据融合。
本申请实施例提供了一种用于道路数据的数据治理方法及设备,用于对道路数据及时处理,并将处理后的道路数据向不同的数据需求方进行及时地个性化展示。
以下结合附图,详细说明本申请的各个实施例。
本申请实施例提供了一种用于道路数据的数据治理方法,该方法可以对应于一软件系统,即用于道路数据的数据治理系统,需要说明的是,服务器可以作为用于道路数据的数据治理系统的硬件执行主体,但仅为示例性存在,执行主体不仅限于服务器,还例如服务器集群等,本申请对此不作具体限定。
如图1所示,该系统可以包括:
采集模块110,通过预设多源数据标准化接口,获取交通多维实时数据。存储模块120,根据交通多维实时数据的数据类型,将交通多维实时数据,分布式存储于预设数据库,以得到交通多维存储数据。数据类型包括结构化数据、非结构化数据。数据管理模块130,按照预设数据管理目录,依次生成交通多维存储数据对应的数据展示表单。数据分析模块140,根据交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,基于相应的交通管控算法模型的输出结果,生成交通辅助治理信息。交通信息维度至少包括:交通流量维度、交通事故维度、交通执法维度、交通拥堵维度。数据展示模块150,将数据展示表单及相应的交通辅助治理信息,发送至与交通信息维度匹配的道路监管终端。
在本申请实施例中,根据交通多维实时数据的来源可以包括基础数据、外部数据、运算数据。其中,基础数据包括:基础路段GIS数据、交调站数据、桥隧基础数据、历史交易明细数据、历史事故和流量数据信息、视频监控数据、服务区数据、道路规划数据、道路养护数据等。外部数据:包括:气象数据、交警系统数据、网络信息数据、用户使用评论数据、车辆联网等平台数据、其他合作或购买的数据等。运算数据包括:短时路况预测数据、交通事件研判特征数据、重点车辆识别轨迹数据、收入预测数据、断面流量短时预测数据、风险辨识数据等。
本申请能够利用存储模块,根据数据来源对交通多维实时数据进行分区,即分为基础数据区、外部数据区、运算数据区,进而存储于预设数据库。此外,本申请对应的各数据分区中,还可以进行数据主题划分,例如项目主题、标签库主题、其他主题等,数据主题数量及名称可以由用户自行确定。此外,在进行存储时,可以按照数据类型,分布式存储,例如将结构化数据存储于服务器A,将非结构化数据存储于服务器B,进而实现交通多维实时数据的分布式存储。
在本申请实施例中,数据管理模块130,按照预设数据管理目录,依次生成交通多维存储数据对应的数据展示表单。即直接将交通多维存储数据从数据库中取出,并根据上述如项目主题、标签库主题、其他主题等,依次生成展示表单,展示表单为展示交通多维存储数据的表单,按照主题对数据进行排序。该数据展示表单时能够对交通多维存储数据进行增加、删除、修改等操作的表单。
在本申请实施例中,多源数据标准化接口采用Web Service技术,以及采用简单对象访问协议SOAP进行数据传输,实现公路数据信息的统一化、标准化采集。多源数据标准化接口的数据交换格式采用XML或JSON。多源数据标准化接口对二进制数据采用Base64进行编码。本申请提供的系统,能够实现统一的分类编码,统一的数据采集规程,统一的数据质量标准,统一的数据格式,统一的元数据标准等数据规范。
本系统根据国家/行业标准,结合实际应用制定数据接口技术规范。由于系统面对的行业数据量大,数据类别多,制定接口标准规范具有重大的意义。技术规范主要包括接入服务规范、接入服务输入参数规范、接入服务返回值规范,数据到达通知数据格式,交换日志规范等内容。
由于公路数据的数据量庞大,且其产生速度快,数据多源异构以及数据提供方及提供格式存在不统一等原因,公路数据的存储方式过于分散。通过上述提供的多源数据标准化接口进行获取标准格式的数据,并利用存储模块及数据管理模块,对公路数据进行整合存储,以便后续对数据的及时处理。
道路监管终端可以是交警的手机、平板电脑等设备,还可以是交管部门、地图开发企业的服务器、台式电脑、笔记本电脑等设备,本申请对此不作具体限定。
此外,本申请所提供的系统还可以包括应用程序界面(Application ProgramInterface,API)服务模块及门户服务模块,用于向第三方平台提供接口,对各类场景服务的注册、发布、调度进行管理,并对正在运行的所有服务进行监控和管理;以及使系统能够集成有应用系统、数据资源和网络资源,用于为数据提供统一的访问接口。
在本申请实施例中,数据管理模块130具体包括:数据资源目录管理单元131、数据质量管理单元132、数据安全管理单元133。
数据资源目录管理单元131,用于根据交通多维存储数据,建立数据展示表单对应的目录,及对目录进行管理。
具体地,数据资源目录管理单元131包括目录注册、目录更新、元数据同步、主数据同步、目录查询、数据归档及恢复。
数据质量管理单元132,用于按照预设质量检查规则,对交通多维实时数据进行检测。
具体地,包括数据质量检查规则、数据问题展示、任务管理,为第三方平台提供链路保障、环境及数据质量监测和定期报告。
数据安全管理单元133,用于对预设数据库中的数据进行监控,并对数据库进行分层建设及分级防护。
具体地,包括数据库状态监控、数据库审计、数据库风险扫描和访问控制,通过分层建设、分级防护,解决数据脱敏、追溯和审计问题,对敏感信息进行脱敏、变形。
在本申请实施例中,数据分析模块140,根据交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,具体包括:
首先,数据分析模块确定采集交通多维存储数据的多源数据标准化接口的接口类型。接着,根据接口类型,匹配交通多维存储数据对应的至少一个交通信息维度,以根据交通信息维度,遍历预设算法模型库中,各交通管控算法模型,确定交通信息维度对应的至少一个交通管控算法模型。
也就是说,数据分析模块可以确定采集交通多维存储数据的接口类型,例如采集交通多维存储数据的接口类型对应于A路口的摄像头,其交通信息维度可能对应于交通流量维度、交通拥堵维度。
在本申请实施例中,数据分析模块140,基于相应的交通管控算法模型的输出结果,生成交通辅助治理信息,具体包括:
将交通多维存储数据,输入相应的交通管控算法模型进行计算,以得到相应的输出结果。其中,交通管控算法模型至少包括:交通流量分析模型、交通事故分析模型、交通执法行为分析模型、交通拥堵分析模型。根据输出结果对应的交通管控算法模型,从预设数据库确定与交通管控算法模型相应的分析文本集合。将输出结果及其对应的交通信息维度,输入预设短文本生成模型,以确定相应的第一文本向量。将分析文本集合中各分析文本语句,编码为第二文本向量。计算第一文本向量与各第二文本向量的余弦相似度,以根据各余弦相似度的最大值,确定输出结果匹配的分析文本语句为交通辅助治理信息。
上述预设短文本生成模型为预先训练的模型,如神经网络模型,可以根据输出结果及交通信息维度,进行生成短文本。例如输出结果交通信息维度为交通流量维度,输出结果为第一路口的交通流量为n,该路口所承载最大交通流量为n-1,那么可以生成短文本:第一路口的交通流量大于最大承载交通流量。并将短文本进行编码为向量如:[1,2,3,4],分析文本集合中预先存储若干的分析文本语句,如一分析文本语句:对交通流量大于最大承载交通流量的路口,进行疏导。并将分析文本语句进行编码为第二文本向量如[1,2,3,5]。计算第一文本向量与各第二文本向量的余弦相似度,将余弦相似度最大值对应的第二文本向量,作为匹配向量,并将该匹配向量的分析文本语句作为交通辅助治理信息。
换言之,本申请能够通过多模型,对交通多维存储数据进行处理,从而得到多维的交通数据的输出结果,例如确定出某天某时的某道路的交通流量,分析文本集合中包括用户预先存储于数据库中的分析文本语句,用于对输出结果给出评价语句,针对不同维度,可以有不同的分析文本集合,也可以只有一个分析文本集合,本申请对此不作具体限定。
也就是说,本申请能够通过交通管控算法模型,输出不同维度对应的交通数据的输出结果,并给出相应的道路监管终端交通辅助治理信息,交通辅助治理信息还可以包括但不限于文字、图片。
在本申请实施例中,数据分析模块,将交通多维存储数据,输入相应的交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在交通多维存储数据对应于交通流量维度的情况下,确定交通多维存储数据中的非结构化数据对应的道路图像及测速信息。将预设时间内的道路图像,输入交通管控算法模型,以确定道路图像中的车辆外形特征信息、车辆车距信息。根据车辆外形特征信息、车辆车距信息、测速信息及预设车流量计算公式,确定预设时间内的道路车流量,为输出结果。
其中,预设车流量计算公式为:
其中,L为道路车流量,t为单位时间,v为车速,d为前车与后车之间的车距,x为车身长度。
本申请对应的交通管控算法模型可以为预先训练的神经网络图像识别模型,从道路图像中提取车辆的形状、车辆颜色等车辆外形特征信息以及根据识别出的单个车辆像素点,及像素点对应的距离转换公式,确定车辆车距信息。距离转换公式为像素与像素之间距离与实际环境中的距离的转换公式,例如一像素距离对应于1米。在得到单个车辆像素点后,可以计算后车车头对应像素点与前车车位像素点的最短像素距离,并根据距离转换公式计算车辆车距信息。
在本申请实施例中,数据分析模块还包括交通事故分析模型,具体用于:
在交通多维存储数据对应于交通事故维度的情况下,确定交通多维存储数据中的若干事故图像及其事故描述信息。其中,事故图像、事故描述信息来自于交警终端。
通过交通事故分析模型,按照事故分类维度,将各事故图像及相应的事故描述信息进行分类处理,以确定道路事故在各事故分类维度的统计分析信息,为输出结果。其中,事故分类维度至少包括时间维度、道路路段维度、道路事故原因维度。
交通事故分析模型所处理的交通多维存储数据,主要是通过接口获取交警系统中的数据。举例说明,在实际使用场景中,不同的路段有不同的交警,如3个路段出现交通事故,3个交警,交警m1采集了路段1的交通事故,交警m2采集了路段2的交通事故,交警m3采集了路段3的交通事故,若不使用本申请对应的系统,3个交警分别上报3场事故之后,需要人工进行分别地处理之后,才能确定3场事故的发生时间、路段及原因;若使用本申请提供的系统,本申请可以通过交通事故分析模型,对3场事故按照事故分类维度,进行分类,并在不同维度上给出统计分析信息,如3场事故均在上班高峰期发生或聚在3个路段的有施工地区发生再或者原因都是因为酒后驾驶等。在不同维度进行统计分析后,生成输出结果,进而得到不同维度的交通辅助治理信息,例如上班高峰期增加指挥人员,施工地区加强护栏防护,以及加大查验酒驾违法行为力度等。
在本申请实施例中,数据分析模块还包括交通执法行为分析模型,具体用于:
在交通多维存储数据对应于交通执法维度的情况下,确定交通多维存储数据中的违法相关信息。违法相关信息包括各车型或各路段对应的超载信息、超速信息。
通过交通执法行为分析模型,将违法相关信息进行统计分析,以确定违法提示序列,并将违法提示序列作为输出结果。违法提示序列用于表征各车型或各路段的违法概率。
交通执法行为分析模型对应的交通多维存储数据可以是卡口设备、称重台及车牌识别设备采集的。交通执法行为分析模型根据交通多维存储数据,可以进行统计分析,如什么类型的车辆超重概率更高、什么路段下车辆容易超速等。进而得到违法提示序列,违法提示序列可以理解为对不同违法行为的车辆,进行统计,如超载对应的违法提示序列:[小货车、卡车、小轿车……],按照违法概率进行排列得到违法提示序列。
在本申请实施例中,数据分析模块中的交通拥堵分析模型具体用于:
在交通多维存储数据对应于交通拥堵维度的情况下,将交通多维存储数据中的交通行程数据,输入交通拥堵分析模型。其中,交通行程数据包括道路车辆实际行程时间及预设的道路车辆标准行程时间。通过交通拥堵分析模型,确定各道路的拥堵延时指数,作为输出结果。
本申请能够根据交通多维存储数据,进行计算道路拥堵延时指数,然后匹配该拥堵延时指数对应的交通辅助治理信息,例如交通辅助治理信息为:道路x拥堵延时指数大于预设阈值,请及时疏导交通。该信息可以发送给交警的手持终端,或交警队的电脑,由交警进行疏导交通。
本申请还能够根据上述各交通管控算法模型的输出结果,确定输出结果是否超过告警阈值,例如某道路车流量超过其道路承载车流量的告警阈值,可以进行报警,并发送告警信息至道路监管终端。
本申请提供的用于道路数据的数据治理方法对应系统,有利于通过研究高速公路跨领域、跨部门、跨平台数据中台技术,形成集数据资源管理、数据共享交换、数据标准化开放服务于一体的标准化数据指挥调度服务中枢平台,构筑数据综合指挥调度和分析服务技术基石,推动大数据技术在高速公路日常运营管理决策中的深度应用,有效提升高速公路日常运营管理决策水平。
本申请基于弹性多级目录(数据资源目录管理单元建立)的数据资源管理方法及海量数据多模协同处理模式实现高速公路多源异构数据资源的标准化:对于路网领域产生的海量异构复杂型数据包括图像数据、文本数据、多媒体流数据等,数据中台提供一种多模处理计算框架,该框架紧密结合公路运营的数据特征,实现利用较低的硬件计算资源,通过协同式整合,实现多维数据异构数据快速识别、精准融合、高效处理,破解路网数据领域复杂类型数据快速融合的难题。
面向高速公路行业提供分析、预测、决策支持服务:针对交通态势监测、视频事件检测、桥隧检测等场景的智能算法模型应用,实现各项交通数据展示和分析、实时预测,同时当数据超过阈值时进行自动报警和预案生成,为管理部门对于路段交通情况及潜在危险事件的早发现、早预防、早解决提供智能化、强有力的解决手段。
进而在公路数据的存储方式过于分散,面对分散的海量数据时,通过上述技术方案,能够对道路数据进行及时处理,并对处理后的道路数据向不同的数据需求方进行及时个性化地数据治理(提出交通辅助治理信息)展示。
图2为本申请实施例提供的一种用于道路数据的数据治理方法的流程示意图,需要说明的是,服务器可以作为用于道路数据的数据治理方法的执行主体,但仅为示例性存在,执行主体不仅限于服务器,本申请对此不作具体限定。相应地,用于道路数据的数据治理方法的具体实施例及作用可以参照上述方法所对应的系统实施例的相关论述,在方法步骤不作重复赘述。如图2所示,该方法包括以下步骤S201-S205:
S201,服务器通过预设多源数据标准化接口,获取交通多维实时数据。
S202,服务器根据交通多维实时数据的数据类型,将交通多维实时数据,分布式存储于预设数据库,以得到交通多维存储数据。数据类型包括结构化数据、非结构化数据。
S203,服务器按照预设数据管理目录,依次生成交通多维存储数据对应的数据展示表单。
S204,服务器根据交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,基于相应的交通管控算法模型的输出结果,生成交通辅助治理信息。交通信息维度至少包括:交通流量维度、交通事故维度、交通执法维度、交通拥堵维度。
S205,服务器将数据展示表单及相应的交通辅助治理信息,发送至与交通信息维度匹配的道路监管终端。
在本申请的一个实施例中,根据交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,具体包括:
确定采集交通多维存储数据的多源数据标准化接口的接口类型;
根据接口类型,匹配交通多维存储数据对应的至少一个交通信息维度,以根据交通信息维度,遍历预设算法模型库中,各交通管控算法模型,确定交通信息维度对应的至少一个交通管控算法模型。
在本申请的一个实施例中,基于相应的交通管控算法模型的输出结果,生成交通辅助治理信息,具体包括:
将交通多维存储数据,输入相应的交通管控算法模型进行计算,以得到相应的输出结果;其中,交通管控算法模型至少包括:交通流量分析模型、交通事故分析模型、交通执法行为分析模型、交通拥堵分析模型;
根据输出结果对应的交通管控算法模型,从预设数据库确定与交通管控算法模型相应的分析文本集合;
将输出结果及其对应的交通信息维度,输入预设短文本生成模型,以确定相应的第一文本向量;
将分析文本集合中各分析文本语句,编码为第二文本向量;
计算第一文本向量与各第二文本向量的余弦相似度,以根据各余弦相似度的最大值,确定输出结果匹配的分析文本语句为交通辅助治理信息。
在本申请的一个实施例中,将交通多维存储数据,输入相应的交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在交通多维存储数据对应于交通流量维度的情况下,确定交通多维存储数据中的非结构化数据对应的道路图像及测速信息;
将预设时间内的道路图像,输入交通管控算法模型,以确定道路图像中的车辆外形特征信息、车辆车距信息;
根据车辆外形特征信息、车辆车距信息、测速信息及预设车流量计算公式,确定预设时间内的道路车流量,为输出结果。
在本申请的一个实施例中,将交通多维存储数据,输入相应的交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在交通多维存储数据对应于交通事故维度的情况下,确定交通多维存储数据中的若干事故图像及其事故描述信息;其中,事故图像、事故描述信息来自于交警终端;
通过交通事故分析模型,按照事故分类维度,将各事故图像及相应的事故描述信息进行分类处理,以确定道路事故在各事故分类维度的统计分析信息,为输出结果;其中,事故分类维度至少包括时间维度、道路路段维度、道路事故原因维度。
在本申请的一个实施例中,将交通多维存储数据,输入相应的交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在交通多维存储数据对应于交通执法维度的情况下,确定交通多维存储数据中的违法相关信息;违法相关信息包括各车型或各路段对应的超载信息、超速信息;
通过交通执法行为分析模型,将违法相关信息进行统计分析,以确定违法提示序列,并将违法提示序列作为输出结果;违法提示序列用于表征各车型或各路段的违法概率。
在本申请的一个实施例中,将交通多维存储数据,输入相应的交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在交通多维存储数据对应于交通拥堵维度的情况下,将交通多维存储数据中的交通行程数据,输入交通拥堵分析模型;其中,交通行程数据包括道路车辆实际行程时间及预设的道路车辆标准行程时间;
通过交通拥堵分析模型,确定各道路的拥堵延时指数,作为输出结果。
在本申请的一个实施例中,多源数据标准化接口采用Web Service技术,以及采用简单对象访问协议SOAP进行数据传输;多源数据标准化接口的数据交换格式采用XML或JSON;
多源数据标准化接口对二进制数据采用Base64进行编码。
在本申请的一个实施例中,方法还包括:
根据交通多维存储数据,建立数据展示表单对应的数据管理目录,及对目录进行管理;
按照预设质量检查规则,对交通多维实时数据进行检测;
对预设数据库中的数据进行监控,并对数据库进行分层建设及分级防护。
通过上述方案,在公路数据的存储方式过于分散,面对分散的海量数据时,通过上述技术方案,能够对道路数据进行及时处理,并对处理后的道路数据向不同的数据需求方进行及时个性化地数据治理(提出交通辅助治理信息)展示。
图3为本申请实施例提供的一种用于道路数据的数据治理设备的结构示意图,如图3所示,所设备包括:
至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
通过预设多源数据标准化接口,获取交通多维实时数据;根据交通多维实时数据的数据类型,将交通多维实时数据,分布式存储于预设数据库,以得到交通多维存储数据;数据类型包括结构化数据、非结构化数据;按照预设数据管理目录,依次生成交通多维存储数据对应的数据展示表单;根据交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,基于相应的交通管控算法模型的输出结果,生成交通辅助治理信息;交通信息维度至少包括:交通流量维度、交通事故维度、交通执法维度、交通拥堵维度;将数据展示表单及相应的交通辅助治理信息,发送至与交通信息维度匹配的道路监管终端。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于方法及设备实施例而言,由于其基本相似于该方法对应的系统实施例,所以描述的比较简单,相关之处参见系统实施例的部分说明即可。
本申请实施例提供的方法、设备与方法对应的系统是一一对应的,因此,方法也具有与其对应的系统类似的有益技术效果,由于上面已经对系统的有益技术效果进行了详细说明,因此,这里不再赘述设备的有益技术效果。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种用于道路数据的数据治理方法,其特征在于,所述方法包括:
通过预设多源数据标准化接口,获取交通多维实时数据;
根据所述交通多维实时数据的数据类型,将所述交通多维实时数据,分布式存储于预设数据库,以得到交通多维存储数据;所述数据类型包括结构化数据、非结构化数据;
按照预设数据管理目录,依次生成所述交通多维存储数据对应的数据展示表单;
根据所述交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,基于相应的所述交通管控算法模型的输出结果,生成交通辅助治理信息;所述交通信息维度至少包括:交通流量维度、交通事故维度、交通执法维度、交通拥堵维度;
将所述数据展示表单及相应的所述交通辅助治理信息,发送至与所述交通信息维度匹配的道路监管终端;
其中,所述交通多维实时数据至少包括:基础数据、外部数据、运算数据;所述基础数据包括:基础路段GIS数据、交调站数据、桥隧基础数据、历史交易明细数据、历史事故和流量数据信息、视频监控数据、服务区数据、道路规划数据、道路养护数据;所述外部数据包括:气象数据、交警系统数据、网络信息数据、用户使用评论数据、车辆联网平台数据;所述运算数据包括:短时路况预测数据、交通事件研判特征数据、重点车辆识别轨迹数据、收入预测数据、断面流量短时预测数据、风险辨识数据;
分布式存储于预设数据库,具体包括:
对所述交通多维实时数据进行分区,以得到基础数据区、外部数据区、运算数据区,分别存储至所述数据库;
其中,根据所述交通多维存储数据对应的交通信息维度,匹配预设的交通管控算法模型,具体包括:
确定采集所述交通多维存储数据的所述多源数据标准化接口的接口类型;
根据所述接口类型,匹配所述交通多维存储数据对应的至少一个所述交通信息维度,以根据所述交通信息维度,遍历预设算法模型库中,各所述交通管控算法模型,确定所述交通信息维度对应的至少一个所述交通管控算法模型;
其中,基于相应的所述交通管控算法模型的输出结果,生成交通辅助治理信息,具体包括:
将所述交通多维存储数据,输入相应的所述交通管控算法模型进行计算,以得到相应的输出结果;其中,所述交通管控算法模型至少包括:交通流量分析模型、交通事故分析模型、交通执法行为分析模型、交通拥堵分析模型;
根据所述输出结果对应的所述交通管控算法模型,从预设数据库确定与所述交通管控算法模型相应的分析文本集合;
将所述输出结果及其对应的所述交通信息维度,输入预设短文本生成模型,以确定相应的第一文本向量;
将所述分析文本集合中各分析文本语句,编码为第二文本向量;
计算所述第一文本向量与各所述第二文本向量的余弦相似度,以根据各所述余弦相似度的最大值,确定所述输出结果匹配的分析文本语句为所述交通辅助治理信息;
其中,将所述交通多维存储数据,输入相应的所述交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在所述交通多维存储数据对应于所述交通流量维度的情况下,确定所述交通多维存储数据中的非结构化数据对应的道路图像及测速信息;
将预设时间内的所述道路图像,输入所述交通管控算法模型,以确定所述道路图像中的车辆外形特征信息、车辆车距信息;
根据所述车辆外形特征信息、所述车辆车距信息、测速信息及预设车流量计算公式,确定所述预设时间内的道路车流量,为所述输出结果;
其中,预设车流量计算公式为:
其中,L为道路车流量,t为单位时间,v为车速,d为前车与后车之间的车距,x为车身长度;
其中,按照预设数据管理目录,依次生成所述交通多维存储数据对应的数据展示表单,具体包括:
根据项目主题、标签库主题、其他主题对所述交通多维存储数据进行排序,依次生成所述数据展示表单;
其中,所述方法还包括:
通过所述交通管控算法模型,从所述道路图像中提取车辆的形状、车辆颜色,得到所述车辆外形特征信息;所述交通管控算法模型为预先训练的神经网络图像识别模型;
根据识别出的单个车辆像素点,及像素点对应的距离转换公式,确定所述车辆车距信息;其中,所述距离转换公式为像素与像素之间距离与实际环境中的距离的转换公式;
在得到所述单个车辆像素点后,计算后车车头对应像素点与前车车位像素点的最短像素距离,并根据所述距离转换公式计算车辆车距信息。
2.根据权利要求1所述方法,其特征在于,将所述交通多维存储数据,输入相应的所述交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在所述交通多维存储数据对应于所述交通事故维度的情况下,确定所述交通多维存储数据中的若干事故图像及其事故描述信息;其中,所述事故图像、所述事故描述信息来自于交警终端;
通过所述交通事故分析模型,按照事故分类维度,将各所述事故图像及相应的所述事故描述信息进行分类处理,以确定道路事故在各所述事故分类维度的统计分析信息,为所述输出结果;其中,所述事故分类维度至少包括时间维度、道路路段维度、道路事故原因维度。
3.根据权利要求1所述方法,其特征在于,将所述交通多维存储数据,输入相应的所述交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在所述交通多维存储数据对应于所述交通执法维度的情况下,确定所述交通多维存储数据中的违法相关信息;所述违法相关信息包括各车型或各路段对应的超载信息、超速信息;
通过所述交通执法行为分析模型,将所述违法相关信息进行统计分析,以确定违法提示序列,并将所述违法提示序列作为所述输出结果;所述违法提示序列用于表征各车型或各路段的违法概率。
4.根据权利要求1所述方法,其特征在于,将所述交通多维存储数据,输入相应的所述交通管控算法模型进行计算,以得到相应的输出结果,具体包括:
在所述交通多维存储数据对应于所述交通拥堵维度的情况下,将所述交通多维存储数据中的交通行程数据,输入所述交通拥堵分析模型;其中,所述交通行程数据包括道路车辆实际行程时间及预设的道路车辆标准行程时间;
通过所述交通拥堵分析模型,确定各道路的拥堵延时指数,作为所述输出结果。
5.根据权利要求1所述方法,其特征在于,所述多源数据标准化接口采用Web Service技术,以及采用简单对象访问协议SOAP进行数据传输;所述多源数据标准化接口的数据交换格式采用XML或JSON;
所述多源数据标准化接口对二进制数据采用Base64进行编码。
6.根据权利要求1所述方法,其特征在于,所述方法还包括:
根据所述交通多维存储数据,建立所述数据展示表单对应的数据管理目录,及对所述数据管理目录进行管理;
按照预设质量检查规则,对所述交通多维实时数据进行检测;
对预设数据库中的数据进行监控,并对所述数据库进行分层建设及分级防护。
7.一种用于道路数据的数据治理设备,其特征在于,所述设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述权利要求1-6任一项所述的一种用于道路数据的数据治理方法。
CN202310026937.5A 2023-01-09 2023-01-09 一种用于道路数据的数据治理方法及设备 Active CN116129640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310026937.5A CN116129640B (zh) 2023-01-09 2023-01-09 一种用于道路数据的数据治理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310026937.5A CN116129640B (zh) 2023-01-09 2023-01-09 一种用于道路数据的数据治理方法及设备

Publications (2)

Publication Number Publication Date
CN116129640A CN116129640A (zh) 2023-05-16
CN116129640B true CN116129640B (zh) 2024-03-15

Family

ID=86307641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310026937.5A Active CN116129640B (zh) 2023-01-09 2023-01-09 一种用于道路数据的数据治理方法及设备

Country Status (1)

Country Link
CN (1) CN116129640B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108922188A (zh) * 2018-07-24 2018-11-30 河北德冠隆电子科技有限公司 雷达跟踪定位的四维实景交通路况感知预警监控管理系统
CN109724610A (zh) * 2018-12-29 2019-05-07 河北德冠隆电子科技有限公司 一种全信息实景导航的方法及装置
CN110363985A (zh) * 2019-06-27 2019-10-22 北京易华录信息技术股份有限公司 一种交通数据分析方法、装置、存储介质及设备
CN110378824A (zh) * 2019-06-26 2019-10-25 公安部交通管理科学研究所 一种公安交管数据大脑及构建方法
CN110781393A (zh) * 2019-10-23 2020-02-11 中南大学 基于图模型和膨胀卷积神经网络的交通事件要素抽取算法
CN112685385A (zh) * 2020-12-31 2021-04-20 广西中科曙光云计算有限公司 一种用于智慧城市建设的大数据平台
US11238729B1 (en) * 2020-09-11 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for traffic flow prediction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258842A (zh) * 2020-10-26 2021-01-22 北京百度网讯科技有限公司 交通监测方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108922188A (zh) * 2018-07-24 2018-11-30 河北德冠隆电子科技有限公司 雷达跟踪定位的四维实景交通路况感知预警监控管理系统
CN109724610A (zh) * 2018-12-29 2019-05-07 河北德冠隆电子科技有限公司 一种全信息实景导航的方法及装置
CN110378824A (zh) * 2019-06-26 2019-10-25 公安部交通管理科学研究所 一种公安交管数据大脑及构建方法
CN110363985A (zh) * 2019-06-27 2019-10-22 北京易华录信息技术股份有限公司 一种交通数据分析方法、装置、存储介质及设备
CN110781393A (zh) * 2019-10-23 2020-02-11 中南大学 基于图模型和膨胀卷积神经网络的交通事件要素抽取算法
US11238729B1 (en) * 2020-09-11 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for traffic flow prediction
CN112685385A (zh) * 2020-12-31 2021-04-20 广西中科曙光云计算有限公司 一种用于智慧城市建设的大数据平台

Also Published As

Publication number Publication date
CN116129640A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN110378824B (zh) 一种公安交管数据大脑及构建方法
Chauhan et al. Embedded CNN based vehicle classification and counting in non-laned road traffic
CN112687097A (zh) 一种高速公路路段级数据中台系统
CN109145954B (zh) 一种基于多源时空数据的网约车出行安全评价方法及系统
Wang et al. A vision‐based video crash detection framework for mixed traffic flow environment considering low‐visibility condition
Guerreiro et al. An architecture for big data processing on intelligent transportation systems. An application scenario on highway traffic flows
Yu et al. RTIC-C: A big data system for massive traffic information mining
US11392733B2 (en) Multi-dimensional event model generation
Soriano et al. Smart mobility trends: Open data and other tools
CN111539864A (zh) 一种基于lbs大数据的踩踏事件的情报分析方法和装置
CN114818056A (zh) 基于bim技术的交通数据集成方法、装置、设备及介质
Lv et al. Digital twins based VR simulation for accident prevention of intelligent vehicle
CN114662583A (zh) 应急事件防控调度方法、装置、电子设备和存储介质
Deepa Management of Traffic in Smart Cities Using Optical Character Recognition for Notifying Users
CN116824868B (zh) 车辆非法停驻点识别及拥堵预测方法、装置、设备及介质
CN116129640B (zh) 一种用于道路数据的数据治理方法及设备
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN112382122A (zh) 一种交通信息处理的方法和装置
di Bella et al. Smart Security: Integrated systems for security policies in urban environments
Cui et al. Design of highway intelligent transportation system based on the internet of things and artificial intelligence
CN113919544B (zh) 犯罪预警方法、装置、计算机设备及存储介质
Sosunova et al. SWM-PnR: ontology-based context-driven knowledge representation for IoT-enabled waste management
Khan Real time predictive monitoring system for urban transport
US20210056345A1 (en) Creating signal sequences
Sathyan Traffic Flow Prediction using Machine Learning Techniques-A Systematic Literature Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant