CN112633722B - 车载道路安全风险评估系统及方法 - Google Patents
车载道路安全风险评估系统及方法 Download PDFInfo
- Publication number
- CN112633722B CN112633722B CN202011590216.XA CN202011590216A CN112633722B CN 112633722 B CN112633722 B CN 112633722B CN 202011590216 A CN202011590216 A CN 202011590216A CN 112633722 B CN112633722 B CN 112633722B
- Authority
- CN
- China
- Prior art keywords
- risk
- information
- guardrail
- road
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012502 risk assessment Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims description 51
- 238000013461 design Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 13
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供一种车载道路安全风险评估系统及方法，该系统包括：信息采集模块，用于采集车载设备在行驶过程中道路的视频信息、点云信息以及经纬度信息；风险评估模块，用于根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及场景评估护栏风险，以及基于所述道路安全风险目标、所述护栏高度评估护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；风险决策模块，用于根据机器学习模型和预设知识库生成每帧视频图像的坐标点的风险因素及风险等级。本发明能提高道路安全风险评估的可靠性以及效率。
Description
技术领域
本发明涉及道路风险识别技术领域，尤其涉及一种车载道路安全风险评估系统及方法。
背景技术
随着汽车保有量的持续增长和城市化进程的加快，道路交通安全问题已经成为影响我国国民生产安全水平的主要问题之一。据统计资料显示，2002年以前我国交通事故发生总数是呈逐年上升趋势的，在2002—2015年间，安全事故逐渐从2002年最高的773137次减少到2015年的187781次，下降率为75.71％，这说明我国道路交通安全形势在逐渐好转。但从2015年的统计数据看，全国道路交通事故数、受伤人数、死亡人数和直接经济损失4项指标分别达到了18.8万起、20.0万人、5.8万人和10.4亿元，与国际领先道路安全水平还是存在一定距离，可见国内道路交通安全形势依然严峻。
通过对国内道路交通安全进行评测，对建设不规范、存在风险的道路进行及时的整改和防护，可以有效的减少交通事故发生的频率，同时大大减少交通事故造成的人员伤亡和经济损失。
现有的公路安全风险评估方法，主要依靠：
(1)采集公路的视频信息以及一些其他信息，通过专家观看采集的公路视频，提取视频中的几十项因素(是否存在护栏端头，中分带护栏类型是否合理)；
(2)通过一些其他方式(日常积累的一些统计量，如交通事故率，交通流量)获取一些信息。
最终通过一些计算模型、分析方法等等，计算得到道路的危险安全判别。
目前国内外对于公路安全风险评估技术的研究主要集中于公路安全风险评估模型及评估要素信息采集技术等方面。但普遍存在问题有如下：
1.每次评测都需要依靠人工从采集的图像中识别提取出大量的信息(例如需要从每张图像中，人为的寻找十几条到几十条不等的因素)，这对人力消耗的是巨大的，同时这种方式对工作人员的专业要求十分高，而且还存在不同的工作人员带有不同的主观判断，标准不统一，随时工作时间的增加，工作质量和效率严重下降等问题。
2.这些信息的来源往往通过交通事故调查，交通量统计等，这些信息通常不能直观的反应出道路的情况，同时这些信息带有一定的滞后性。因此根据这类信息判断出的结果，不管是在准确性还是可解释性上有很大的局限性。
3.现有的方法进行道路安全评测时，过于依赖于人工设计的因素、特征，对不同的场景和情况泛化能力和鲁棒性都不强，不是一种自动学习的过程，方法更新迭代的能力比较差，基本上一旦设计出来，想要迭代更新比较困难。
4.一些基于计算模型、BP神经网络的方法，存在解释性差，过于依赖人工编码数据的情况。
5.现有风险评估方法或流程，采集数据过程繁琐复杂，评估与采集过程分离，整个评估过程冗长，其不同种类、不同设备采集的数据各成体系，相互融合的过程存在各种不适配偏差的问题。
6.现有的风险评估模型或只针对单一风险因素，或大量数据需人工编码。
7.采集与评估过程需分离进行，且评估过程相对比采集过程具有相当的滞后性，同时采集设备繁重复杂凌乱，便携性差。
因此提供更可靠且高效的道路的风险评估结果成为亟待解决的技术问题。
发明内容
有鉴于此，本发明提供一种车载道路安全风险评估系统及方法，以提高道路安全风险评估的可靠性以及效率。
一方面，本发明提供一种车载道路安全风险评估系统，包括:信息采集模块，用于采集车载设备在行驶过程中道路的视频信息、点云信息以及经纬度信息；风险评估模块，用于根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险，以及基于所述道路安全风险目标、所述护栏高度评估护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；风险决策模块，用于根据机器学习模型和预设知识库生成每帧视频图像的坐标点的风险因素及风险等级。
进一步地，所述风险评估模块包括：风险物评估单元，用于根据所述视频信息识别包括标线的道路安全风险目标以及风险场景，并根据识别的所述道路安全风险目标以及风险场景确定初始道路风险等级；标线评估单元，用于根据识别的所述标线，通过分割神经网络获取所述标线的轮廓边界以获得标线情况以及标线完整度，进而根据所述标线情况和标线完整度确定标线完好程度；护栏风险评估单元，用于根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险；以及，GPS信息评估单元，与所述风险物评估单元、标线评估单元以及护栏风险评估单元分别连接，所述GPS信息评估单元用于根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度以及护栏风险进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息。
进一步地，所述的车载道路安全风险评估系统还包括：道路信息调取模块，与所述GPS信息评估单元连接，用于根据经纬度信息获取每帧视频图像的坐标点的设计图纸信息以及道路风险事故记录信息；所述GPS信息评估单元用于根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度、护栏风险、设计图纸信息以及道路风险事故记录信息进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息。
进一步地，所述风险决策模块包括：风险因素评估单元，与所述GPS信息评估单元连接，用于根据所述风险因素特征编码信息，通过机器学习模型和预设的知识库生成所述视频信息中每帧视频图像的坐标点的风险因素；风险等级单元，与所述GPS信息评估单元连接，用于根据所述风险因素特征编码信息，通过机器学习模型和预设的知识库生成所述视频信息中每帧视频图像的坐标点的风险等级。
进一步地，车载道路安全风险评估系统还包括：输出控制模块，用于实时呈现所述信息采集模块的采集结果、以及每帧视频图像的坐标点的风险因素和风险等级，以及用于控制信息采集模块、风险评估模块以及风险决策模块的启停。
进一步地，所述信息采集模块包括：摄像头，与所述风险物评估单元连接，用于采集车载设备在行驶过程中道路的视频信息；激光雷达，与所述护栏风险评估单元连接，用于采集所述点云信息；GPS，与所述GPS信息评估单元以及风险物评估单元连接，用于记录车载设备在行驶过程中道路的经纬度信息，并根据所述经纬度信息定位所述视频信息中每帧视频图像的坐标。
进一步地，所述信息采集模块包括：陀螺仪，与所述GPS信息评估单元以及风险物评估单元连接，用于记录车载设备在行驶过程中经过隧道和山区的经纬度信息。
另一方面，本发明还提供一种车载道路安全风险评估方法，包括：
采集车载设备在行驶过程中道路的视频信息、点云信息以及经纬度信息；
根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度评估护栏风险、护栏类型以及风险场景，以及基于所述道路安全风险目标、所述护栏高度评估护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；
根据机器学习模型和预设的知识库生成每帧视频图像的坐标点的风险因素及风险等级。
进一步地，根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度评估护栏风险、护栏类型以及风险场景，以及基于所述道路安全风险目标、所述护栏高度评估护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息包括：
根据所述视频信息识别包括标线的道路安全风险目标以及风险场景，并根据识别的所述道路安全风险目标以及风险场景确定初始道路风险等级；
根据识别的所述标线，通过分割神经网络获取所述标线的轮廓边界以获得标线情况以及标线完整度，进而根据所述标线情况和标线完整度确定标线完好程度；
根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险；以及，
根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度以及护栏风险进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息。
进一步地，所述的车载道路安全风险评估方法还包括：根据经纬度信息获取每帧视频图像的坐标点的设计图纸信息以及道路风险事故记录信息；
根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度以及护栏风险进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息的步骤包括：
根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度、护栏风险、设计图纸信息以及道路风险事故记录信息进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息。
本发明车载道路安全风险评估系统及方法，可全面的收集风险评估所需的各种数据，且在采集过程中根据经纬度将各种数据相关联编码，智能的实时的对所采集道路实现各种要素的风险评估，提高道路安全风险评估的可靠性及效率，该车载道路安全风险评估系统可以便捷地搭载在任何车辆上，并可以实时对道路风险进行评估。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为根据本发明示例性第一实施例的车载道路安全风险评估系统的结构框图。
图2为根据本发明示例性第二实施例的车载道路安全风险评估系统的结构框图。
图3为根据本发明示例性第三实施例的车载道路安全风险评估方法的流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
图1为根据本发明示例性第一实施例的车载道路安全风险评估系统的结构图，如图1所示，本发明一种车载道路安全风险评估系统，包括：
信息采集模块101，用于采集车载设备在行驶过程中道路的视频信息、点云信息以及经纬度信息。
风险评估模块102，用于根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险，以及基于所述道路安全风险目标、所述护栏高度评估护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；具体地，护栏类型可以在风险目标中得到的，也可以在点云中也可得到。
风险决策模块103，用于根据机器学习模型和预设知识库生成每帧视频图像的坐标点的风险因素及风险等级。
本实施例通过车载道路安全风险评估系统便捷携带，且简易安装在车辆上，可全面的收集风险评估所需的各种数据，且在采集过程中将各种数据相关联，智能的实时的对所采集道路实现各种要素的风险评估，提高道路安全风险评估的可靠性及效率。
图2为根据本发明示例性第二实施例的车载道路安全风险评估系统的结构图，本实施例为图1所示实施例的优选方式，如图2所示，本发明一种车载道路安全风险评估系统在图1所示的实施例基础上，所述风险评估模块(即图2中的核心计算模块)包括：
风险物评估单元(即图2中的风险物及场景评估单元)，用于根据所述视频信息识别包括标线的道路安全风险目标以及风险场景，并根据识别的所述道路安全风险目标以及风险场景确定初始道路风险等级。具体地，对于视频信息完成以下事项：通过核心计算模块的风险物评估单元得到与道路安全相关的目标实例(包括各种种类护栏、标志立柱、桥墩、禁令标志、警告标志、指示标志、护栏端口、护栏过渡段、中分带开口、弯道等交通安全设置及公路特征)、场景情景(临水、临崖等路域环境)和视觉层面的危险、安全情况。此外，初始道路风险等级可以由视频信息的图像直接得到，也可以由视频信息的图像和风险物场景共同得出，存在多任务学习的互补性。
标线评估单元，用于根据识别的所述标线，通过分割神经网络获取所述标线的轮廓边界以获得标线情况，进而根据所述标线情况确定标线完好程度。具体通过核心计算模块的标线评估单元，计算得到道路中标线的状态，划分得到当前采集车所在车道两侧标线位置，最终结合两侧标线状态、相对位置关系评估标线完好程度。
护栏风险评估单元，用于根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险。具体地，对于点云信息完成以下事项：
a)通过单应性矩阵关联二维图像和三位点云的关系。
b)通过分割网络在二维图像并结合风险物评估单元得到的护栏位置，分割得到具体的护栏位置
c)将二维图像上的分割结果映射回到三维点云中去，通过聚类离散的点得到护栏的三维坐标，继而得到护栏高度
GPS信息评估单元，与所述风险物评估单元、标线评估单元以及护栏风险评估单元分别连接，所述GPS信息评估单元用于根据经纬度信息，将所述道路安全风险目标(可以理解为风险物)、风险场景、初始道路等级风险、标线完好程度以及护栏风险进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息。具体地，通过GPS信息完成以下事项：
1、根据GPS信息将视频、点云以及各模块计算结果对应路面桩号
2、根据GPS信息接入地图数据(谷歌地图、百度地图)，并获取限速以及道路周边情况等信息。
3、根据GPS信息和桩号信息接入从设计图纸内提取和事故等记录中提取的编码信息。
4、将所述初始道路等级风险、标线完好程度以及护栏风险，以GPS位置为主键，编码每个位置的特征。
进一步优选地，车载道路安全风险评估系统还包括：道路信息调取模块(即图2中的外部模块)，与所述GPS信息评估单元连接，用于根据经纬度信息获取每帧视频图像的坐标点的设计图纸信息以及道路风险事故记录信息；具体地，可以根据GPS信息通过外部接口(谷歌地图、百度地图)获取限速等信息，同时结合GPS信息调用外部模块，获取当前GPS点的线性、事故、养护情况，最终生以GPS信息为主键的风险因素特征编码信息。可以从设计图纸中获得当前路段的线性、设计说明、路基信息、护栏信息，从记录信息中获得当前路段的风险高发路段、事故高发路段。相应地，所述GPS信息评估单元用于根据经纬度信息，将所述初始道路等级风险、标线完好程度、护栏风险、风险物、风险场景、设计图纸信息以及道路风险事故记录信息进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息。
进一步优选地，所述风险决策模块包括：
风险因素评估单元，与所述GPS信息评估单元连接，用于根据所述风险因素特征编码信息，通过机器学习模型和预设的知识库生成所述视频信息中每帧视频图像的坐标点的风险因素；
风险等级单元，与所述GPS信息评估单元连接，用于根据所述风险因素特征编码信息，通过机器学习模型和预设的知识库生成所述视频信息中每帧视频图像的坐标点的风险等级。
进一步优选地，所述的车载道路安全风险评估系统还包括：输出控制模块，用于实时呈现所述信息采集模块的采集结果、以及每帧视频图像的坐标点的风险因素和风险等级。具体地，输出控制模块主要为可视化展示界面和控制界面，作用为实时呈现采集信息和算法结果，同时控制雷达、摄像头、GPS、惯导和算法的启停。即通过输出控制模块可控制车外采集设备启停、旋转，车内计算设备算法启停、结果存储显示等功能。具体地，最终通过输出控制模块实时的输出：视频中的风险物、场景类型、标线、路侧护栏高度、外部接入信息、原视频画面。
具体操作时，所述信息采集模块包括：
摄像头，与所述风险物评估单元连接，用于采集车载设备在行驶过程中道路的视频信息；
激光雷达，与所述护栏风险评估单元连接，用于采集所述点云信息；
GPS，与所述GPS信息评估单元以及风险物评估单元连接，用于记录车载设备在行驶过程中道路的经纬度信息，并根据所述经纬度信息定位所述视频信息中每帧视频图像的坐标。
优选地，所述信息采集模块包括：陀螺仪(图中未示出)，与所述GPS信息评估单元以及风险物评估单元连接，用于记录车载设备在行驶过程中经过隧道和山区的经纬度信息。通过惯导陀螺仪以保证隧道山区等信号微弱地区的GPS信息。
本实施例以计算机视觉、机器学习、深度学习等相关领域知识为基础，集成开发了一整套道路风险系统和设备。该系统及设备采用了模块化的设计思路，分为信息采集模块、外部模块、核心计算模块、决策模块、输出控制模块。便携易带，整个集成为车内计算设备和车采集设备。通过简单安装在车辆上后，在车辆行驶中采集视频信息、三维点云图像、GPS信息，并以GPS坐标的形式关联各类数据，同时在隧道、山区等GPS信号弱的地区，依靠惯导已经可以完成各类数据的采集和自动关联，通过有监督的学习算法根据各要素决策各路段风险要素、风险等级，并生成风险地图。
图3为根据本发明示例性第三实施例的车载道路安全风险评估方法的流程图。图3为图1及图2所示系统的方法实施例，图1-3的解释可以相互之间通用。如图3所示，车载道路安全风险评估方法包括：
步骤301，采集车载设备在行驶过程中道路的视频信息、点云信息以及经纬度信息；
具体地，步骤301可以包括：
1.通过输出控制端将外部设备调整到合适到角度，开始采集并计算风险等级及因素(具体来讲，就是安装好设备，通过开发的内部设备调正好外部设备的角度，然后采集车辆在高速上运行，整个设备开始运行)
2.开始采集时，摄像头、GPS、激光雷达、惯导开始运行。
3.在采集的过程中，摄像头、激光雷达每采集一个信息都会对应一个GPS的坐标。
4.同时设备会提前录入从设计图纸和事故记录等信息编码成的特征，依据GPS为主键存储到设备中。
步骤302，根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度评估护栏风险、护栏类型以及风险场景，以及基于所述道路安全风险目标、所述护栏高度评估护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；
具体地，步骤302可以包括：
当开始采集后，有采集数据录入，核心计算模块的4个单元开始并行运行，时间上风险物评估单元会提前一帧开始运行。后续4个单元并行运行。
a)对于风险物评估单元，采用yolo-v5为基础网络，采用多任务的网络结构设计思路，在yolo v5的特征提取网络部分的最后一层添加场景分类分支和风险等级分类分支：
i.场景分类分支，采用全卷积的思路，对于特征图通过3*3卷积和1*1卷积结合的思路，最后通过3*3*N的卷积层将原始的图像划分多个网格区域，对于每个网格区域以0，1划分该区域是否存在临崖、临水、弯道等的情况。N表示存在多少类场景需要划分。
ii.风险等级分类分支，首先对于得到的特征通过ROI Align池化到固定的尺寸，并通过卷积和全连接层组合的方式，对当前帧的图像进行风险等级的分类预测。
iii.最终对风险物存在情况、位置、场景得分区域、风险等级进行特征编码。
b)对于标线评估单元，分为以下几个步骤：
i.首先会根据风险物评估单元得到的标线位置(外接矩形框)从原始图像中裁取出覆盖标线的区域
ii.通过seg-net分割网络将标线的分割出来(像素级分割)，之后根据映射关系将分割后的标线像素映射回原图
iii.基于得到的分割图像，拟合多条标线连续边界和提取单个标线的连通域，根据不同类型标线设计规则，判断标线是否严重缺失。
iv.以拟合得到的边界，作为标线完整情况下的状态，计算得到每个标线的破损率，反应标线的破损情况
v.最终通过标线评估单元实时得到当前路面状态下标线的破损率、缺失情况。并依据预设标线可能存在的分布情况，匹配标线模版。
vi.最终对标线评估单元的结果进行特征编码。
c)对于护栏风险评估单元：
i.首先根据摄像头和激光累的初始化状态，生成二维图像和三维点云相互转换的单应性矩阵。
ii.对于风险物评估单元得到的护栏区域(外接框矩形)从原始图像中裁去出来，通过seg-net分割得到具体的护栏区域。
iii.通过单应性矩阵将护栏区域映射回三维点云，得到三维点云中相对离散的护栏区域点。
iv.根据得到的三维点云中离散的护栏点，通过聚类的方式得到护栏三维的具体区域。
v.根据不同护栏的类型的匹配模版，计算每类护栏距离地面的距离。
vi.对得到的两侧(或更多类型的护栏)，分别计算护栏高度，以特征编码的方式进行对于GPS坐标的记录。
d)对于GPS信息风险评估单元：
i.对于采集的视频、点云以及得到的检测结果，会以GPS信息为主键的情况下关联并记录。
ii.对于录入的数据，对应的GPS信息位置的进行特征编码。具体的，包括该GPS位置是否发过事故、事故类型、严重程度、护栏竣工时护栏防护等级、养护次数、上次检修时间、路基标准横断面图预设类别指数指标、横断面情况(预设几种分类情况)、纵断面情况(预设几种分类情况)等等。对于没有该类信息的位置，以0填补特征。
iii.通过GPS，从谷歌地图、百度地图等抓取对应该位置的信息，包括限速、流量、警示等信息，同时结合地图俯视视角，计算该GPS坐标路线的曲率，并以特征编码的方式记录。
iv.最终对于一个GPS坐标位置的所有特征信息编码成一个一维的特征向量，长度固定，对于未出现的情况、或数据缺失的情况以0补充，计算异常-1补充。
步骤303，根据机器学习模型和预设的知识库生成每帧视频图像的坐标点的风险因素及风险等级。
优选地，步骤303包括：决策模块对于得到的每个GPS位置的特征向量分别送入风险等级计算单元和风险因素计算单元，具体地：
a)风险因素计算单元分为两部分：
v.一部分为由公路安全各位专家知识、工作经验以及交警、路政养护单位工作经验，记录构建了风险因素专家知识库。
vi.一部分为根据大量采集数据和评估结果预设几类风险因素类型，并根据以往数据，训练GBDT决策树模型。
vii.最终结合Iii的结果正好风险因素。
b)风险等级计算单元：
viii.由5.得到的特征向量和a)部分得到的风险因素重现编码成新的特征向量。
ix.根据以为数据和评估结果训练GBDT风险等级决策模型。
优选地，车载道路安全风险评估方法还包括输出模块：输出原始图像、风险等级、风险因素、以及在原始图像中标记核心计算模块的中间结果。
本实施例便于携带，通过简单安装在车辆上后，可自动的采集关系道路安全的多种要素数据(包括视频、三维点云、GPS)，同时基于人工智能、机器学习和计算机视觉的风险评估算法从多要素数据中抽取风险物、标线、护栏高度等多种风险要素,并通过GPS信息将各种要素相关联，并同时通过GPS关联第三方数据(百度、谷歌地图、设计图纸、事故记录)，通过有监督的学习算法根据各要素决策各路段风险要素、风险等级，并生成风险地图。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (5)
1.一种车载道路安全风险评估系统，其特征在于，包括：
信息采集模块，用于采集车载设备在行驶过程中道路的视频信息、点云信息以及经纬度信息；
风险评估模块，用于根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险，以及基于所述道路安全风险目标、所述护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；
风险决策模块，用于根据机器学习模型和预设知识库生成每帧视频图像的坐标点的风险因素及风险等级，
其中，所述风险评估模块包括：
风险物评估单元，用于根据所述视频信息识别包括标线的道路安全风险目标以及风险场景，并根据识别的所述道路安全风险目标以及风险场景确定初始道路风险等级；
标线评估单元，用于根据识别的所述标线，通过分割神经网络获取所述标线的轮廓边界以获得标线情况以及标线完整度，进而根据所述标线情况和标线完整度确定标线完好程度；
护栏风险评估单元，用于根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险；以及，
GPS信息评估单元，与所述风险物评估单元、标线评估单元以及护栏风险评估单元分别连接，所述GPS信息评估单元用于根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度以及护栏风险进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；
所述车载道路安全风险评估系统还包括：道路信息调取模块，与所述GPS信息评估单元连接，用于根据经纬度信息获取每帧视频图像的坐标点的设计图纸信息以及道路风险事故记录信息；
所述GPS信息评估单元用于根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度、护栏风险、设计图纸信息以及道路风险事故记录信息进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；
所述风险决策模块包括：
风险因素评估单元，与所述GPS信息评估单元连接，用于根据所述风险因素特征编码信息，通过机器学习模型和预设的知识库生成所述视频信息中每帧视频图像的坐标点的风险因素；
风险等级单元，与所述GPS信息评估单元连接，用于根据所述风险因素特征编码信息，通过机器学习模型和预设的知识库生成所述视频信息中每帧视频图像的坐标点的风险等级。
2.根据权利要求1所述的车载道路安全风险评估系统，其特征在于，还包括：输出控制模块，用于实时呈现所述信息采集模块的采集结果、以及每帧视频图像的坐标点的风险因素和风险等级，以及用于控制信息采集模块、风险评估模块以及风险决策模块的启停。
3.根据权利要求2所述的车载道路安全风险评估系统，其特征在于，所述信息采集模块包括：
摄像头，与所述风险物评估单元连接，用于采集车载设备在行驶过程中道路的视频信息；
激光雷达，与所述护栏风险评估单元连接，用于采集所述点云信息；
GPS，与所述GPS信息评估单元以及风险物评估单元连接，用于记录车载设备在行驶过程中道路的经纬度信息，并根据所述经纬度信息定位所述视频信息中每帧视频图像的坐标。
4.根据权利要求3所述的车载道路安全风险评估系统，其特征在于，所述信息采集模块包括：
陀螺仪，与所述GPS信息评估单元以及风险物评估单元连接，用于记录车载设备在行驶过程中经过隧道和山区的经纬度信息。
5.一种车载道路安全风险评估方法，其特征在于，包括：
采集车载设备在行驶过程中道路的视频信息、点云信息以及经纬度信息；根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险，以及基于所述道路安全风险目标、所述护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；
根据机器学习模型和预设的知识库生成每帧视频图像的坐标点的风险因素及风险等级；
其中，根据所述视频信息识别道路安全风险目标以及风险场景，并根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险，以及基于所述道路安全风险目标、所述护栏风险以及经纬度信息生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息包括：
根据所述视频信息识别包括标线的道路安全风险目标以及风险场景，并根据识别的所述道路安全风险目标以及风险场景确定初始道路风险等级；
根据识别的所述标线，通过分割神经网络获取所述标线的轮廓边界以获得标线情况以及标线完整度，进而根据所述标线情况和标线完整度确定标线完好程度；
根据所述点云信息识别道路的护栏高度以及护栏类型，进而根据所述护栏高度、护栏类型以及风险场景评估护栏风险；以及，
根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度以及护栏风险进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；
所述车载道路安全风险评估方法还包括：根据经纬度信息获取每帧视频图像的坐标点的设计图纸信息以及道路风险事故记录信息；
根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度以及护栏风险进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息的步骤包括：
根据经纬度信息，将所述道路安全风险目标、风险场景、初始道路等级风险、标线完好程度、护栏风险、设计图纸信息以及道路风险事故记录信息进行联合编码，生成所述视频信息中每帧视频图像的坐标点的风险因素特征编码信息；
根据机器学习模型和预设的知识库生成每帧视频图像的坐标点的风险因素及风险等级的步骤包括：
根据所述风险因素特征编码信息，通过机器学习模型和预设的知识库生成所述视频信息中每帧视频图像的坐标点的风险因素；
根据所述风险因素特征编码信息，通过机器学习模型和预设的知识库生成所述视频信息中每帧视频图像的坐标点的风险等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011590216.XA CN112633722B (zh) | 2020-12-29 | 2020-12-29 | 车载道路安全风险评估系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011590216.XA CN112633722B (zh) | 2020-12-29 | 2020-12-29 | 车载道路安全风险评估系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633722A CN112633722A (zh) | 2021-04-09 |
| CN112633722B true CN112633722B (zh) | 2024-01-12 |
Family
ID=75286220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011590216.XA Active CN112633722B (zh) | 2020-12-29 | 2020-12-29 | 车载道路安全风险评估系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633722B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129590A (zh) * | 2021-04-12 | 2021-07-16 | 武汉理工大学 | 基于车载雷达与图形测量的交通设施信息智能分析方法 |
| CN114863349A (zh) * | 2022-06-30 | 2022-08-05 | 中关村科学城城市大脑股份有限公司 | 一种基坑安全防护监测方法及系统 |
| CN115798239B (zh) * | 2022-11-17 | 2023-09-22 | 长安大学 | 一种车辆运行道路区域类型辨识方法 |
| CN117314397B (zh) * | 2023-11-29 | 2024-02-02 | 贵州省公路建设养护集团有限公司 | 基于桥梁搭建下的安全巡检方法、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937421A (zh) * | 2009-07-03 | 2011-01-05 | 上海大潮电子技术有限公司 | 采集车辆实时运行信息而进行运行安全风险评估的方法 |
| CN104992467A (zh) * | 2015-07-20 | 2015-10-21 | 四川隧唐科技股份有限公司 | 无人机辅助车载道路采集三维建模系统及其实现方法 |
| CN108629515A (zh) * | 2018-05-07 | 2018-10-09 | 招商局重庆交通科研设计院有限公司 | 一种道路隧道交通风险实时评估系统 |
| CN110705370A (zh) * | 2019-09-06 | 2020-01-17 | 中国平安财产保险股份有限公司 | 基于深度学习的路况识别方法、装置、设备及存储介质 |
| CN110838178A (zh) * | 2019-11-26 | 2020-02-25 | 北京世纪高通科技有限公司 | 道路场景模型的确定方法及装置 |
| CN110858334A (zh) * | 2018-08-13 | 2020-03-03 | 北京中科蓝图科技有限公司 | 道路安全评估方法、装置及道路安全预警系统 |
| CN111311918A (zh) * | 2020-05-12 | 2020-06-19 | 南京云析科技有限公司 | 一种基于视觉分析的交通管理方法及装置 |
| WO2020248614A1 (zh) * | 2019-06-10 | 2020-12-17 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8805707B2 (en) * | 2009-12-31 | 2014-08-12 | Hartford Fire Insurance Company | Systems and methods for providing a safety score associated with a user location |
-
2020
- 2020-12-29 CN CN202011590216.XA patent/CN112633722B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937421A (zh) * | 2009-07-03 | 2011-01-05 | 上海大潮电子技术有限公司 | 采集车辆实时运行信息而进行运行安全风险评估的方法 |
| CN104992467A (zh) * | 2015-07-20 | 2015-10-21 | 四川隧唐科技股份有限公司 | 无人机辅助车载道路采集三维建模系统及其实现方法 |
| CN108629515A (zh) * | 2018-05-07 | 2018-10-09 | 招商局重庆交通科研设计院有限公司 | 一种道路隧道交通风险实时评估系统 |
| CN110858334A (zh) * | 2018-08-13 | 2020-03-03 | 北京中科蓝图科技有限公司 | 道路安全评估方法、装置及道路安全预警系统 |
| WO2020248614A1 (zh) * | 2019-06-10 | 2020-12-17 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及系统 |
| CN110705370A (zh) * | 2019-09-06 | 2020-01-17 | 中国平安财产保险股份有限公司 | 基于深度学习的路况识别方法、装置、设备及存储介质 |
| CN110838178A (zh) * | 2019-11-26 | 2020-02-25 | 北京世纪高通科技有限公司 | 道路场景模型的确定方法及装置 |
| CN111311918A (zh) * | 2020-05-12 | 2020-06-19 | 南京云析科技有限公司 | 一种基于视觉分析的交通管理方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| "Road safety evaluation through automatic extraction of road horizontal alignments from Mobile LiDAR System and inductive reasoning based on a decision tree";José Antonio Martín-Jiméneza et al;《ISPRS Journal of Photogrammetry and Remote Sensing》;第334–346页 * |
| "基于视频信息的城市路段交通安全状态评估方法研究";蔡延光 等;《计算机应用研究》;第第36卷卷(第第1期期);第73-76页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633722A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633722B (zh) | 车载道路安全风险评估系统及方法 | |
| CN109637151B (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
| US20150178572A1 (en) | Road surface condition classification method and system | |
| CN110689724B (zh) | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 | |
| CN104766086B (zh) | 一种公路标识的监管方法和系统 | |
| CN106373426A (zh) | 基于计算机视觉的停车位及违规占道停车监控方法 | |
| CN107301776A (zh) | 基于视频检测技术的车道路况处理及发布方法 | |
| CN111833598B (zh) | 一种高速公路无人机交通事件自动监测方法及系统 | |
| CN112070756B (zh) | 一种基于无人机倾斜摄影的路面立体病害测量方法 | |
| KR102167292B1 (ko) | 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법 | |
| US20230353763A1 (en) | Method and system for encoding image data representing a geographical line | |
| CN112883948B (zh) | 一种语义分割与边缘检测模型建立及护栏异常监测方法 | |
| IL300297A (en) | A method and system for determining the state of a geographic line | |
| CN112084892B (zh) | 一种道路异常事件检测管理装置及其方法 | |
| Li et al. | A novel evaluation method for pavement distress based on impact of ride comfort | |
| CN114363316A (zh) | 一种跨区域道路基础设施智能联网监测与监管系统 | |
| CN113724496B (zh) | 一种全场景道路交通安全隐患排查方法以及排查系统 | |
| CN112418081B (zh) | 一种空地联合快速勘察交通事故的方法及系统 | |
| CN116631187B (zh) | 一种案件现场勘查信息智能采集分析系统 | |
| CN115440071B (zh) | 一种自动驾驶违规停车检测方法 | |
| CN114841995B (zh) | 一种基于深度学习的铁路路基挡护设备服役状态评估方法 | |
| CN106960193A (zh) | 一种车道线检测装置和方法 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| Wang et al. | Detection of lane lines on both sides of road based on monocular camera | |
| Bernardo et al. | Techniques of geomatics and soft computing for the monitoring of infrastructures and the management of big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |