CN116994214B - 一种公路道路安全评价方法及系统 - Google Patents

一种公路道路安全评价方法及系统 Download PDF

Info

Publication number
CN116994214B
CN116994214B CN202311237313.4A CN202311237313A CN116994214B CN 116994214 B CN116994214 B CN 116994214B CN 202311237313 A CN202311237313 A CN 202311237313A CN 116994214 B CN116994214 B CN 116994214B
Authority
CN
China
Prior art keywords
video data
highway
input end
road
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311237313.4A
Other languages
English (en)
Other versions
CN116994214A (zh
Inventor
陈碧义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huakun Information Technology Co ltd
Original Assignee
Nanjing Huakun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huakun Information Technology Co ltd filed Critical Nanjing Huakun Information Technology Co ltd
Priority to CN202311237313.4A priority Critical patent/CN116994214B/zh
Publication of CN116994214A publication Critical patent/CN116994214A/zh
Application granted granted Critical
Publication of CN116994214B publication Critical patent/CN116994214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种公路道路安全评价方法及系统，属于图像处理技术领域，本发明中为了解决特征量少的问题，构建可以处理多帧视频数据的公路道路异常预测模型，并对当前监控视频中的视频数据进行筛选，选出标志性的多帧视频数据构建为待识别样本，本发明采用训练后的公路道路异常预测模型处理待识别样本，得到公路道路异常值，从当前监控视频中挑选出标志性的多帧视频数据，减少公路道路异常预测模型处理的数据量，本发明中通过公路道路异常预测模型处理多帧视频数据，大大增加了提取的特征量，提高了评价准确度。

Description

一种公路道路安全评价方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种公路道路安全评价方法及系统。
背景技术
公路道路在经过一段时间的使用后，会出现各种裂纹和垮塌等异常情况，这些道路异常情况的存在不仅会影响道路的正常使用，而且在司机不清楚公路道路的情况下，按习惯行驶，对司机生命安全造成巨大威胁。
目前对于公路道路的安全评价采用目标检测方法，具体为：使用深度卷积神经网络（CNN）来检测道路上的异常区域，根据检测出的异常区域情况实现对公路道路安全的评价。但现有公路道路的安全评价方法均是对单一公路道路的图像进行处理，导致在进行特征提取时特征量少，从而存在检测精度不高，造成评价准确度低的问题。
发明内容
针对现有技术中的上述不足，本发明提供的一种公路道路安全评价方法及系统解决了现有公路道路的安全评价方法存在评价准确度低的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种公路道路安全评价方法，包括以下步骤：
S1、建立公路道路异常预测模型；
S2、从历史监控视频中筛选出一段时间内的多帧视频数据，并标注标签，构建为训练集；
S3、采用训练集和损失函数对公路道路异常预测模型进行训练，得到训练后的公路道路异常预测模型；
S4、对当前监控视频中的视频数据进行筛选，得到待识别样本；
S5、将待识别样本输入训练后的公路道路异常预测模型，得到公路道路异常值。
进一步地，所述S1中公路道路异常预测模型包括：多个多阶段特征提取单元和异常值预测单元；
每个所述多阶段特征提取单元用于处理训练集中的一个样本中的一帧视频数据，得到公路道路特征，所述训练集中的样本由一段时间内的多帧视频数据构成；
所述多阶段特征提取单元的数量等于训练集中的一个样本中视频数据的帧数；
所述异常值预测单元用于根据多个多阶段特征提取单元输出的公路道路特征，计算公路道路异常值。
上述进一步地方案的有益效果为：本发明中设置了多个多阶段特征提取单元，每个多阶段特征提取单元均对应处理一帧视频数据，则公路道路异常预测模型在处理时是处理了一段视频，异常值预测单元综合各个多阶段特征提取单元输出的公路道路特征，计算出公路道路异常值，实现考虑一段时间内公路道路的情况。
进一步地，每个所述多阶段特征提取单元包括：第一特征提取子单元、第二特征提取子单元、第三特征提取子单元、第四特征提取子单元和Concat层；
所述第一特征提取子单元的输入端作为多阶段特征提取单元的输入端，其输出端分别与第二特征提取子单元的输入端和Concat层的第一输入端连接；
所述第二特征提取子单元的输出端分别与第三特征提取子单元的输入端和Concat层的第二输入端连接；所述第三特征提取子单元的输出端分别与第四特征提取子单元的输入端和Concat层的第三输入端连接；所述Concat层的第四输入端与第四特征提取子单元的输出端连接，其输出端作为多阶段特征提取单元的输出端。
上述进一步地方案的有益效果为：本发明中设置多个特征提取子单元，Concat层将不同阶段的特征提取子单元的输出进行拼接，一方面能解决梯度消失的问题，另一方面能增加特征量。
进一步地，每个所述特征提取子单元均包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、全局池化层、深层注意力层、浅层注意力层、乘法器M1、乘法器M2和加法器A1；
所述第一卷积层的输入端作为特征提取子单元的输入端，其输出端分别与第二卷积块的输入端、乘法器M1的第一输入端和全局池化层的输入端连接；所述全局池化层的输出端分别与浅层注意力层的输入端和第四卷积块的输入端连接；所述深层注意力层的输入端与第四卷积块的输出端连接，其输出端与乘法器M2的第一输入端连接；所述浅层注意力层的输出端与乘法器M1的第二输入端连接；所述第三卷积块的输入端与第二卷积块的输出端连接，其输出端与乘法器M2的第二输入端连接；所述加法器A1的第一输入端与乘法器M1的输出端连接，其第二输入端与乘法器M2的输出端连接，并作为特征提取子单元的输出端。
上述进一步地方案的有益效果为：本发明中根据全局池化层输出的浅层特征图计算出浅层注意力，浅层注意力用于对第一卷积块输出浅层特征图进行施加注意力，根据第四卷积块输出的深层特征图计算深层注意力，深层注意力用于对第三卷积层块输出深层特征图进行施加注意力，在加法器A1处实现施加深浅层注意力的特征汇集，从而实现增强不同层级特征，并增加了特征量。
进一步地，所述深层注意力层和浅层注意力层的表达式均为：
，/>，/>，其中，/>为深层注意力层或浅层注意力层的输出，/>为中间参数，/>为将深层注意力层或浅层注意力层输入的特征图分成/>块后第/>块上的第/>个特征值，/>为第/>块上特征值的数量，/>为第/>块的特征值的平均值。
上述进一步地方案的有益效果为：本发明中将深层注意力层或浅层注意力层输入的特征图分成L块，计算每块的平均值，从而根据平均值的分布情况，计算出注意力。
进一步地，所述异常值预测单元用于计算公路道路异常值的公式为：
，其中，/>为公路道路异常值，/>为第/>个多阶段特征提取单元输出的公路道路特征的权重，/>为第/>个多阶段特征提取单元输出的公路道路特征的第/>个特征值，/>为特征值/>的权重，/>为多阶段特征提取单元输出的公路道路特征中特征值的数量，/>为多阶段特征提取单元的数量。
上述进一步地方案的有益效果为：本发明中异常值预测单元综合同一段时间内的多帧视频数据的多个公路道路特征，从而达到考虑多帧视频数据内容，提高评价准确度。
进一步地，所述S3中训练公路道路异常预测模型的损失函数为：
，其中，/>为损失函数，/>为第/>次训练时的标签，为第/>次训练时公路道路异常预测模型输出的公路道路异常值。
上述进一步地方案的有益效果为：本发明中损失函数重点考虑标签与公路道路异常值之间的数值距离，但是仅考虑数值距离无法使得公路道路异常预测模型快速训练，因此，本发明设置了增强系数/>，增强系数能增加计算出的损失函数，加快训练速度。
进一步地，所述S4包括以下分步骤：
S41、取当前监控视频中一段时间的视频数据；
S42、在一段时间的视频数据中，在相邻时间的视频数据满足差值条件关系式时，取相邻时间的两帧视频数据；
S43、在步骤S42中获取的视频数据的帧数等于额定帧数时，将步骤S42中获取的所有视频数据构建为待识别样本；在步骤S42中获取的视频数据的帧数大于额定帧数时，则随机剔除部分视频数据，直到等于额定帧数，将剔除后的剩余视频数据构建为待识别样本；在步骤S42中获取的视频数据的帧数小于额定帧数时，则从一段时间的视频数据中再取视频数据，直到等于额定帧数，将获取的所有视频数据构建为待识别样本。
上述进一步地方案的有益效果为：本发明中将监控视频进行按段处理，在一段时间的视频数据中，提取出满足差值条件关系式的视频数据，实现尽量提取出存在差别的视频数据，在S43中，设置的额定帧数等于多阶段特征提取单元的数量，即在尽量提取出存在差别的视频数据时，同时也保障提取的帧数等于额定帧数，便于公路道路异常预测模型进行处理。
进一步地，所述S42中差值条件关系式为：
，其中，/>为第/>时刻的视频数据上第/>个像素值，为第/>时刻的视频数据上第/>个像素值，/>为误差调整系数，/>为视频数据上的像素值的数量，/>为像素差阈值。
上述进一步地方案的有益效果为：本发明中将两个相邻时刻的视频数据进行相减，并通过误差调整系数进行误差调整，减少光线等因素的影响，尽量选择出视频内容存在变化的视频数据，增加输入公路道路异常预测模型内容的丰富度，提高评价的准确度。
综上，本发明的有益效果为：本发明中为了解决特征量少的问题，构建可以处理多帧视频数据的公路道路异常预测模型，并对当前监控视频中的视频数据进行筛选，选出标志性的多帧视频数据构建为待识别样本，本发明采用训练后的公路道路异常预测模型处理待识别样本，得到公路道路异常值，从当前监控视频中挑选出标志性的多帧视频数据，减少公路道路异常预测模型处理的数据量，本发明中通过公路道路异常预测模型处理多帧视频数据，大大增加了提取的特征量，提高了评价准确度。
附图说明
图1为一种公路道路安全评价方法的流程图；
图2为公路道路异常预测模型的结构示意图；
图3为多阶段特征提取单元的结构示意图；
图4为第一特征提取子单元、第二特征提取子单元、第三特征提取子单元和第四特征提取子单元的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种公路道路安全评价方法，包括以下步骤：
S1、建立公路道路异常预测模型；
S2、从历史监控视频中筛选出一段时间内的多帧视频数据，并标注标签，构建为训练集；
S3、采用训练集和损失函数对公路道路异常预测模型进行训练，得到训练后的公路道路异常预测模型；
S4、对当前监控视频中的视频数据进行筛选，得到待识别样本；
S5、将待识别样本输入训练后的公路道路异常预测模型，得到公路道路异常值。
如图2所示，所述S1中公路道路异常预测模型包括：多个多阶段特征提取单元和异常值预测单元；
每个所述多阶段特征提取单元用于处理训练集中的一个样本中的一帧视频数据，得到公路道路特征，所述训练集中的样本由一段时间内的多帧视频数据构成；
所述多阶段特征提取单元的数量等于训练集中的一个样本中视频数据的帧数；
所述异常值预测单元用于根据多个多阶段特征提取单元输出的公路道路特征，计算公路道路异常值。
本发明中设置了多个多阶段特征提取单元，每个多阶段特征提取单元均对应处理一帧视频数据，则公路道路异常预测模型在处理时是处理了一段视频，异常值预测单元综合各个多阶段特征提取单元输出的公路道路特征，计算出公路道路异常值，实现考虑一段时间内公路道路的情况。
如图3所示，每个所述多阶段特征提取单元包括：第一特征提取子单元、第二特征提取子单元、第三特征提取子单元、第四特征提取子单元和Concat层；
所述第一特征提取子单元的输入端作为多阶段特征提取单元的输入端，其输出端分别与第二特征提取子单元的输入端和Concat层的第一输入端连接；
所述第二特征提取子单元的输出端分别与第三特征提取子单元的输入端和Concat层的第二输入端连接；所述第三特征提取子单元的输出端分别与第四特征提取子单元的输入端和Concat层的第三输入端连接；所述Concat层的第四输入端与第四特征提取子单元的输出端连接，其输出端作为多阶段特征提取单元的输出端。
本发明中设置多个特征提取子单元，Concat层将不同阶段的特征提取子单元的输出进行拼接，一方面能解决梯度消失的问题，另一方面能增加特征量。
如图4所示，每个所述特征提取子单元均包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、全局池化层、深层注意力层、浅层注意力层、乘法器M1、乘法器M2和加法器A1；
所述第一卷积层的输入端作为特征提取子单元的输入端，其输出端分别与第二卷积块的输入端、乘法器M1的第一输入端和全局池化层的输入端连接；所述全局池化层的输出端分别与浅层注意力层的输入端和第四卷积块的输入端连接；所述深层注意力层的输入端与第四卷积块的输出端连接，其输出端与乘法器M2的第一输入端连接；所述浅层注意力层的输出端与乘法器M1的第二输入端连接；所述第三卷积块的输入端与第二卷积块的输出端连接，其输出端与乘法器M2的第二输入端连接；所述加法器A1的第一输入端与乘法器M1的输出端连接，其第二输入端与乘法器M2的输出端连接，并作为特征提取子单元的输出端。
在本实施例中，卷积块包括：卷积层、BN层和Relu层。
本发明中根据全局池化层输出的浅层特征图计算出浅层注意力，浅层注意力用于对第一卷积块输出浅层特征图进行施加注意力，根据第四卷积块输出的深层特征图计算深层注意力，深层注意力用于对第三卷积层块输出深层特征图进行施加注意力，在加法器A1处实现施加深浅层注意力的特征汇集，从而实现增强不同层级特征，并增加了特征量。
所述深层注意力层和浅层注意力层的表达式均为：
，/>，/>，其中，/>为深层注意力层或浅层注意力层的输出，/>为中间参数，/>为将深层注意力层或浅层注意力层输入的特征图分成/>块后第/>块上的第/>个特征值，/>为第/>块上特征值的数量，/>为第/>块的特征值的平均值。
本发明中将深层注意力层或浅层注意力层输入的特征图分成L块，计算每块的平均值，从而根据平均值的分布情况，计算出注意力。
所述异常值预测单元用于计算公路道路异常值的公式为：
，其中，/>为公路道路异常值，/>为第/>个多阶段特征提取单元输出的公路道路特征的权重，/>为第/>个多阶段特征提取单元输出的公路道路特征的第/>个特征值，/>为特征值/>的权重，/>为多阶段特征提取单元输出的公路道路特征中特征值的数量，/>为多阶段特征提取单元的数量。
本发明中异常值预测单元综合同一段时间内的多帧视频数据的多个公路道路特征，从而达到考虑多帧视频数据内容，提高评价准确度。
所述S3中训练公路道路异常预测模型的损失函数为：
，其中，/>为损失函数，/>为第/>次训练时的标签，为第/>次训练时公路道路异常预测模型输出的公路道路异常值。
本发明中损失函数重点考虑标签与公路道路异常值之间的数值距离，但是仅考虑数值距离无法使得公路道路异常预测模型快速训练，因此，本发明设置了增强系数/>，增强系数能增加计算出的损失函数，加快训练速度。
所述S4包括以下分步骤：
S41、取当前监控视频中一段时间的视频数据；
S42、在一段时间的视频数据中，在相邻时间的视频数据满足差值条件关系式时，取相邻时间的两帧视频数据；
S43、在步骤S42中获取的视频数据的帧数等于额定帧数时，将步骤S42中获取的所有视频数据构建为待识别样本；在步骤S42中获取的视频数据的帧数大于额定帧数时，则随机剔除部分视频数据，直到等于额定帧数，将剔除后的剩余视频数据构建为待识别样本；在步骤S42中获取的视频数据的帧数小于额定帧数时，则从一段时间的视频数据中再取视频数据，直到等于额定帧数，将获取的所有视频数据构建为待识别样本。
本发明中将监控视频进行按段处理，在一段时间的视频数据中，提取出满足差值条件关系式的视频数据，实现尽量提取出存在差别的视频数据，在S43中，设置的额定帧数等于多阶段特征提取单元的数量，即在尽量提取出存在差别的视频数据时，同时也保障提取的帧数等于额定帧数，便于公路道路异常预测模型进行处理。
所述S42中差值条件关系式为：
，其中，/>为第/>时刻的视频数据上第/>个像素值，为第/>时刻的视频数据上第/>个像素值，/>为误差调整系数，/>为视频数据上的像素值的数量，/>为像素差阈值。
本发明中将两个相邻时刻的视频数据进行相减，并通过误差调整系数进行误差调整，减少光线等因素的影响，尽量选择出视频内容存在变化的视频数据，增加输入公路道路异常预测模型内容的丰富度，提高评价的准确度。
一种公路道路安全评价方法的系统，包括：模型构建子系统、训练集构建子系统、训练子系统、样本筛选子系统和公路道路异常值输出子系统；
所述模型构建子系统用于建立公路道路异常预测模型；所述训练集构建子系统用于从历史监控视频中筛选出一段时间内的多帧视频数据，并标注标签，构建为训练集；所述训练子系统用于采用训练集和损失函数对公路道路异常预测模型进行训练，得到训练后的公路道路异常预测模型；所述样本筛选子系统用于对当前监控视频中的视频数据进行筛选，得到待识别样本；所述公路道路异常值输出子系统用于将待识别样本输入训练后的公路道路异常预测模型，得到公路道路异常值。
本发明中为了解决特征量少的问题，构建可以处理多帧视频数据的公路道路异常预测模型，并对当前监控视频中的视频数据进行筛选，选出标志性的多帧视频数据构建为待识别样本，本发明采用训练后的公路道路异常预测模型处理待识别样本，得到公路道路异常值，从当前监控视频中挑选出标志性的多帧视频数据，减少公路道路异常预测模型处理的数据量，本发明中通过公路道路异常预测模型处理多帧视频数据，大大增加了提取的特征量，提高了评价准确度。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种公路道路安全评价方法，其特征在于，包括以下步骤：
S1、建立公路道路异常预测模型；
S2、从历史监控视频中筛选出一段时间内的多帧视频数据，并标注标签，构建为训练集；
S3、采用训练集和损失函数对公路道路异常预测模型进行训练，得到训练后的公路道路异常预测模型；
S4、对当前监控视频中的视频数据进行筛选，得到待识别样本；
S5、将待识别样本输入训练后的公路道路异常预测模型，得到公路道路异常值；
所述S1中公路道路异常预测模型包括：多个多阶段特征提取单元和异常值预测单元；
每个所述多阶段特征提取单元用于处理训练集中的一个样本中的一帧视频数据，得到公路道路特征，所述训练集中的样本由一段时间内的多帧视频数据构成；
所述多阶段特征提取单元的数量等于训练集中的一个样本中视频数据的帧数；
所述异常值预测单元用于根据多个多阶段特征提取单元输出的公路道路特征，计算公路道路异常值；
每个所述多阶段特征提取单元包括：第一特征提取子单元、第二特征提取子单元、第三特征提取子单元、第四特征提取子单元和Concat层；
所述第一特征提取子单元的输入端作为多阶段特征提取单元的输入端，其输出端分别与第二特征提取子单元的输入端和Concat层的第一输入端连接；
所述第二特征提取子单元的输出端分别与第三特征提取子单元的输入端和Concat层的第二输入端连接；所述第三特征提取子单元的输出端分别与第四特征提取子单元的输入端和Concat层的第三输入端连接；所述Concat层的第四输入端与第四特征提取子单元的输出端连接，其输出端作为多阶段特征提取单元的输出端；
每个所述特征提取子单元均包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、全局池化层、深层注意力层、浅层注意力层、乘法器M1、乘法器M2和加法器A1；
所述第一卷积块的输入端作为特征提取子单元的输入端，其输出端分别与第二卷积块的输入端、乘法器M1的第一输入端和全局池化层的输入端连接；所述全局池化层的输出端分别与浅层注意力层的输入端和第四卷积块的输入端连接；所述深层注意力层的输入端与第四卷积块的输出端连接，其输出端与乘法器M2的第一输入端连接；所述浅层注意力层的输出端与乘法器M1的第二输入端连接；所述第三卷积块的输入端与第二卷积块的输出端连接，其输出端与乘法器M2的第二输入端连接；所述加法器A1的第一输入端与乘法器M1的输出端连接，其第二输入端与乘法器M2的输出端连接，并作为特征提取子单元的输出端。
2.根据权利要求1所述的公路道路安全评价方法，其特征在于，所述深层注意力层和浅层注意力层的表达式均为：
，/>，/>，其中，/>为深层注意力层或浅层注意力层的输出，/>为中间参数，/>为将深层注意力层或浅层注意力层输入的特征图分成/>块后第/>块上的第/>个特征值，/>为第/>块上特征值的数量，/>为第/>块的特征值的平均值。
3.根据权利要求1所述的公路道路安全评价方法，其特征在于，所述异常值预测单元用于计算公路道路异常值的公式为：
，其中，/>为公路道路异常值，/>为第/>个多阶段特征提取单元输出的公路道路特征的权重，/>为第/>个多阶段特征提取单元输出的公路道路特征的第/>个特征值，/>为特征值/>的权重，/>为多阶段特征提取单元输出的公路道路特征中特征值的数量，/>为多阶段特征提取单元的数量。
4.根据权利要求1所述的公路道路安全评价方法，其特征在于，所述S3中训练公路道路异常预测模型的损失函数为：
，其中，/>为损失函数，/>为第/>次训练时的标签，/>为第/>次训练时公路道路异常预测模型输出的公路道路异常值。
5.根据权利要求1所述的公路道路安全评价方法，其特征在于，所述S4包括以下分步骤：
S41、取当前监控视频中一段时间的视频数据；
S42、在一段时间的视频数据中，在相邻时间的视频数据满足差值条件关系式时，取相邻时间的两帧视频数据；
S43、在步骤S42中获取的视频数据的帧数等于额定帧数时，将步骤S42中获取的所有视频数据构建为待识别样本；在步骤S42中获取的视频数据的帧数大于额定帧数时，则随机剔除部分视频数据，直到等于额定帧数，将剔除后的剩余视频数据构建为待识别样本；在步骤S42中获取的视频数据的帧数小于额定帧数时，则从一段时间的视频数据中再取视频数据，直到等于额定帧数，将获取的所有视频数据构建为待识别样本。
6.根据权利要求5所述的公路道路安全评价方法，其特征在于，所述S42中差值条件关系式为：
，其中，/>为第/>时刻的视频数据上第/>个像素值，/>为第时刻的视频数据上第/>个像素值，/>为误差调整系数，/>为视频数据上的像素值的数量，为像素差阈值。
7.一种根据权利要求1~6任一项所述的公路道路安全评价方法的系统，其特征在于，包括：模型构建子系统、训练集构建子系统、训练子系统、样本筛选子系统和公路道路异常值输出子系统；
所述模型构建子系统用于建立公路道路异常预测模型；所述训练集构建子系统用于从历史监控视频中筛选出一段时间内的多帧视频数据，并标注标签，构建为训练集；所述训练子系统用于采用训练集和损失函数对公路道路异常预测模型进行训练，得到训练后的公路道路异常预测模型；所述样本筛选子系统用于对当前监控视频中的视频数据进行筛选，得到待识别样本；所述公路道路异常值输出子系统用于将待识别样本输入训练后的公路道路异常预测模型，得到公路道路异常值。
CN202311237313.4A 2023-09-25 2023-09-25 一种公路道路安全评价方法及系统 Active CN116994214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311237313.4A CN116994214B (zh) 2023-09-25 2023-09-25 一种公路道路安全评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311237313.4A CN116994214B (zh) 2023-09-25 2023-09-25 一种公路道路安全评价方法及系统

Publications (2)

Publication Number Publication Date
CN116994214A CN116994214A (zh) 2023-11-03
CN116994214B true CN116994214B (zh) 2023-12-08

Family

ID=88534033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311237313.4A Active CN116994214B (zh) 2023-09-25 2023-09-25 一种公路道路安全评价方法及系统

Country Status (1)

Country Link
CN (1) CN116994214B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496740B (zh) * 2023-12-29 2024-03-19 山东高速股份有限公司 高速公路的车辆通行管控方法、装置、设备及存储介质
CN118628965B (zh) * 2024-08-12 2024-10-11 杭州像素元科技有限公司 基于长视频语义分析的高速公路事件检测方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145840A (zh) * 2018-08-29 2019-01-04 北京字节跳动网络技术有限公司 视频场景分类方法、装置、设备及存储介质
CN111144301A (zh) * 2019-12-26 2020-05-12 江西交通职业技术学院 一种基于深度学习的道路路面缺陷快速预警装置
JP6698191B1 (ja) * 2019-03-27 2020-05-27 エヌ・ティ・ティ・コムウェア株式会社 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
CN111652159A (zh) * 2020-06-05 2020-09-11 山东大学 基于多层次特征联合的微表情识别方法及系统
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法
WO2021031384A1 (zh) * 2019-08-19 2021-02-25 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN113780312A (zh) * 2019-11-21 2021-12-10 同济大学 一种高速公路路面状况检测系统
CN114764973A (zh) * 2020-12-30 2022-07-19 华为技术有限公司 一种路面异常区域监测方法、装置、设备及存储介质
CN115034601A (zh) * 2022-06-06 2022-09-09 南京华琨信息科技有限公司 一种用于国省道公路的道路安全云控系统
CN115577086A (zh) * 2022-10-18 2023-01-06 重庆交通大学 基于层级交叉注意力机制的桥梁检测知识图谱问答方法
CN116563718A (zh) * 2023-07-11 2023-08-08 成都垣景科技有限公司 一种基于遥感测绘的碳储量估算方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230140079A1 (en) * 2021-11-04 2023-05-04 Hitachi Astemo, Ltd. Method and Systems for Detection Accuracy Ranking and Vehicle Instructions

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145840A (zh) * 2018-08-29 2019-01-04 北京字节跳动网络技术有限公司 视频场景分类方法、装置、设备及存储介质
JP6698191B1 (ja) * 2019-03-27 2020-05-27 エヌ・ティ・ティ・コムウェア株式会社 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
WO2021031384A1 (zh) * 2019-08-19 2021-02-25 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN113780312A (zh) * 2019-11-21 2021-12-10 同济大学 一种高速公路路面状况检测系统
CN111144301A (zh) * 2019-12-26 2020-05-12 江西交通职业技术学院 一种基于深度学习的道路路面缺陷快速预警装置
CN111652159A (zh) * 2020-06-05 2020-09-11 山东大学 基于多层次特征联合的微表情识别方法及系统
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法
CN114764973A (zh) * 2020-12-30 2022-07-19 华为技术有限公司 一种路面异常区域监测方法、装置、设备及存储介质
CN115034601A (zh) * 2022-06-06 2022-09-09 南京华琨信息科技有限公司 一种用于国省道公路的道路安全云控系统
CN115577086A (zh) * 2022-10-18 2023-01-06 重庆交通大学 基于层级交叉注意力机制的桥梁检测知识图谱问答方法
CN116563718A (zh) * 2023-07-11 2023-08-08 成都垣景科技有限公司 一种基于遥感测绘的碳储量估算方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image and Video Processing for Defect Detection in Key Infrastructure;Hafiz Suliman Munawar;《Machine Vision Inspection Systems》;第1卷;159-177 *
Multi-stage Feature Extraction in Offline Handwritten Chinese Character Recognition;Xianglian Wu等;《CCPR 2016: Pattern Recognition》;474-485 *
基于注意力残差网络的人脸超分辨率重建;王同官等;《计算机工程》;第49卷(第06期);234-241 *
基于视频图像的公路复杂环境交通目标感知及事件智能识别;曾彦杰;《中国博士学位论文全文数据库_工程科技Ⅱ辑》;C034-47 *

Also Published As

Publication number Publication date
CN116994214A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN116994214B (zh) 一种公路道路安全评价方法及系统
CN109948669B (zh) 一种异常数据检测方法及装置
CN112188531B (zh) 异常检测方法、装置、电子设备及计算机存储介质
CN109784487B (zh) 用于事件检测的深度学习网络、该网络的训练装置及方法
CN111626169B (zh) 一种基于图像的铁路危险落石尺寸判断方法
CN115018840B (zh) 精密铸件裂纹检测方法、系统及装置
CN113343779B (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN105117485B (zh) 一种基于k甚近邻的高准确率全局离群点检测算法
JP2019505892A (ja) ビッグデータに基づいて道路状態を予測する方法及び装置
CN115795285A (zh) 基于cusum型变点统计量的异常数据检测与监控方法
CN117540153A (zh) 一种隧道监测数据预测方法及系统
US10115028B2 (en) Method and device for classifying an object in an image
CN114724063A (zh) 一种基于深度学习的公路交通事件检测方法
CN112994960A (zh) 业务数据异常检测方法、装置及计算设备
CN116977834B (zh) 一种开放条件下分布内外图像识别方法
CN112581489A (zh) 一种视频压缩方法、装置及存储介质
US20170193330A1 (en) Method and apparatus for detecting and classifying active matrix organic light emitting diode panel
CN112613564A (zh) 一种剔除重叠框的目标检测后处理方法
CN116863288A (zh) 基于深度学习的目标检测和报警方法、装置及设备
CN114663731B (zh) 车牌检测模型的训练方法及系统、车牌检测方法及系统
CN115631459A (zh) 基于人工智能的传送带监控方法及装置
CN116205885A (zh) 异常状态检测方法、系统、电子设备及可读存储介质
CN115830806A (zh) 基于高分遥感的自然灾害情况分析系统
CN115240002A (zh) 一种基于脉冲神经网络的结霜程度判断方法、装置及设备
CN110929800B (zh) 一种基于sax算法的商业体异常用电检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant