CN116681955A - 用于交通护栏异常识别的方法及计算设备 - Google Patents

Abstract

本发明提供一种用于交通护栏异常识别的方法及计算设备，涉及图像处理与交通安全技术领域。所述方法包括：根据来自摄像装置的图像设定算法识别参考图，获取来自摄像装置的实时图像，根据所述图像进行交通护栏图像检测，根据算法识别参考图及图像检测的结果，判断交通护栏是否异常。利用本发明的方法可实时监控道路区域内交通护栏的图像，为交通路况的安全提供保障。

Description

用于交通护栏异常识别的方法及计算设备

技术领域

本发明涉及图像处理与交通安全技术领域，具体涉及一种交通护栏异常识别的方法及计算设备。

背景技术

随着人工智能技术的发展，图片数据资源正在突飞猛进地增长。图像作为信息传播的核心，蕴含着丰富的信息，广泛应用于安防、安监、化工、加油站等领域，尤其是应用于道路交通场景。

在道路交通场景中，护栏分隔机动车与非机动车，可改善交通秩序；阻拦横穿马路的行人及车辆，保证交通安全；提醒驾驶员注意护栏的存在，减少交通事故。保证交通护栏的正常是道路交通安全较为重要的一环。对交通护栏进行实时监控，发现异常进行报警，准确定位破损位置及时进行维护，可以有效地避免因护栏异常造成的交通拥堵，减少了道路交通安全风险。

交通护栏智能识别系统，可解决了交通护栏人工检测工作量大，且无规律、无固定目标的问题。对交通护栏异常识别系统，在相关技术中，一般由多个无线护栏监控装置、控制板和GPRS发送模块组成，系统组成复杂，维护成本高。

发明内容

本发明旨在提供用于交通护栏异常识别的方法及计算设备，解决交通护栏无预见性的倒地或非正常移位，保证道路交通的安全。

根据本发明的一方面，提供一种用于交通护栏异常识别的方法，包括根据来自摄像装置的图像设定算法识别参考图，获取来自所述摄像装置的实时图像，根据所述实时图像进行交通护栏图像检测。

根据所述算法识别参考图及图像检测的结果，判断交通护栏是否异常。

根据一些实施例，根据来自摄像装置的图像设定算法识别参考图，所述算法识别参考图用于后续交通护栏异常判断，获取来自所述摄像装置的实时图像，利用预训练神经网络模型对所述实时图像进行交通护栏图像检测，根据所述算法识别参考图及图像检测的结果，判断交通护栏是否异常。

根据一些实施例，所述算法识别参考图为交通护栏的外形轮廓。

根据一些实施例，利用预训练神经网络模型对所述实时图像进行交通护栏图像检测，包括对所述实时图像进行交通护栏外形轮廓分割，得到交通护栏外形轮廓，通过比较所述交通护栏识别参考图和所述交通护栏外形轮廓的交并比与预设阈值的关系，判断交通护栏是否异常。

根据一些实施例，所述判断交通护栏是否异常，如果所述交通护栏识别参考图与实时图像检测得到的交通护栏外形轮廓的交并比大于等于预设干扰阈值，则判断交通护栏无倒塌异常，如果所述交通护栏识别参考图与实时图像检测得到的交通护栏外形轮廓的交并比小于预设干扰阈值，则判断交通护栏有倒塌情况。

根据一些实施例，所述摄像装置为单目摄像头，与交通护栏具有固定的视野区域。

根据一些实施例，所述摄像装置的焦距、位置和角度固定。

根据一些实施例，所述摄像装置的拍摄方向与所述交通护栏的延伸方向成0-45度角。

根据一些实施例，所述算法识别参考图为算法识别辅助线，所述算法识别辅助线为所述图像中正常状态下交通护栏的边缘线，所述利用预训练神经网络模型对所述实时图像进行交通护栏图像检测包括对所述实时图像进行交通护栏边缘线分割，判断交通护栏是否异常包括计算所述交通护栏边缘线和所述算法识别辅助线的夹角，根据所述交通护栏的边缘线和算法识别辅助线的夹角与设定的阈值的比较结果，判断交通护栏是否异常。

根据一些实施例，对所述图像进行设定算法识别参考图，包括获取所述图像中交通护栏的边缘线的两个点的二维像素坐标，根据所述两个点的二维像素坐标，确定算法识别辅助线的参数。

根据一些实施例，判断交通护栏是否异常，如果所述夹角大于设定的阈值，那么判定交通护栏倒塌，产生交通护栏倒塌报警；如果所述夹角小于设定的阈值，判定交通护栏没有倒塌。

根据一些实施例，所述设定的阈值根据倒塌程度不同预定义设置不同的数值。

根据一些实施例，若判定交通护栏没有倒塌，则进行护栏检测，利用预训练的神经网络检测模型对所述图像进行护栏检测，得到护栏检测区域，利用预训练的第一神经网络分类模型对所述护栏检测区域进行分类识别，所述护栏分类包括护栏大破损和护栏非大破损，如果护栏分类结果为护栏大破损，那么产生报警。

根据一些实施例，所述进行护栏检测，还包括如果护栏分类结果为护栏非大破损，那么利用预训练的第二神经网络检测模型对所述护栏检测区域进行护栏小破损检测，如果检测结果为护栏小破损，那么产生报警。

根据一些实施例，对所述图像设置算法识别区域设定所述图像的算法识别区域，所述算法识别区域对应所述交通护栏，将所述算法识别区域以外的图像区域填充为任何一种颜色或者使用所述算法识别区域以外区域的所有像素点的像素平均值、最大值、最小值、众数、或中位数进行填充。

根据一些实施例，所述交通护栏的边缘线为上边缘线。

根据本发明的另一方面，提供一种计算设备，包括处理器，以及存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如上任一项所述的方法。

根据本发明的另一方面，提供一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上任一项所述的方法。

根据本发明的实施例，获取来自摄像装置的图像，根据初始图像设定算法识别参考图，获取来自摄像装置的实时图像，根据所述图像进行交通护栏图像检测，计算所述交通护栏外形轮廓和算法识别参考图的交并比，根据所述交通护栏识别参考图与交通护栏实时图像检测的交并比和预设阈值的大小与设定的阈值的比较结果，判断交通护栏是否异常。利用本发明的方法可实时监控道路区域内交通护栏的图像，做到有异常情况及时报警，保证交通路况的安全。

根据本发明的另一实施例，获取来自摄像装置的图像，根据初始图像设定算法识别辅助线，对采集的实时图像进行交通护栏的边缘线分割，计算交通护栏的边缘线和算法识别辅助线的夹角。通过所述夹角的大小，判断交通护栏是否有倒塌和位移的情况，从而可实时监控道路交通护栏的相对位置，若夹角超出设定的安全阈值，则产生报警，及时提示异常情况保障道路交通安全。通过采集交通护栏边缘线的方法计算夹角，相较于计算整个交通护栏外形轮廓的交并比，减少了计算数据，缩短了计算时间，效率和准确度也更高。

本发明实施例的技术方案采用单目摄像头，通过图像采集及角度计算，识别偏离角度，实现异常情况预警提示。在成本不高的情况下可实现精确预警。相比其他无线传输监控系统，组成简单，维护成本低。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1A示出根据示例实施例的摄像装置在交通护栏的应用场景。

图1B示出根据示例实施例用于交通护栏异常识别的方法流程图。

图2示出根据另一示例实施例用于交通护栏异常识别的方法流程图。

图3示出根据示例实施例设定算法识别辅助线的方法流程图。

图4示出根据示例实施例判定交通护栏是否倒塌的方法流程图。

图5示出根据示例实施例判定交通护栏是否破损的方法流程图。

图6示出根据示例实施例的摄像机标定过程示意图。

图7示出根据示例实施例的用于交通护栏异常识别的方案示意图。

图8示出根据示例实施例的计算设备的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本发明概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本发明所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。

在道路安全中，交通护栏对行车安全有着至关重要的影响。针对交通护栏的破损及倒塌，采取有效的方法及时发现、快速定位、迅速解决是道路交通安全的有力保障。

为此，本发明提出一种用于交通护栏异常识别的方法，根据示例实施例，通过摄像装置采集的实时图像，经过数据对比计算，可有效判断交通护栏相对位置的变化。

在描述本发明实施例之前，对本发明实施例涉及到的一些术语或概念进行解释说明。

内参标定：相机内参标定是指确定相机的内部参数，如焦距、主点坐标和畸变参数等。

内参矩阵：内参矩阵反应了相机自身的属性，各个相机是不一样的，需要标定才能知道这些参数。

畸变系数：畸变系数指摄像机采集图像时，由于本身镜头特性等因素，图像中的线条或者角点呈现出一点的弯曲或者扭曲程度。畸变系数主要描述成像光学系统中透镜畸变程度的参数，通常用多项式函数来表示。

畸变校正：畸变校正是一种映射，将畸变的像素投影到校正的像素位置上。

损失函数：是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。

下面结合附图对本发明的示例实施例进行说明。

图1A示出根据示例实施例的摄像装置在交通护栏中的应用场景。

参见图1A，摄像装置为单目摄像头，设置在道路一侧的固定建筑物上，如电线杆、路灯等。在选取固定位置时，使所述单目摄像头朝向交通护栏，为减小误差，保证摄像角度与所述交通护栏的边缘线尽量平行，夹角控制在0-45度范围内。每个单目摄像头拍摄一定范围的交通护栏，整个道路交通护栏由多个单目摄像头共同监控，两个单目摄像头有共同的拍摄图像画面，确保整个道路交通护栏被全覆盖监控，无监控盲区。

根据本发明实施例，采用单目摄像头对所述交通护栏进行图像采集，识别偏离角度，实现异常情况预警提示。相比其他无线传输监控系统，组成简单，维护成本低。

图1B示出根据示例实施例用于交通护栏异常识别的方法流程图。

根据示例实施例，通过摄像装置对交通护栏进行画面监控。

参见图1B，在S101，根据来自摄像装置的图像设定算法识别参考图。

根据示例实施例，摄像装置的焦距、位置和角度固定，选取合适的位置布置所述摄像装置，确保检测角度误差最小。根据初始图像画面设定算法识别参考图，算法识别参考图为交通护栏正常状态下的图像画面。

根据一些实施例，算法识别参考图为交通护栏的外形轮廓。根据另一些实施例，算法识别参考图为交通护栏的边缘线。

在S103，获取摄像装置的实时图像。

根据示例实施例，设定好所述算法识别参考图后，摄像装置开始交通护栏的监控工作，获取所述摄像装置的实时图像。

在S105，利用预训练神经网络模型对实时图像进行交通护栏图像检测。

根据一些实施例，可采用HRNet或DEEPLABV3+对实时图像进行交通护栏轮廓或边缘线分割。

在S107，根据所述算法识别参考图及图像检测的结果，判断交通护栏是否异常。

根据一些实施例，通过比较所述交通护栏识别参考图和所述交通护栏外形轮廓的交并比与预设阈值的关系，判断交通护栏是否异常。所述阈值可自定义设置，根据倒塌程度的不同，可设置不同的数值大小。阈值设定的越大，即允许交通护栏出现偏差的范围越小，检测程度越严格。如果所述交通护栏识别参考图与实时图像检测得到的交通护栏外形轮廓的交并比大于等于预设干扰阈值，则判断交通护栏无倒塌异常。如果所述交通护栏识别参考图与实时图像检测得到的交通护栏外形轮廓的交并比小于预设干扰阈值，则判断交通护栏有倒塌情况。

根据一些实施例，通过采集图像中交通护栏的外形轮廓进行交并比计算，需要处理的数据较多，计算复杂，而结果的准确度并未得到显著提升。为此，可更进一步优化识别方法，减少对比数据的采集和计算，提升识别准确度，如下面将详细描述的。

图2示出根据另一示例实施例用于交通护栏异常识别的方法流程图。

根据示例实施例，通过摄像装置对交通护栏进行画面监控。

参见图2，在S201，根据来自摄像装置的图像设定算法识别辅助线。

根据示例实施例，如前所述，摄像装置的焦距、位置和角度固定，选取合适的位置布置所述摄像装置，确保检测角度误差最小。根据初始图像画面设定算法识别辅助线，算法识别辅助线与正常状态下交通护栏的边缘线重合。在本发明中，边缘线可包括交通护栏的上边缘线或下边缘线。

通过软件平台算法参数配置界面，设置辅助线的参数，即两个点的二维像素坐标，辅助线的作用是判断交通护栏是否倒塌和移位的参考标准。

在S203，获取摄像装置的实时图像。

根据示例实施例，如前所述，设定好所述算法识别辅助线后，摄像装置开始交通护栏的监控工作，获取所述摄像装置的实时图像。

在S205，对实时图像进行交通护栏边缘线分割。

根据示例实施例，将获取的所述交通护栏实时图像，通过分割算法对实时视频流的当前帧中的护栏的边缘线进行分割，得到当前帧中实际护栏的边缘线，便于后续计算。

根据另一些实施例，可采用HRNet方法处理所述实时图像来分割边缘线。

HRNET（High-Resolution Net）架构，由并行的高分辨率到低分辨率的子网组成，在多分辨率子网之间进行重复的信息交换(多尺度融合)。水平方向和垂直方向分别对应网络的深度和特征图的尺度。有的图像分割网络是通过串联高分辨率子网来建立的，每个子网形成一个stage，由一系列卷积组成，并且在相邻的子网之间有一个下采样层来将分辨率减半。

根据另一些实施例，可采用DEEPLABV3+方法处理所述实时图像来分割边缘线。

根据一些实施例，DEEPLABV3+语义分割，可分为语义分割（SemanticSegmentation）和实例分割（Instance Segmentation），最大的特点就是引入了空洞卷积，在不损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。特征点提取的时候会跨像素，这有利于提取多尺度信息。

在S207，计算交通护栏边缘线和算法识别辅助线的夹角。

根据示例实施例，在算法识别区域中，初始状态下，算法识别辅助线与交通护栏的上边缘重合是重合的，夹角为0。

所述算法识别区域可为人工设置，在ROI区域监控报警。

ROI（region of interesting）即感兴趣区域。基于给定的矩形设置图像的ROI，如果ROI为NULL并且参数rect的值不等于整个图像，则ROI被分配。大多数OpenCV函数都支持ROI，并将它作为一个独立图像进行处理，所有像素坐标都是从ROI的左上角或者左下角(基于图像结构)开始计算的，ROI区域也可为任意形状。

根据所述分割算法得到当前帧中实际交通护栏的边缘线，可以计算算法识别辅助线和实际护栏的边缘线的夹角。

在S209，比较交通护栏边缘线和算法识别辅助线的夹角与阈值的大小。

根据示例实施例，将实时图像中交通护栏边缘线和算法识别辅助线的夹角传入软件平台，比较所述夹角与设定阈值的大小。

所述阈值可自定义设置，根据倒塌程度的不同，可设置不同的数值大小。阈值设定的越小，即允许交通护栏出现偏差的范围越小，检测程度越严格。

在S211，判断交通护栏是否异常。

根据示例实施例，通过比较交通护栏边缘线和算法识别辅助线的夹角与阈值的大小，判断交通护栏是否异常。

如果所述夹角大于设定的阈值，那么判断交通护栏倒塌，产生交通护栏倒塌报警。如果所述夹角小于设定的阈值，则判断交通护栏没有倒塌。

根据示例实施例，采用单目摄像头采集图像数据，通过设置算法识别辅助线，计算交通护栏边缘线和算法识别辅助线的夹角来判断交通护栏的位移，在成本不高的情况下可实现精确预警。而且通过采集交通护栏边缘线的方法计算夹角，相较于计算整个交通护栏外形轮廓的交并比，减少了计算数据，缩短了计算时间，效率更高。此外，由于不依赖于无线传感器触发监控报警，本方案的适应性更强、经济性更好。

图3示出根据示例实施例设定算法识别辅助线的方法流程图。

参见图3，根据采集的交通护栏图像，设定算法识别辅助线。

在S301，设置算法识别区域。

根据示例实施例，预先确定算法识别区域，所述区域可自动设置，也可手动设置。经实践，手动设置相比自动设置，可以避开干扰因素，使检测结果误差更小，选择手动设置摄像装置算法识别区域。

在S303，进行图像处理。

根据示例实施例，在所述摄像装置采集图像的算法识别区域中，进行图像处理。

将所述算法识别区域以外的区域填充为任何一种颜色或者使用算法识别区域以外区域的所有像素点的像素的平均值、最大值、最小值、众数、中位数等进行填充。

在S305，获取两个点的二维像素坐标。

根据示例实施例，通过软件平台算法参数配置界面，传入辅助线的参数给算法，得到两个点的二维像素坐标。

在S307，确定算法识别辅助线的参数。

根据示例实施例，在所述算法识别区域内，算法识别辅助线与交通护栏的上边缘重合，是为了确定交通护栏未倒塌状态和未移位状态的边缘线的位置，将此时的参数设定为算法识别辅助线的参数。

所述算法识别辅助线的作用是判断交通护栏是否倒塌和移位的参考标准。

根据实施例，根据判断所述算法识别辅助线和交通护栏边缘线的位置关系，通过计算所述两条线的夹角大小，可确定交通护栏是否倒塌和移位。

图4示出根据示例实施例判定交通护栏是否倒塌的方法流程图。

参见图4，示出计算交通护栏边缘线与算法识别辅助线的夹角，通过夹角大小与所设定的阈值比较，判断交通护栏是否倒塌。

在S401，计算交通护栏边缘线和算法识别辅助线的夹角。

根据示例实施例，根据所述摄像装置采集的实时图像，通过分割算法对实时视频流的当前帧中的护栏的边缘线进行分割，得到当前帧中实际护栏的边缘线，计算算法识别辅助线和实际护栏的边缘线的夹角。

在S403，判断夹角是否小于设定的阈值。

根据示例实施例，阈值由用户根据所能接受护栏位移的大小设定。阈值设定的越大，代表交通护栏可位移的范围越大。

如果算法识别辅助线和交通护栏的上边缘重合，那么它们的夹角就是0，此时交通护栏是正常无位移的情况。

在S405、S407，判定交通护栏倒塌。

根据示例实施例，所述夹角不小于设定的阈值，证明交通护栏超出可接受的安全位移，判定交通护栏倒塌，产生交通护栏倒塌报警。

在S409、S411，判定交通护栏未倒塌。

根据示例实施例，所述夹角小于设定的阈值，证明交通护栏未超出可接受的安全位移，判定交通护栏未倒塌。

根据示例实施例，在交通护栏未倒塌的情况下，更进一步地，对所述交通护栏进行护栏检测，检测护栏自身有无破损，如下面参照图5所描述的。

图5示出根据示例实施例判定交通护栏是否破损的方法流程图。

根据上述实施例，当交通护栏是否倒塌的检测结果被判定为未倒塌的情况下，为了安全起见，对所述交通护栏继续进行护栏检测，检测交通护栏是否有护栏破损的情况。

在S501，用预训练的分类模型对护栏进行分类识别。

根据示例实施例，对所述摄像装置采集的图像先进行护栏检测，再对所述护栏检测区域进行护栏分类，所述护栏分类分为2类，包含护栏大破损和护栏非大破损。

根据一些实施例，可利用预训练的YOLOV7神经网络模型进行目标对象的检测，但本发明不限于此。

YOLO是一种物体检测算法，它为许多现实生活中的计算机视觉问题提供了解决方案。易于理解，本领域技术人员也可以采用其他方法进行第一人员区域及第二人员区域的检测，例如通过RCNN、Fast RCNN、Faster RCNN、Mask RCNN等模型进行检测。

根据一些实施例，可利用预训练的Vision Transformer模型对目标对象进行分类，但本发明不限于此。

Vision Transformer（ViT模型），给定一个 H×W×C 的图像以及区块大小 P，可以把图像划分为 N 个 P×P×C 的区块，N=H×W/(P×P)。得到区块后要使用线性变换转为D 维特征向量，再加上位置编码向量即可，ViT 在序列之前也加入了一个分类标志位[class]。

输入序列传入 ViT，然后利用[class] 标志位的最终输出特征进行分类。ViT 主要由 MSA (多头自注意力) 和 MLP (两层使用 GELU 激活函数的全连接网络) 组成，在MSA 和 MLP 之前加上 LayerNorm 和残差连接。

在S503，判断护栏分类结果是否为护栏大破损。

在S505，判断为大破损，产生护栏大破损报警。

根据示例实施例，将所述图像按分类模型进行分类识别，在护栏检测区域内判断护栏分类结果是否为护栏大破损。

护栏分类结果判定为大破损，产生护栏大破损报警。

在S507，进行护栏小破损检测。

根据示例实施例，所述护栏分类结果判定为非大破损情况，进行护栏小破损检测。

在S509，判断护栏区域检测结果是否为护栏小破损。

在S511，判定为小破损，产生护栏小破损报警。

根据示例实施例，根据护栏检测区域，在所述护栏非大破损的情况下，进一步对护栏是否为小破损进行检测。

护栏区域检测结果判定为小破损，产生护栏小破损报警。

在S513，不产生报警。

根据示例实施例，根据护栏检测区域，在所述护栏非大破损的情况下，进一步对护栏是否为小破损进行检测。

护栏区域检测结果判定为非小破损，则表示护栏无异常，不产生报警。

根据实施例，交通护栏通过上述多环节检测判断，全方位对所述交通护栏进行安全监测。确保在检测交通护栏倒塌和移位之外，还能对护栏自身破损情况进行检测及报警。

图6示出根据示例实施例摄像机标定过程示意图。

在S601，设置摄像装置采集图像。

摄像装置为单目摄像头，它的焦距、位置和角度固定，监控交通护栏区域并实时采集图像。

在S603、S605，进行内参标定。

对所述摄像装置进行内参标定，从而获得内参矩阵和畸变系数。

在S607，存储至配置文件。

将所述内参标定存储至配置文件中。

在S609，进行畸变校正。

对单目摄像头获取的图片进行畸变校正。

在S611，获得畸变校正之后的图片。

将所述畸变校正之后的图片存储至配置文件。

图7示出根据示例实施例的用于交通护栏异常识别的方案示意图。

参见图7，首先准备摄像装置。所述摄像装置对交通护栏区域进行画面监控。通过摄像装置获取实时监控画面，采集交通护栏图像。

标定：

对所述摄像装置进行内参标定，从而获得内参矩阵和畸变系数，存储至配置文件。

获取摄像装置的内参矩阵和畸变系数，对所述图像进行畸变校正，得到畸变校正之后的图片。

设定算法识别辅助线：

根据所述畸变校正之后的图片画面设定算法识别辅助线，算法识别辅助线与交通护栏的上边缘重合。

通过分割算法对实时视频流的当前帧中的护栏的边缘线进行分割，得到当前帧中实际护栏的边缘线，从而可以计算辅助线和实际护栏的边缘线的夹角。

所述护栏边缘线分割函数为总损失函数。

总损失函数：

，其中/>是一个超参数，用于平衡交叉熵损失和Dice损失。

，/>表示样本属于第/>类的概率，/>是样本的one-hot标签，当样本属于第i类时，/>，否则，/>。

，/>

系数是一种用于评估两个样本相似性的度量函数，其值越大意味着这两个样本越相似，在语义分割问题中，/>表示真实分割图像的像素标签，/>表示模型预测分割图像的像素类别，/>近似为预测图像的像素与真实标签图像的像素之间的点乘，并将点乘结果相加，/>和/>分别近似为它们各自对应图像中的像素相加。

判断护栏是否倒塌：

根据示例实施例，所述交通护栏的上边缘分割后，计算交通护栏的边缘线和算法识别辅助线的夹角。

通过向量公式=|A|/>|B|/>cos/>，求得夹角cos/>的大小。

将所述夹角的值与设定的阈值相比较，如果夹角大于设定的阈值，那么判定交通护栏倒塌，产生交通护栏倒塌报警。

如果夹角未大于设定的阈值，那么判定交通护栏没有倒塌，对交通护栏进行进一步的护栏检测。

判断护栏是否破损：

在判定结果为交通护栏没有倒塌的情况下，对所述交通护栏进行护栏检测，进一步检测护栏有无破损情况。

根据所述畸变校正之后的图片画面，进行护栏检测，对护栏检测区域进行护栏分类。所述护栏分类分两类，包含护栏大破损和护栏非大破损。

根据一些实施例，可利用损失函数对所述交通护栏图像进行目标对象的检测，但本发明不限于此。

先利用损失函数对所述交通护栏图像进行护栏检测。

总损失函数：

位置回归损失函数：

物体置信度损失函数：

分类损失函数：

公式符号解释：

表示网格序号，B表示当前网格的第B个框，每个网格有3个框。

表示当前网格，有物体=1，没物体=0。/>

刚好相反，有物体=0，没物体=1。

表示所有网格里，所有框有物体的累加。

表示参数因子。

分别表示预测框和真实框的中心点距离，以及外包矩形的斜边长。

表示预测框和真实框的交并比。

表示预测框的宽和高。

表示真实框的宽和高。

表示第/>个网格的第/>个框置信度，/>表示第/>个网格的第/>个框的预测框的置信度。

表示第/>个网格的第j个框为类别C的概率值，/>表示第/>个网格的第j个预测框为类别C的概率值。

根据上述方法对护栏检测区域进行检测判断，采用图像分类算法，进行护栏分类，分为护栏大破损（破损区域面积比较大）和护栏非大破损。如果护栏分类结果为护栏大破损，那么产生报警。如果护栏分类结果为护栏非大破损，那么对护栏非大破损的护栏检测区域，进行护栏小破损检测。

利用损失函数对护栏检测区域进行护栏分类。

图像分类损失函数：

其中表示第/>个样本属于第/>类的标签，/>表示第/>个样本被预测为第/>类的概率，n为每批次的图片数量，/>为类别数。

护栏小破损检测，它是对非大破损的护栏检测区域进行目标检测，得到小的破损区域，算法和护栏检测采用相同的损失函数，在护栏检测的后面，又增加了单独的护栏分类算法，目的是使得分类效果更加准确，为了提高小物体检测的效果，护栏小破损检测的模型输入大小相对大一点，该算法不具体指定。

如果检测结果为护栏小破损，那么产生报警，如果护栏非大破损的护栏检测区域中，没有检测到护栏小破损，那么不产生报警。

图8示出根据本发明示例实施例的计算设备的框图。

如图8所示，计算设备30包括处理器12和存储器14。计算设备30还可以包括总线22、网络接口16以及I/O接口18。处理器12、存储器14、网络接口16以及I/O接口18可以通过总线22相互通信。

处理器12可以包括一个或多个通用CPU(Central Processing Unit，处理器)、微处理器、或专用集成电路等，用于执行相关程序指令。根据一些实施例，计算设备30还可包括为处理器12进行加速的高性能显示适配器（GPU）20。

存储器14可以包括易失性存储器形式的机器系统可读介质，例如随机存取存储器（RAM）、只读存储器（ROM）和/或高速缓存存储器。存储器14用于存储包含指令的一个或多个程序以及数据。处理器12可读取存储在存储器14中的指令以执行上述根据本发明实施例的方法。

计算设备30也可以通过网络接口16与一个或者多个网络通信。该网络接口16可以是无线网络接口。

总线22可以为包括地址总线、数据总线、控制总线等。总线22提供了各组件之间交换信息的通路。

需要说明的是，在具体实施过程中，计算设备30还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC）、网络存储设备、云存储设备，或适合于存储指令和/或数据的任何类型的媒介或设备。

本发明实施例还提供一种计算机程序产品，该计算机程序产品包括存储计算机程序的非瞬时性计算机可读存储介质，该计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种方法的部分或全部步骤。

本领域的技术人员可以清楚地了解到本发明的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列、集成电路等。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上具体地展示和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附条款的精神和范围内的各种修改和等效设置。

Claims (16)

1.一种用于交通护栏异常识别的方法，其特征在于，包括：

根据来自摄像装置的图像设定算法识别参考图，所述算法识别参考图用于后续交通护栏异常判断；

获取来自所述摄像装置的实时图像；

利用预训练神经网络模型对所述实时图像进行交通护栏图像检测；

根据所述算法识别参考图及图像检测的结果，判断交通护栏是否异常。

2.根据权利要求1所述的方法，其特征在于，所述算法识别参考图为交通护栏的外形轮廓。

3.根据权利要求2所述的方法，其特征在于，

利用预训练神经网络模型对所述实时图像进行交通护栏图像检测包括：对所述实时图像进行交通护栏外形轮廓分割，得到交通护栏外形轮廓；

判断交通护栏是否异常包括：通过比较所述交通护栏识别参考图和所述交通护栏外形轮廓的交并比与预设阈值的关系，判断交通护栏是否异常。

4.根据权利要求3所述的方法，其特征在于，所述判断交通护栏是否异常，包括：

如果所述交通护栏识别参考图与实时图像检测得到的交通护栏外形轮廓的交并比大于等于预设干扰阈值，则判断交通护栏无倒塌异常；

如果所述交通护栏识别参考图与实时图像检测得到的交通护栏外形轮廓的交并比小于预设干扰阈值，则判断交通护栏有倒塌情况。

5.根据权利要求1所述的方法，其特征在于，所述摄像装置为单目摄像头，与交通护栏具有固定的视野区域。

6.根据权利要求5所述的方法，其特征在于，所述摄像装置的焦距、位置和角度固定。

7.根据权利要求6所述的方法，其特征在于，所述摄像装置的拍摄方向与所述交通护栏的延伸方向成0-45度角。

8.根据权利要求1所述的方法，其特征在于：

所述算法识别参考图为算法识别辅助线，所述算法识别辅助线为所述图像中正常状态下交通护栏的边缘线；

所述利用预训练神经网络模型对所述实时图像进行交通护栏图像检测包括：对所述实时图像进行交通护栏边缘线分割；

判断交通护栏是否异常包括：计算所述交通护栏边缘线和所述算法识别辅助线的夹角；根据所述交通护栏的边缘线和算法识别辅助线的夹角与设定的阈值的比较结果，判断交通护栏是否异常。

9.根据权利要求8所述的方法，其特征在于，对所述图像进行设定算法识别参考图，包括：

获取所述图像中交通护栏的边缘线的两个点的二维像素坐标；

根据所述两个点的二维像素坐标，确定算法识别辅助线的参数。

10.根据权利要求9所述的方法，其特征在于，判断交通护栏是否异常，包括：

如果所述夹角大于设定的阈值，那么判定交通护栏倒塌，产生交通护栏倒塌报警；

如果所述夹角小于设定的阈值，判定交通护栏没有倒塌。

11.根据权利要求10所述的方法，其特征在于，所述设定的阈值根据倒塌程度不同预定义设置不同的数值。

12.根据权利要求11所述的方法，其特征在于，若判定交通护栏没有倒塌，则进行护栏检测：

利用预训练的神经网络检测模型对所述图像进行护栏检测，得到护栏检测区域；

利用预训练的第一神经网络分类模型对所述护栏检测区域进行分类识别，所述护栏分类包括护栏大破损和护栏非大破损；

如果护栏分类结果为护栏大破损，那么产生报警。

13.根据权利要求12所述的方法，其特征在于，所述进行护栏检测，还包括：

如果护栏分类结果为护栏非大破损，那么利用预训练的第二神经网络检测模型对所述护栏检测区域进行护栏小破损检测；

如果检测结果为护栏小破损，那么产生报警。

14.根据权利要求1所述的方法，其特征在于，还包括，对所述图像设置算法识别区域：

设定所述图像的算法识别区域，所述算法识别区域对应所述交通护栏；

将所述算法识别区域以外的图像区域填充为任何一种颜色或者使用所述算法识别区域以外区域的所有像素点的像素平均值、最大值、最小值、众数、或中位数进行填充。

15.根据权利要求8所述的方法，其特征在于，还包括：

所述交通护栏的边缘线为上边缘线。

16.一种计算设备，其特征在于，包括：

处理器；以及

存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1-15中任一项所述的方法。