CN112883948A - 一种语义分割与边缘检测模型建立及护栏异常监测方法 - Google Patents

一种语义分割与边缘检测模型建立及护栏异常监测方法 Download PDF

Info

Publication number
CN112883948A
CN112883948A CN202110489926.1A CN202110489926A CN112883948A CN 112883948 A CN112883948 A CN 112883948A CN 202110489926 A CN202110489926 A CN 202110489926A CN 112883948 A CN112883948 A CN 112883948A
Authority
CN
China
Prior art keywords
guardrail
edge detection
semantic segmentation
loss function
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110489926.1A
Other languages
English (en)
Other versions
CN112883948B (zh
Inventor
林涛
陈振武
刘宇鸣
张炳振
张枭勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Urban Transport Planning Center Co Ltd
Priority to CN202110489926.1A priority Critical patent/CN112883948B/zh
Publication of CN112883948A publication Critical patent/CN112883948A/zh
Application granted granted Critical
Publication of CN112883948B publication Critical patent/CN112883948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明提供了一种语义分割与边缘检测模型建立及护栏异常监测方法，涉及护栏监测技术领域。本发明所述的语义分割与边缘检测模型建立方法，包括：获取不同视角下不同道路的监控图像，根据所述监控图像构建监控道路数据集；设置损失函数；根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图，直到所述损失函数满足预设条件时，根据训练完成的所述卷积神经网络建立语义分割与边缘检测模型。本发明所述的技术方案，通过对语义分割和边缘检测两通道相互融合促进的网络进行训练建立语义分割与边缘检测模型，提高语义分割的精细度和边缘检测的准确度，从而能够根据模型对异常护栏进行有效的识别监测。

Description

一种语义分割与边缘检测模型建立及护栏异常监测方法
技术领域
本发明涉及护栏监测技术领域，具体而言，涉及一种语义分割与边缘检测模型建立及护栏异常监测方法。
背景技术
道路中间的隔离护栏是维持正常交通秩序的重要交通基础设施，它能够有效地提醒驾驶员行驶区域，分隔双向行驶道路。同时，在道路两侧的护栏，更改划分机动车与分机动车道，防止非机动车、行人随意穿越机动车道。
目前护栏检测多数属于自动驾驶领域，通过车载相机结合激光雷达收集护栏数据，而雷达识别的方案成本高。车载监控护栏的方法无法做到实时监控。此外，目前的方法对护栏被遮挡的情况没有特别的识别能力，误报率高，然而护栏被遮挡往往是过往车辆人员因为相机视觉遮挡导致的，并不是真正的异常。
发明内容
本发明解决的问题是如何对异常的护栏进行识别监测。
为解决上述问题，本发明提供一种语义分割与边缘检测模型建立方法，包括：获取不同视角下不同道路的监控图像，根据所述监控图像构建监控道路数据集；设置损失函数，其中，所述损失函数包括语义分割损失函数和边缘检测损失函数；根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图，直到所述损失函数满足预设条件时，根据训练完成的所述卷积神经网络建立语义分割与边缘检测模型。
本发明所述的语义分割与边缘检测模型建立方法，通过对语义分割和边缘检测两通道相互融合促进的网络进行训练建立语义分割与边缘检测模型，提高语义分割的精细度和边缘检测的准确度，从而能够根据模型对异常护栏进行有效的识别监测。
可选地，所述根据所述监控图像构建监控道路数据集包括：对所述监控图像中的车辆、道路、车道线、行人和护栏进行标注确定标注结果，根据所述标注结果构建所述监控道路数据集，其中，所述标注结果包含每张所述监控图像对应的分割图像真值和精确边缘图。
本发明所述的语义分割与边缘检测模型建立方法，通过对监控图像进行标注并根据标注结果构建监控道路数据集，将标注结果与模型输出的语义分割图和边缘检测图比对确定本次训练的准确度，有效保证建立最优模型。
可选地，所述语义分割损失函数的设置过程包括：采用像素的交叉熵损失函数作为基础损失函数，并构造不同权重函数作为附加损失函数，根据所述基础损失函数和所述附加损失函数确定所述语义分割损失函数。
本发明所述的语义分割与边缘检测模型建立方法，通过交叉熵损失函数和权重函数确定语义分割损失函数，有效保证了对护栏边界的识别监测，进而对异常护栏进行有效的识别监测。
可选地，所述边缘检测损失函数的设置过程包括：根据交叉熵结合边缘梯度函数和距离损失函数确定所述边缘检测损失函数。
本发明所述的语义分割与边缘检测模型建立方法，通过采用交叉熵结合边缘梯度函数和距离损失函数确定边缘检测损失函数，提高了模型预测的准确度，进而对异常护栏进行有效的识别监测。
可选地，所述监控道路数据集包括训练集和测试集；所述根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图包括：将所述训练集输入所述卷积神经网络进行编码特征提取确定编码输出；对所述编码输出进行解码分割确定并输出所述语义分割图；对所述编码输出进行解码边缘检测确定并输出所述边缘检测图。
本发明所述的语义分割与边缘检测模型建立方法，通过依次对训练集进行编码特征提取确定编码输出，再对编码输出进行解码分割确定并输出语义分割图，最后对编码输出进行解码边缘检测确定并输出边缘检测图，通过输出的语义分割图和边缘检测图构建模型，从而对异常护栏进行有效的识别监测。
可选地，所述根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图还包括：根据所述损失函数，将输出的所述语义分割图和所述边缘检测图与所述监控图像的标注结果比对以确定网络误差；根据所述网络误差对所述卷积神经网络进行迭代优化，并在每次迭代优化时采用所述测试集验证本次迭代优化的准确度。
本发明所述的语义分割与边缘检测模型建立方法，通过将输出的语义分割图和边缘检测图与监控图像的标注结果比对以确定网络误差，根据网络误差对卷积神经网络进行迭代优化，并在每次迭代优化时采用测试集验证本次迭代优化的准确度，提高了模型预测的准确度，进而对异常护栏进行有效的识别监测。
本发明还提供一种护栏异常监测方法，包括：将正常护栏的监控图像输入到如上所述的语义分割与边缘检测模型建立方法建立的语义分割与边缘检测模型中，得到语义分割图和边缘检测图，根据所述语义分割图和所述边缘检测图确定正常护栏轮廓，根据所述正常护栏轮廓确定每个所述正常护栏的质心位置信息以确定基准护栏队列；根据所述边缘检测图确定消失点，根据所述消失点和所述正常护栏轮廓的角点确定所述正常护栏的状态表达式；将待检测护栏的监控图像输入到所述语义分割与边缘检测模型中，得到待检测护栏轮廓，根据所述待检测护栏轮廓确定每个所述待检测护栏的质心位置信息以确定检测队列；将所述检测队列中所述待检测护栏的质心位置信息与所述基准护栏队列中所述正常护栏的质心位置信息进行匈牙利最优匹配，以确定与所述正常护栏匹配的所述待检测护栏，根据匹配的所述待检测护栏轮廓的角点确定所述待检测护栏的状态表达式；根据所述待检测护栏的状态表达式和所述正常护栏的状态表达式确定所述待检测护栏是否异常。
本发明所述的护栏异常监测方法，通过将待检测护栏的监控图像输入到语义分割与边缘检测模型进而确定待检测护栏是否异常，对异常护栏进行有效的识别监测。
可选地，所述根据所述语义分割图和所述边缘检测图确定护栏轮廓包括：从所述边缘检测图提取所述正常护栏的边缘线段，并根据所述语义分割图过滤非护栏区域的边缘线段，根据过滤后的边缘线段寻找完整四边形轮廓以确定所述护栏轮廓。
本发明所述的护栏异常监测方法，通过语义分割图和边缘检测图确定护栏轮廓，进而能够根据护栏轮廓确定正常护栏的状态表达式用于异常监测；同时由于充分依靠护栏的矩形特点完成了相机的标定，可以直接应用到不同视角、不同位置的相机上，极大减少了相机标定的工作量，有利于大规模部署以及维护。
可选地，所述根据所述边缘检测图确定消失点包括：将所述边缘检测图输入霍夫变换直线检测器中，得到多条直线；将多条所述直线转换到菱形空间，利用菱形空间投票得到第一消失点和第二消失点，根据所述第一消失点和所述第二消失点确定第三消失点。
本发明所述的护栏异常监测方法，通过菱形空间投票得到第一消失点和第二消失点，根据第一消失点和第二消失点确定第三消失点，进而根据消失点对异常护栏进行有效的识别监测。
可选地，所述根据所述消失点和所述正常护栏轮廓的角点确定正常护栏的状态表达式包括：将所述正常护栏轮廓的四个角点分别与三个所述消失点相连，使每个所述消失点分别包括四条连线；计算每个所述消失点的相邻连线之间的夹角以确定所述正常护栏的状态表达式。
本发明所述的护栏异常监测方法，通过消失点的相邻连线之间的夹角确定正常护栏的状态表达式，进而能够根据消失点连线的变化进行异常护栏识别监测。
可选地，所述根据匹配的所述待检测护栏轮廓的角点确定所述待检测护栏的状态表达式包括：将所述待检测护栏轮廓的四个角点分别与三个所述消失点相连，使每个所述消失点分别包括四条连线；计算每个所述消失点的相邻连线之间的夹角以确定所述待检测护栏的状态表达式。
本发明所述的护栏异常监测方法，通过消失点的相邻连线之间的夹角确定待检测护栏的状态表达式，进而能够根据消失点连线的变化进行异常护栏识别监测。
可选地，所述根据所述待检测护栏的状态表达式和所述正常护栏的状态表达式确定所述待检测护栏是否异常包括：对所述待检测护栏的状态表达式与所述正常护栏的状态表达式取差值，其中，每个所述消失点包括四个所述差值；若所述消失点的两个及以上所述差值大于预设阈值，则该消失点连线异常；若三个所述消失点中有两个所述消失点连线异常，则确定所述待检测护栏异常。
本发明所述的护栏异常监测方法，通过消失点与角点连线之间的角度变化来判断消失点的连线是否发生变化，以此判断护栏是否发生偏移或倾斜等情况，实现对异常护栏的识别监测。
附图说明
图1为本发明实施例的语义分割与边缘检测模型建立方法的示意图；
图2为本发明实施例的护栏异常监测方法的示意图一；
图3为本发明实施例的护栏异常监测方法的示意图二；
图4为本发明实施例的语义分割与边缘检测模型训练的网络结构图；
图5为本发明实施例的消失点示意图；
图6为本发明实施例的监控图像的标注结果。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
如图1所示，本发明实施例提供一种语义分割与边缘检测模型建立方法，包括：获取不同视角下不同道路的监控图像，根据所述监控图像构建监控道路数据集；设置损失函数，其中，所述损失函数包括语义分割损失函数和边缘检测损失函数；根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图，直到所述损失函数满足预设条件时，根据训练完成的所述卷积神经网络建立语义分割与边缘检测模型。
具体地，在本实施例中，语义分割与边缘检测模型建立方法包括：采集不同视角下不同道路的监控图像，根据监控图像构建监控道路数据集，其中，可以按照7:3的比例划分训练集和测试集。其中，在获取监控图像时，直接利用城市监控视频数据，无需现场安装任何设备，节省大量成本。
设置损失函数，其中，损失函数包括语义分割损失函数和边缘检测损失函数，从而构造语义分割和边缘检测两通道相互融合促进的网络，有效促进了网络训练，从而提高语义分割的精细度和边缘检测的准确度，进而有效识别异常护栏。
根据监控道路数据集和损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图，直到损失函数满足预设条件时，根据训练完成的卷积神经网络建立语义分割与边缘检测模型（后文简称模型）。其中，通过基于深度学习的语义信息，能够准确地识别出道路上不同的物体，根据高层语义信息可以进一步对异常状态进行识别，判断是否为其他物体遮挡了护栏，减少误报率。
在本实施例中，通过对语义分割和边缘检测两通道相互融合促进的网络进行训练建立语义分割与边缘检测模型，提高语义分割的精细度和边缘检测的准确度，从而能够根据模型对异常护栏进行有效的识别监测。
可选地，所述根据所述监控图像构建监控道路数据集包括：对所述监控图像中的车辆、道路、车道线、行人和护栏进行标注确定标注结果，根据所述标注结果构建所述监控道路数据集，其中，所述标注结果包含每张所述监控图像对应的分割图像真值和精确边缘图。
具体地，在本实施例中，结合图6（经过灰度处理，原为彩色图像）所示，根据监控图像构建监控道路数据集包括：对监控图像中的车辆、道路、车道线、行人和护栏进行标注确定标注结果，例如采用CVAT轮廓标注工具进行精细标注，其中，护栏可以分为完整护栏和非完整护栏两种类型，标注结果包含每张监控图像对应的分割图像真值和精确边缘图，用作与模型输出的语义分割图和边缘检测图比对；根据标注结果构建监控道路数据集作为模型训练的输入。通过对监控图像进行标注并根据标注结果构建监控道路数据集，将标注结果与模型输出的语义分割图和边缘检测图比对确定本次训练的准确度，有效保证建立最优模型。
在本实施例中，通过对监控图像进行标注并根据标注结果构建监控道路数据集，将标注结果与模型输出的语义分割图和边缘检测图比对确定本次训练的准确度，有效保证建立最优模型。
可选地，所述语义分割损失函数的设置过程包括：采用像素的交叉熵损失函数作为基础损失函数，并构造不同权重函数作为附加损失函数，根据所述基础损失函数和所述附加损失函数确定所述语义分割损失函数。
具体地，在本实施例中，语义分割损失函数的设置过程包括：采用像素的交叉熵损失函数作为基础损失函数，并构造不同权重函数作为附加损失函数，根据基础损失函数和附加损失函数确定语义分割损失函数。由于交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。通过交叉熵损失函数和权重函数确定语义分割损失函数，有效保证了对护栏边界的识别监测，进而对异常护栏进行有效的识别监测。
其中，语义分割损失函数Ls可表示为：
Figure 240670DEST_PATH_IMAGE001
其中，m,n代表图像长和宽，C代表类别数，Y表示概率，w代表权重函数。
在本实施例中，通过交叉熵损失函数和权重函数确定语义分割损失函数，有效保证了对护栏边界的识别监测，进而对异常护栏进行有效的识别监测。
可选地，所述边缘检测损失函数的设置过程包括：根据交叉熵结合边缘梯度函数和距离损失函数确定所述边缘检测损失函数。
具体地，在本实施例中，边缘检测损失函数的设置过程包括：根据交叉熵结合边缘梯度函数和距离损失函数确定边缘检测损失函数。通过采用交叉熵结合边缘梯度函数和距离损失函数确定边缘检测损失函数，提高了模型预测的准确度，进而对异常护栏进行有效的识别监测。
其中，边缘检测损失函数Le可表示为：
Figure 71092DEST_PATH_IMAGE002
其中，D(x,y)表示在真实标签中该点周围与最近边缘点的距离，
Figure 406258DEST_PATH_IMAGE003
和
Figure 807284DEST_PATH_IMAGE004
分别表示该点x，y方向的边缘梯度。
在本实施例中，通过采用交叉熵结合边缘梯度函数和距离损失函数确定边缘检测损失函数，提高了模型预测的准确度，进而对异常护栏进行有效的识别监测。
可选地，所述监控道路数据集包括训练集和测试集；所述根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图包括：将所述训练集输入所述卷积神经网络进行编码特征提取确定编码输出；对所述编码输出进行解码分割确定并输出所述语义分割图；对所述编码输出进行解码边缘检测确定并输出所述边缘检测图。
具体地，在本实施例中，根据监控道路数据集和损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图包括：将训练集输入卷积神经网络进行编码特征提取确定编码输出；对编码输出进行解码分割确定并输出语义分割图；对编码输出进行解码边缘检测确定并输出边缘检测图。通过依次对训练集进行编码特征提取确定编码输出，再对编码输出进行解码分割确定并输出语义分割图，最后对编码输出进行解码边缘检测确定并输出边缘检测图，通过输出的语义分割图和边缘检测图构建模型，从而对异常护栏进行有效的识别监测。
结合图4所示，网络总体架构采用编码-解码框架，其中模型将分为三个模块（编码特征提取模块-解码分割模块-解码边缘检测模块）。
编码特征提取模块：将输入图像通过卷积神经网络进行特征提取，得到深度特征。编码特征提取模块由深度卷积组件和特征多尺度融合组件组成。深度卷积组件采用ResNeXt-50作为骨干网络，输入为图像数据，输出为特征图。特征多尺度融合组件由ASPP单元组成，每个单元由3个不同的空洞卷积核以及拼接全局池化层组成，空洞率分别为3,6,12。该组件输入为深度卷积组件三个不同的特征层conv-3，conv-4，conv-5，对应MFSP-1，MFSP-2，MFSP-3。MFSP-1后接一个深度可分离卷积层与MFSP-2进行相连，再接一个深度可分离卷积层与MFSP-3相连，最终得到编码特征特权的编码输出Encoder-O。
解码分割模块：编码输出Encoder-O上采样4倍与conv-5大小一致进行拼接，融合底层特征和高层特征，得到LH-S特征图，后接一个卷积层，并与解码边缘检测模块中LH-E拼接，后接一个卷积层，并上采样至原图大小作为最终图像分割预测输出。
解码边缘检测模块： MFSP-1，MFSP-2各接一个深度可分离卷积层下采样至与conv-5大小一致，再与conv-5和Encoder-0拼接，得到LH-E特征图，后接一个卷积层，并与解码边缘检测模块中LH-S拼接，再接一个卷积层，并上采样至原图大小作为最终图像边缘预测输出。
在本实施例中，通过依次对训练集进行编码特征提取确定编码输出，再对编码输出进行解码分割确定并输出语义分割图，最后对编码输出进行解码边缘检测确定并输出边缘检测图，通过输出的语义分割图和边缘检测图构建模型，从而对异常护栏进行有效的识别监测。
可选地，所述根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图还包括：根据所述损失函数，将输出的所述语义分割图和所述边缘检测图与所述监控图像的标注结果比对以确定网络误差；根据所述网络误差对所述卷积神经网络进行迭代优化，并在每次迭代优化时采用所述测试集验证本次迭代优化的准确度。
具体地，在本实施例中，根据监控道路数据集和损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图还包括：根据损失函数，将输出的语义分割图和边缘检测图与监控图像的标注结果比对以确定网络误差；根据网络误差对卷积神经网络进行迭代优化，并在每次迭代优化时采用测试集验证本次迭代优化的准确度。其中，训练集进行训练时，参数可以是：优化函数为Adam，基础学习率为1e-4，总迭代次数为2000。
在本实施例中，通过将输出的语义分割图和边缘检测图与监控图像的标注结果比对以确定网络误差，根据网络误差对卷积神经网络进行迭代优化，并在每次迭代优化时采用测试集验证本次迭代优化的准确度，提高了模型预测的准确度，进而对异常护栏进行有效的识别监测。
本发明另一实施例提供一种护栏异常监测方法，包括：将正常护栏的监控图像输入到如上所述的语义分割与边缘检测模型建立方法建立的语义分割与边缘检测模型中，得到语义分割图和边缘检测图，根据所述语义分割图和所述边缘检测图确定正常护栏轮廓，根据所述正常护栏轮廓确定每个所述正常护栏的质心位置信息以确定基准护栏队列；根据所述边缘检测图确定消失点，根据所述消失点和所述正常护栏轮廓的角点确定所述正常护栏的状态表达式；将待检测护栏的监控图像输入到所述语义分割与边缘检测模型中，得到待检测护栏轮廓，根据所述待检测护栏轮廓确定每个所述待检测护栏的质心位置信息以确定检测队列；将所述检测队列中所述待检测护栏的质心位置信息与所述基准护栏队列中所述正常护栏的质心位置信息进行匈牙利最优匹配，以确定与所述正常护栏匹配的所述待检测护栏，根据匹配的所述待检测护栏轮廓的角点确定所述待检测护栏的状态表达式；根据所述待检测护栏的状态表达式和所述正常护栏的状态表达式确定所述待检测护栏是否异常。
具体地，在本实施例中，结合图2和图3所示，护栏异常监测方法包括：将正常护栏的监控图像输入到语义分割与边缘检测模型中，得到语义分割图和边缘检测图，根据语义分割图和边缘检测图确定正常护栏轮廓，根据正常护栏轮廓确定每个正常护栏的质心位置信息以确定基准护栏队列，其中，图3中的测试图像即待检测护栏的监控图像。现有技术中视觉异常检测方法是将正常物体进行标注，然后对测试图像进行图像比对判定是否异常，但是在真实监控场景中，由于二维图像缺乏深度信息，加上受到光照、气象、车辆遮挡等各种因素影响，简单利用图像比对进行异常比对的方法准确率低，鲁棒性差。而本实施例中，结合语义信息和边缘检测信息，构建图像消失点，利用消失点以及道路语义信息来识别护栏正常、缺失、遮挡等情况，从而对异常护栏进行有效的识别监测。同时，直接利用城市监控视频数据，无需现场安装任何设备，节省大量成本。
根据边缘检测图确定消失点（vanishing point，vp），根据消失点和正常护栏轮廓的角点确定正常护栏的状态表达式，即计算每个消失点的相邻连线之间的夹角确定正常护栏的状态表达式。
将待检测护栏的监控图像输入到语义分割与边缘检测模型中，得到待检测护栏轮廓，根据待检测护栏轮廓确定每个待检测护栏的质心位置信息以确定检测队列。
将检测队列中待检测护栏的质心位置信息与基准护栏队列中正常护栏的质心位置信息进行匈牙利最优匹配，以确定匹配的待检测护栏，根据匹配的待检测护栏轮廓的角点确定待检测护栏的状态表达式。匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，通过匈牙利最优匹配确定匹配的待检测护栏，对异常护栏进行有效的识别监测。
根据待检测护栏的状态表达式和正常护栏的状态表达式确定待检测护栏是否异常。即通过护栏角点与消失点的连线的变化，来判断护栏状态是否异常，鲁棒性高，并且计算参数少，快速有效。
在本实施例中，通过将待检测护栏的监控图像输入到语义分割与边缘检测模型进而确定待检测护栏是否异常，对异常护栏进行有效的识别监测。
可选地，所述根据所述语义分割图和所述边缘检测图确定护栏轮廓包括：从所述边缘检测图提取所述正常护栏的边缘线段，并根据所述语义分割图过滤非护栏区域的边缘线段，根据过滤后的边缘线段寻找完整四边形轮廓以确定所述护栏轮廓。
具体地，在本实施例中，根据语义分割图和边缘检测图确定护栏轮廓包括：从边缘检测图提取正常护栏的边缘线段，并根据语义分割图过滤非护栏区域的边缘线段，根据过滤后的边缘线段寻找完整四边形轮廓以确定护栏轮廓。通过语义分割图和边缘检测图确定护栏轮廓，进而能够根据护栏轮廓确定正常护栏的状态表达式用于异常监测；同时由于充分依靠护栏的矩形特点完成了相机的标定，可以直接应用到不同视角、不同位置的相机上，极大减少了相机标定的工作量，有利于大规模部署以及维护。
在本实施例中，通过语义分割图和边缘检测图确定护栏轮廓，进而能够根据护栏轮廓确定正常护栏的状态表达式用于异常监测；同时由于充分依靠护栏的矩形特点完成了相机的标定，可以直接应用到不同视角、不同位置的相机上，极大减少了相机标定的工作量，有利于大规模部署以及维护。
可选地，所述根据所述边缘检测图确定消失点包括：将所述边缘检测图输入霍夫变换直线检测器中，得到多条直线；将多条所述直线转换到菱形空间，利用菱形空间投票得到第一消失点和第二消失点，根据所述第一消失点和所述第二消失点确定第三消失点。
具体地，在本实施例中，根据边缘检测图确定消失点包括：将边缘检测图输入霍夫变换直线检测器中，得到多条直线；将多条直线转换到菱形空间，利用菱形空间投票得到第一消失点和第二消失点，根据第一消失点和第二消失点确定第三消失点。
结合图5所示，将边缘检测图输入霍夫变换直线检测器中，得到一系列的直线。将这些直线转换到菱形空间，利用菱形空间投票得到第一消失点vp1，删除第一消失点的连线，再一次投票得到第二消失点vp2。由于三维坐标系下，与光心的连线是互相垂直的，也就是两个向量点乘等于0，因此可以求得焦距，进一步可以利用三个消失点两两垂直，确定第三消失点vp3。通过菱形空间投票得到第一消失点和第二消失点，根据第一消失点和第二消失点确定第三消失点，进而根据消失点对异常护栏进行有效的识别监测。
其中，对于消失点的确定，也可以使用其他手动标定或者其他在线标定的方法求取相机内参来确定消失点。
在本实施例中，通过菱形空间投票得到第一消失点和第二消失点，根据第一消失点和第二消失点确定第三消失点，进而根据消失点对异常护栏进行有效的识别监测。
可选地，所述根据所述消失点和所述正常护栏轮廓的角点确定正常护栏的状态表达式包括：将所述正常护栏轮廓的四个角点分别与三个所述消失点相连，使每个所述消失点分别包括四条连线；计算每个所述消失点的相邻连线之间的夹角以确定所述正常护栏的状态表达式。
具体地，在本实施例中，根据消失点和正常护栏轮廓的角点确定正常护栏的状态表达式包括：将正常护栏轮廓的四个角点分别与三个消失点相连，使每个消失点分别包括四条连线；计算每个消失点的相邻连线之间的夹角以确定正常护栏的状态表达式。
结合图5所示，将正常护栏轮廓的四个角点与三个消失点（即第一消失点、第二消失点和第三消失点）相连，即每个消失点连接四条线，计算每个消失点每相邻两条线的夹角∠1至∠4从而确定正常护栏的状态表达式。由于护栏发生偏移，倾斜的情况下，与消失点的连线会发生变化，通过消失点的相邻连线之间的夹角确定正常护栏的状态表达式，进而能够根据消失点连线的变化进行异常护栏识别监测。
在本实施例中，通过消失点的相邻连线之间的夹角确定正常护栏的状态表达式，进而能够根据消失点连线的变化进行异常护栏识别监测。
可选地，所述根据匹配的所述待检测护栏轮廓的角点确定所述待检测护栏的状态表达式包括：将所述待检测护栏轮廓的四个角点分别与三个所述消失点相连，使每个所述消失点分别包括四条连线；计算每个所述消失点的相邻连线之间的夹角以确定所述待检测护栏的状态表达式。
具体地，在本实施例中，根据匹配的待检测护栏轮廓的角点确定待检测护栏的状态表达式包括：将待检测护栏轮廓的四个角点分别与三个消失点相连，使每个消失点分别包括四条连线；计算每个消失点的相邻连线之间的夹角以确定待检测护栏的状态表达式。同样地，对于待检测护栏，通过消失点的相邻连线之间的夹角确定待检测护栏的状态表达式，进而能够根据消失点连线的变化进行异常护栏识别监测。
在本实施例中，通过消失点的相邻连线之间的夹角确定待检测护栏的状态表达式，进而能够根据消失点连线的变化进行异常护栏识别监测。
可选地，所述根据所述待检测护栏的状态表达式和所述正常护栏的状态表达式确定所述待检测护栏是否异常包括：对所述待检测护栏的状态表达式与所述正常护栏的状态表达式取差值，其中，每个所述消失点包括四个所述差值；若所述消失点的两个及以上所述差值大于预设阈值，则该消失点连线异常；若三个所述消失点中有两个所述消失点连线异常，则确定所述待检测护栏异常。
具体地，在本实施例中，根据待检测护栏的状态表达式和正常护栏的状态表达式确定待检测护栏是否异常包括：对待检测护栏的状态表达式与正常护栏的状态表达式取差值，其中，每个消失点包括四个差值；若消失点的两个及以上差值大于预设阈值，则该消失点连线异常；若三个消失点中有两个消失点连线异常，则确定待检测护栏异常。即将待检测护栏对应的∠1至∠4与正常护栏对应的∠1至∠4分别对应进行比对确定四个差值，若其中两个及以上差值大于阈值，则该消失点连线异常，当存在两个消失点连线异常，则确定待检测护栏异常。通过消失点与角点连线之间的角度变化来判断消失点的连线是否发生变化，以此判断护栏是否发生偏移或倾斜等情况，实现对异常护栏的识别监测。
另外，结合图3所示，对于未被匹配的基准护栏区域，如果该区域存在行人、车辆的语义信息覆盖，则被认为是被暂时性遮挡的状态，如果该区域连续3帧语义信息都为道路，则表明该区域的护栏发生缺失异常。
在本实施例中，通过消失点与角点连线之间的角度变化来判断消失点的连线是否发生变化，以此判断护栏是否发生偏移或倾斜等情况，实现对异常护栏的识别监测。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (12)

1.一种语义分割与边缘检测模型建立方法，其特征在于，包括：
获取不同视角下不同道路的监控图像，根据所述监控图像构建监控道路数据集；
设置损失函数，其中，所述损失函数包括语义分割损失函数和边缘检测损失函数；
根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图，直到所述损失函数满足预设条件时，根据训练完成的所述卷积神经网络建立语义分割与边缘检测模型。
2.根据权利要求1所述的语义分割与边缘检测模型建立方法，其特征在于，所述根据所述监控图像构建监控道路数据集包括：
对所述监控图像中的车辆、道路、车道线、行人和护栏进行标注确定标注结果，根据所述标注结果构建所述监控道路数据集，其中，所述标注结果包含每张所述监控图像对应的分割图像真值和精确边缘图。
3.根据权利要求1所述的语义分割与边缘检测模型建立方法，其特征在于，所述语义分割损失函数的设置过程包括：
采用像素的交叉熵损失函数作为基础损失函数，并构造不同权重函数作为附加损失函数，根据所述基础损失函数和所述附加损失函数确定所述语义分割损失函数。
4.根据权利要求1所述的语义分割与边缘检测模型建立方法，其特征在于，所述边缘检测损失函数的设置过程包括：
根据交叉熵结合边缘梯度函数和距离损失函数确定所述边缘检测损失函数。
5.根据权利要求1所述的语义分割与边缘检测模型建立方法，其特征在于，所述监控道路数据集包括训练集和测试集；所述根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图包括：
将所述训练集输入所述卷积神经网络进行编码特征提取确定编码输出；
对所述编码输出进行解码分割确定并输出所述语义分割图；
对所述编码输出进行解码边缘检测确定并输出所述边缘检测图。
6.根据权利要求5所述的语义分割与边缘检测模型建立方法，其特征在于，所述根据所述监控道路数据集和所述损失函数对预设的卷积神经网络进行训练输出语义分割图和边缘检测图还包括：
根据所述损失函数，将输出的所述语义分割图和所述边缘检测图与所述监控图像的标注结果比对以确定网络误差；
根据所述网络误差对所述卷积神经网络进行迭代优化，并在每次迭代优化时采用所述测试集验证本次迭代优化的准确度。
7.一种护栏异常监测方法，其特征在于，包括：
将正常护栏的监控图像输入到权利要求1至6任一项所述的语义分割与边缘检测模型建立方法建立的语义分割与边缘检测模型中，得到语义分割图和边缘检测图，根据所述语义分割图和所述边缘检测图确定正常护栏轮廓，根据所述正常护栏轮廓确定每个所述正常护栏的质心位置信息以确定基准护栏队列；
根据所述边缘检测图确定消失点，根据所述消失点和所述正常护栏轮廓的角点确定所述正常护栏的状态表达式；
将待检测护栏的监控图像输入到所述语义分割与边缘检测模型中，得到待检测护栏轮廓，根据所述待检测护栏轮廓确定每个所述待检测护栏的质心位置信息以确定检测队列；
将所述检测队列中所述待检测护栏的质心位置信息与所述基准护栏队列中所述正常护栏的质心位置信息进行匈牙利最优匹配，以确定与所述正常护栏匹配的所述待检测护栏，根据匹配的所述待检测护栏轮廓的角点确定所述待检测护栏的状态表达式；
根据所述待检测护栏的状态表达式和所述正常护栏的状态表达式确定所述待检测护栏是否异常。
8.根据权利要求7所述的护栏异常监测方法，其特征在于，所述根据所述语义分割图和所述边缘检测图确定护栏轮廓包括：
从所述边缘检测图提取所述正常护栏的边缘线段，并根据所述语义分割图过滤非护栏区域的边缘线段，根据过滤后的边缘线段寻找完整四边形轮廓以确定所述护栏轮廓。
9.根据权利要求7所述的护栏异常监测方法，其特征在于，所述根据所述边缘检测图确定消失点包括：
将所述边缘检测图输入霍夫变换直线检测器中，得到多条直线；
将多条所述直线转换到菱形空间，利用菱形空间投票得到第一消失点和第二消失点，根据所述第一消失点和所述第二消失点确定第三消失点。
10.根据权利要求9所述的护栏异常监测方法，其特征在于，所述根据所述消失点和所述正常护栏轮廓的角点确定正常护栏的状态表达式包括：
将所述正常护栏轮廓的四个角点分别与三个所述消失点相连，使每个所述消失点分别包括四条连线；
计算每个所述消失点的相邻连线之间的夹角以确定所述正常护栏的状态表达式。
11.根据权利要求9所述的护栏异常监测方法，其特征在于，所述根据匹配的所述待检测护栏轮廓的角点确定所述待检测护栏的状态表达式包括：
将所述待检测护栏轮廓的四个角点分别与三个所述消失点相连，使每个所述消失点分别包括四条连线；
计算每个所述消失点的相邻连线之间的夹角以确定所述待检测护栏的状态表达式。
12.根据权利要求11所述的护栏异常监测方法，其特征在于，所述根据所述待检测护栏的状态表达式和所述正常护栏的状态表达式确定所述待检测护栏是否异常包括：
对所述待检测护栏的状态表达式与所述正常护栏的状态表达式取差值，其中，每个所述消失点包括四个所述差值；
若所述消失点的两个及以上所述差值大于预设阈值，则该消失点连线异常；
若三个所述消失点中有两个所述消失点连线异常，则确定所述待检测护栏异常。
CN202110489926.1A 2021-05-06 2021-05-06 一种语义分割与边缘检测模型建立及护栏异常监测方法 Active CN112883948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110489926.1A CN112883948B (zh) 2021-05-06 2021-05-06 一种语义分割与边缘检测模型建立及护栏异常监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110489926.1A CN112883948B (zh) 2021-05-06 2021-05-06 一种语义分割与边缘检测模型建立及护栏异常监测方法

Publications (2)

Publication Number Publication Date
CN112883948A true CN112883948A (zh) 2021-06-01
CN112883948B CN112883948B (zh) 2021-09-03

Family

ID=76040119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110489926.1A Active CN112883948B (zh) 2021-05-06 2021-05-06 一种语义分割与边缘检测模型建立及护栏异常监测方法

Country Status (1)

Country Link
CN (1) CN112883948B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807293A (zh) * 2021-09-24 2021-12-17 纵目科技(重庆)有限公司 减速带的检测方法、系统、设备及计算机可读存储介质
CN114928720A (zh) * 2022-05-13 2022-08-19 重庆云凯科技有限公司 一种停车道闸杆的状态的检测系统及方法
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107389026A (zh) * 2017-06-12 2017-11-24 江苏大学 一种基于固定点射影变换的单目视觉测距方法
WO2018111940A1 (en) * 2016-12-12 2018-06-21 Danny Ziyi Chen Segmenting ultrasound images
CN108446616A (zh) * 2018-03-09 2018-08-24 西安电子科技大学 基于全卷积神经网络集成学习的道路提取方法
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN109583345A (zh) * 2018-11-21 2019-04-05 平安科技（深圳）有限公司 道路识别方法、装置、计算机装置及计算机可读存储介质
CN111462149A (zh) * 2020-03-05 2020-07-28 中国地质大学（武汉） 一种基于视觉显著性的实例人体解析方法
CN111797803A (zh) * 2020-07-15 2020-10-20 郑州昂达信息科技有限公司 基于人工智能和图像处理的道路护栏异常检测方法
CN111881752A (zh) * 2020-06-27 2020-11-03 武汉中海庭数据技术有限公司 一种护栏检测分类方法、装置、电子设备及存储介质
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112116620A (zh) * 2020-09-16 2020-12-22 北京交通大学 一种室内图像语义分割与涂装展示的方法
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112598080A (zh) * 2020-12-30 2021-04-02 广州大学华软软件学院 一种基于注意力的宽度图卷积神经网络模型及其训练方法
CN112750128A (zh) * 2019-12-13 2021-05-04 腾讯科技（深圳）有限公司 图像语义分割方法、装置、终端及可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018111940A1 (en) * 2016-12-12 2018-06-21 Danny Ziyi Chen Segmenting ultrasound images
CN107389026A (zh) * 2017-06-12 2017-11-24 江苏大学 一种基于固定点射影变换的单目视觉测距方法
CN108446616A (zh) * 2018-03-09 2018-08-24 西安电子科技大学 基于全卷积神经网络集成学习的道路提取方法
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN109583345A (zh) * 2018-11-21 2019-04-05 平安科技（深圳）有限公司 道路识别方法、装置、计算机装置及计算机可读存储介质
CN112750128A (zh) * 2019-12-13 2021-05-04 腾讯科技（深圳）有限公司 图像语义分割方法、装置、终端及可读存储介质
CN111462149A (zh) * 2020-03-05 2020-07-28 中国地质大学（武汉） 一种基于视觉显著性的实例人体解析方法
CN111881752A (zh) * 2020-06-27 2020-11-03 武汉中海庭数据技术有限公司 一种护栏检测分类方法、装置、电子设备及存储介质
CN111797803A (zh) * 2020-07-15 2020-10-20 郑州昂达信息科技有限公司 基于人工智能和图像处理的道路护栏异常检测方法
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法
CN112116620A (zh) * 2020-09-16 2020-12-22 北京交通大学 一种室内图像语义分割与涂装展示的方法
CN112528878A (zh) * 2020-12-15 2021-03-19 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112598080A (zh) * 2020-12-30 2021-04-02 广州大学华软软件学院 一种基于注意力的宽度图卷积神经网络模型及其训练方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI WANG: "Embedding Structured Contour and Location Prior in Siamesed Fully Convolutional Networks for Road Detection", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS ( VOLUME: 19, ISSUE: 1, JAN. 2018)》 *
宋小娜 等: "结合语义边界信息的道路环境语义分割方法", 《计算机应用》 *
赵振东等: "一种采用空间特征编码的车道线检测方法", 《小型微型计算机系统》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807293A (zh) * 2021-09-24 2021-12-17 纵目科技(重庆)有限公司 减速带的检测方法、系统、设备及计算机可读存储介质
CN113807293B (zh) * 2021-09-24 2024-02-09 纵目科技(重庆)有限公司 减速带的检测方法、系统、设备及计算机可读存储介质
CN114928720A (zh) * 2022-05-13 2022-08-19 重庆云凯科技有限公司 一种停车道闸杆的状态的检测系统及方法
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法
CN115049936B (zh) * 2022-08-12 2022-11-22 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) 一种面向高分遥感影像的边界增强型语义分割方法

Also Published As

Publication number Publication date
CN112883948B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN112883948B (zh) 一种语义分割与边缘检测模型建立及护栏异常监测方法
Dhiman et al. Pothole detection using computer vision and learning
KR102197946B1 (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
CN108694386B (zh) 一种基于并联卷积神经网络的车道线检测方法
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
Gao et al. Detection and segmentation of cement concrete pavement pothole based on image processing technology
WO2013186662A1 (en) Multi-cue object detection and analysis
CN104951775A (zh) 基于视频技术的铁路道口防护区域安全智能识别方法
CN102708356A (zh) 一种基于复杂背景下的车牌自动定位和识别方法
Phan et al. Occlusion vehicle detection algorithm in crowded scene for traffic surveillance system
CN107918775B (zh) 一种辅助车辆安全驾驶的斑马线检测方法及系统
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
CN112464737A (zh) 道路标线的检测与识别方法、电子装置和存储介质
Fakhfakh et al. Weighted v-disparity approach for obstacles localization in highway environments
CN116259042A (zh) 基于图注意力的环视图像停车位检测方法及装置
CN114155518A (zh) 基于深度语义分割网络和图像矫正的高速路遮光板倾斜识别方法
Kahaki et al. Incident and traffic-bottleneck detection algorithm in high-resolution remote sensing imagery
Hsu et al. Detecting drivable space in traffic scene understanding
CN112686956A (zh) 一种城市道路信号灯杆倾斜故障的检测方法
Saha et al. License plate localization using vertical edge map and hough transform based technique
CN116681955B (zh) 用于交通护栏异常识别的方法及计算设备
Kumar et al. Lane and Vehicle Detection Using Hough Transform and YOLOv3
Subha et al. Analysis of deep learning methods for fracture segmentation of road surface under on encoder and decoder
CN111126261B (zh) 视频数据分析方法及装置、树莓派装置及可读存储介质
CN117274921A (zh) 用于交通护栏异常识别的方法及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant