CN110321897A - 基于图像语义分割识别非机动车异常行为的方法 - Google Patents

基于图像语义分割识别非机动车异常行为的方法 Download PDF

Info

Publication number
CN110321897A
CN110321897A CN201910610984.8A CN201910610984A CN110321897A CN 110321897 A CN110321897 A CN 110321897A CN 201910610984 A CN201910610984 A CN 201910610984A CN 110321897 A CN110321897 A CN 110321897A
Authority
CN
China
Prior art keywords
image
motor vehicle
semantic
abnormal behaviour
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910610984.8A
Other languages
English (en)
Inventor
王成中
齐艳铭
杨凡
邓川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SICHUAN JIUZHOU VIDEO TECHNOLOGY Co Ltd
Original Assignee
SICHUAN JIUZHOU VIDEO TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SICHUAN JIUZHOU VIDEO TECHNOLOGY Co Ltd filed Critical SICHUAN JIUZHOU VIDEO TECHNOLOGY Co Ltd
Priority to CN201910610984.8A priority Critical patent/CN110321897A/zh
Publication of CN110321897A publication Critical patent/CN110321897A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于图像语义分割识别非机动车异常行为的方法，包括获取非机动车图像；将获取的非机动车图像输入图像语义分割模型中，得到仅包含非机动车以及交通要素的图像；训练状态分类模型，利用训练好的状态分类模型对图像语义分割模型分割后的图像进行分类，并判断非机动车行为是否正常。本发明使用图像语义分割后的图像来判断非机动车的状态可以有效过滤图像背景中无用的干扰信息，增强识别的可靠性。

Description

基于图像语义分割识别非机动车异常行为的方法
技术领域
本发明涉及人工智能与智慧交通领域，特别是一种基于图像语义分割识别非机动车异常行为的方法。
背景技术
随着日常交通网络的多元化、复杂化，非机动车(自行车、电动车等)在交通道路上扮演着重要的角色。部分非机动车驾驶员交通规则意识淡薄，违规事故频发，所以建立针对非机动车异常行为的智慧交通监测系统的重要性与日俱增。而相比于机动车，非机动车具有体型小、无牌照、不易识别等特点。此外，由于非机动车体积小较为灵活，非机动车驾驶员更容易做出闯红灯、逆行、抢机动车道等违规行为。因此，识别和判断非机动车的异常行为就成为了一项新的技术挑战。
随着人工智能领域深度学习技术的发展和GPU运算能力的几何级扩张，利用大规模的数据来训练神经网络模型成为了一种可能，这无疑为解决非机动车异常行为的识别和判断问题提供了可靠的技术支撑。
非机动车异常行为的识别难点在于如何将非机动车在其所处的复杂背景中剖离出来并判断其行为状态，而传统的识别方法均为常规识别非机动车的类型和在交通道路上的坐标，并没有对非机动车的异常行为做出判断。
发明内容
为解决现有技术中存在的问题，本发明的目的是提供一种基于图像语义分割识别非机动车异常行为的方法，本发明具有识别可靠性高的优点。
为实现上述目的，本发明采用的技术方案是：一种基于图像语义分割识别非机动车异常行为的方法，包括以下步骤：
S1、获取非机动车图像；
S2、将获取的非机动车图像输入图像语义分割模型中，得到仅包含非机动车以及交通要素的图像；
S3、训练状态分类模型，利用训练好的状态分类模型对图像语义分割模型分割后的图像进行分类，并判断非机动车行为是否正常。
作为一种优选的实施方式，所述图像语义分割模型利用卷积层和池化层来抓取图像特征，再通过反卷积层将抓取的图像特征呈现出来，每个卷积层后面添加ReLU函数来增强图像语义分割模型的拟合能力，通过Dice coefficient损失函数来表示结果与真实值的差距。
作为另一种优选的实施方式，步骤S2中，图像语义分割模型对非机动车图像进行分割具体包括以下步骤：
S21、准备训练集与标签，训练集为真实的交通图像，标签为重点标出非机动车、道路、交通指示灯、斑马线要素的图片；
S22、将训练集与标签输入图像语义分割模型进行训练，获得一个图像语义分割器；
S23、将获取的非机动车图像输入图像语义分割器获得所需要的分割结果，即仅包含非机动车以及交通要素的图像。
作为另一种优选的实施方式，所述状态分类模型的训练过程如下：
数据预处理：对非机动车图像数据集中的样本图像进行预处理，使所有输入状态分类模型的图像大小保持一致，并用One-hot形式为样本图像中的正常行为图像和异常行为图像分别添加不同的标签label，作为状态分类模型的输入层；
搭建状态分类模型：包括与输入层依次连接的隐藏层和全连接层，所述隐藏层包括依次连接的第一卷积层、第一最大池化层、第二卷积层和第二最大池化层；
训练状态分类模型：将包含非机动车的图像分为两类，分别为非机动车正常行为图像和异常行为图像，并通过输入层统一图像大小和Ont-hot形式的贴标签，然后将分类后的图像数据分为训练集和验证集输入状态分类模型进行训练，卷积层中通过卷积核对图像映射获得图像特征，最大池化层用于对图像特征进行选择，全连接层通过对图像特征做加权求和，再使用Softmax分类器进行分类，得到非机动车行为是否异常的检测结果，训练过程中通过BP反向传播算法来更新卷积核矩阵。
作为另一种优选的实施方式，对样本图像进行预处理具体包括图像缩放、图像旋转和图像裁剪。
本发明的有益效果是：非机动车异常行为的识别难点在于如何将非机动车在其所处的复杂背景中剖离出来并判断其行为状态，而本发明通过图像语义分割将非机动车和交通要素(道路、交通指示灯、斑马线等)从背景中分割出来，再将其输入状态分类模型判断非机动车的行为是否异常，经过图像语义分割后的图像中仅包括非机动车以及判断其行为异常与否的要素，所以使用图像语义分割后的图像来判断非机动车的状态可以有效过滤图像背景中无用的干扰信息，增强识别的可靠性。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例中图像语义分割模型的结构示意图；
图3为本发明实施例中状态分类模型的结构示意图；
图4为本发明实施例中状态分类模型的卷积与池化的操作示意图；
图5为本发明实施例中状态分类模型训练流程图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例：
本实施例主要包括图像语义分割和行为分类两个方面，如图1所示，一种基于图像语义分割识别非机动车异常行为的方法，包括以下步骤：
S1、获取非机动车图像；
S2、将获取的非机动车图像输入图像语义分割模型中，得到仅包含非机动车以及交通要素的图像；
S3、训练状态分类模型，利用训练好的状态分类模型对图像语义分割模型分割后的图像进行分类，并判断非机动车行为是否正常。
图像语义分割：
为了对非机动车以及道路、交通灯等要素进行图像语义分割，本实施例提出了一种针对性的图像语义分割模型。由于一些交通要素比如路灯在图像中所占比例较小，所以卷积核的大小以及池化层的数量都必须适用于识别小面积的特征，因此本实施例的图像语义分割模型使用了3*3*3的卷积核，并且将池化层的数量设置为2，图像语义分割模型的结构示意图如图2所示。
图像语义分割模型利用卷积层和池化层来抓取图像特征，再通过反卷积层将抓取的特征呈现出来，每个卷积层后面添加ReLU函数来增强模型的拟合能力，通过Dicecoefficient损失函数来表示结果与真实值的差距。
非机动车以及道路要素的图像语义分割步骤为：
准备训练集与标签，训练集为真实的交通图像，而标签为重点标出非机动车、道路、交通灯等要素的图片。
将训练集与标签输入图像语义分割模型进行训练，获得一个图像语义分割器。
将交通图像输入图像语义分割器获得所需要的分割结果，即仅包含非机动车以及交通要素的图像。
状态分类：
本实施例通过构建状态分类模型对图像语义分割后的图像进行分类，以判断非机动车行为是否正常，具体包括：
数据预处理：
为了扩大训练集规模和提高状态分类模型的泛化能力，本实施例通过数据增强的操作来增加样本数量，包括图像缩放，图像旋转和图像裁剪。这样的预处理也可以平衡非机动车正常行为图像和异常行为图像(正反面样本)的数量，避免某一类别识别准确率过低的问题。
为了统一图像的大小便于后续的深度学习，本实施例利用Python中的PIL库来调整图像尺寸，使得所有输入状态分类模型的图像大小保持一致。此外，用One-hot形式为样本图像添加标签label，比如正常行为图像为[1,0],而异常行为图像为[0,1]。
状态分类模型的搭建：
本实施例采用的状态分类模型包括两个卷积层、两个最大池化层和一个全连接层，状态分类模型的结构示意图如图3所示。
输入层负责统一图像大小和Ont-hot贴标签的工作。卷积层中通过卷积核对图像的映射获得图像特征，最大池化层负责对显著特征的选择，卷积与池化操作示意如图4所示：
图4中输入的9*9矩阵代表一张图像，其中的数值代表每个像素点的灰度值。卷积操作中，卷积核按照从左到右从上到下的顺序分别与对应区域的像素矩阵进行点乘，获得卷积后的输出，即一个7*7的特征图。为了进一步获取特征图中的主要信息，对特征矩阵进行最大池化操作，即在特征矩阵取2*2区域内所有元素的最大值。值得注意的是，本实施例中所用图像的实际大小为256*256，图4仅用于解释原理，并不代表真实的图像尺寸与矩阵数值。卷积与池化都是通过线性运算构建的模型，网络逼近能力有限，为此本实施例调用非线性函数ReLU作为激励函数，增强状态分类模型的表达能力。全连接层在整个学习过程中起到分类的作用，通过对前面网络的特征做加权和，再使用Softmax分类器进行分类，得到非机动车行为是否异常的检测结果。
本实施例具体使用Keras搭建整个状态分类模型。Keras是一个基于Python的高层神经网络API，具有高度模块化，极简和可扩充特性，支持卷积、池化等模块的调用和实现。
状态分类模型的训练：
本实施例涉及的状态分类模型解决的是一个分类问题。首先将包含非机动车的图像分为两类，分别为非机动车正常行为图像和异常行为图像并贴上One-hot形式标签。然后将分类后数据中的80％作为训练集，20％作为验证集输入状态分类模型进行训练，通过BP反向传播算法来更新卷积核矩阵(权重矩阵)，获得理想的分类模型。状态分类模型的训练需要在有相当计算能力的GPU上进行，状态分类模型的训练过程如图5所示。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于图像语义分割识别非机动车异常行为的方法，其特征在于，包括以下步骤：
S1、获取非机动车图像；
S2、将获取的非机动车图像输入图像语义分割模型中，得到仅包含非机动车以及交通要素的图像；
S3、训练状态分类模型，利用训练好的状态分类模型对图像语义分割模型分割后的图像进行分类，并判断非机动车行为是否正常。
2.根据权利要求1所述的基于图像语义分割识别非机动车异常行为的方法，其特征在于，所述图像语义分割模型利用卷积层和池化层来抓取图像特征，再通过反卷积层将抓取的图像特征呈现出来，每个卷积层后面添加ReLU函数来增强图像语义分割模型的拟合能力，通过Dice coefficient损失函数来表示结果与真实值的差距。
3.根据权利要求2所述的基于图像语义分割识别非机动车异常行为的方法，其特征在于，步骤S2中，图像语义分割模型对非机动车图像进行分割具体包括以下步骤：
S21、准备训练集与标签，训练集为真实的交通图像，标签为重点标出非机动车、道路、交通指示灯、斑马线要素的图片；
S22、将训练集与标签输入图像语义分割模型进行训练，获得一个图像语义分割器；
S23、将获取的非机动车图像输入图像语义分割器获得所需要的分割结果，即仅包含非机动车以及交通要素的图像。
4.根据权利要求1所述的基于图像语义分割识别非机动车异常行为的方法，其特征在于，所述状态分类模型的训练过程如下：
数据预处理：对非机动车图像数据集中的样本图像进行预处理，使所有输入状态分类模型的图像大小保持一致，并用One-hot形式为样本图像中的正常行为图像和异常行为图像分别添加不同的标签label，作为状态分类模型的输入层；
搭建状态分类模型：包括与输入层依次连接的隐藏层和全连接层，所述隐藏层包括依次连接的第一卷积层、第一最大池化层、第二卷积层和第二最大池化层；
训练状态分类模型：将包含非机动车的图像分为两类，分别为非机动车正常行为图像和异常行为图像，并通过输入层统一图像大小和Ont-hot形式的贴标签，然后将分类后的图像数据分为训练集和验证集输入状态分类模型进行训练，卷积层中通过卷积核对图像映射获得图像特征，最大池化层用于对图像特征进行选择，全连接层通过对图像特征做加权求和，再使用Softmax分类器进行分类，得到非机动车行为是否异常的检测结果，训练过程中通过BP反向传播算法来更新卷积核矩阵。
5.根据权利要求4所述的基于图像语义分割识别非机动车异常行为的方法，其特征在于，对样本图像进行预处理具体包括图像缩放、图像旋转和图像裁剪。
CN201910610984.8A 2019-07-08 2019-07-08 基于图像语义分割识别非机动车异常行为的方法 Pending CN110321897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910610984.8A CN110321897A (zh) 2019-07-08 2019-07-08 基于图像语义分割识别非机动车异常行为的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610984.8A CN110321897A (zh) 2019-07-08 2019-07-08 基于图像语义分割识别非机动车异常行为的方法

Publications (1)

Publication Number Publication Date
CN110321897A true CN110321897A (zh) 2019-10-11

Family

ID=68121449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610984.8A Pending CN110321897A (zh) 2019-07-08 2019-07-08 基于图像语义分割识别非机动车异常行为的方法

Country Status (1)

Country Link
CN (1) CN110321897A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796883A (zh) * 2019-11-06 2020-02-14 山东浪潮人工智能研究院有限公司 一种基于图像识别的电动自行车违章提醒方法及装置
CN111178272A (zh) * 2019-12-30 2020-05-19 东软集团（北京）有限公司 一种识别驾驶员行为的方法、装置及设备
CN111539494A (zh) * 2020-07-08 2020-08-14 浙江浙能天然气运行有限公司 基于U-Net和SVM的水工保护损毁检测方法
CN111767831A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备及存储介质
CN111898475A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 非机动车的状态估计方法及装置、存储介质、电子装置
CN113129597A (zh) * 2019-12-31 2021-07-16 深圳云天励飞技术有限公司 一种机动车道违法车辆识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN109214349A (zh) * 2018-09-20 2019-01-15 天津大学 一种基于语义分割增强的物体检测方法
CN109770912A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于深度卷积神经网络的步态异常分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN109214349A (zh) * 2018-09-20 2019-01-15 天津大学 一种基于语义分割增强的物体检测方法
CN109770912A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于深度卷积神经网络的步态异常分类方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796883A (zh) * 2019-11-06 2020-02-14 山东浪潮人工智能研究院有限公司 一种基于图像识别的电动自行车违章提醒方法及装置
CN111178272A (zh) * 2019-12-30 2020-05-19 东软集团（北京）有限公司 一种识别驾驶员行为的方法、装置及设备
CN111178272B (zh) * 2019-12-30 2023-04-18 东软集团（北京）有限公司 一种识别驾驶员行为的方法、装置及设备
CN113129597A (zh) * 2019-12-31 2021-07-16 深圳云天励飞技术有限公司 一种机动车道违法车辆识别方法及装置
CN113129597B (zh) * 2019-12-31 2022-06-21 深圳云天励飞技术有限公司 一种机动车道违法车辆识别方法及装置
CN111767831A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备及存储介质
CN111767831B (zh) * 2020-06-28 2024-01-12 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备及存储介质
CN111539494A (zh) * 2020-07-08 2020-08-14 浙江浙能天然气运行有限公司 基于U-Net和SVM的水工保护损毁检测方法
CN111898475A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 非机动车的状态估计方法及装置、存储介质、电子装置

Similar Documents

Publication Publication Date Title
CN110321897A (zh) 基于图像语义分割识别非机动车异常行为的方法
CN107886073B (zh) 一种基于卷积神经网络的细粒度车辆多属性识别方法
WO2022083784A1 (zh) 一种基于车联网的道路检测方法
CN108509954A (zh) 一种实时交通场景的多车牌动态识别方法
CN106203330A (zh) 一种基于卷积神经网络的车辆分类方法
CN106372577A (zh) 一种基于深度学习的交通标志自动识别与标注方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN110232316A (zh) 一种基于改进的dsod模型的车辆检测与识别方法
CN107133974A (zh) 高斯背景建模与循环神经网络相结合的车型分类方法
CN110097044A (zh) 基于深度学习的一阶段车牌检测识别方法
CN109035779A (zh) 基于DenseNet的高速公路交通流预测方法
CN103996041A (zh) 一种基于匹配的车辆颜色识别方法和系统
CN108875593A (zh) 基于卷积神经网络的可见光图像天气识别方法
CN205665896U (zh) 一种交叉路口信号灯状态识别装置
CN110807924A (zh) 基于全量全样实时交通数据的多参数融合方法及系统
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN111191608A (zh) 基于YOLOv3改进的交通标志检测与识别方法
CN106845387A (zh) 基于自学习的行人检测方法
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN109993058A (zh) 基于多标签分类的道路交通标志的识别方法
CN114120280A (zh) 一种基于小目标特征增强的交通标志检测方法
CN110069982A (zh) 一种交通车辆与行人的自动识别方法
CN111488854A (zh) 一种道路交通标志自动识别与分类方法
CN114299286A (zh) 一种异常天气下基于类别分组的道路场景语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination