CN113158966A - 基于深度学习的非机动车骑车带人行为识别的检测方法 - Google Patents

基于深度学习的非机动车骑车带人行为识别的检测方法 Download PDF

Info

Publication number
CN113158966A
CN113158966A CN202110500926.7A CN202110500926A CN113158966A CN 113158966 A CN113158966 A CN 113158966A CN 202110500926 A CN202110500926 A CN 202110500926A CN 113158966 A CN113158966 A CN 113158966A
Authority
CN
China
Prior art keywords
training
model
data
picture
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110500926.7A
Other languages
English (en)
Inventor
翁月娜
郭荣
项雄英
张信豪
金佳
刘远超
严俊刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Haoteng Electron Technology Co ltd
Original Assignee
Zhejiang Haoteng Electron Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Haoteng Electron Technology Co ltd filed Critical Zhejiang Haoteng Electron Technology Co ltd
Priority to CN202110500926.7A priority Critical patent/CN113158966A/zh
Publication of CN113158966A publication Critical patent/CN113158966A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的非机动车骑车带人行为识别的检测方法，包括如下步骤：步骤1)准备数据集：建立路口场景骑电动车的数据集，从路口摄像头保存的视频数据中读取帧保存图像数据；步骤2)数据预处理：按比例裁剪图，并对图片进行数据增强的操作；步骤3)构建模型：步骤4)模型测试：将准备好的测试图片或者视频对训练好的框架进行测试,通过评价指标来评判模型的质量；步骤5)模型部署：将模型部署到服务器上进行应用。本发明在图像检测速度上提升了一定程度，较以往可以更快速地检测到图像数据；一定程度上提高了准确率，且模型有一定泛化能力和鲁棒性,对于协助打击非机动车违法行为有很大的意义。

Description

基于深度学习的非机动车骑车带人行为识别的检测方法
技术领域
本发明涉及深度学习算法技术领域，具体涉及基于深度学习的非机动车骑车带人行为识别的检测方法。
背景技术
随着时代的发展，目前道路交通情况越来越复杂。而针对非机动车这类目标小、移动灵活的物体，会涉及到较多的交通监管和安全问题。非机动车违法行为有很多种形式，如多次在机动车道行驶、逆向行驶、未佩戴头盔以及骑车带人等。而不同的违法行为对应不同的业务场景，需要不同的数据集来支持训练相应的模型。研究表明，骑车带人在发生交通事故时会引起较大的伤亡率。因此，禁止骑车带人是减少交通事故致人伤亡的有效手段，可以使得伤者的比例大大下降。
随着深度学习的兴起，一些深度学习的方法已经运用于目标检测网络，其中以深度卷积神经网络CNN最为突出。2013年R-CNN作为深度学习目标检测应用领域的先驱，将传统机器学习和深度学习进行了创造性的结合。
而后Fast R-CNN整合了R-CNN和SPP-Net的优点，使得在复杂的交通图象中可以相对快速准确地检测到非机动车车主是否骑车带人的现象。然而通过改进图像处理的方法，可以使得算法的运行速度加快，可以使得模型的检测速度大大加快，从而对于该违法行为可以有更高效的处理机制；但在解决检测同一类物体且物体间重叠部分较多时存在一定的问题，它会将原本的预测框删除，这很容易误删可能分高的预测框，影响检测的准确率。
发明内容
针对现有技术中存在的问题，本发明提供了基于深度学习的非机动车骑车带人行为识别的检测方法，在复杂的交通图象中可以快速准确地检测到非机动车是否骑车带人的现象，用于非机动车骑车带人行为识别的检测。
本发明的技术方案如下：
基于深度学习的非机动车骑车带人行为识别的检测方法，其特征在于，包括如下步骤：
步骤1)准备数据集：建立路口场景骑电动车的数据集，从路口摄像头保存的视频数据中读取帧保存图像数据；
步骤2)数据预处理：按比例裁剪图，并对图片进行数据增强的操作；
步骤3)构建模型：
3.1)用目标区域定位网络分离图片中的电动车骑行者和背景；
3.2)在骨干网络训练时，提前训练窄化子网，加入纹理特征和空间差异特征；在整体卷积网络训练时，固化窄化子网结构；
3.3)对RPN网络进行初始化，独立训练RPN网络，对产生的候选框进行Soft-NMS，并设置训练时长或训练次数；
3.4)将产生的候选区域作为输入图片，训练一个Faster R-CNN网络，引入ROI进行分类和位置参数的回归，并设置训练时长或训练次数；
3.5)使用步骤3.4)中训练得到的Faster R-CNN网络的参数，重新训练RPN网络，保持RPN网络和Faster R-CNN网络所共享的卷积层的参数不变；
3.6)对Faster R-CNN网络专有的层的参数进行调整,使得最后可以达到快速准确检测图像的效果,设置好训练时长或训练次数；
步骤4)模型测试：将准备好的测试图片或者视频对训练好的框架进行测试，通过评价指标来评判模型的质量；
步骤5)模型部署：将模型部署到服务器上进行应用。
所述的基于深度学习的非机动车骑车带人行为识别的检测方法，其特征在于，所述步骤1)中保存图像数据后，采用labelImg工具对图像格式文件进行标记,将图像中的电动车和骑行者连车带人画好框，作好是否骑车带人的正确标注,并形成相对应的xml配置文件。
所述的基于深度学习的非机动车骑车带人行为识别的检测方法，其特征在于，所述步骤2)中数据增强的操作为：对图片进行填充、翻转以及色彩搅动。
所述的基于深度学习的非机动车骑车带人行为识别的检测方法，其特征在于，所述步骤2)中对按比例裁剪及数据增强处理后的图片，结合图片大小的改变、框的相对移动，通过脚本将xml文件解析成txt格式的数据文件，将图片和文本保存在同一文件夹，按照一定比例划分训练集、验证集以及测试集。
本发明的有益效果是：
1)通过进一步改进SPP-Net算法，提出了感兴趣区域池化(Region ofInterestPooling,即ROI Pooling)；感兴趣区域池化是空间金字塔池化的一个简化版本，即只有一层金字塔，也就是感兴趣区域池化只包含一种尺度；经过实验证明,通过ROI进行图像处理，比原有的R-CNN算法运行速度加快数十倍。
2)为了解决检测同一类物体且物体间重叠部分较多时会将原本的预测框删除的问题，我们采用Soft-NMS算法替代NMS，可以根据当前得分重新递归评分，而不是直接删除分数较低的相邻方框，在同一类物体高度重叠时降低了误删预测框的情况，且Soft-NMS算法在训练阶段不需要引入任何超参数，不会增加计算的复杂度。
3)将主题窄化在卷积神经网络中并联协作，在一个深度网络中,可以包含多种窄化主题，使得特征分别作为窄化子网络融入到主题框架中，得到更为优化的网络参数。
4)本发明在图像检测速度上提升了一定程度，较以往可以更快速地检测到图像数据；一定程度上提高了准确率，且模型有一定泛化能力和鲁棒性,对于协助打击非机动车违法行为有很大的意义。
附图说明
图1为本发明的Faster R-CNN算法框架图；
图2为本发明的网络训练流程图。
具体实施方式
以下结合说明书附图，对本发明作进一步描述。
如图1-2所示，基于深度学习的非机动车骑车带人行为识别的检测方法,具体实施步骤如下所述：
步骤1：准备数据集，建立路口场景骑电动车的数据集，从路口摄像头保存的视频数据中读取帧保存图像数据；采用labelImg工具对图像格式文件进行标记，将图像中的电动车和骑行者连车带人画好框，作好正确标注(是否骑车带人),并形成相对应的xml配置文件。
步骤2：数据预处理，将标注完成的图片和xml文件放在一起；为了模型有较好的效果，对图片数据进行预处理；按比例裁剪图，并对图片进行填充、翻转以及色彩搅动等数据增强的操作；结合图片大小的改变、框的相对移动，通过脚本将xml文件解析成txt格式的数据文件，将图片和文本保存在同一文件夹，按照一定比例划分训练集、验证集以及测试集。
步骤3：构建模型，
步骤3.1)用目标区域定位网络分离电动车骑行者和背景；由目标区域定位网络、目标区域生成网络以及Faster R-CNN卷积神经网络构成一个层级窄化网络,并对其进行训练；
步骤3.2)在骨干网络resnet101训练时,提前训练窄化子网,加入纹理特征和空间差异特征；在整体卷积网络训练时,固化窄化子网结构；
步骤3.3)对RPN网络进行初始化,独立训练RPN网络,设置好训练时长(训练时长为24小时，根据样本量大小可调整；或者设置训练次数为2000)；
步骤3.4)将产生的候选区域作为输入图片,训练一个Faster R-CNN网络，并设置本次的训练时长(训练时长为24小时，根据样本量大小可调整；或者设置训练次数为2000)；
步骤3.5)使用上一步中训练得到的Faster R-CNN网络的参数,重新训练RPN网络,保持RPN网络和Faster R-CNN网络所共享的那些卷积层的参数不变；令RPN网络特有的卷积层重新训练,设置好训练时长(训练时长为24小时，根据样本量大小可调整；或者设置训练次数为2000)；
步骤3.6)保持RPN网络和Faster R-CNN网络所共享的那些卷积层不变,只微调Faster R-CNN网络专有的那几层的参数(调整学习率和优化器),使得最后可以达到快速准确检测图像的效果,设置好训练时长(训练时长为24小时，根据样本量大小可调整；或者设置训练次数为2000)。
步骤4：模型测试，将准备好的测试图片或者视频对训练好的框架进行测试，通过评价指标来评判模型质量的好坏。
步骤5：将模型部署到服务器上进行应用。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.基于深度学习的非机动车骑车带人行为识别的检测方法，其特征在于，包括如下步骤：
步骤1)准备数据集：建立路口场景骑电动车的数据集，从路口摄像头保存的视频数据中读取帧保存图像数据；
步骤2)数据预处理：按比例裁剪图，并对图片进行数据增强的操作；
步骤3)构建模型：
3.1)用目标区域定位网络分离图片中的电动车骑行者和背景；
3.2)在骨干网络训练时，提前训练窄化子网，加入纹理特征和空间差异特征；在整体卷积网络训练时，固化窄化子网结构；
3.3)对RPN网络进行初始化，独立训练RPN网络，对产生的候选框进行Soft-NMS，并设置训练时长或训练次数；
3.4)将产生的候选区域作为输入图片，训练一个Faster R-CNN网络，引入ROI进行分类和位置参数的回归，并设置训练时长或训练次数；
3.5)使用步骤3.4)中训练得到的Faster R-CNN网络的参数，重新训练RPN网络，保持RPN网络和Faster R-CNN网络所共享的卷积层的参数不变；
3.6)对Faster R-CNN网络专有的层的参数进行调整,使得最后可以达到快速准确检测图像的效果,设置好训练时长或训练次数；
步骤4)模型测试：将准备好的测试图片或者视频对训练好的框架进行测试，通过评价指标来评判模型的质量；
步骤5)模型部署：将模型部署到服务器上进行应用。
2.根据权利要求1所述的基于深度学习的非机动车骑车带人行为识别的检测方法，其特征在于，所述步骤1)中保存图像数据后，采用labelImg工具对图像格式文件进行标记,将图像中的电动车和骑行者连车带人画好框，作好是否骑车带人的正确标注,并形成相对应的xml配置文件。
3.根据权利要求1所述的基于深度学习的非机动车骑车带人行为识别的检测方法，其特征在于，所述步骤2)中数据增强的操作为：对图片进行填充、翻转以及色彩搅动。
4.根据权利要求1所述的基于深度学习的非机动车骑车带人行为识别的检测方法，其特征在于，所述步骤2)中对按比例裁剪及数据增强处理后的图片，结合图片大小的改变、框的相对移动，通过脚本将xml文件解析成txt格式的数据文件，将图片和文本保存在同一文件夹，按照比例划分训练集、验证集以及测试集。
CN202110500926.7A 2021-05-08 2021-05-08 基于深度学习的非机动车骑车带人行为识别的检测方法 Pending CN113158966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110500926.7A CN113158966A (zh) 2021-05-08 2021-05-08 基于深度学习的非机动车骑车带人行为识别的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110500926.7A CN113158966A (zh) 2021-05-08 2021-05-08 基于深度学习的非机动车骑车带人行为识别的检测方法

Publications (1)

Publication Number Publication Date
CN113158966A true CN113158966A (zh) 2021-07-23

Family

ID=76873841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110500926.7A Pending CN113158966A (zh) 2021-05-08 2021-05-08 基于深度学习的非机动车骑车带人行为识别的检测方法

Country Status (1)

Country Link
CN (1) CN113158966A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887431A (zh) * 2021-09-30 2022-01-04 浙江浩腾电子科技股份有限公司 基于ai的厨房场景下人员不带手套识别的检测方法
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN111062953A (zh) * 2019-12-17 2020-04-24 北京化工大学 一种超声图像中甲状旁腺增生的识别方法
CN111091545A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车滚动轴承轴端螺栓丢失故障的检测方法
US20200167601A1 (en) * 2017-12-11 2020-05-28 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene features
CN111582339A (zh) * 2020-04-28 2020-08-25 江西理工大学 一种基于深度学习的车辆检测与识别的方法
CN111862029A (zh) * 2020-07-15 2020-10-30 哈尔滨市科佳通用机电股份有限公司 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN112464822A (zh) * 2020-11-30 2021-03-09 深圳市捷顺科技实业股份有限公司 一种基于特征增强的头盔佩戴检测方法及装置
CN112651358A (zh) * 2020-12-30 2021-04-13 深圳市邻友通科技发展有限公司 一种目标检测方法、装置、网络摄像机及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167601A1 (en) * 2017-12-11 2020-05-28 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene features
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法
CN110717433A (zh) * 2019-09-30 2020-01-21 华中科技大学 一种基于深度学习的交通违规分析方法及装置
CN111091545A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车滚动轴承轴端螺栓丢失故障的检测方法
CN111062953A (zh) * 2019-12-17 2020-04-24 北京化工大学 一种超声图像中甲状旁腺增生的识别方法
CN111582339A (zh) * 2020-04-28 2020-08-25 江西理工大学 一种基于深度学习的车辆检测与识别的方法
CN111862029A (zh) * 2020-07-15 2020-10-30 哈尔滨市科佳通用机电股份有限公司 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN112464822A (zh) * 2020-11-30 2021-03-09 深圳市捷顺科技实业股份有限公司 一种基于特征增强的头盔佩戴检测方法及装置
CN112651358A (zh) * 2020-12-30 2021-04-13 深圳市邻友通科技发展有限公司 一种目标检测方法、装置、网络摄像机及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHANGQING CAO ET AL.: "An Improved Faster R-CNN for Small Object Detection", 《IEEE ACCESS》 *
KAI ZHU ET AL.: "An improved detection method for multi-scale and dense pedestrians based on Faster R-CNN", 《IEEE ACCESS》 *
王东: "视觉窄化下船舶目标图像的检测方法研究", 《中国优秀硕士学位论文全文数据库-工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887431A (zh) * 2021-09-30 2022-01-04 浙江浩腾电子科技股份有限公司 基于ai的厨房场景下人员不带手套识别的检测方法
CN115294774A (zh) * 2022-06-20 2022-11-04 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置
CN115294774B (zh) * 2022-06-20 2023-12-29 桂林电子科技大学 基于深度学习的非机动车道路违停检测方法及装置

Similar Documents

Publication Publication Date Title
CN113688652B (zh) 一种异常驾驶行为的处理方法和装置
CN110879959A (zh) 生成数据集的方法及装置、利用其的测试方法及测试装置
CN102682301B (zh) 使用附加分类器来调节畅通路径检测
CN113158966A (zh) 基于深度学习的非机动车骑车带人行为识别的检测方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN114399512B (zh) 基于人工智能的实例分割模型训练方法、装置、存储介质
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN114519877A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
CN112613434A (zh) 道路目标检测方法、装置及存储介质
CN113505640A (zh) 一种基于多尺度特征融合的小尺度行人检测方法
CN113609980A (zh) 一种用于自动驾驶车辆的车道线感知方法及装置
CN111046723B (zh) 一种基于深度学习的车道线检测方法
Isa et al. Real-time traffic sign detection and recognition using Raspberry Pi
CN114187581B (zh) 一种基于无监督学习的驾驶员分心细粒度检测方法
CN113408413B (zh) 应急车道的识别方法、系统及装置
CN114743126A (zh) 一种基于图注意力机制网络的车道线标志分割方法
CN113989709A (zh) 目标检测方法及装置、存储介质、电子设备
CN112686107A (zh) 隧道入侵物体检测方法及装置
CN116883667A (zh) 基于困难类别感知机制的夜间街景语义分割方法
Das et al. Object Detection on Scene Images: A Novel Approach
CN114972857B (zh) 双分支源与目标定位复制移动检测网络系统及方法
CN110889378A (zh) 一种多视图融合交通标志检测识别方法及其系统
CN115359464A (zh) 基于深度学习的机动车驾驶员危险驾驶行为检测方法
WO2022183402A1 (en) Method and apparatus of boundary refinement for instance segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723