CN110852177B - 基于单目相机的障碍物检测方法及系统 - Google Patents

基于单目相机的障碍物检测方法及系统 Download PDF

Info

Publication number
CN110852177B
CN110852177B CN201910986657.2A CN201910986657A CN110852177B CN 110852177 B CN110852177 B CN 110852177B CN 201910986657 A CN201910986657 A CN 201910986657A CN 110852177 B CN110852177 B CN 110852177B
Authority
CN
China
Prior art keywords
obstacle
training
network model
clustering
intersection ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910986657.2A
Other languages
English (en)
Other versions
CN110852177A (zh
Inventor
陈晓光
潘铁男
王智新
刘震
史龙
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRSC Research and Design Institute Group Co Ltd
Original Assignee
CRSC Research and Design Institute Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRSC Research and Design Institute Group Co Ltd filed Critical CRSC Research and Design Institute Group Co Ltd
Priority to CN201910986657.2A priority Critical patent/CN110852177B/zh
Publication of CN110852177A publication Critical patent/CN110852177A/zh
Application granted granted Critical
Publication of CN110852177B publication Critical patent/CN110852177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明应用于轨道交通技术领域，公开了一种基于单目相机的障碍物检测方法及系统，障碍物检测方法包括：步骤S1：通过单目相机进行图像采集获得多个图像，并将多个图像划分为多个数据集，根据多个数据集构建训练集、验证集和测试集；步骤S2：通过k‑means方法对训练集进行聚类，获得障碍物目标的宽高比；步骤S3：根据多个数据集及障碍物目标的宽高比对YOLOv3网络模型进行训练；步骤S4：将实时图像输入至训练好的YOLOv3网络模型进行障碍物检测。通过使用改进的k‑means方法进行聚类及YOLOv3网络模型，进行轨道交通路口下行人车辆等障碍物目标的检测，具有较高的实时性及准确性。

Description

基于单目相机的障碍物检测方法及系统
技术领域
本发明属于轨道交通技术领域，特别涉及一种基于单目相机的障碍物检测方法及系统。
背景技术
在轨道交通路口的监控场景中，行人和车辆等障碍物的检测是一项基础而关键的内容。通过对道路监控场景中的行人和车辆进行检测，可以有效获取当前监控场景的信息，从而进行入侵物报警等目的。
道路监控场景中行人与车辆的单目视觉检测方法主要有差分法和光流法、基于LBP、Haar等手工特征、基于两阶段神经网络等。差分法和光流法是利用目标的运动信息进行检测，无法对静止目标进行检测。基于LBP、Haar等手工特征的方法是对图像进行预先设计的特征的提取，并设计分类器进行检测，该方法依赖于特征的选取，检测率不高。
目前常用的检测方法为基于两阶段神经网络的检测方法，使用两阶段神经网络，采用卷积神经网络对图片进行特征提取。网络分为两个部分，先通过选择性搜索算法或构建区域建议网络(RPN)，生成区域建议窗口，提取可能含有行人、车辆等目标的区域，再利用检测网络，对目标区域进行判别和分类，该方法具有较高的检测精度，但在检测速度上难以达到实时性的要求。
因此急需开发一种克服上述缺陷的基于单目相机的障碍物检测方法及系统。
发明内容
针对上述问题，本发明提供一种基于单目相机的障碍物检测方法，其中，包括：
步骤S1：通过单目相机进行图像采集获得多个图像，并将多个所述图像划分为多个数据集，根据多个所述数据集构建训练集、验证集和测试集；
步骤S2：通过k-means方法对所述训练集进行聚类，获得障碍物目标的宽高比；
步骤S3：根据多个所述数据集及所述障碍物目标的宽高比对YOLOv3网络模型进行训练；
步骤S4：将实时图像输入至训练好的所述YOLOv3网络模型进行障碍物检测。
上述的障碍物检测方法，其中，于所述步骤S1中包括：
步骤S11：于不同时段通过所述单目相机进行图像采集获得多个图像，将所述多个图像划分为多个所述数据集；
步骤S12：对每一所述数据集进行图像筛选；
步骤S13：对筛选后的所述数据集的每一所述图像进行标注并记录图像中障碍物目标的信息；
步骤S14：去除所述图像的相关性，根据一比例系数将所述图像划分为所述训练集、所述验证集和所述测试集。
上述的障碍物检测方法，其中，于所述步骤S2中包括：
步骤S21：根据所述训练集中的每一类别的所述障碍物目标的信息，获得所述障碍物目标的矩形框的高度和宽度；
步骤S22：针对每一类别的所述障碍物目标设置一第一聚类中心，计算所述训练集中每一点与所述第一聚类中心所构成的矩形框的最大交并比，根据所述最大交并比的所述第一聚类中心获得交并比和，并根据所述交并比和获得多个第二聚类中心；
步骤S23：计算所述训练集的每个点与所述第二聚类中心所构成的矩形框的交并比，并将其划分到交并比最大的聚类中，对每个聚类更新其聚类中心，直至聚类中心不再变化后获得所述障碍物目标的多个所述宽高比。
上述的障碍物检测方法，其中，于所述步骤S3中包括：
步骤S31：设置所述YOLOv3网络模型的两个输出层尺寸；
步骤S32：根据所述验证集设置所述YOLOv3网络模型的多个超参数，多个所述超参数的其中之一为所述宽高比；
步骤S33：将多个所述数据集输入所述YOLOv3网络模型进行训练至最大训练迭代步数后保存。
上述的障碍物检测方法，其中，于所述步骤S4中包括：
步骤S41：将实时图像输入至训练好的所述YOLOv3网络模型；
步骤S42：所述YOLOv3网络模型经过logistic函数激活得到所述障碍物的初步分类预测和初步坐标预测；
步骤S43：对所述初步分类预测和所述初步坐标预测进行处理获得最终分类预测和最终坐标预测。
上述的障碍物检测方法，其中，于所述步骤S22中包括：
步骤S221：针对每一类别的所述障碍物目标设置所述第一聚类中心；
步骤S222：计算所述训练集中的每个点与所述第一聚类中心所构成的矩形框的最大交并比；
步骤S223：将所述训练集中的每个点与其交并比最大的所述第一聚类中心之间的交并比相加，获得所述交并比和；
步骤S224：在0至所述交并比和之间选取一个随机值，计算所述随机值与所述最大交并比的差值，将所述差值小于0时的点作为所述第二聚类中心；
步骤S225：重复S222-S224直至得到多个所述第二聚类中心。
上述的障碍物检测方法，其中，于所述步骤S23中包括：
步骤S231：计算训练集中每个点与所述第二聚类中心所构成的矩形框的最大交并比，并将其分到交并比最大的聚类中；
步骤S232：对于每个聚类，根据以下公式更新聚类中心：
Figure GDA0003491082440000031
其中|Ci|为该类样本个数，x为数据点；
步骤S233：重复S231和S231直至聚类中心不再变化后获得所述障碍物目标的多个所述宽高比。
上述的障碍物检测方法，其中，于所述步骤S12中：根据光照条件、时段、障碍物姿态对所述数据集进行筛选。
上述的障碍物检测方法，其中，于所述步骤S13中，所述障碍物目标的信息包括：所述障碍物目标的类别信息及坐标信息。
上述的障碍物检测方法，其中，于所述步骤S32中，多个所述超参数包括：训练初始学习率、学习策略、初始输入图片大小、最大训练迭代步数及宽高比。
本发明还提供一种基于单目相机的障碍物检测系统，其中，包括：
构建单元，将单目相机采集获得的多个图像划分为多个数据集，根据多个所述数据集构建训练集、验证集和测试集；
聚类单元，通过k-means方法对所述训练集进行聚类，获得障碍物目标的宽高比；
模型训练单元，根据多个所述数据集及所述障碍物目标的宽高比对YOLOv3网络模型进行训练；
检测单元，将实时图像输入至训练好的所述YOLOv3网络模型进行障碍物检测。
上述的障碍物检测系统，其中，所述构建单元包括：
数据集划分模块，将单目相机于不同时段采集获得的多个图像划分为多个所述数据集；
筛选模块，对每一所述数据集进行图像筛选；
标注模块，对筛选后的所述数据集的每一所述图像进行标注并记录图像中障碍物目标的信息；
划分模块，去除所述图像的相关性，根据一比例系数将所述图像划分为所述训练集、所述验证集和所述测试集。
上述的障碍物检测系统，其中，所述聚类单元包括：
第一计算模块，根据所述训练集中的每一类别的所述障碍物目标的信息，获得所述障碍物目标的矩形框的高度和宽度；
第二计算模块，针对每一类别的所述障碍物目标设置一第一聚类中心，计算所述训练集中每一点与所述第一聚类中心所构成的矩形框的最大交并比，根据所述最大交并比的所述第一聚类中心获得交并比和，并根据所述交并比和获得多个第二聚类中心；
第三计算模块，计算所述训练集的每个点与所述第二聚类中心所构成的矩形框的交并比，并将其划分到交并比最大的聚类中，对每个聚类更新其聚类中心，直至聚类中心不再变化后获得所述障碍物目标的多个所述宽高比。
上述的障碍物检测系统，其中，所述模型训练单元包括：
输出层设置模块，设置所述YOLOv3网络模型的两个输出层尺寸；
超参数设置模块，根据所述验证集设置所述YOLOv3网络模型的多个超参数，多个所述超参数的其中之一为所述宽高比；
训练保存模块，将多个所述数据集输出所述YOLOv3网络模型进行训练至最大训练迭代步数后保存。
上述的障碍物检测系统，其中，所述检测单元包括：
输入模块，将实时图像输入至训练好的所述YOLOv3网络模型；
获得初步预测模块，基于所述YOLOv3网络模型经过logistic函数激活得到所述障碍物的初步分类预测和初步坐标预测；
获得最终预测模块，对所述初步分类预测和所述初步坐标预测进行处理获得最终分类预测和最终坐标预测。
上述的障碍物检测系统，其中，所述第二计算模块针对每一类别的所述障碍物目标设置所述第一聚类中心；再计算所述训练集中的每个点与所述第一聚类中心所构成的矩形框的最大交并比；然后将所述训练集中的每个点与其交并比最大的所述第一聚类中心之间的交并比相加，获得所述交并比和；再在0至所述交并比和之间选取一个随机值，计算所述随机值与所述最大交并比的差值，将所述差值小于0时的点作为所述第二聚类中心；直至得到多个所述第二聚类中心。
上述的障碍物检测系统，其中，所述第三计算模块计算训练集中每个点与所述第二聚类中心所构成的矩形框的最大交并比，并将其分到交并比最大的聚类中；再针对每个聚类，根据以下公式更新聚类中心：
Figure GDA0003491082440000051
其中|Ci|为该类样本个数，x为数据点；直至聚类中心不再变化后获得所述障碍物目标的多个所述宽高比。
上述的障碍物检测系统，其中，所述筛选模块根据光照条件、时段、障碍物姿态对所述数据集进行筛选。
上述的障碍物检测系统，其中，所述障碍物目标的信息包括：所述障碍物目标的类别信息及坐标信息。
上述的障碍物检测系统，其中，多个所述超参数包括：训练初始学习率、学习策略、初始输入图片大小、最大训练迭代步数及宽高比中的至少一者。
本发明针对于现有技术其功效在于：本发明使用单目相机，使用改进的k-means方法进行聚类，通过改进的YOLOv3网络模型，进行轨道交通路口下行人车辆等障碍物目标的检测，相比于现有的方法，具有较高的实时性及准确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明障碍物检测方法的流程图；
图2为图1中步骤S1的分步骤流程图；
图3为图1中步骤S2的分步骤流程图；
图4为图1中步骤S3的分步骤流程图；
图5为图1中步骤S4的分步骤流程图；
图6为图3中步骤S22的分步骤流程图；
图7为图3中步骤S23的分步骤流程图；
图8为本发明障碍物检测系统的结构示意图；
图9为聚类结果散点图；
图10为在白天网络模型均可检测出目标；
图11为在黑夜网络模型均可检测出目标。
其中，附图标记为：
单目相机：10
构建单元：11
数据集划分模块：111
筛选模块：112
标注模块：113
划分模块：114
聚类单元：12
第一计算模块：121
第二计算模块：122
第三计算模块：123
模型训练单元：13
输出层设置模块：131
超参数设置模块：132
训练保存模块：133
检测单元：14
输入模块：141
获得初步预测模块：142
获得最终预测模块：143
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明障碍物检测方法的流程图。如图1所示，本发明的基于单目相机的障碍物检测方法，其单目相机使用安防监控摄像头，安装在距离地面6m高的支架处，调整摄像头角度，使被监控区域处于摄像头视场中。
障碍物检测方法包括以下步骤：
步骤S1：通过单目相机进行图像采集获得多个图像，并将多个图像划分为多个数据集，根据多个数据集构建训练集、验证集和测试集；
请参照图2并结合图1，图2为图1中步骤S1的分步骤流程图。如图2所示，具体地说，步骤S1包括：
步骤S11：于不同时段通过单目相机进行图像采集获得多个图像，将多个图像划分为多个数据集；具体地说，分别在白天和黑夜，使用单目相机拍摄轨道交通路口图，得到的图像分成白天和黑夜两组数据集，本发明分别采集白天和黑夜两组图像数据，分别利用两组数据训练两个神经网络模型，根据实际时间段选择相应的网络模型进行检测，从而更加有效地利用训练数据，提高网络的精度和鲁棒性；
步骤S12：对每一数据集进行图像筛选；具体地说，对白天和黑夜两组数据集分别进行筛选，选取不同光照条件、不同时段下具有不同姿态的行人、车辆等障碍物的图像；
步骤S13：对筛选后的数据集的每一图像进行标注并记录图像中障碍物目标的信息；具体地说，对筛选后的白天和黑夜两组数据集中的每一图像进行标注，框出障碍物目标所在的区域，并将障碍物目标的类别信息、障碍物目标所在的区域的左上相对坐标及检测框的宽、高的相对值记录在文本文档中，需要说明的是文本文档与图像一一对应，每一文本文档中可能存储一个或多个障碍物目标的信息；
步骤S14：去除图像的相关性，根据一比例系数将图像划分为训练集、验证集和测试集；具体地说，标注完成，去除白天和黑夜两组数据集中的图像的相关性后，按3∶1∶1的比例系数将图像分为训练集、验证集和测试集，本发明并不对比例系数的取值进行限定；其中在本实施例中，通过打乱白天和黑夜两组数据集中的图像的顺序以去掉图像的相关性，但本发明并不以此为限。
步骤S2：通过k-means方法对训练集进行聚类，获得障碍物目标的宽高比；
请参照图3并结合图1，图3为图1中步骤S2的分步骤流程图。如图3所示，具体地说，步骤S2包括：
步骤S21：根据训练集中的每一类别的障碍物目标的信息，获得障碍物目标的矩形框的高度和宽度；具体地说，读取文本文档中训练集的每个类别的标注的信息，将宽度、高度的相对值作为一个二维数据点；
步骤S22：针对每一类别的障碍物目标设置一第一聚类中心，计算训练集中每一点与第一聚类中心所构成的矩形框的最大交并比，根据最大交并比的第一聚类中心获得交并比和，并根据交并比和获得多个第二聚类中心；
请参照图6并结合图3，图6为图3中步骤S22的分步骤流程图。如图6所示，具体地说，步骤S22包括：
步骤S221：针对每一类别的障碍物目标设置第一聚类中心；具体地说，从训练集中随机选取一个点作为第一聚类中心；
步骤S222：计算训练集中的每个点与第一聚类中心所构成的矩形框的最大交并比D；
步骤S223：将训练集中的每个点与其交并比最大的第一聚类中心之间的交并比相加，获得交并比和sumD；
步骤S224：在0至交并比和sumD之间选取一个随机值random，计算随机值random与最大交并比D的差值DV，即DV＝random-D，将差值DV小于0时的点作为第二聚类中心；
步骤S225：重复S222-S224直至得到多个第二聚类中心，其中在本实施例中，重复S222-S224直至得到三个第二聚类中心，传统的K-means算法中最终聚类结果对初始聚类中心的选取十分敏感，通过本发明改进的方法进行初始聚类中心的预先计算，提高最终聚类结果的准确性，使其在网络训练过程中发挥更有效的效果，最终提高网络模型的精度。
步骤S23：计算训练集的每个点与第二聚类中心所构成的矩形框的交并比，并将其划分到交并比最大的聚类中，对每个聚类更新其聚类中心，直至聚类中心不再变化后获得障碍物目标的多个宽高比。
请参照图7并结合图3，图7为图3中步骤S23的分步骤流程图。如图7所示，具体地说，步骤S23包括：
步骤S231：计算训练集中每个点与第二聚类中心所构成的矩形框的最大交并比，并将其分到交并比最大的聚类中；具体地说，本步骤中分别计算每个点与三个第二聚类中心所构成的矩形框的最大交并比，即对应每一第二聚类中心均获得一最大交并比；
步骤S232：对于每个聚类，根据以下公式更新聚类中心：
Figure GDA0003491082440000101
其中|Ci|为该类样本个数，x数据点；
步骤S233：重复S231-S232直至聚类中心不再变化后获得障碍物目标的多个宽高比，其中，具体地说，在本实施例中，获得某一类的障碍物目标的三个典型宽高比，以作为先验信息。
步骤S3：根据多个数据集及障碍物目标的宽高比对YOLOv3网络模型进行训练；
请参照图4并结合图1，图4为图1中步骤S3的分步骤流程图。如图4所示，具体地说，步骤S3包括：
步骤S31：设置YOLOv3网络模型的两个输出层尺寸；具体地说，由于只检测场景中一定范围内可能影响轨道交通的障碍物目标，远处的小尺寸目标不需要进行检测，因此在本实施例中将YOLOv3网络模型的输出层尺寸设置为13*13和26*26，以此根据实际需求调整了网络模型的输出层，减少其不必要的计算量，提高了检测速度，从而提高了实时性；
步骤S32：根据验证集设置YOLOv3网络模型的多个超参数，多个超参数的其中之一为宽高比；具体地说，在本步骤中，是用验证集选择超参数，即根据验证集设置YOLOv3网络模型训练初始学习率、学习策略、初始输入图片大小、最大训练迭代步数以及先验信息等超参数，根据验证集的结果对超参数进行调节，使得结果在验证集上最优，其中，先验信息为三个典型宽高比；
步骤S33：将多个数据集输入YOLOv3网络模型进行训练至最大训练迭代步数后保存；具体地说，在本步骤中，将白天和黑夜两组数据集分别作为训练集输入YOLOv3网络模型，训练YOLOv3网络模型至最大训练迭代步数，保存模型保存。
需要说明的是，在本发明的一实施例中，可以将白天和黑夜两组数据集分别作为训练集输入YOLOv3网络模型，从而分别对YOLOv3网络模型进行训练，当训练YOLOv3网络模型至最大训练迭代步数时，获得对应白天数据集的训练好的第一YOLOv3网络模型以及对应黑夜数据集的训练好的第二YOLOv3网络模型，然后对第一YOLOv3网络模型及第二YOLOv3网络模型进行存储。
需要说明的是，在本发明的另一实施例中，可以将白天和黑夜两组数据集一起作为训练集输入YOLOv3网络模型，从而对YOLOv3网络模型进行训练，当训练YOLOv3网络模型至最大训练迭代步数时，获得一训练好的YOLOv3网络模型，然后训练好的YOLOv3网络模型进行存储。
步骤S4：将实时图像输入至训练好的YOLOv3网络模型进行障碍物检测。
请参照图5并结合图1，图5为图1中步骤S4的分步骤流程图。如图5所示，具体地说，步骤S4包括：
步骤S41：将实时图像输入至训练好的YOLOv3网络模型；
具体地说，监控摄像头实时拍摄轨道交通路口的场景图像获得实时图像，并根据所需检测范围，设置好固定的裁剪比例，将实时图像进行裁剪，去除其检测范围之外的区域，再将裁剪后的实时图像输入至训练好的YOLOv3网络模型。摄像头拍摄的区域会覆盖所需检测区域，但也包含远处、近处等不需要进行障碍物目标检测的区域，由于摄像头为固定安装，拍摄方向不会变化，因此可预先设置裁剪比例，将诸如远处、近处(一般为图像上方、下方区域)等区域裁剪掉，这样可以使各障碍物目标在图像中所占的比例大小，使其更容易检出。因为输出层调整后，网络模型对于小目标的检测效果下降，通过图片裁剪，增加各目标在图像中所占的比例，将原来的小目标变成较大的目标，在提高检测速度的同时保证了检测精度。
需要说明的是，在本发明的一实施例中，将摄像头拍摄的白天的实时图像和黑夜的实时图像分别输入至第一YOLOv3网络模型及第二YOLOv3网络模型，换言之，在实际使用中，当摄像头是白天拍摄时，则在障碍物检测时使用第一YOLOv3网络模型，当摄像头是黑夜拍摄时，则在障碍物检测时使用第二YOLOv3网络模型。
在本发明的另一实施例中，将摄像头拍摄的白天的实时图像和黑夜的实时图像输入至训练好的YOLOv3网络模型，换言之，在实际使用中，无论摄像头是白天拍摄或黑夜拍摄，则在障碍物检测时使用均使用训练好的YOLOv3网络模型。
步骤S42：YOLOv3网络模型经过logistic函数激活获得实时图像中的障碍物的初步分类预测和初步坐标预测；具体地说，其中初步分类预测包括障碍物的类别的预测，初步坐标预测包括障碍物所在的区域的左上相对坐标及右下坐标；
步骤S43：对初步分类预测和初步坐标预测进行处理获得最终分类预测和最终坐标预测；具体地说，在实际中，初步分类预测和初步坐标预测均包扩多个检测框，在本实施例中，通过对所有检测框进行非极大值抑制，去除重叠检测框后，获得最终分类预测和最终坐标预测，即最终分类预测和最终坐标预测均只包括一个检测框。
在本实施例中，步骤S41中，在向训练好的YOLOv3网络模型输入实时图像之前，还可包括通过测试集对训练好的YOLOv3网络模型进行测试，以评价训练好的YOLOv3网络模型的性能。
需要说明的是，现有方法多用两阶段神经网络，YOLOv3作为单阶段神经网络，其实时性在原理上明显优于两阶段网络，但精度不如两阶段网络。因此将YOLOv3用于实际需求中时，实时性基本已得到满足，但需要考虑如何保证一定的检测精度。本发明根据不同时间段使用不同训练数据得到的模型，提高检测精度和鲁棒性，同时改进K-means算法，提高聚类结果的准确性，从而提高精度，再调整YOLOv3输出层，减少不必要计算量，提高检测速度与实时性。
以下，结合具体实施例说明本发明的障碍物检测方法。
本发明的实验环境配置如下：CPU型号为Intel Xeon E5-1650v4处理器，显卡型号为Nvidia GeForce GTX 1080，CUDA版本为8.0.44，OpenCV版本为3.1.0，操作系统为Ubuntu16.04。
选取行人、小轿车、卡车、自行车、大型动物等20类目标作为轨道交通路口处常出现的典型障碍物目标。使用海康威视DS-2DC7223IW-A安防摄像头拍摄实际场景的监控图像，分别在白天与黑夜拍摄图像，并从中选取出含有障碍物目标的10000张白天图像与10000张黑夜图像，分别将其打乱顺序，并按3∶1∶1分为训练集、验证集和测试集。对每张图片中的障碍物目标进行人工标注，记录下各个目标的类别编号、在图像中位置的左上相对坐标和宽、高相对值。如下图所示，其中0为类别编号，表示该目标为行人，0.620039和0.593900为左上相对坐标，0.172415和0.146080为宽、高相对值。
Figure GDA0003491082440000131
使用改进的K-means算法对标注信息进行聚类。首先计算初始聚类中心。随机选取一个数据点作为聚类中心C1，计算其他数据点与已有聚类中心的最大IOU值，并将所有IOU值累加得到sumD。在[0，sumD]区间内选取一个随机数，将该随机数落在的子区间对应的数据点作为下一个聚类中心。重复上述步骤，直到得到3个第二聚类中心，即[120，108]、[65，80]、[11，50]。
得到第二聚类中心后，计算数据集中每个点与各个第二聚类中心所构成的矩形框的最大IOU值，将其分到IOU值最大的聚类中，并不断更新聚类中心。重复上述步骤直到聚类中心不再变化。此时所有数据被分为3类，即得到3种障碍物目标的典型宽高比。如图9所示，图9为聚类结果散点图，数据点被分为3个类，得到的典型宽高比为[12，24]、[52，96]、[176，229]。
改进YOL0v3网络模型，将用于检测小尺寸目标的52*52输出层从原始网络模型中去除。设置网络训练参数，图像宽、高均为416，动量为0.9，学习率为0.001，最大迭代次数为60000，学习率变化时的迭代次数为30000和45000，学习率变化比率为0.1和0.1，anchor选用聚类得到的典型宽高比[12，24]、[52，96]、[176，229]。将训练集数据进行随机裁剪、旋转、色调调整从而进行数据扩充。加载darknet53.conv.74作为初始参数，加快网络训练的收敛速度。训练得到的模型参数保存为weights文件
使用摄像头实时拍摄场景图像，将图像进行裁剪，去除检测范围之外的区域，将裁剪后的图像输入至训练好的网络模型，经logistics激活函数和非极大值抑制，得到最终的分类预测和坐标预测，并用矩形框将其在原始图像中画出来。参照图10-图11，图10为在白天网络模型均可检测出目标，图11为在黑夜网络模型均可检测出目标。本发明检测速度为29FPS，满足实时检测的速度要求。本实验环境的显卡型号为Nvidia GeForce GTX 1080，如果使用配置更高的显卡，其实时性可得到进一步提高。
请参照图8，图8为本发明障碍物检测系统的结构示意图。如图8所示，本发明的障碍物检测系统，应用前述的障碍物检测方法，障碍物检测系统包括：构建单元11、聚类单元12、模型训练单元13及检测单元14；构建单元11将单目相机10采集获得的多个图像划分为多个数据集，根据多个数据集构建训练集、验证集和测试集；聚类单元12通过k-means方法对训练集进行聚类，获得障碍物目标的宽高比；模型训练单元13根据多个数据集及障碍物目标的宽高比对YOLOv3网络模型进行训练；检测单元14将实时图像输入至训练好的所述YOLOv3网络模型进行障碍物检测。
进一步地，构建单元11包括：数据集划分模块111、筛选模块112、标注模块113及划分模块114；数据集划分模块111将单目相机于不同时段采集获得的多个图像划分为多个数据集；筛选模块112对每一数据集进行图像筛选；标注模块113对筛选后的数据集的每一图像进行标注并记录图像中障碍物目标的信息；划分模块114去除图像的相关性，根据一比例系数将图像划分为训练集、验证集和测试集。
其中，筛选模块112根据光照条件、时段、障碍物姿态对数据集进行筛选。
再进一步地，聚类单元12包括：第一计算模块121、第二计算模块122及第三计算模块123；第一计算模块121根据训练集中的每一类别的障碍物目标的信息，获得障碍物目标的矩形框的长度和宽度，障碍物目标的信息包括：障碍物目标的类别信息及坐标信息；第二计算模块122针对每一类别的障碍物目标设置一第一聚类中心，计算训练集中每一点与第一聚类中心所构成的矩形框的最大交并比，根据最大交并比的第一聚类中心获得交并比和，并根据交并比和获得多个第二聚类中心；第三计算模块123计算训练集的每个点与第二聚类中心所构成的矩形框的交并比，并将其划分到交并比最大的聚类中，对每个聚类更新其聚类中心，直至聚类中心不再变化后获得障碍物目标的多个宽高比。
其中，第二计算模块122针对每一类别的障碍物目标设置第一聚类中心；再计算训练集中的每个点与第一聚类中心所构成的矩形框的最大交并比；然后将训练集中的每个点与其交并比最大的第一聚类中心之间的交并比相加，获得交并比和；再在0至交并比和之间选取一个随机值，计算随机值与最大交并比的差值，将差值小于0时的点作为第二聚类中心；直至得到多个第二聚类中心。
其中，第三计算模块123计算训练集中每个点与第二聚类中心所构成的矩形框的最大交并比，并将其分到交并比最大的聚类中；再针对每个聚类，根据以下公式更新聚类中心：
Figure GDA0003491082440000151
其中|Ci|为该类样本个数，x数据点；直至聚类中心不再变化后获得障碍物目标的多个宽高比。
又进一步地，模型训练单元13包括：输出层设置模块131、超参数设置模块132及训练保存模块133；输出层设置模块131设置YOLOv3网络模型的两个输出层尺寸；超参数设置模块132设置YOLOv3网络模型的多个超参数，多个超参数的其中之一为宽高比；训练保存模块133将多个数据集输入YOLOv3网络模型进行训练至最大训练迭代步数后保存。
其中，多个超参数包括：训练初始学习率、学习策略、初始输入图片大小、最大训练迭代步数及宽高比。
更进一步地，检测单元14包括：输入模块141、获得初步预测模块142及获得最终预测模块143；输入模块141将实时图像输入至训练好的YOLOv3网络模型；获得初步预测模块142基于YOLOv3网络模型经过logistic函数激活得到障碍物的初步分类预测和初步坐标预测；获得最终预测模块143对初步分类预测和初步坐标预测进行处理获得最终分类预测和最终坐标预测。
其中，在本实施例中，检测单元14还包括评价模块，在输入模块141向训练好的YOLOv3网络模型输入实时图像之前，评价模块测试集对训练好的YOLOv3网络模型进行测试，以评价训练好的YOLOv3网络模型的性能。
综上所述，本发明使用单目相机，使用改进的k-means方法进行聚类，通过改进的Y0L0v3网络模型，进行轨道交通路口下行人车辆等障碍物目标的检测，具有较高的实时性及准确性。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种基于单目相机的障碍物检测方法，其特征在于，包括：
步骤S1：通过单目相机进行图像采集获得多个图像，并将多个所述图像划分为多个数据集，根据多个所述数据集构建训练集、验证集和测试集；
步骤S2：通过k-means方法对所述训练集进行聚类，获得障碍物目标的宽高比；
步骤S3：根据多个所述数据集及所述障碍物目标的宽高比对YOLOv3网络模型进行训练；
步骤S4：将实时图像输入至训练好的所述YOLOv3网络模型进行障碍物检测；
所述步骤S2中包括：
步骤S21：根据所述训练集中的每一类别的所述障碍物目标的信息，获得所述障碍物目标的矩形框的高度和宽度；
步骤S22：针对每一类别的所述障碍物目标设置一第一聚类中心，计算所述训练集中每一点与所述第一聚类中心所构成的矩形框的最大交并比，根据所述最大交并比的所述第一聚类中心获得交并比和，并根据所述交并比和获得多个第二聚类中心；
步骤S23：计算所述训练集的每个点与所述第二聚类中心所构成的矩形框的交并比，并将其划分到交并比最大的聚类中，对每个聚类更新其聚类中心，直至聚类中心不再变化后获得所述障碍物目标的多个所述宽高比。
2.如权利要求1所述的障碍物检测方法，其特征在于，于所述步骤S1中包括：
步骤S11：于不同时段通过所述单目相机进行图像采集获得多个图像，将所述多个图像划分为多个所述数据集；
步骤S12：对每一所述数据集进行图像筛选；
步骤S13：对筛选后的所述数据集的每一所述图像进行标注并记录图像中障碍物目标的信息；
步骤S14：去除所述图像的相关性，根据一比例系数将所述图像划分为所述训练集、所述验证集和所述测试集。
3.如权利要求1所述的障碍物检测方法，其特征在于，于所述步骤S3中包括：
步骤S31：设置所述YOLOv3网络模型的两个输出层尺寸；
步骤S32：根据所述验证集设置所述YOLOv3网络模型的多个超参数，多个所述超参数的其中之一为所述宽高比；
步骤S33：将多个所述数据集输入所述YOLOv3网络模型进行训练至最大训练迭代步数后保存。
4.如权利要求1-3任一项所述的障碍物检测方法，其特征在于，于所述步骤S4中包括：
步骤S41：将实时图像输入至训练好的所述YOLOv3网络模型；
步骤S42：所述YOLOv3网络模型经过logistic函数激活得到所述障碍物的初步分类预测和初步坐标预测；
步骤S43：对所述初步分类预测和所述初步坐标预测进行处理获得最终分类预测和最终坐标预测。
5.如权利要求1所述的障碍物检测方法，其特征在于，于所述步骤S22中包括：
步骤S221：针对每一类别的所述障碍物目标设置所述第一聚类中心；
步骤S222：计算所述训练集中的每个点与所述第一聚类中心所构成的矩形框的最大交并比；
步骤S223：将所述训练集中的每个点与其交并比最大的所述第一聚类中心之间的交并比相加，获得所述交并比和；
步骤S224：在0至所述交并比和之间选取一个随机值，计算所述随机值与所述最大交并比的差值，将所述差值小于0时的点作为所述第二聚类中心；
步骤S225：重复S222-S224直至得到多个所述第二聚类中心。
6.如权利要求2所述的障碍物检测方法，其特征在于，于所述步骤S12中：根据光照条件、时段、障碍物姿态对所述数据集进行筛选。
7.如权利要求2所述的障碍物检测方法，其特征在于，于所述步骤S13中，所述障碍物目标的信息包括：所述障碍物目标的类别信息及坐标信息。
8.如权利要求3所述的障碍物检测方法，其特征在于，于所述步骤S32中，多个所述超参数包括：训练初始学习率、学习策略、初始输入图片大小、最大训练迭代步数及宽高比。
9.一种基于单目相机的障碍物检测系统，其特征在于，包括：
构建单元，将单目相机采集获得的多个图像划分为多个数据集，根据多个所述数据集构建训练集、验证集和测试集；
聚类单元，通过k-means方法对所述训练集进行聚类，获得障碍物目标的宽高比；所述聚类单元包括：
第一计算模块，根据所述训练集中的每一类别的所述障碍物目标的信息，获得所述障碍物目标的矩形框的高度和宽度；
第二计算模块，针对每一类别的所述障碍物目标设置一第一聚类中心，计算所述训练集中每一点与所述第一聚类中心所构成的矩形框的最大交并比，根据所述最大交并比的所述第一聚类中心获得交并比和，并根据所述交并比和获得多个第二聚类中心；
第三计算模块，计算所述训练集的每个点与所述第二聚类中心所构成的矩形框的交并比，并将其划分到交并比最大的聚类中，对每个聚类更新其聚类中心，直至聚类中心不再变化后获得所述障碍物目标的多个所述宽高比；
模型训练单元，根据多个所述数据集及所述障碍物目标的宽高比对YOLOv3网络模型进行训练；
检测单元，将实时图像输入至训练好的所述YOLOv3网络模型进行障碍物检测。
10.如权利要求9所述的障碍物检测系统，其特征在于，所述构建单元包括：
数据集划分模块，将单目相机于不同时段采集获得的多个图像划分为多个所述数据集；
筛选模块，对每一所述数据集进行图像筛选；
标注模块，对筛选后的所述数据集的每一所述图像进行标注并记录图像中障碍物目标的信息；
划分模块，去除所述图像的相关性，根据一比例系数将所述图像划分为所述训练集、所述验证集和所述测试集。
11.如权利要求9所述的障碍物检测系统，其特征在于，所述模型训练单元包括：
输出层设置模块，设置所述YOLOv3网络模型的两个输出层尺寸；
超参数设置模块，根据所述验证集设置所述YOLOv3网络模型的多个超参数，多个所述超参数的其中之一为所述宽高比；
训练保存模块，将多个所述数据集输出所述YOLOv3网络模型进行训练至最大训练迭代步数后保存。
12.如权利要求9-11任一项所述的障碍物检测系统，其特征在于，所述检测单元包括：
输入模块，将实时图像输入至训练好的所述YOLOv3网络模型；
获得初步预测模块，基于所述YOLOv3网络模型经过logistic函数激活得到所述障碍物的初步分类预测和初步坐标预测；
获得最终预测模块，对所述初步分类预测和所述初步坐标预测进行处理获得最终分类预测和最终坐标预测。
13.如权利要求9所述的障碍物检测系统，其特征在于，所述第二计算模块针对每一类别的所述障碍物目标设置所述第一聚类中心；再计算所述训练集中的每个点与所述第一聚类中心所构成的矩形框的最大交并比；然后将所述训练集中的每个点与其交并比最大的所述第一聚类中心之间的交并比相加，获得所述交并比和；再在0至所述交并比和之间选取一个随机值，计算所述随机值与所述最大交并比的差值，将所述差值小于0时的点作为所述第二聚类中心；直至得到多个所述第二聚类中心。
14.如权利要求10所述的障碍物检测系统，其特征在于，所述筛选模块根据光照条件、时段、障碍物姿态对所述数据集进行筛选。
15.如权利要求10所述的障碍物检测系统，其特征在于，所述障碍物目标的信息包括：所述障碍物目标的类别信息及坐标信息。
16.如权利要求11所述的障碍物检测系统，其特征在于，多个所述超参数包括：训练初始学习率、学习策略、初始输入图片大小、最大训练迭代步数及宽高比中的至少一者。
CN201910986657.2A 2019-10-17 2019-10-17 基于单目相机的障碍物检测方法及系统 Active CN110852177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910986657.2A CN110852177B (zh) 2019-10-17 2019-10-17 基于单目相机的障碍物检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910986657.2A CN110852177B (zh) 2019-10-17 2019-10-17 基于单目相机的障碍物检测方法及系统

Publications (2)

Publication Number Publication Date
CN110852177A CN110852177A (zh) 2020-02-28
CN110852177B true CN110852177B (zh) 2022-09-09

Family

ID=69596501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910986657.2A Active CN110852177B (zh) 2019-10-17 2019-10-17 基于单目相机的障碍物检测方法及系统

Country Status (1)

Country Link
CN (1) CN110852177B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523386B (zh) * 2020-03-24 2023-10-17 北京全路通信信号研究设计院集团有限公司 一种基于机器视觉的高速铁路站台门监测防护方法及系统
CN111523403B (zh) * 2020-04-03 2023-10-20 咪咕文化科技有限公司 图片中目标区域的获取方法及装置、计算机可读存储介质
CN113657161A (zh) * 2021-07-15 2021-11-16 北京中科慧眼科技有限公司 一种非标小障碍物检测方法、装置与自动驾驶系统
CN113689483B (zh) * 2021-07-23 2024-01-12 浙江零跑科技股份有限公司 一种基于单目摄像头和激光雷达的测距方法
CN113936268B (zh) * 2021-12-16 2022-04-15 比亚迪股份有限公司 用于轨道车辆的障碍物检测方法、计算机设备及存储介质
CN114511510A (zh) * 2022-01-13 2022-05-17 中山大学孙逸仙纪念医院 一种升主动脉图像的自动提取方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN109242047A (zh) * 2018-10-17 2019-01-18 福州大学 基于K-means++聚类和残差网络分类的银行卡卡号检测与识别方法
CN109934121A (zh) * 2019-02-21 2019-06-25 江苏大学 一种基于YOLOv3算法的果园行人检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229347B2 (en) * 2017-05-14 2019-03-12 International Business Machines Corporation Systems and methods for identifying a target object in an image
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN109242047A (zh) * 2018-10-17 2019-01-18 福州大学 基于K-means++聚类和残差网络分类的银行卡卡号检测与识别方法
CN109934121A (zh) * 2019-02-21 2019-06-25 江苏大学 一种基于YOLOv3算法的果园行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴涛 等.轻量级YOLOV3 的绝缘子缺陷检测方法.《计算机工程》.2019,第45卷(第8期),第275-280页. *

Also Published As

Publication number Publication date
CN110852177A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110852177B (zh) 基于单目相机的障碍物检测方法及系统
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
US8744125B2 (en) Clustering-based object classification
US11380105B2 (en) Identification and classification of traffic conflicts
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
US11587327B2 (en) Methods and systems for accurately recognizing vehicle license plates
CN113345237A (zh) 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、系统、设备及存储介质
Abidin et al. A systematic review of machine-vision-based smart parking systems
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
Matsuda et al. A system for real-time on-street parking detection and visualization on an edge device
CN114821978B (zh) 一种误报警的消除方法、装置以及介质
Buch et al. Local feature saliency classifier for real-time intrusion monitoring
KR101154350B1 (ko) 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법
Negri Estimating the queue length at street intersections by using a movement feature space approach
JP7238821B2 (ja) 地図生成システム及び地図生成プログラム
CN114758326A (zh) 一种交通岗位工作行为状态实时检测系统
CN114387310A (zh) 一种基于深度学习的城市主干道路车流量统计方法
Vujović et al. Traffic video surveillance in different weather conditions
CN112836619A (zh) 嵌入式车载远红外行人检测方法、系统、设备及存储介质
Babu et al. Accident Detection through CCTV Surveillance
Calitz et al. Automated license plate recognition using existing university infrastructure and different camera angles
KR102498538B1 (ko) 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
Zaman et al. Deep Learning Approaches for Vehicle and Pedestrian Detection in Adverse Weather

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant