CN111507258B - 聚焦关键样本的基于集成学习的道路区域检测方法、系统 - Google Patents
聚焦关键样本的基于集成学习的道路区域检测方法、系统 Download PDFInfo
- Publication number
- CN111507258B CN111507258B CN202010303153.9A CN202010303153A CN111507258B CN 111507258 B CN111507258 B CN 111507258B CN 202010303153 A CN202010303153 A CN 202010303153A CN 111507258 B CN111507258 B CN 111507258B
- Authority
- CN
- China
- Prior art keywords
- road
- data
- detection
- road area
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 198
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000003708 edge detection Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000006740 morphological transformation Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000003709 image segmentation Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 65
- 238000012795 verification Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域，具体涉及一种聚焦关键样本的基于集成学习的道路区域检测方法、系统。本发明方法包括：获取输入图像数据并预处理后得到处理后的图像数据；基于检测网络分别获取道路区域数据和道路边缘数据；对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；其中，所述检测网络基于CNN的图像分割网络，包括用于获取道路区域的道路区域检测网络、用于获取道路边缘的道路边缘检测网络。本发明复杂度得到有效降低，具有通用性，能够部署并应用于智能车上，并且具有较好的检测准确度和鲁棒性。
Description
背景技术
在智能车周围环境感知系统中，道路区域检测是重要的组成部分。它为智能车提供可行驶区域信息，为后续的路径规划提供必要的信息输入，是智能车正常安全行驶的基础之一。视觉信息采集设备在智能车装备的众多传感器中，能以较低的成本提供更丰富的车辆周围环境信息，因而道路区域检测是近年来倍受研究者关注的计算机视觉问题。
现有的道路区域检测方法主要可以分为两类：传统模型方法和基于卷积神经网络(Convolutional Neural Network，CNN)的方法。传统模型方法利用人工提取的图像特征，使用传统分类器对输入图像中的每个像素进行分类，将像素归为道路和非道路两类，最终得到像素级道路区域检测结果。常见的人工提取的特征为图像颜色特征和图像结构纹理特征。传统模型方法的检测效果很大程度上取决于人工提取特征的优劣和选用的分类器的性能，因而模型的建立往往需要大量的专业知识，方法复杂且无法适应复杂多变的道路场景。得益于深度学习和卷积神经网络的发展，近年来涌现了许多基于卷积神经网络的图像分割技术。将其应用在道路检测问题上并相应地进行改进与优化，可以实现端到端的道路区域检测。基于卷积神经网络的方法以图像为输入，输出即为道路区域检测结果，无需人工提取特征，因而建立此种模型无需过多的相关领域专业知识，当训练数据量足够多时可达到很好的检测效果。
由于实际道路场景复杂多样，而可供使用的训练数据有限，因此使用基于CNN的方法的检测结果中仍存在一定程度的误检与漏检。为提高检测的效果，大多数现有的方法着眼于提取更深层的特征和设计更复杂的分类网络，然而这又会引起过拟合。集成学习是传统机器学习中的一类方法。它通过集成多个弱分类器的结果可以达到强分类器的检测效果。Bagging和Boosting是集成学习的两个主要类别。前者通过集成多个并行的分类器的结果实现效果的提升，同时提高鲁棒性；后者级联多个分类器，后面的分类器对之前分类器的错分样本加强关注，提升检测效果。易错分样本是难样本，通常是值得关注的关键样本。同时，由于使用场景的不同，使用需求致使样本的关键程度也有所不同，可能会更多的关注误检或漏检。现有的难样本挖掘技术多是在训练过程中对训练样本进行难样本的重采样，方法的复杂度高。基于此，本发明针对道路区域检测现有方法的不足和实际使用需求，提出一种聚焦关键样本的基于集成学习的道路区域检测方法，能够深度挖掘关键样本，集成基于不同特征组合的检测结果，检测效果好，鲁棒性好。
发明内容
为了解决现有技术中的上述问题，即为了解决目前检测网络复杂度高、检测准确度有待提高的问题，本发明的第一方面，提出了一种聚焦关键样本的基于集成学习的道路区域检测方法，包括以下步骤：
步骤S100，获取输入图像数据，根据预设的规则进行图像标准化的预处理，得到处理后的图像数据；
步骤S200，利用所述处理后的图像数据，基于检测网络分别获取道路区域数据和道路边缘数据；
步骤S300，对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；
其中，所述检测网络为聚焦关键样本的基于集成学习的道路区域检测网络，该网络为基于CNN的图像分割网络，包括用于获取道路区域的道路区域检测网络、用于获取道路边缘的道路边缘检测网络。
在一些优选实施方式中，所述检测网络包两个解码器、一个共享的编码器、四个基分类器、两个加权投票器；
所述编码器用于从输入图像数据中提取特征，得到相应的特征图；
两个所述解码器用于分别基于所述编码器输出的特征图解码出不同的特征组合；
四个基分类器包括两组，每组对应一个解码器，每组均包括一个道路区域检测分类器、一个道路边缘检测分类器；
两个加权投票器分别用于集成道路区域检测结果和道路边缘检测结果。
在一些优选实施方式中，所述检测网络的损失函数为L为
其中，a为关注度加权因子，gi为样本的真实值，gi∈±1，pi为检测网络预测的样本属于设定检测类别(道路区域或道路边缘)的概率。
在一些优选实施方式中，所述检测网络中两个解码器分别为解码器R、解码器RB，与解码器R对应的基分类器为R-R和R-RB，与解码器RB对应的基分类器为RB-R和RB-RB，其训练方法为：
步骤A100，基于训练样本，在道路区域检测训练目标下，分别在多个设定的漏检误检区别关注度因子αr下，对所述检测网络中解码器R、基分类器R-R进行网络参数优化，选定最优检测结果对应的αr值及网络参数；
步骤A200，固定步骤A100中优化后的解码器R、基分类器R-R的网络参数，分别在多个设定的漏检误检区别关注度因子αrb下，基于训练样本，对所述检测网络中解码器RB、基分类器RB-R进行网络参数优化，选定最优检测结果对应的αrb值及网络参数；
步骤A300，固定步骤A100中优化后的解码器R和基分类器R-R的网络参数、步骤A200中优化后的解码器RB和基分类器RB-R的网络参数，在步骤A200选定的漏检误检区别关注度因子αrb下，基于训练样本，在道路边缘检测训练目标下，对基分类器R-RB和RB-RB进行网络参数优化；
步骤A400，基于步骤A100、A200、A300获得的网络参数，基于训练样本优化两个加权投票器的参数，得到优化后的检测网络。
在一些优选实施方式中，步骤A100中“基于道路区域检测训练样本，分别在多个设定的漏检误检区别关注度因子αr下，对所述检测网络中解码器R、基分类器R-R进行网络参数优化，选定最优检测结果对应的αr值及网络参数；”，其方法为：
步骤A101，确定第一漏检误检区别关注度因子αr的初始值；
步骤A102，基于训练样本，在道路区域检测训练目标下，监督地训练的解码器R和基于其解码出的特征组合的基分类器R-R；
步骤A103，利用验证数据集，在训练好的基分类器R-R上进行前向计算，按照设定评价规则，评价并量化验证集上的道路区域检测结果；
步骤A104，获取微调后的αr值；
步骤A105，重复步骤A102-A104，直至达到设定的结束条件；选定最优检测结果对应的αr值与相应的网络参数。
在一些优选实施方式中，步骤A200中“固定步骤A100中优化后的解码器R、基分类器R-R的网络参数，分别在多个设定的漏检误检区别关注度因子αrb下，基于训练样本，对所述检测网络中解码器RB、基分类器RB-R进行网络参数优化，选定最优检测结果对应的αrb值及网络参数；”，其方法为：
步骤A201，确定第二漏检误检区别关注度因子αrb的初始值；
步骤A202，基于训练样本，在道路边缘检测训练目标下监督地训练的解码器RB，在道路区域检测训练目标下，监督地训练基于解码器RB解码出的特征组合的基分类器RB-R；
步骤A203，利用验证数据集，在训练好的基分类器RB-R上进行前向计算，按照设定评价规则，评价并量化验证集上的道路区域检测结果；
步骤A204，获取微调后的αrb值；
步骤A205，重复步骤A202-A204，直至达到设定的结束条件；选定最优检测结果对应的αrb值与相应的网络参数。
在一些优选实施方式中，所述按照设定评价规则为
其中，F1Measure为统计量，P为精确率，R为召回率。
在一些优选实施方式中，步骤S300“对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；”其方法为：
将所述道路区域数据记为第一道路数据，将所述道路边缘数据记为第一边缘数据；
对第一边缘数据进行形态学变换，得到变换后的道路区域数据，记为第二道路数据；将所述第二道路数据与所述第一道路数据的交集做为最终道路区域检测结果；和/或
对第一道路数据进行形态学变换，得到变换后的道路边缘数据，记为第二边缘数据；将所述第二边缘数据与所述第一边缘数据的交集做为最终道路边缘检测结果，并通过一系列先膨胀再取交集的方法利用所述最终道路边缘检测结果得到最终道路区域检测结果。
在一些优选实施方式中，所述输入图像为车辆行驶过程中采集的包括路面数据的图像。
在一些优选实施方式中，步骤S100中“根据预设的规则进行图像标准化的预处理”，包括：与训练样本一致的数值归一化处理和尺寸统一化处理。
本发明的第二方面，提出了一种聚焦关键样本的基于集成学习的道路区域检测系统，包括预处理模块、图像分割模块、后处理模块；
所述预处理模块，配置为基于输入图像数据，根据预设的规则进行图像标准化的预处理，得到处理后的图像数据；
所述图像分割模块，配置为利用所述处理后的图像数据，基于检测网络分别获取道路区域数据和道路边缘数据；
所述后处理模块，配置为对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；
其中，所述检测网络为聚焦关键样本的基于集成学习的道路区域检测网络，该网络为基于CNN的图像分割网络，包括用于获取道路区域的道路区域检测网络、用于获取道路边缘的道路边缘检测网络。
本发明的有益效果：
通过构造聚焦关键样本的基于集成学习的道路区域检测网络模型，充分利用实际采集并标注的有限车辆周围环境图像数据训练模型，可以自动地深度挖掘关键样本，集成基于不同特征组合的道路区域检测结果，得到像素级道路区域检测结果。本发明方法复杂度得到有效降低，具有通用性，能够部署并应用于智能车上，并且具有较好的检测准确度和鲁棒性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的聚焦关键样本的基于集成学习的道路区域检测方法流程示意图；
图2是本发明检测网络结构示意图；
图3是本发明步骤A100的流程示意图；
图4是本发明步骤A200的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种聚焦关键样本的基于集成学习的道路区域检测方法，如图1所示，包括以下步骤：
步骤S100，获取输入图像数据，根据预设的规则进行图像标准化的预处理，得到处理后的图像数据；
步骤S200，利用所述处理后的图像数据，基于检测网络分别获取道路区域数据和道路边缘数据；
步骤S300，对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；
其中，所述检测网络为聚焦关键样本的基于集成学习的道路区域检测网络，该网络为基于CNN的图像分割网络，包括用于获取道路区域的道路区域检测网络、用于获取道路边缘的道路边缘检测网络。
为了更清晰地对本发明聚焦关键样本的基于集成学习的道路区域检测方法进行说明，下面将从检测网络的构建、检测网络的训练、道路区域检测三部分进行详细描述。
1、检测网络的构建
本发明的检测网络如图2所示，包两个解码器、一个共享的编码器、四个基分类器、两个加权投票器；编码器用于从输入图像数据中提取特征，得到相应的特征图；两个所述解码器用于分别基于编码器输出的特征图解码出不同的特征组合；四个基分类器包括两组，每组对应一个解码器，每组均包括一个道路区域检测分类器、一个道路边缘检测分类器；两个加权投票器分别用于集成道路区域检测结果和道路边缘检测结果。
基于集成学习的道路区域检测网络整体上采用编码器-解码器结构，这也是现有的绝大多数基于CNN的图像分割网络采用的结构。编码器通过多次多卷积核的卷积操作和池化操作，从输入图像中提取特征，得到相应的特征图。同时，随着提取的特征图个数的增多，特征图尺寸逐步减小。解码器通过多次上采样和卷积，选择所需的特征并将其尺寸恢复至原输入图像尺寸。编码器和解码器之间的跨连接使得解码的结果更优。为得到两个不同的图像特征组合，检测网络中包含两个解码器，它们共享一个编码器。共享编码器是基于VGG结构的。两个解码器通过在不同的训练目标下训练保证它们可以解码出不同的特征组合。检测网络可细分为四个基分类器，分别是：基分类器R-R、R-RB、RB-R和RB-RB。其中基分类器R-R和R-RB是基于解码器R的解码结果，输出分别为道路区域检测结果和道路边缘检测结果；基分类器RB-R和RB-RB是基于解码器RB的解码结果，输出也分别为道路区域检测结果和道路边缘检测结果。由于基分类器R-R和RB-RB的分类目标和其基于的解码结果相关性大，所以仅在解码器后设置一个3*3*2的卷积层；而另两个基分类器的相关性较小，所以各依次设置三个卷积层，分别为3*3*32、3*3*16、3*3*2。为了将像素分为两个类别，所有基分类器的最后均为一个Sigmoid分类层。值得注意的是，对于同种检测的基于不同特征组合的基分类器是存在差异的，因而基于集成学习的相关理论，集成其检测结果对于最终检测结果的提升是有效的。因此，最后利用两个加权投票器分别集成基分类器R-R与RB-R的道路区域检测结果和R-RB与RB-RB的道路边缘检测结果。加权投票器通过一个激活函数是Sigmoid的卷积层实现，考虑到图像像素之间的相关性，投票时像素的5*5邻域内的像素均纳入考虑范围。
以道路区域检测为例，像素属于道路区域类别的概率如下式所示。
其中，P((x,y)∈road)表示像素点(x,y)属于道路区域的概率，Pc1((x+i,y+j)∈road)表示像素点(x+i,y+j)在基分类器c1的分类结果中属于道路区域的概率，
为加权投票器在c1ij处的加权权重，下标c1ij对应基分类器c1的结果中与像素点(x,y)相对位移为(i,j)处；Pc2((x+i,y+j)∈road)表示像素点(x+i,y+j)在基分类器c2的分类结果中属于道路区域的概率，
为加权投票器在c2ij处的加权权重，下标c2ij对应基分类器c2的结果中与像素点(x,y)相对位移为(i,j)处。
2、检测网络的训练
(1)训练样本的获取
利用视觉图像采集设备采集所需的图像数据并进行预处理。训练样本的原始数据为车辆周围环境的视觉图像数据，该数据通常可以通过视觉图像采集设备(如摄像头)直接得到。同时，还需要对应的标记了实际道路区域的视觉图像数据作为输出数据。
还需要对训练样本的原始数据进行预处理，例如可以依次进行数值归一化处理，尺寸统一化处理和随机数据增强处理。将通常情况下取值为[0，255]的图像三通道的所有数值均匀映射到[0，1]区间，然后将图像尺寸统一为256x512，最后随机选取图像数据进行水平翻转等通用数据增强操作。
对输出数据同样进行预处理操作，得到对应的归一化后统一尺寸的经随机增强处理的图像数据。同时，对输出数据做基于形态学变换的图像处理操作，得到相应的标记了道路边缘的图像数据。具体地，对输出的图像数据先进行腐蚀操作，然后将腐蚀结果与原图像数据做减法运算，得到道路边缘图像数据。
(2)检测网络的训练
将预处理后的图像数据分为训练集和验证集。如果数据量足够大，可以取80％的数据为训练集，20％的数据为验证集。这里的20％和80％划分仅为推荐值，实际应用时应根据具体情况采取合适的划分。在数据量不足的情况下，可以采用K折交叉验证方法划分训练集和验证集以充分利用数据。
本发明的训练步骤包括步骤A100-步骤A400。
步骤A100，基于训练样本，在道路区域检测训练目标下，分别在多个设定的漏检误检区别关注度因子αr下，对所述检测网络中解码器R、基分类器R-R进行网络参数优化，选定最优检测结果对应的αr值及网络参数。
道路区域检测的错误检测结果可分为两类：误检和漏检。误检是将实际非道路区域判定为道路区域，漏检是将实际道路区域判定为非道路区域。为给予漏检和误检不同的关注度，本发明所使用的损失函数分为两部分：漏检部分LFN和误检部分LFP。
LFN＝∑gi-∑gipi＝∑gi(1-pi)
LFP＝∑(1-gi)-∑(1-gi)(1-pi)＝∑(1-gi)pi
上式中gi∈±1，为样本的真实值，其中为1时为道路区域类别，为0时为非道路区域类别。pi∈[0,1]，表示检测网络预测的样本属于道路类别的概率。
为提高对易错分的难样本的关注度，引入难样本聚焦因子γ。
以真实值为1的正样本为例，
对于正样本，当pi＞0.5时，γi<1，降低简单样本对损失函数的影响；当pi<0.5时，γi＞1，提升难样本对损失函数的影响；当pi＝0.5时，γi＝1，不改变原损失函数数值。考虑到由于噪声的存在，无界的损失函数通常鲁棒性不足，因而为避免当pi趋于0时γi趋于无穷，选择将
用略小于其的数值替换，如1.5，进而有，
LFN＝∑gi(1-pi)*tan(1.5*(1-pi))
LFP＝∑(1-gi)pi*tan(1.5*pi)
正负样本比例失衡在分类问题中较为常见，而其会导致损失函数值更易受大比例样本影响。损失函数值直接取决于错分样本，也即漏检和误检。由于正样本的误检也是负样本的漏检，因而分别计算正负样本的漏检率可改善比例失衡问题的影响。
最后，引入关注度加权因子α以调整对漏检和误检的关注度。最终，检测网络训练所使用的损失函数如下，
也即，
本发明实施例的步骤A100，具体包括：
步骤A101，确定第一漏检误检区别关注度因子αr的初始值；
步骤A102，基于训练样本，在道路区域检测训练目标下，监督地训练的解码器R和基于其解码出的特征组合的基分类器R-R；
步骤A103，利用验证数据集，在训练好的基分类器R-R上进行前向计算，按照设定评价规则，评价并量化验证集上的道路区域检测结果；
步骤A104，获取微调后的αr值；
步骤A105，重复步骤A102-A104，直至达到设定的结束条件；选定最优检测结果对应的αr值与相应的网络参数。
本实施例中，步骤A103中设定的评价规则为采用统计量F1-Measure进行量化检测结果，它是精确率和召回率的加权调和平均，常用于评价分类模型的好坏。其计算公式如下，
上式中，P为精确率，R为召回率，
实验中，量化结果F1-Measure数值越大，表明所用方法越有效。
本发明中，获取微调后的αr值，其方法为：从预设的微调数值库中获取，或通过外部输入微调后的αr值，或按照设定的微调规则对αr值进行微调；预设的规则可以为按照设定百分比进行微量增加或减少。本实施例中采用遍历预设的微调数值库的方法逐一选择αr值进行优化。
步骤A200，固定步骤A100中优化后的解码器R、基分类器R-R的网络参数，分别在多个设定的漏检误检区别关注度因子αrb下，基于训练样本，对所述检测网络中解码器RB、基分类器RB-R进行网络参数优化，选定最优检测结果对应的αrb值及网络参数；
本步骤建立在步骤A100的基础上，训练过程中，保持A100已确定的解码器R、基分类器R-R的网络参数固定不变。该步骤进一步包括：
步骤A201，确定第二漏检误检区别关注度因子αrb的初始值；
步骤A202，基于训练样本，在道路边缘检测训练目标下监督地训练的解码器RB，在道路区域检测训练目标下，监督地训练基于解码器RB解码出的特征组合的基分类器RB-R；
步骤A203，利用验证数据集，在训练好的基分类器RB-R上进行前向计算，按照设定评价规则，评价并量化验证集上的道路区域检测结果；
步骤A204，获取微调后的αrb值；
步骤A205，重复步骤A202-A204，直至达到设定的结束条件；选定最优检测结果对应的αrb值与相应的网络参数。
本实施例中，步骤A203中设定的评价规则可以与上述步骤A103的描述一致；本实施例中获取微调后的αrb值也可以与上述获取微调后的αr值的方法一样。
步骤A300，固定步骤A100中优化后的解码器R和基分类器R-R的网络参数、步骤A200中优化后的解码器RB和基分类器RB-R的网络参数，在步骤A200选定的漏检误检区别关注度因子αrb下，基于训练样本，在道路边缘检测训练目标下，对基分类器R-RB和RB-RB进行网络参数优化；
步骤A400，基于步骤A100、A200、A300获得的网络参数，基于训练样本优化两个加权投票器的参数，得到优化后的检测网络。
3、道路区域检测
步骤S100，获取输入图像数据，根据预设的规则进行图像标准化的预处理，得到处理后的图像数据。
当车辆行驶时，车辆周围环境随之改变，采集需要的包括路面数据的图像数据并进行数值归一化处理和尺寸统一化处理。
数据采集和图像预处理方法如前训练样本的获取部分所述。
步骤S200，利用所述处理后的图像数据，基于上述检测网络分别获取道路区域数据和道路边缘数据。
步骤S300，对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据。
本实施例中，步骤S300的具体方法为将所述道路区域数据记为第一道路数据，将所述道路边缘数据记为第一边缘数据；
对第一边缘数据进行形态学变换，得到变换后的道路区域数据，记为第二道路数据；将所述第二道路数据与所述第一道路数据的交集做为最终道路区域检测结果；和/或
对第一道路数据进行形态学变换，得到变换后的道路边缘数据，记为第二边缘数据；将所述第二边缘数据与所述第一边缘数据的交集做为最终道路边缘检测结果，并通过一系列先膨胀再取交集的方法利用所述最终道路边缘检测结果得到最终道路区域检测结果。
该步骤中使用形态学变换进行后处理。由于道路区域和道路边缘本身存在一定的联系，因而可以通过数字图像处理中的一系列诸如腐蚀膨胀的形态学变换实现二者之间的转换。如，通过基于形态学的边缘检测方法可以利用道路区域检测结果得到道路边缘检测结果，通过一系列先膨胀再取交集的方法可以利用道路边缘检测结果得到道路区域检测结果。
本发明第二实施例的一种聚焦关键样本的基于集成学习的道路区域检测系统，包括预处理模块、图像分割模块、后处理模块；
所述预处理模块，配置为基于输入图像数据，根据预设的规则进行图像标准化的预处理，得到处理后的图像数据；
所述图像分割模块，配置为利用所述处理后的图像数据，基于检测网络分别获取道路区域数据和道路边缘数据；
所述后处理模块，配置为对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；
其中，所述检测网络为聚焦关键样本的基于集成学习的道路区域检测网络，该网络为基于CNN的图像分割网络，包括用于获取道路区域的道路区域检测网络、用于获取道路边缘的道路边缘检测网络。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的聚焦关键样本的基于集成学习的道路区域检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，包括以下步骤：
步骤S100，获取输入图像数据，根据预设的规则进行图像标准化的预处理，得到处理后的图像数据；
步骤S200，利用所述处理后的图像数据，基于检测网络分别获取道路区域数据和道路边缘数据；
步骤S300，对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；
其中，所述检测网络为聚焦关键样本的基于集成学习的道路区域检测网络，该网络为基于CNN的图像分割网络，包括用于获取道路区域的道路区域检测网络、用于获取道路边缘的道路边缘检测网络；
所述检测网络包两个解码器、一个共享的编码器、四个基分类器、两个加权投票器；
所述编码器用于从输入图像数据中提取特征，得到相应的特征图；
两个所述解码器用于分别基于所述编码器输出的特征图解码出不同的特征组合；
四个基分类器包括两组，每组对应一个解码器，每组均包括一个道路区域检测分类器、一个道路边缘检测分类器；
两个加权投票器分别用于集成道路区域检测结果和道路边缘检测结果。
2.根据权利要求1所述的聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，所述检测网络训练时的损失函数为L为
其中，a为关注度加权因子，gi为样本的真实值，gi∈±1，pi为检测网络预测的样本属于设定检测类别的概率。
3.根据权利要求2所述的聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，所述检测网络中两个解码器分别为解码器R、解码器RB，与解码器R对应的基分类器为R-R和R-RB，与解码器RB对应的基分类器为RB-R和RB-RB，其训练方法为：
步骤A100，基于训练样本，在道路区域检测训练目标下，分别在多个设定的漏检误检区别关注度因子αr下，对所述检测网络中解码器R、基分类器R-R进行网络参数优化，选定最优检测结果对应的αr值及网络参数；
步骤A200，固定步骤A100中优化后的解码器R、基分类器R-R的网络参数，分别在多个设定的漏检误检区别关注度因子αrb下，基于训练样本，对所述检测网络中解码器RB、基分类器RB-R进行网络参数优化，选定最优检测结果对应的αrb值及网络参数；
步骤A300，固定步骤A100中优化后的解码器R和基分类器R-R的网络参数、步骤A200中优化后的解码器RB和基分类器RB-R的网络参数，在步骤A200选定的漏检误检区别关注度因子αrb下，基于训练样本，在道路边缘检测训练目标下，对基分类器R-RB和RB-RB进行网络参数优化；
步骤A400，基于步骤A100、A200、A300获得的网络参数，基于训练样本优化两个加权投票器的参数，得到优化后的检测网络。
4.根据权利要求3所述的聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，步骤A100中“基于道路区域检测训练样本，分别在多个设定的漏检误检区别关注度因子αr下，对所述检测网络中解码器R、基分类器R-R进行网络参数优化，选定最优检测结果对应的αr值及网络参数；”，其方法为：
步骤A101，确定第一漏检误检区别关注度因子αr的初始值；
步骤A102，基于训练样本，在道路区域检测训练目标下，监督地训练的解码器R和基于其解码出的特征组合的基分类器R-R；
步骤A103，利用验证数据集，在训练好的基分类器R-R上进行前向计算，按照设定评价规则，评价并量化验证集上的道路区域检测结果；
步骤A104，获取微调后的αr值；
步骤A105，重复步骤A102-A104，直至达到设定的结束条件；选定最优检测结果对应的αr值与相应的网络参数。
5.根据权利要求3所述的聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，步骤A200中“固定步骤A100中优化后的解码器R、基分类器R-R的网络参数，分别在多个设定的漏检误检区别关注度因子αrb下，基于训练样本，对所述检测网络中解码器RB、基分类器RB-R进行网络参数优化，选定最优检测结果对应的αrb值及网络参数；”，其方法为：
步骤A201，确定第二漏检误检区别关注度因子αrb的初始值；
步骤A202，基于训练样本，在道路边缘检测训练目标下监督地训练的解码器RB，在道路区域检测训练目标下，监督地训练基于解码器RB解码出的特征组合的基分类器RB-R；
步骤A203，利用验证数据集，在训练好的基分类器RB-R上进行前向计算，按照设定评价规则，评价并量化验证集上的道路区域检测结果；
步骤A204，获取微调后的αrb值；
步骤A205，重复步骤A202-A204，直至达到设定的结束条件；选定最优检测结果对应的αrb值与相应的网络参数。
6.根据权利要求4或5所述的聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，所述按照设定评价规则为
其中，F1Measure为统计量，P为精确率，R为召回率。
7.根据权利要求1-5任一项所述的聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，步骤S300“对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；”其方法为：
将所述道路区域数据记为第一道路数据，将所述道路边缘数据记为第一边缘数据；
对第一边缘数据进行形态学变换，得到变换后的道路区域数据，记为第二道路数据；将所述第二道路数据与所述第一道路数据的交集做为最终道路区域检测结果；和/或
对第一道路数据进行形态学变换，得到变换后的道路边缘数据，记为第二边缘数据；将所述第二边缘数据与所述第一边缘数据的交集做为最终道路边缘检测结果，并通过一系列先膨胀再取交集的方法利用所述最终道路边缘检测结果得到最终道路区域检测结果。
8.根据权利要求1-5任一项所述的聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，所述输入图像为车辆行驶过程中采集的包括路面数据的图像。
9.根据权利要求1-5任一项所述的聚焦关键样本的基于集成学习的道路区域检测方法，其特征在于，步骤S100中“根据预设的规则进行图像标准化的预处理”，包括：与训练样本一致的数值归一化处理和尺寸统一化处理。
10.一种聚焦关键样本的基于集成学习的道路区域检测系统，其特征在于，包括预处理模块、图像分割模块、后处理模块；
所述预处理模块，配置为基于输入图像数据，根据预设的规则进行图像标准化的预处理，得到处理后的图像数据；
所述图像分割模块，配置为利用所述处理后的图像数据，基于检测网络分别获取道路区域数据和道路边缘数据；
所述后处理模块，配置为对所述道路边缘数据和/或所述道路区域数据进行形态学变换，并与所述道路区域数据和/或所述道路边缘数据交集处理，获取像素级道路区域数据；
其中，所述检测网络为聚焦关键样本的基于集成学习的道路区域检测网络，该网络为基于CNN的图像分割网络，包括用于获取道路区域的道路区域检测网络、用于获取道路边缘的道路边缘检测网络；
所述检测网络包两个解码器、一个共享的编码器、四个基分类器、两个加权投票器；
所述编码器用于从输入图像数据中提取特征，得到相应的特征图；
两个所述解码器用于分别基于所述编码器输出的特征图解码出不同的特征组合；
四个基分类器包括两组，每组对应一个解码器，每组均包括一个道路区域检测分类器、一个道路边缘检测分类器；
两个加权投票器分别用于集成道路区域检测结果和道路边缘检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010303153.9A CN111507258B (zh) | 2020-04-17 | 2020-04-17 | 聚焦关键样本的基于集成学习的道路区域检测方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010303153.9A CN111507258B (zh) | 2020-04-17 | 2020-04-17 | 聚焦关键样本的基于集成学习的道路区域检测方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507258A CN111507258A (zh) | 2020-08-07 |
| CN111507258B true CN111507258B (zh) | 2023-05-12 |
Family
ID=71869333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010303153.9A Active CN111507258B (zh) | 2020-04-17 | 2020-04-17 | 聚焦关键样本的基于集成学习的道路区域检测方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507258B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2696310A1 (de) * | 2012-08-10 | 2014-02-12 | Delphi Technologies, Inc. | Verfahren zum Identifizieren eines Straßenrands |
| CN110674676A (zh) * | 2019-08-02 | 2020-01-10 | 杭州电子科技大学 | 一种基于语义分割的道路置信估计模糊帧方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9916522B2 (en) * | 2016-03-11 | 2018-03-13 | Kabushiki Kaisha Toshiba | Training constrained deconvolutional networks for road scene semantic segmentation |
-
2020
- 2020-04-17 CN CN202010303153.9A patent/CN111507258B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2696310A1 (de) * | 2012-08-10 | 2014-02-12 | Delphi Technologies, Inc. | Verfahren zum Identifizieren eines Straßenrands |
| CN110674676A (zh) * | 2019-08-02 | 2020-01-10 | 杭州电子科技大学 | 一种基于语义分割的道路置信估计模糊帧方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的道路障碍物检测算法;权鸿斌;姚剑敏;;有线电视技术(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507258A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108846835B (zh) | 基于深度可分离卷积网络的图像变化检测方法 | |
| CN108918532B (zh) | 一种快速道路交通标志破损检测系统及其检测方法 | |
| CN111507426B (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
| US20090060340A1 (en) | Method And Apparatus For Automatic Image Categorization Using Image Texture | |
| CN111161362B (zh) | 一种茶树生长状态光谱影像鉴别方法 | |
| CN114332513B (zh) | 一种面向智慧城市的新能源汽车异常停放大数据检测方法 | |
| CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN115223063B (zh) | 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统 | |
| JP2020085546A (ja) | 構造物の点検・補修支援システム | |
| CN114993965B (zh) | 一种污染源自动识别方法以及系统 | |
| CN116596875B (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN112232371A (zh) | 一种基于YOLOv3与文本识别的美式车牌识别方法 | |
| CN113255580A (zh) | 抛洒物识别、车辆抛洒滴漏识别方法和装置 | |
| CN115187530A (zh) | 超声自动乳腺全容积图像的识别方法、装置、终端及介质 | |
| CN115830297A (zh) | 一种遥感影像变化检测类样本库的处理方法 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN108509826B (zh) | 一种遥感影像的道路识别方法及其系统 | |
| CN111814852A (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
| CN115019181A (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
| CN108154199B (zh) | 一种基于深度学习的高精度快速单类目标检测方法 | |
| CN116612103B (zh) | 一种基于机器视觉的建筑结构裂缝智能检测方法及其系统 | |
| CN106682604B (zh) | 一种基于深度学习的模糊图像检测方法 | |
| CN111507258B (zh) | 聚焦关键样本的基于集成学习的道路区域检测方法、系统 | |
| CN113516025B (zh) | 一种基于模型构建的高光谱图像处理方法、设备及介质 | |
| Aldakheel et al. | Detection of targeted region using deep learning-based multiscale AlexNet CNN scheme for hyperspectral satellite image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |