CN111832368A - 可行驶区域检测模型的训练方法、训练装置及应用 - Google Patents

可行驶区域检测模型的训练方法、训练装置及应用 Download PDF

Info

Publication number
CN111832368A
CN111832368A CN201910327530.XA CN201910327530A CN111832368A CN 111832368 A CN111832368 A CN 111832368A CN 201910327530 A CN201910327530 A CN 201910327530A CN 111832368 A CN111832368 A CN 111832368A
Authority
CN
China
Prior art keywords
image
detection model
initial
target image
travelable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910327530.XA
Other languages
English (en)
Other versions
CN111832368B (zh
Inventor
连春燕
谢伟
黄倩倩
胡荣东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201910327530.XA priority Critical patent/CN111832368B/zh
Publication of CN111832368A publication Critical patent/CN111832368A/zh
Application granted granted Critical
Publication of CN111832368B publication Critical patent/CN111832368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种可行驶区域检测模型的训练方法、训练装置及应用，包括：获得图像样本库，图像样本库包括初始道路图像与用于表征可行驶区域的真实目标图像；在图像样本库中选取初始道路图像输入初始可行驶区域检测模型，确定预测目标图像；根据预测目标图像和真实目标图像确定损失函数；基于损失函数对初始可行驶区域检测模型进行训练，确定可行驶区域检测模型。将可行驶区域边缘线的结构信息融入到可行驶区域检测中，降低了将道路中车辆、行人边缘误分为可行驶区域的概率，提升了算法的精度，同时对不同尺度特征进行融合，通过权重向量对特征进行加权，激励重要的特征，抑制不重要的特征。本发明应用于交通信息技术和计算机视觉技术交通应用领域。

Description

可行驶区域检测模型的训练方法、训练装置及应用
技术领域
本发明涉及交通信息技术和计算机视觉技术交通应用领域，尤其涉及一种可行驶区域检测模型的训练方法、训练装置及应用。
背景技术
可行驶区域检测在辅助驾驶与自动驾驶应用中具有重要意义。在辅助驾驶中，提前的非可行驶区域预警可以减少交通事故；在自动驾驶中，可行驶区域检测可以提供路径规划辅助。目前，可行驶区域检测算法主要可分为两大类，其中一类是基于激光雷达传感器算法，该类算法所需的激光雷达成本高昂，难以普及使用。另一类是基于彩色摄像头的算法，该类算法通过机器学习和计算机视觉方法来检测可行驶区域。
发明内容
针对现有技术的不足，本发明的目的是提供一种可行驶区域检测模型的训练方法、装置及应用，极大地提升了算法的检测精度。
具体方案如下：
一种可行驶区域检测模型的训练方法，包括：
获得图像样本库，所述图像样本库包括初始道路图像与对所述初始道路图像做预处理得到的用于表征可行驶区域的真实目标图像；
在图像样本库中选取初始道路图像输入初始可行驶区域检测模型，确定与所述初始道路图像对应的预测目标图像；
根据所述预测目标图像和与所述预测目标图像对应的真实目标图像确定损失函数；
基于所述损失函数对所述初始可行驶区域检测模型进行训练，确定可行驶区域检测模型。
根据本发明一优选实施例，所述根据所述预测目标图像和与所述预测目标图像对应的真实目标图像确定损失函数，具体包括：
根据所述预测目标图像和与所述预测目标图像对应的真实目标图像确定第一损失函数；
分别确定所述真实目标图像和所述预测目标图像的可行驶区域边缘，根据所述真实目标图像和所述预测目标图像的可行驶区域边缘确定第二损失函数；
由所述第一损失函数和所述第二损失函数确定所述损失函数。
根据本发明一优选实施例，对所述初始道路图像做预处理，具体为：对所述初始道路图像进行人工标注。
根据本发明一优选实施例，所述在图像样本库中选取初始道路图像输入初始可行驶区域检测模型，确定与所述初始道路图像对应的预测目标图像，具体包括：
在图像样本库中选取初始道路图像输入所述初始可行驶区域检测模型；
对所述初始道路图像进行卷积运算；
融合卷积运算过程中的结果特征，并输出所述初始道路图像的融合特征；
根据所述初始道路图像的融合特征确定与所述初始道路图像对应的预测目标图像。
根据本发明一优选实施例，所述融合卷积运算过程中的结果特征，并输出所述初始道路图像的融合特征，具体包括：
对所述卷积运算过程中的结果特征进行特性连接；
对特性连接后的特征进行尺度平衡；
将尺度平衡后的特征转换为特征向量并计算该特征向量的权重向量；
将所述权重向量与尺度平衡后的特征进行点乘以完成对连接后的特征的加权，最终输出融合特征。
根据本发明一优选实施例，所述基于所述损失函数对所述初始可行驶区域检测模型进行训练，确定可行驶区域检测模型，具体包括：
对所述损失函数进行优化，更新所述初始可行驶区域检测模型的参数，直到所述初始可行驶区域检测模型收敛或迭代次数到达设置次数，确定可行驶区域检测模型。
一种可行驶区域检测模型的训练装置，包括：
图像样本库，图像样本库中存储有大量多种成像条件下的道路图像作为初始道路图像，且存储有能够表征初始道路图像中可行驶区域的真实目标图像；
初始可行驶区域检测模型，用于确定与初始道路图像对应的预测目标图像；
计算模块，用于根据预测目标图像和与预测目标图像对应的真实目标图像确定损失函数；
更新模块，基于所述损失函数对所述初始可行驶区域检测模型进行训练，确定可行驶区域检测模型。
一种可行驶区域检测方法，包括：
获取待检测的实时道路图像；
使用上述的可行驶区域检测模型的训练方法获得的可行驶区域检测模型对实时道路图像进行检测；输出能够表征可行驶区域的检测结果。
一种可行驶区域检测装置，包括：
图像获取模块，用于获取待检测的实时道路图像；
基于上述可行驶区域检测模型的训练方法所训练出的可行驶区域检测模型，用于对实时道路图像进行检测；
结果输出模块，用于输出能够表征可行驶区域的检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述可行驶区域检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述可行驶区域检测方法的步骤。
采用本发明中可行驶区域检测模型的训练方法获得的可行驶区域检测模型对实时道路图像进行检测，能够将可行驶区域边缘线所描述的结构信息融入到可行驶区域检测中，降低了将道路中车辆、行人边缘误分为可行驶区域的概率，极大地提升了算法的检测精度，同时添加通过对不同尺度特征进行融合，通过权重向量对特征进行加权，激励重要的特征，抑制不重要的特征。
附图说明
图1是本发明中可行驶区域检测模型的训练方法的流程示意图；
图2是标注图像结果以及sobel运算结果示意图；
图3是确定与初始道路图像对应的预测目标图像的流程示意图；
图4是融合特征的流程示意图；
图5是损失函数的确定过程的流程示意图；
图6是本发明中可行驶区域检测模型的训练装置的结构示意图；
图7是初始可行驶区域检测模型的结构示意图；
图8是特征融合模块的结构示意图；
图9是本发明中可行驶区域检测方法的流程示意图；
图10是本发明中可行驶区域检测装置的结构示意图；
图11是本发明中计算机设备的结构框图；
具体实施方式
针对现有技术中存在的问题，本发明提出一种可行驶区域检测模型的训练方法、训练装置及应用。可行驶区域主要是指车辆在不发生碰撞等危险的情况下，短时间内可抵达的安全路面区域，包括同向车道没有障碍物区域、路口或者匝道潜在可行驶方向路面等。
如图1所示为本发明中可行驶区域检测模型的训练方法实施例的流程图，包括以下具体实施方式：
101，获得图像样本库，图像样本库包括初始道路图像与对初始道路图像做预处理得到的用于表征可行驶区域的真实目标图像；
102，在图像样本库中选取初始道路图像输入初始可行驶区域检测模型，确定与初始道路图像对应的预测目标图像；
103，根据预测目标图像和与预测目标图像对应的真实目标图像确定损失函数；
104，基于损失函数对初始可行驶区域检测模型进行训练，确定可行驶区域检测模型。
在101中，可利用安装有单目摄像头的采集车来采集作为初始道路图像，采集车可以为无人驾驶车辆，也可以为有人驾驶车辆；所采集的作为初始道路图像的数量可根据实际需要而定。
初始道路图像采集完成后，需要对初始道路图像进行初步处理，具体为调整图像尺寸与减去均值等操作，其中，调整图像尺寸具体为将图像样本库中的图像大小调整为512*512，以减少训练、检测过程中的计算量；减去均值具体为将图像样本库中的图像的RGB三个通道的像素分别减去123，117，104，以实现图像的归一化。
对初始道路图像做预处理具体为对初始道路图像进行人工标注方式，也可以采用机器标注方式。通过标注，得到图像样本库中的各初始道路图像的真实目标图像，真实目标图像能够表征出初始道路图像中实际的可行驶区域，具体表征形式为：真实目标图像中可行驶区域的像素值为1，其他区域的像素值为0；如图2所示，其中图2(a)为初始道路图像，图2(b)为真实目标图像。
在102中，预测目标图像是能够表征出经过初始可行驶区域检测模型检测后初始道路图像中可行驶区域的图像，如图3所示，确定与初始道路图像对应的预测目标图像包括以下具体实施方式：
301，在图像样本库中选取初始道路图像输入初始可行驶区域检测模型；
302，对初始道路图像进行卷积运算；
303，融合卷积运算过程中的结果特征，并输出初始道路图像的融合特征；
304，根据初始道路图像的融合特征确定与初始道路图像对应的预测目标图像。
在303中，可以通过对不同尺度特征进行融合，通过权重向量对特征进行加权，进而达到激励重要的特征，抑制不重要的特征的效果，因此，如图4所示，融合卷积运算过程中的结果特征并输出融合特征包括以下具体实施方式：
401，对卷积运算过程中的结果特征进行特性连接(concatenate)；
402，对特性连接后的特征进行尺度平衡，具体为：采用卷积(convalution,conv)，批归一化(batch normalization，bn)，卷积修正线性单元(Rectified Linear Unit,ReLU)的方式平衡特征的尺度；
403，将尺度平衡后的特征转换为特征向量并计算该特征向量的权重向量，具体为：首先采用全局平均池化(global average pool)的方式将尺度平衡后的特征转换为特征向量，随后将特征向量依次经过1*1卷积，修正线性单元，1*1卷积以及sigmoid函数后计算得到该特征向量的权重向量；
404，将权重向量与尺度平衡后的特征进行点乘(multiply,mul)以完成对连接后的特征的加权，最终输出融合特征。
本实施例中的初始可行驶区域检测模型以resnet18作为基础网络结构，包括n个res i模块，其中i＝2,3,4…n，本实施例中基础网络结构包括5个res i模块：res 1模块、res 2模块、res 3模块、res 4模块和res 5模块，因此在401中，对卷积运算过程中的结果特征进行特性连接具体为：对res 4和res 5输出特征进行连接。
在103中，为了将可行驶区域边缘线所描述的结构信息融入到可行驶区域检测中，降低了将道路中车辆、行人边缘误分为可行驶区域的概率，如图5所示，确定损失函数的过程包括以下具体实施方式：
501，根据预测目标图像Pmask和与预测目标图像Pmask对应的真实目标图像Tmask确定第一损失函数L1：
Figure BDA0002036690000000071
式中，n表示图像中第n个像素，yi表示真实目标图像中像素点i的值，
Figure BDA0002036690000000072
表示预测目标图像Pmask中像素点i的值。
502，分别确定真实目标图像的可行驶区域边缘Tedge和预测目标图像的可行驶区域边缘Pedge，根据真实目标图像的可行驶区域边缘Tedge和预测目标图像的可行驶区域边缘Pedge确定第二损失函数L2；本实施例中通过Sobel算子来确定真实目标图像的可行驶区域边缘Tedge和预测目标图像的可行驶区域边缘Pedge，Sobel算子通过对图像在水平和垂直两个方向上求导，得到在X方向与Y方向梯度图像，将两个方向梯度绝对值相加得到图像边缘，图2(c)为真实目标图像的可行驶区域边缘。具体计算方式如下公式所示：
Figure BDA0002036690000000081
Figure BDA0002036690000000082
Figure BDA0002036690000000083
式中，||表示求取绝对值，n表示图像中第n个像素，yi表示中真实目标图像的行驶区域边缘Tedge像素点i的值,
Figure BDA0002036690000000084
表示预测目标图像行驶区域边缘Pedge中像素点i的值。
503，由第一损失函数L1和第二损失函数L2确定损失函数L：L＝αL1+βL2，其中，α，β为权重系数，均设为0.5。
在104中，对初始可行驶区域检测模型进行训练的具体实施方式为：对损失函数进行优化，更新初始可行驶区域检测模型的参数，直到初始可行驶区域检测模型收敛或迭代次数到达设置次数，确定可行驶区域检测模型。其中，对损失函数采用带动量的梯度下降方式进行优化，具体动量的大小为0.9，初始学习率为0.001。
以上是关于本发明中可行驶区域检测模型的训练方法实施例的介绍，以下通过本发明中可行驶区域检测模型的训练装置实施例，对本发明所述方案进行进一步说明。
如图6所示为可行驶区域检测模型的训练装置的结构示意图，包括：
图像样本库601，图像样本库中存储有大量多种成像条件下的道路图像作为初始道路图像，且存储有能够表征初始道路图像中可行驶区域的真实目标图像；
初始可行驶区域检测模型602，用于确定与初始道路图像对应的预测目标图像；
计算模块603，用于根据预测目标图像和与预测目标图像对应的真实目标图像确定损失函数；
更新模块604，基于所述损失函数对所述初始可行驶区域检测模型进行训练，确定可行驶区域检测模型。
参考图7，初始可行驶区域检测模型602可进一步包括：
基础网络结构701，用于对初始图像进行卷积运算；本实施例中，以resnet18作为基础网络结构，包括5个res i模块，res 1模块、res 2模块、res 3模块、res4模块和res 5模块，res 1模块包括输入层和卷积层；res 2模块包括卷积层、卷积层、卷积层和卷积层，res3模块包括卷积层、卷积层、卷积层和卷积层，res 4模块包括卷积层、卷积层、卷积层和卷积层，res 5模块包括卷积层、卷积层、卷积层和卷积层。基础网络结构也可以替换为resnet50,vgg16，mobilenetV2等；
特征融合模块702，用于融合基础网络结构卷积运算过程中的结果特征并输出初始图像的融合特征；具体为对res 4模块和res 5模块所输出的特征进行融合。
预测模块703，用于接收特征融合模块所输出的融合特征并将特征融合模块所输出的融合特征转换成能够表征初始图像中可行驶区域的预测目标图像；
边缘感知任务子模块704，用于接收真实目标图像与预测模块输出的预测目标图像，确定真实目标图像和预测目标图像的边缘。
通过特征融合模块对不同尺度的特征进行融合，以达到激励重要的特征，抑制不重要的特征。参考图8，特征融合模块702可进一步包括：
特征连接单元801，用于对基础网络结构卷积运算过程中的结果特征进行特性连接；
尺度平衡单元802，包括第一卷积层、批归一化层、第一卷积修正线性单元层，用于平衡进行特性连接后特征的尺度；
权重计算单元803，包括全局池化层、第二卷积层、第二卷积修正线性单元层、第三卷积层、sigmoid函数层，用于将平衡尺度后的特征转换为特征向量并计算该特征向量的权重向量；
特征融合单元804，用于将权重计算单元所输出的权重向量与尺度平衡单元所输出的平衡尺度后的特征进行点乘以完成对连接后的特征的加权，最终输出融合特征。
通过在初始可行驶区域检测模型内添加边缘感知任务子模块，将可行驶区域边缘线所描述的结构信息融入到可行驶区域检测中，降低了将道路中车辆、行人边缘误分为可行驶区域的概率，极大地提升了算法的检测精度。计算模块603首先根据真实目标图像和对应预测目标图像计算第一损失函数，随后根据边缘感知任务子模块输出的真实目标图像和预测目标图像的边缘计算第二损失函数，最终通过第一损失函数和第二损失函数确定总损失函数，并将总损失函数输出至更新模块604。
基于以上实施例公开的可行驶区域检测模型的训练方法/装置所确定的可行驶区域检测模型，以下通过本发明中可行驶区域检测方法的实施例，对本发明所述方案进行进一步说明。
如图9所示的一种可行驶区域检测方法，包括以下具体实施方式：
901，获取待检测的实时道路图像；
902，使用上述的可行驶区域检测模型的训练方法获得的可行驶区域检测模型对实时道路图像进行检测；
903，输出能够表征可行驶区域的检测结果。
在901中，获取待检测的实时道路图像同样需要进行初步处理，具体为调整图像尺寸与减去均值等操作，其中，调整图像尺寸具体为将图像样本库中的图像大小调整为512*512，以减少训练、检测过程中的计算量；减去均值具体为将图像样本库中的图像的RGB三个通道的像素分别减去123，117，104，以实现图像的归一化。
采用上述可行驶区域检测模型的训练方法获得的可行驶区域检测模型对实时道路图像进行检测，能够将可行驶区域边缘线所描述的结构信息融入到可行驶区域检测中，降低了将道路中车辆、行人边缘误分为可行驶区域的概率，极大地提升了算法的检测精度，同时添加通过对不同尺度特征进行融合，通过权重向量对特征进行加权，激励重要的特征，抑制不重要的特征。
以下通过本发明中可行驶区域检测装置实施例，对本发明所述方案进行进一步说明。
如图10所示的一种可行驶区域检测装置，包括：
图像获取模块1001，用于获取待检测的实时道路图像；
基于上述可行驶区域检测模型的训练方法所训练出的可行驶区域检测模型1002，用于对实时道路图像进行检测；
结果输出模块1003，用于输出能够表征可行驶区域的检测结果。
比如，在无人驾驶车辆的行驶过程中，图像获取模块1001可获取单目摄像头每次采集到的路面图像，发送给可行驶区域检测模型1002，从而得到检测出的图像上的可行驶区域。对于输入的每张路面图像来说，可行驶区域检测模型1002会分别预测出图像中的每个像素点属于可行驶区域还是不可行驶区域，进而输出由可行驶区域以及不可行驶区域组成的分类结果图像。
如图11所示的是于用来实现本发明实施方式的示例性计算机系统/服务器1101的框图。图11显示的计算机系统/服务器1101仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统/服务器1101以通用计算设备的形式表现。计算机系统/服务器1101的组件可以包括但不限于：一个或者多个处理器(处理单元)1102，存储器1103，连接不同系统组件(包括存储器1103和处理器1102)的总线1104。
总线1104表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器1101典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器1101访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器1103可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)1105和/或高速缓存存储器1106。计算机系统/服务器1101可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统1107可以用于读写不可移动的、非易失性磁介质(图11未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线1104相连。存储器1103可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块1108的程序/实用工具，可以存储在例如存储器1103中，这样的程序模块1108包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块1108通常执行本发明所描述的实施例中可行驶区域检测的功能和/或方法。
计算机系统/服务器1101也可以与一个或多个外部设备1109(例如键盘、指向设备、显示器等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器1101交互的设备通信，和/或与使得该计算机系统/服务器1101能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口11010进行。并且，计算机系统/服务器1101还可以通过网络适配器11011与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图11所示，网络适配器11011通过总线1104与计算机系统/服务器1101的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器1101使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器1102通过运行存储在存储器1103中的程序，从而执行各种功能应用以及数据处理，例如实现图9所示实施例中的方法。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图9所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (11)

1.一种可行驶区域检测模型的训练方法，其特征在于，包括：
获得图像样本库，所述图像样本库包括初始道路图像与对所述初始道路图像做预处理得到的用于表征可行驶区域的真实目标图像；
在图像样本库中选取初始道路图像输入初始可行驶区域检测模型，确定与所述初始道路图像对应的预测目标图像；
根据所述预测目标图像和与所述预测目标图像对应的真实目标图像确定损失函数；
基于所述损失函数对所述初始可行驶区域检测模型进行训练，确定可行驶区域检测模型。
2.根据权利要求1所述可行驶区域检测模型的训练方法，其特征在于，所述根据所述预测目标图像和与所述预测目标图像对应的真实目标图像确定损失函数，具体包括：
根据所述预测目标图像和与所述预测目标图像对应的真实目标图像确定第一损失函数；
分别确定所述真实目标图像和所述预测目标图像的可行驶区域边缘，根据所述真实目标图像和所述预测目标图像的可行驶区域边缘确定第二损失函数；
由所述第一损失函数和所述第二损失函数确定所述损失函数。
3.根据权利要求1所述可行驶区域检测模型的训练方法，其特征在于，对所述初始道路图像做预处理，具体为：对所述初始道路图像进行人工标注。
4.根据权利要求1-3任一项所述可行驶区域检测模型的训练方法，其特征在于，所述在图像样本库中选取初始道路图像输入初始可行驶区域检测模型，确定与所述初始道路图像对应的预测目标图像，具体包括：
在图像样本库中选取初始道路图像输入所述初始可行驶区域检测模型；
对所述初始道路图像进行卷积运算；
融合卷积运算过程中的结果特征，并输出所述初始道路图像的融合特征；
根据所述初始道路图像的融合特征确定与所述初始道路图像对应的预测目标图像。
5.根据权利要求4所述可行驶区域检测模型的训练方法，其特征在于，所述融合卷积运算过程中的结果特征，并输出所述初始道路图像的融合特征，具体包括：
对所述卷积运算过程中的结果特征进行特性连接；
对特性连接后的特征进行尺度平衡；
将尺度平衡后的特征转换为特征向量并计算该特征向量的权重向量；
将所述权重向量与尺度平衡后的特征进行点乘以完成对连接后的特征的加权，最终输出融合特征。
6.根据权利要求1所述可行驶区域检测模型的训练方法，其特征在于，所述基于所述损失函数对所述初始可行驶区域检测模型进行训练，确定可行驶区域检测模型，具体包括：
对所述损失函数进行优化，更新所述初始可行驶区域检测模型的参数，直到所述初始可行驶区域检测模型收敛或迭代次数到达设置次数，确定可行驶区域检测模型。
7.一种可行驶区域检测模型的训练装置，其特征在于，包括：
图像样本库，图像样本库中存储有大量多种成像条件下的道路图像作为初始道路图像，且存储有能够表征初始道路图像中可行驶区域的真实目标图像；
初始可行驶区域检测模型，用于确定与初始道路图像对应的预测目标图像；
计算模块，用于根据预测目标图像和与预测目标图像对应的真实目标图像确定损失函数；
更新模块，基于所述损失函数对所述初始可行驶区域检测模型进行训练，确定可行驶区域检测模型。
8.一种可行驶区域检测方法，其特征在于，包括：
获取待检测的实时道路图像；
使用权利要求1-6任一项所述的可行驶区域检测模型的训练方法获得的可行驶区域检测模型对实时道路图像进行检测；输出能够表征可行驶区域的检测结果。
9.一种可行驶区域检测装置，其特征在于，包括：
图像获取模块，用于获取待检测的实时道路图像；
基于权利要求1-6任一项所述可行驶区域检测模型的训练方法所训练出的可行驶区域检测模型，用于对实时道路图像进行检测；
结果输出模块，用于输出能够表征可行驶区域的检测结果。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求9所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求8所述的方法的步骤。
CN201910327530.XA 2019-04-23 2019-04-23 可行驶区域检测模型的训练方法、训练装置及应用 Active CN111832368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910327530.XA CN111832368B (zh) 2019-04-23 2019-04-23 可行驶区域检测模型的训练方法、训练装置及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910327530.XA CN111832368B (zh) 2019-04-23 2019-04-23 可行驶区域检测模型的训练方法、训练装置及应用

Publications (2)

Publication Number Publication Date
CN111832368A true CN111832368A (zh) 2020-10-27
CN111832368B CN111832368B (zh) 2024-09-13

Family

ID=72912648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910327530.XA Active CN111832368B (zh) 2019-04-23 2019-04-23 可行驶区域检测模型的训练方法、训练装置及应用

Country Status (1)

Country Link
CN (1) CN111832368B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255820A (zh) * 2021-06-11 2021-08-13 成都通甲优博科技有限责任公司 落石检测模型训练方法、落石检测方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155399A (ja) * 2011-01-24 2012-08-16 Denso Corp 境界検出装置、および境界検出プログラム
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
US20180239969A1 (en) * 2017-02-23 2018-08-23 Ford Global Technologies, Llc Free Space Detection Using Monocular Camera and Deep Learning
CN108846328A (zh) * 2018-05-29 2018-11-20 上海交通大学 基于几何正则化约束的车道检测方法
CN109117691A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 可行驶区域检测方法、装置、设备及存储介质
CN109117690A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 可行驶区域检测方法、装置、设备及存储介质
US20190005657A1 (en) * 2017-06-30 2019-01-03 Baidu Online Network Technology (Beijing) Co., Ltd . Multiple targets-tracking method and apparatus, device and storage medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155399A (ja) * 2011-01-24 2012-08-16 Denso Corp 境界検出装置、および境界検出プログラム
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
US20180239969A1 (en) * 2017-02-23 2018-08-23 Ford Global Technologies, Llc Free Space Detection Using Monocular Camera and Deep Learning
CN109117691A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 可行驶区域检测方法、装置、设备及存储介质
CN109117690A (zh) * 2017-06-23 2019-01-01 百度在线网络技术（北京）有限公司 可行驶区域检测方法、装置、设备及存储介质
US20190005657A1 (en) * 2017-06-30 2019-01-03 Baidu Online Network Technology (Beijing) Co., Ltd . Multiple targets-tracking method and apparatus, device and storage medium
CN108345875A (zh) * 2018-04-08 2018-07-31 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
CN108846328A (zh) * 2018-05-29 2018-11-20 上海交通大学 基于几何正则化约束的车道检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李超凡;陈庆奎;: "基于学习算法SSD的实时道路拥堵检测", 软件导刊, no. 06 *
杨其睿;: "油田安防领域基于改进的深度残差网络行人检测模型", 计算机测量与控制, no. 11 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255820A (zh) * 2021-06-11 2021-08-13 成都通甲优博科技有限责任公司 落石检测模型训练方法、落石检测方法及相关装置

Also Published As

Publication number Publication date
CN111832368B (zh) 2024-09-13

Similar Documents

Publication Publication Date Title
CN109116374B (zh) 确定障碍物距离的方法、装置、设备及存储介质
CN109242903B (zh) 三维数据的生成方法、装置、设备及存储介质
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
US10983217B2 (en) Method and system for semantic label generation using sparse 3D data
RU2743895C2 (ru) Способы и системы для определения компьютером наличия объектов
CN108734058B (zh) 障碍物类型识别方法、装置、设备及存储介质
EP3881226A1 (en) Object classification using extra-regional context
CN109870698B (zh) 一种超声波阵列障碍物检测结果处理方法及系统
CN115861632B (zh) 一种基于图卷积的视觉激光融合的三维目标检测方法
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN110263713B (zh) 车道线检测方法、装置、电子设备及存储介质
CN111192327B (zh) 用于确定障碍物朝向的方法和装置
CN109635868B (zh) 障碍物类别的确定方法、装置、电子设备及存储介质
CN115147809A (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN112651535A (zh) 局部路径规划方法、装置、存储介质、电子设备及车辆
CN113895460A (zh) 行人轨迹预测方法、装置及存储介质
CN112861940A (zh) 双目视差估计方法、模型训练方法以及相关设备
CN112883818A (zh) 文本图像识别方法、系统、设备及存储介质
CN113255445A (zh) 多任务模型训练及图像处理方法、装置、设备及存储介质
CN115249266A (zh) 航路点位置预测方法、系统、设备及存储介质
CN111832368B (zh) 可行驶区域检测模型的训练方法、训练装置及应用
CN114140612A (zh) 电力设备隐患检测方法、装置、设备及存储介质
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant