CN110148148A - 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质 - Google Patents
一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质 Download PDFInfo
- Publication number
- CN110148148A CN110148148A CN201910158356.0A CN201910158356A CN110148148A CN 110148148 A CN110148148 A CN 110148148A CN 201910158356 A CN201910158356 A CN 201910158356A CN 110148148 A CN110148148 A CN 110148148A
- Authority
- CN
- China
- Prior art keywords
- target
- lower edge
- target detection
- neural network
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 238000003708 edge detection Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 64
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims description 71
- 230000004927 fusion Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质，获取样本图像，将所述样本图像输入预先建立的初始神经网络模型；利用所述样本图像训练所述初始神经网络模型，先将样本图像输入基础神经网络模型得到目标检测的实例分割结果，再将目标检测的实例分割结果输入高度图神经网络模型，再由高度图转换得到目标下边缘检测结果；将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较；获得比较结果；根据所述比较结果调整所述目标下边缘检测模型中的损失函数，使得所述目标下边缘检测模型的损失函数最小。
Description
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质。
背景技术
图像是人们从客观世界获取信息的重要来源，图像信息最主要来自其边缘和轮廓。所谓边缘是指其周围像素灰度急剧变化的那些象素的集合，它存在于目标、背景和区域之间。图像边缘检测是图像处理中的一个重要内容和步骤。
近年来，随着人们对自动驾驶的需求增加，自主泊车系统已成为一个深入研究的课题，但在泊车过程中，获取到当前行驶区域内的车辆、行人、障碍物等目标的下底边，然后计算无人驾驶车辆与其他目标的下底边距离，对于车辆的行驶轨迹预测与车身控制起到重要的作用。
传统的边缘检测算法如微分算子法、最优算子法等算法是利用梯度最大值或二阶导数过零点值来获取图像边缘的。这些算法尽管实时性较好，但抗干扰性差，不能有效克服噪声影响导致图像降噪后边缘变得模糊，无法在多尺度下对图像边缘进行提取导致定位方面欠佳。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种种基于目标检测的下边缘检测模型的训练方法、模型和存储介质，通过基础神经网络、高度图神经网络和下边缘神经网络分别对每一部分进行同步分段训练，节省计算耗时，提高了神经网络的训练速度，不同神经网络使用适合该分段训练的损失函数，提高了每一段神经网络的精度，高度图神经网络部分以均方误差损失函数为损失函数的修正。
一种目标检测的下边缘检测模型的训练方法，包括以下步骤：
获取样本图像，所述样本图像标注有实例分割结果，所述实例分割结果中包括目标检测框；
将所述样本图像输入预先建立的初始神经网络模型；
利用所述样本图像训练所述初始神经网络模型，所述初始神经网络模型中包括基础神经网络模型、高度图神经网络模型和下边缘网络模型，先将样本图像输入基础神经网络模型得到目标检测的实例分割结果，再将目标检测的实例分割结果输入高度图神经网络模型，再由高度图转换得到目标下边缘检测结果；
将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较；获得比较结果；
根据所述比较结果调整所述目标下边缘检测模型中的损失函数，使得所述目标下边缘检测模型的损失函数最小。
进一步地，所述损失函数使用基于距离度量的回归问题损失函数。
进一步地，所述基于距离度量的回归问题损失函数使用均方误差损失函数、平均绝对值误差损失函数、平滑的平均绝对误差损失函数、Log-Cosh损失函数、分位数损失函数中的一种或几种。
进一步地，所述基于距离度量的回归问题损失函数使用均方误差损失函数：
其中为目标物体下边缘的预测值，其中yi为目标物体下边缘的标定值。
进一步地，所述目标物体下边缘的预测值形状为1*W，所述目标物体下边缘的标定值1*W。
进一步地，所述目标下边缘检测框包含以下要素：
1)分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
2)语义分割后特定类别的实例分割结果；
3)各个实例分割结果中目标下边缘轮廓线；
4)各个实例分割结果下边缘轮廓线中与地面接触的接触点。
一种目标检测的下边缘检测模型，包括以下部分：
目标检测模块，所述目标检测模块由初始神经网络模型分割捕获图像中不同语义的部分，形成实例分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，所述目标检测模块中还包括特征提取模块，所述特征提取模块用于提取各个实例目标检测框中目标图像的特征，以形成特征图；
高度图提取模块，所述底边高度图提取模块通过高度图神经网络反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，得到特征图对应的高度维度上为1的底边高度图；
下边缘提取模块，所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
进一步地，所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。
进一步地，所述特征提取模块包括分别提取目标检测框中多个卷积层的特征，还包括特征融合模块，所述特征融合模块用于将分别提取的多个卷积层特征进行特征融合，并获得融合特征的特征图，使用融合特征的特征图以代替原特征图。
进一步地，所述底边高度图提取模块反复地在特征图上以多条分支进行卷积操作时，每条卷积操作卷积核的维度数为的通道数不特定，但该卷积核尺寸(hk,wk)特定为hk等于1，wk等于1。
进一步地，所述目标下边缘检测框的目标包括可移动物体和静止物体，所述可移动物体包括行人、行人手持的接触地面的设备、包括但不限于轮椅、平衡车、自行车、手推车、摩托车、机动车辆在内的移动设备；所述静止物体包括指示牌、路障、树、栅栏、立柱在内的各类地面障碍物。
进一步地，所述目标下边缘检测框包含以下要素：
A分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
B语义分割后特定类别的实例分割结果；
C各个实例分割结果中目标下边缘轮廓线；
D各个实例分割结果下边缘轮廓线中与地面接触的接触点。
进一步地，所述特征提取模块包括初步特征提取部分和复杂特征提取部分，所述初步特征提取部分和复杂特征提取部分作为两个分支，可以同时工作；利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
进一步地，所述特征提取模块中初步特征提取部分分支内容可以调用目标检测模块中特征提取部分的初步特征提取结果。
进一步地，所述特征提取模块利用Resnet网对捕获图像进行初步的特征提取，RRC网络接着进行更复杂的特征提取，在Resnet网络和RRC网络处理过程中不同阶段的图像特征图会被临时保存，最后输出带有目标检测框的结果。
进一步地，所述目标检测模块中也包括特征提取部分，目标检测模块的特征提取部分同样可以利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
一种基于目标高度图提取的相对位置转换方法，包括以下步骤：
S01：由目标检测模块通过基础神经网络分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来，提取各个实例目标检测框中目标图像的特征，以形成特征图；通过高度图神经网络反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图；下边缘提取模块以底边高度图为输入，将底边高度图输入下边缘神经网络中，使各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓；
S02：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
如上所述，本发明的具有以下有益效果：
(1)目标检测模块使用RRC网络加强对目标物体全局上下文信息的捕捉，对不同尺寸的物体都能实现良好地检测。
(2)特征融合模块将每个检测到的物体的检测框和其对应的多个不同阶段的特征图进行多尺度特征融合，使得融合特征对检测到的物体更加具有代表性。
(3)底边检测模块大量使用双分支的1x1卷积操作，在不影响耗时的情况下，提高图像精度。
(4)前鱼眼转俯视图模块输出的俯视图下的物体底边检测图能够实现对检测到的目标的精确距离度量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的获取的样本图像。
图2显示为本发明通过基础神经网络后得到的目标语义分割结果的示意图。
图3显示为本发明通过基础神经网络后得到的目标实例分割结果的示意图。
图4显示为本发明下边缘神经网络输出结果的示意图。
图5显示为本发明单一目标下边缘神经网络输出结果的示意图。
图6显示为本发明一实施例中高度图神经网络将特征图转换为底边高度图前特征图中每个像素点的特征值。
图7显示为图6中高度图神经网络输出的底边高度图示意图。
图8显示为本发明摄像头标定原点与目标检测框通过矩阵转换后俯视图中相对坐标位置关系的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图8，
一种目标检测的下边缘检测模型的训练方法，包括以下步骤：
获取样本图像，所述样本图像标注有实例分割结果，所述实例分割结果中包括目标检测框；
将所述样本图像输入预先建立的初始神经网络模型；
利用所述样本图像训练所述初始神经网络模型，所述初始神经网络模型中包括基础神经网络模型、高度图神经网络模型和下边缘网络模型，先将样本图像输入基础神经网络模型得到目标检测的实例分割结果，再将目标检测的实例分割结果输入高度图神经网络模型，再由高度图转换得到目标下边缘检测结果；
将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较；获得比较结果；
根据所述比较结果调整所述目标下边缘检测模型中的损失函数，使得所述目标下边缘检测模型的损失函数最小。
进一步地，所述损失函数使用基于距离度量的回归问题损失函数。
进一步地，所述基于距离度量的回归问题损失函数使用均方误差损失函数、平均绝对值误差损失函数、平滑的平均绝对误差损失函数、Log-Cosh损失函数、分位数损失函数中的一种或几种。
进一步地，所述基于距离度量的回归问题损失函数使用均方误差损失函数：
其中为目标物体下边缘的预测值，其中yi为目标物体下边缘的标定值。
进一步地，所述目标物体下边缘的预测值形状为1*W，所述目标物体下边缘的标定值1*W。
进一步地，所述目标下边缘检测框包含以下要素：
1)分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
2)语义分割后特定类别的实例分割结果；
3)各个实例分割结果中目标下边缘轮廓线；
4)各个实例分割结果下边缘轮廓线中与地面接触的接触点。
一种目标检测的下边缘检测模型，包括以下部分：
目标检测模块，所述目标检测模块由初始神经网络模型分割捕获图像中不同语义的部分，形成实例分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，所述目标检测模块中还包括特征提取模块，所述特征提取模块用于提取各个实例目标检测框中目标图像的特征，以形成特征图；
高度图提取模块，所述底边高度图提取模块通过高度图神经网络反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，得到特征图对应的高度维度上为1的底边高度图；
下边缘提取模块，所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
进一步地，所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。
进一步地，所述特征提取模块包括分别提取目标检测框中多个卷积层的特征，还包括特征融合模块，所述特征融合模块用于将分别提取的多个卷积层特征进行特征融合，并获得融合特征的特征图，使用融合特征的特征图以代替原特征图。
进一步地，所述底边高度图提取模块反复地在特征图上以多条分支进行卷积操作时，每条卷积操作卷积核的维度数为的通道数不特定，但该卷积核尺寸(hk,wk)特定为hk等于1，wk等于1。参见图6-图7，图6中8*10表示基础神经网络输出的特征图的尺寸，该特征图的尺寸为8*10，每一个方格中的数值代表该像素点中亮度对比度值。当该特征图输入到高度神经网络后，高度神经网络模型先逐一识别出特征图中目标物体与地面接触的像素点，标记该像素点，然后统计得到特征图中目标物体与地面接触的点，逐一连接这些像素点形成下边缘线。将标记了下边缘线的特征图再高度上降低维度成为一维的特征图，即图7所示，即高度图神经网络的输出。所述高度图神经网络输出的结果，该行中每一个像素点的数值表示的是其所对应的特征图中目标物体与地面接触点在该特征图对应列中的位置信息。
进一步地，所述目标下边缘检测框的目标包括可移动物体和静止物体，所述可移动物体包括行人、行人手持的接触地面的设备、包括但不限于轮椅、平衡车、自行车、手推车、摩托车、机动车辆在内的移动设备；所述静止物体包括指示牌、路障、树、栅栏、立柱在内的各类地面障碍物。
进一步地，所述目标下边缘检测框包含以下要素：
A分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
B语义分割后特定类别的实例分割结果；
C各个实例分割结果中目标下边缘轮廓线；
D各个实例分割结果下边缘轮廓线中与地面接触的接触点。
进一步地，所述特征提取模块包括初步特征提取部分和复杂特征提取部分，所述初步特征提取部分和复杂特征提取部分作为两个分支，可以同时工作；利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
进一步地，所述特征提取模块中初步特征提取部分分支内容可以调用目标检测模块中特征提取部分的初步特征提取结果。
进一步地，所述特征提取模块利用Resnet网对捕获图像进行初步的特征提取，RRC网络接着进行更复杂的特征提取，在Resnet网络和RRC网络处理过程中不同阶段的图像特征图会被临时保存，最后输出带有目标检测框的结果。
进一步地，所述目标检测模块中也包括特征提取部分，目标检测模块的特征提取部分同样可以利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
一种基于目标高度图提取的相对位置转换方法，包括以下步骤：
S01：由目标检测模块通过基础神经网络分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来，提取各个实例目标检测框中目标图像的特征，以形成特征图；通过高度图神经网络反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图；下边缘提取模块以底边高度图为输入，将底边高度图输入下边缘神经网络中，使各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓；
S02：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的目标检测的下边缘检测方法实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的目标检测的下边缘检测程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，例如运行的检测程序，以实现实施例中目标检测的下边缘检测模型的功能。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储目标检测的下边缘检测程序，被处理器执行时实现实施例中的目标检测的下边缘检测方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (11)
1.一种目标检测的下边缘检测模型的训练方法，其特征在于，包括以下步骤：
获取样本图像，所述样本图像标注有实例分割结果，所述实例分割结果中包括目标检测框；
将所述样本图像输入预先建立的初始神经网络模型；
利用所述样本图像训练所述初始神经网络模型，所述初始神经网络模型中包括基础神经网络模型、高度图神经网络模型和下边缘网络模型，先将样本图像输入基础神经网络模型得到目标检测的实例分割结果，再将目标检测的实例分割结果输入高度图神经网络模型，再由高度图转换得到目标下边缘检测结果；
将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较；获得比较结果；
根据所述比较结果调整所述目标下边缘检测模型中的损失函数，使得所述目标下边缘检测模型的损失函数最小。
2.根据权利要求1所述的目标检测的下边缘检测模型的训练方法，其特征在于，所述损失函数使用基于距离度量的回归问题损失函数。
3.根据权利要求2所述的目标检测的下边缘检测模型的训练方法，其特征在于，所述基于距离度量的回归问题损失函数使用均方误差损失函数、平均绝对值误差损失函数、平滑的平均绝对误差损失函数、Log-Cosh损失函数、分位数损失函数中的一种或几种。
4.根据权利要求3所述的目标检测的下边缘检测模型的训练方法，其特征在于，所述基于距离度量的回归问题损失函数使用均方误差损失函数：
其中为目标物体下边缘的预测值，其中yi为目标物体下边缘的标定值。
5.根据权利要求4所述的目标检测的下边缘检测模型的训练方法，其特征在于，所述目标物体下边缘的预测值形状为1*W，所述目标物体下边缘的标定值1*W。
6.根据权利要求5所述的目标检测的下边缘检测模型的训练方法，其特征在于，所述目标下边缘检测包含以下要素：
1)分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
2)语义分割后特定类别的实例分割结果；
3)各个实例分割结果中目标下边缘轮廓线；
4)各个实例分割结果下边缘轮廓线中与地面接触的接触点。
7.一种目标检测的下边缘检测模型，其特征在于，包括以下部分：
目标检测模块，所述目标检测模块由初始神经网络模型分割捕获图像中不同语义的部分，形成实例分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，所述目标检测模块中还包括特征提取模块，所述特征提取模块用于提取各个实例目标检测框中目标图像的特征，以形成特征图；
高度图提取模块，所述底边高度图提取模块通过高度图神经网络反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，得到特征图对应的高度维度上为1的底边高度图；
下边缘提取模块，所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
8.根据权利要求7所述的目标检测的下边缘检测模型，其特征在于，所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。
9.根据权利要求8所述的目标检测的下边缘检测模型，其特征在于，所述特征提取模块包括分别提取目标检测框中多个卷积层的特征，还包括特征融合模块，所述特征融合模块用于将分别提取的多个卷积层特征进行特征融合，并获得融合特征的特征图，使用融合特征的特征图以代替原特征图。
10.一种基于目标高度图提取的相对位置转换方法，其特征在于，包括以下步骤：
S01：由目标检测模块通过基础神经网络分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来，提取各个实例目标检测框中目标图像的特征，以形成特征图；通过高度图神经网络反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图；下边缘提取模块以底边高度图为输入，将底边高度图输入下边缘神经网络中，使各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓；
S02：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至6任一权利要求所述的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910158356.0A CN110148148B (zh) | 2019-03-01 | 2019-03-01 | 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910158356.0A CN110148148B (zh) | 2019-03-01 | 2019-03-01 | 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110148148A true CN110148148A (zh) | 2019-08-20 |
| CN110148148B CN110148148B (zh) | 2024-11-05 |
Family
ID=67588685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910158356.0A Active CN110148148B (zh) | 2019-03-01 | 2019-03-01 | 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110148148B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080593A (zh) * | 2019-12-07 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 一种图像处理装置、方法及存储介质 |
| CN111160407A (zh) * | 2019-12-10 | 2020-05-15 | 重庆特斯联智慧科技股份有限公司 | 一种深度学习目标检测方法及系统 |
| CN111402335A (zh) * | 2020-03-18 | 2020-07-10 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的评价方法、装置、电子设备及存储介质 |
| CN111783623A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 用于识别定位元素的算法调整方法、装置、设备和介质 |
| CN112001401A (zh) * | 2020-07-29 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 实例分割网络的训练模型及训练方法，实例分割网络 |
| CN112465847A (zh) * | 2020-11-27 | 2021-03-09 | 深圳点猫科技有限公司 | 一种基于预测清晰边界的边缘检测方法、装置及设备 |
| CN112950642A (zh) * | 2021-02-25 | 2021-06-11 | 中国工商银行股份有限公司 | 点云实例分割模型的训练方法、装置、电子设备和介质 |
| CN113077484A (zh) * | 2021-03-30 | 2021-07-06 | 中国人民解放军战略支援部队信息工程大学 | 一种图像实例分割方法 |
| CN113436258A (zh) * | 2021-06-17 | 2021-09-24 | 中国船舶重工集团公司第七0七研究所九江分部 | 基于视觉与激光雷达融合的海上浮码头检测方法及系统 |
| CN113450321A (zh) * | 2021-06-18 | 2021-09-28 | 电子科技大学 | 基于边缘检测的单阶段目标检测方法 |
| CN113470051A (zh) * | 2021-09-06 | 2021-10-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割方法、计算机终端及存储介质 |
| CN114429620A (zh) * | 2022-04-07 | 2022-05-03 | 北京中科慧眼科技有限公司 | 限高装置下边缘位置检测模型训练方法和系统 |
| CN116823864A (zh) * | 2023-08-25 | 2023-09-29 | 锋睿领创(珠海)科技有限公司 | 基于平衡损失函数的数据处理方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170200274A1 (en) * | 2014-05-23 | 2017-07-13 | Watrix Technology | Human-Shape Image Segmentation Method |
| CN107784654A (zh) * | 2016-08-26 | 2018-03-09 | 杭州海康威视数字技术股份有限公司 | 图像分割方法、装置及全卷积网络系统 |
| WO2018125580A1 (en) * | 2016-12-30 | 2018-07-05 | Konica Minolta Laboratory U.S.A., Inc. | Gland segmentation with deeply-supervised multi-level deconvolution networks |
| US20180253622A1 (en) * | 2017-03-06 | 2018-09-06 | Honda Motor Co., Ltd. | Systems for performing semantic segmentation and methods thereof |
| CN108846328A (zh) * | 2018-05-29 | 2018-11-20 | 上海交通大学 | 基于几何正则化约束的车道检测方法 |
-
2019
- 2019-03-01 CN CN201910158356.0A patent/CN110148148B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170200274A1 (en) * | 2014-05-23 | 2017-07-13 | Watrix Technology | Human-Shape Image Segmentation Method |
| CN107784654A (zh) * | 2016-08-26 | 2018-03-09 | 杭州海康威视数字技术股份有限公司 | 图像分割方法、装置及全卷积网络系统 |
| WO2018125580A1 (en) * | 2016-12-30 | 2018-07-05 | Konica Minolta Laboratory U.S.A., Inc. | Gland segmentation with deeply-supervised multi-level deconvolution networks |
| US20180253622A1 (en) * | 2017-03-06 | 2018-09-06 | Honda Motor Co., Ltd. | Systems for performing semantic segmentation and methods thereof |
| CN108846328A (zh) * | 2018-05-29 | 2018-11-20 | 上海交通大学 | 基于几何正则化约束的车道检测方法 |
Non-Patent Citations (7)
| Title |
|---|
| CHENG, DONGCAI, ET AL.: ""FusionNet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images"", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
| MARMANIS, DIMITRIOS, ET AL.: ""Classification with an edge: Improving semantic image segmentation with boundary detection"", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 》 * |
| YANG, QIANGPENG, ET AL.: ""Inceptext: A new inception-text module with deformable psroi pooling for multi-oriented scene text detection"", 《ARXIV PREPRINT ARXIV:1805.01167 》 * |
| ZHANG, JIZHI, ET AL.: ""A Weakly Supervised Deep Learning Semantic Segmentation Framework"", 《2017 IEEE INTERNATIONAL CONFERENCE ON SMART CLOUD》 * |
| 严捷丰;陈功;刘学亮;周荷琴;: ""一种视频检测车辆位置违章的几何方法"", 《小型微型计算机系统》 * |
| 罗海波;何淼;惠斌;常铮;: ""基于双模全卷积网络的行人检测算法(特邀)"", 《红外与激光工程》 * |
| 翁健: ""基于全卷积神经网络的全向场景分割研究与算法实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080593A (zh) * | 2019-12-07 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 一种图像处理装置、方法及存储介质 |
| CN111080593B (zh) * | 2019-12-07 | 2023-06-16 | 上海联影智能医疗科技有限公司 | 一种图像处理装置、方法及存储介质 |
| CN111160407A (zh) * | 2019-12-10 | 2020-05-15 | 重庆特斯联智慧科技股份有限公司 | 一种深度学习目标检测方法及系统 |
| CN111402335A (zh) * | 2020-03-18 | 2020-07-10 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的评价方法、装置、电子设备及存储介质 |
| CN111783623A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 用于识别定位元素的算法调整方法、装置、设备和介质 |
| CN111783623B (zh) * | 2020-06-29 | 2024-04-12 | 北京百度网讯科技有限公司 | 用于识别定位元素的算法调整方法、装置、设备和介质 |
| CN112001401B (zh) * | 2020-07-29 | 2022-12-09 | 苏州浪潮智能科技有限公司 | 用于实例分割的模型及训练方法，实例分割网络 |
| CN112001401A (zh) * | 2020-07-29 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 实例分割网络的训练模型及训练方法，实例分割网络 |
| CN112465847A (zh) * | 2020-11-27 | 2021-03-09 | 深圳点猫科技有限公司 | 一种基于预测清晰边界的边缘检测方法、装置及设备 |
| CN112950642A (zh) * | 2021-02-25 | 2021-06-11 | 中国工商银行股份有限公司 | 点云实例分割模型的训练方法、装置、电子设备和介质 |
| CN113077484A (zh) * | 2021-03-30 | 2021-07-06 | 中国人民解放军战略支援部队信息工程大学 | 一种图像实例分割方法 |
| CN113436258A (zh) * | 2021-06-17 | 2021-09-24 | 中国船舶重工集团公司第七0七研究所九江分部 | 基于视觉与激光雷达融合的海上浮码头检测方法及系统 |
| CN113436258B (zh) * | 2021-06-17 | 2023-09-12 | 中国船舶重工集团公司第七0七研究所九江分部 | 基于视觉与激光雷达融合的海上浮码头检测方法及系统 |
| CN113450321B (zh) * | 2021-06-18 | 2022-05-03 | 电子科技大学 | 基于边缘检测的单阶段目标检测方法 |
| CN113450321A (zh) * | 2021-06-18 | 2021-09-28 | 电子科技大学 | 基于边缘检测的单阶段目标检测方法 |
| CN113470051A (zh) * | 2021-09-06 | 2021-10-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割方法、计算机终端及存储介质 |
| CN114429620A (zh) * | 2022-04-07 | 2022-05-03 | 北京中科慧眼科技有限公司 | 限高装置下边缘位置检测模型训练方法和系统 |
| CN116823864A (zh) * | 2023-08-25 | 2023-09-29 | 锋睿领创(珠海)科技有限公司 | 基于平衡损失函数的数据处理方法、装置、设备及介质 |
| CN116823864B (zh) * | 2023-08-25 | 2024-01-05 | 锋睿领创(珠海)科技有限公司 | 基于平衡损失函数的数据处理方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110148148B (zh) | 2024-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148148A (zh) | 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质 | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN110069986B (zh) | 一种基于混合模型的交通信号灯识别方法及系统 | |
| CN110097536B (zh) | 基于深度学习和霍夫变换的六边形螺栓松动检测方法 | |
| CN103927526B (zh) | 一种基于高斯差分多尺度边缘融合的车辆检测方法 | |
| CN111444921A (zh) | 划痕缺陷检测方法、装置、计算设备和存储介质 | |
| CN111914698B (zh) | 图像中人体的分割方法、分割系统、电子设备及存储介质 | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN105005989B (zh) | 一种弱对比度下的车辆目标分割方法 | |
| CN110472580B (zh) | 基于全景影像的检测车位的方法、装置、存储介质 | |
| CN103136525B (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
| CN111582339B (zh) | 一种基于深度学习的车辆检测与识别的方法 | |
| CN110176017A (zh) | 一种基于目标检测的边缘检测模型、方法和存储介质 | |
| CN114419583A (zh) | 一种大尺度特征的YOLOv4-tiny目标检测算法 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
| CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
| CN109977834A (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
| CN113763412B (zh) | 图像处理方法、装置及电子设备、计算机可读存储介质 | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| CN106203414B (zh) | 一种基于判别字典学习与稀疏表示的场景图片文字检测的方法 | |
| CN104966064A (zh) | 基于视觉的前方行人测距方法 | |
| CN112149600A (zh) | 一种大数据汽车驾驶区域图像分析方法及系统 | |
| US20230326029A1 (en) | Method for processing images, electronic device, and storage medium | |
| CN115482514A (zh) | 车道线检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240907 Address after: 201203 Shanghai Pudong New Area China (Shanghai) Pilot Free Trade Zone, No. 366 Shangke Road and No. 10, Lane 55, Chuanhe Road Applicant after: ZONGMU TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region after: China Address before: 102200 b5-035, maker Plaza, 338 Huilongguan East Street, Changping District, Beijing Applicant before: BEIJING ZONGMU ANCHI INTELLIGENT TECHNOLOGY CO.,LTD. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |