CN110176017A - 一种基于目标检测的边缘检测模型、方法和存储介质 - Google Patents

一种基于目标检测的边缘检测模型、方法和存储介质 Download PDF

Info

Publication number
CN110176017A
CN110176017A CN201910158347.1A CN201910158347A CN110176017A CN 110176017 A CN110176017 A CN 110176017A CN 201910158347 A CN201910158347 A CN 201910158347A CN 110176017 A CN110176017 A CN 110176017A
Authority
CN
China
Prior art keywords
target
target detection
characteristic pattern
bottom edge
height map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910158347.1A
Other languages
English (en)
Inventor
张济智
吴子章
唐锐
王凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Anchi Zongmu Intelligent Technology Co Ltd
Original Assignee
Beijing Anchi Zongmu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Anchi Zongmu Intelligent Technology Co Ltd filed Critical Beijing Anchi Zongmu Intelligent Technology Co Ltd
Priority to CN201910158347.1A priority Critical patent/CN110176017A/zh
Publication of CN110176017A publication Critical patent/CN110176017A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于目标检测的边缘检测模型、方法和存储介质，通过目标检测模块获得输入图像特定目标类别的实例分割结果，通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开输出底边高度图；以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓，并以目标检测下边缘轮廓与摄像头标定参数通过矩阵转换获得相对位置关系。

Description

一种基于目标检测的边缘检测模型、方法和存储介质
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种基于目标检测的边缘检测模型、方法和存储介质。
背景技术
图像是人们从客观世界获取信息的重要来源，图像信息最主要来自其边缘和轮廓。所谓边缘是指其周围像素灰度急剧变化的那些象素的集合，它存在于目标、背景和区域之间。图像边缘检测是图像处理中的一个重要内容和步骤。
近年来，随着人们对自动驾驶的需求增加，自主泊车系统已成为一个深入研究的课题，但在泊车过程中，获取到当前行驶区域内的车辆、行人、障碍物等目标的下底边，然后计算无人驾驶车辆与其他目标的下底边距离，对于车辆的行驶轨迹预测与车身控制起到重要的作用。
传统的边缘检测算法如微分算子法、最优算子法等算法是利用梯度最大值或二阶导数过零点值来获取图像边缘的。这些算法尽管实时性较好，但抗干扰性差，不能有效克服噪声影响导致图像降噪后边缘变得模糊，无法在多尺度下对图像边缘进行提取导致定位方面欠佳。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种种基于目标检测的边缘检测模型、方法和存储介质，通过目标检测模块获得输入图像特定目标类别的实例分割结果，通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开输出底边高度图；以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓，并以目标检测下边缘轮廓与摄像头标定参数通过矩阵转换获得相对位置关系。
一种目标检测的下边缘检测模型的训练方法，包括以下步骤：
获取样本图像，所述样本图像标注有实例分割结果，所述实例分割结果中包括目标检测框；
将所述样本图像输入预先建立的初始神经网络模型；
利用所述样本图像训练所述初始神经网络模型，先得到目标检测特征的底边高度图，再由高度图转换得到目标下边缘检测模型；
将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较；获得比较结果；
根据所述比较结果调整所述目标下边缘检测模型中的参数，使得所述目标下边缘检测模型的损失函数最小。
进一步地，所述目标下边缘检测框包含以下要素：
A.分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
B.语义分割后特定类别的实例分割结果；
C.各个实例分割结果中目标下边缘轮廓线；
D.各个实例分割结果下边缘轮廓线中与地面接触的接触点。
一种目标检测的下边缘检测方法，包括如下步骤：
S01：输入图像，通过目标检测模块获得输入图像特定目标类别的实例分割结果，所述实例分割结果中包括目标检测框和目标检测框的特征图；
S02：将实例分割结果输入底边检测模块中，通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开输出底边高度图；
S03：以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
进一步地，还包括步骤S04：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
进一步地，还包括步骤S021：特征融合步骤，所述特征融合步骤用于将步骤S01中提取特征图时，分别提取的多个卷积层特征图进行特征融合，并获得融合特征的特征图，使用融合特征的特征图以代替原特征图。
进一步地，所述特征融合模块利用ROI Align算法获得目标检测结果中每个检测到的目标在(2)中临时保存的多个特征图上的对应特征区域，然后把这多个特征区域合并起来得到该检测到的目标的576*32*6的融合特征。
进一步地，所述步骤S02中通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开输出底边高度图，其中所述多条分支在一优选实施例中，使用两条分支卷积操作。底边检测模块对目标检测模块得到的每个检测目标的576*32*6的融合特征通过反复地在两条分支上进行一系列1x1卷积操作后然后进行合并起来，最终进行全连接展开得到1*96的检测到的目标的底边高度图。
进一步地，还包括S041：在换算取得本体与目标检测框之间的相对位置关系之前，还包括将目标检测结果中每个检测到的目标框和该检测到的目标的底边高度图进行合并，以得到在合并后的目标底边检测图。
进一步地，所述在换算取得本体与目标检测框之间的相对位置关系时，换算关系以本体摄像头标定参数坐标映射地面接触点坐标与目标检测框与地面接触点坐标以矩阵转换关系获得相对位置关系。
进一步地，所述目标下边缘检测框包含以下要素：
A分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
B语义分割后特定类别的实例分割结果；
C各个实例分割结果中目标下边缘轮廓线；
D各个实例分割结果下边缘轮廓线中与地面接触的接触点。
一种目标检测的下边缘检测模型，包括以下部分：
目标检测模块，所述目标检测模块用于分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来；
特征提取模块，所述特征提取模块用于提取各个实例目标检测框中目标图像的特征，以形成特征图；
底边高度图提取模块，所述底边高度图提取模块用于通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图；
下边缘提取模块，所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
进一步地，所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。
进一步地，所述特征提取模块包括分别提取目标检测框中多个卷积层的特征，还包括特征融合模块，所述特征融合模块用于将分别提取的多个卷积层特征进行特征融合，并获得融合特征的特征图，使用融合特征的特征图以代替原特征图。
进一步地，所述底边高度图提取模块反复地在特征图上以多条分支进行卷积操作时，每条卷积操作卷积核的维度数为的通道数不特定，但该卷积核尺寸(hk,wk)特定为hk等于1，wk等于1。
进一步地，所述目标下边缘检测框的目标包括可移动物体和静止物体，所述可移动物体包括行人、行人手持的接触地面的设备、包括但不限于轮椅、平衡车、自行车、手推车、摩托车、机动车辆在内的移动设备；所述静止物体包括指示牌、路障、树、栅栏、立柱在内的各类地面障碍物。
进一步地，所述目标下边缘检测框包含以下要素：
A分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
B语义分割后特定类别的实例分割结果；
C各个实例分割结果中目标下边缘轮廓线；
D各个实例分割结果下边缘轮廓线中与地面接触的接触点。
进一步地，所述特征提取模块包括初步特征提取部分和复杂特征提取部分，所述初步特征提取部分和复杂特征提取部分作为两个分支，可以同时工作；利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
进一步地，所述特征提取模块中初步特征提取部分分支内容可以调用目标检测模块中特征提取部分的初步特征提取结果。
进一步地，所述特征提取模块利用Resnet网对捕获图像进行初步的特征提取，RRC网络接着进行更复杂的特征提取，在Resnet网络和RRC网络处理过程中不同阶段的图像特征图会被临时保存，最后输出带有目标检测框的结果。
进一步地，所述目标检测模块中也包括特征提取部分，目标检测模块的特征提取部分同样可以利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
一种基于目标高度图提取的相对位置转换方法，包括以下步骤：
S01：由目标检测模块分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来，提取各个实例目标检测框中目标图像的特征，以形成特征图；通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图，以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓；
S02：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
如上所述，本发明的具有以下有益效果：
(1)目标检测模块使用RRC网络加强对目标物体全局上下文信息的捕捉，对不同尺寸的物体都能实现良好地检测。
(2)特征融合模块将每个检测到的物体的检测框和其对应的多个不同阶段的特征图进行多尺度特征融合，使得融合特征对检测到的物体更加具有代表性。
(3)底边检测模块大量使用双分支的1x1卷积操作，在不影响耗时的情况下，提高图像精度。
(4)前鱼眼转俯视图模块输出的俯视图下的物体底边检测图能够实现对检测到的目标的精确距离度量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的流程图。
图2显示为本发明底边高度图网络结构的示意图。
图3显示为本发明捕获图像示意图。
图4显示为本发明捕获图像中目标检测模块实例检测结果示意图。
图5显示为本发明底边检测模块输出的底边检测结果示意图。
图6显示为本发明一实施例中从特征图转换为底边高度图前特征图中每个像素点的特征值。
图7显示为图6中获得的底边高度图示意图。
图8显示为本发明摄像头标定原点与目标检测框通过矩阵转换后俯视图中相对坐标位置关系的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图8，
一种目标检测的下边缘检测模型的训练方法，包括以下步骤：
获取样本图像，所述样本图像标注有实例分割结果，所述实例分割结果中包括目标检测框；
将所述样本图像输入预先建立的初始神经网络模型；
利用所述样本图像训练所述初始神经网络模型，先得到目标检测特征的底边高度图，再由高度图转换得到目标下边缘检测模型；
将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较；获得比较结果；
根据所述比较结果调整所述目标下边缘检测模型中的参数，使得所述目标下边缘检测模型的损失函数最小。
进一步地，所述目标下边缘检测框包含以下要素：
E.分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
F.语义分割后特定类别的实例分割结果；
G.各个实例分割结果中目标下边缘轮廓线；
H.各个实例分割结果下边缘轮廓线中与地面接触的接触点。
一种目标检测的下边缘检测方法，包括如下步骤：
S01：输入图像，通过目标检测模块获得输入图像特定目标类别的实例分割结果，所述实例分割结果中包括目标检测框和目标检测框的特征图；
S02：将实例分割结果输入底边检测模块中，通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开输出底边高度图；
S03：以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
进一步地，还包括步骤S04：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
进一步地，还包括步骤S021：特征融合步骤，所述特征融合步骤用于将步骤S01中提取特征图时，分别提取的多个卷积层特征图进行特征融合，并获得融合特征的特征图，使用融合特征的特征图以代替原特征图。
进一步地，所述特征融合模块利用ROI Align算法获得目标检测结果中每个检测到的目标在(2)中临时保存的多个特征图上的对应特征区域，然后把这多个特征区域合并起来得到该检测到的目标的576*32*6的融合特征。
进一步地，所述步骤S02中通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开输出底边高度图，其中所述多条分支在一优选实施例中，使用两条分支卷积操作。底边检测模块对目标检测模块得到的每个检测目标的576*32*6的融合特征通过反复地在两条分支上进行一系列1x1卷积操作后然后进行合并起来，最终进行全连接展开得到1*96的检测到的目标的底边高度图。
进一步地，还包括S041：在换算取得本体与目标检测框之间的相对位置关系之前，还包括将目标检测结果中每个检测到的目标框和该检测到的目标的底边高度图进行合并，以得到在合并后的目标底边检测图。
进一步地，所述在换算取得本体与目标检测框之间的相对位置关系时，换算关系以本体摄像头标定参数坐标映射地面接触点坐标与目标检测框与地面接触点坐标以矩阵转换关系获得相对位置关系。
进一步地，所述目标下边缘检测框包含以下要素：
A分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
B语义分割后特定类别的实例分割结果；
C各个实例分割结果中目标下边缘轮廓线；
D各个实例分割结果下边缘轮廓线中与地面接触的接触点。
一种目标检测的下边缘检测模型，包括以下部分：
目标检测模块，所述目标检测模块用于分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来；
特征提取模块，所述特征提取模块用于提取各个实例目标检测框中目标图像的特征，以形成特征图；
底边高度图提取模块，所述底边高度图提取模块用于通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图；
下边缘提取模块，所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
进一步地，所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。
进一步地，所述特征提取模块包括分别提取目标检测框中多个卷积层的特征，还包括特征融合模块，所述特征融合模块用于将分别提取的多个卷积层特征进行特征融合，并获得融合特征的特征图，使用融合特征的特征图以代替原特征图。
进一步地，所述底边高度图提取模块反复地在特征图上以多条分支进行卷积操作时，每条卷积操作卷积核的维度数为的通道数不特定，但该卷积核尺寸(hk,wk)特定为hk等于1，wk等于1。
进一步地，所述目标下边缘检测框的目标包括可移动物体和静止物体，所述可移动物体包括行人、行人手持的接触地面的设备、包括但不限于轮椅、平衡车、自行车、手推车、摩托车、机动车辆在内的移动设备；所述静止物体包括指示牌、路障、树、栅栏、立柱在内的各类地面障碍物。
进一步地，所述目标下边缘检测框包含以下要素：
A分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
B语义分割后特定类别的实例分割结果；
C各个实例分割结果中目标下边缘轮廓线；
D各个实例分割结果下边缘轮廓线中与地面接触的接触点。
进一步地，所述特征提取模块包括初步特征提取部分和复杂特征提取部分，所述初步特征提取部分和复杂特征提取部分作为两个分支，可以同时工作；利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
进一步地，所述特征提取模块中初步特征提取部分分支内容可以调用目标检测模块中特征提取部分的初步特征提取结果。
进一步地，所述特征提取模块利用Resnet网对捕获图像进行初步的特征提取，RRC网络接着进行更复杂的特征提取，在Resnet网络和RRC网络处理过程中不同阶段的图像特征图会被临时保存，最后输出带有目标检测框的结果。
进一步地，所述目标检测模块中也包括特征提取部分，目标检测模块的特征提取部分同样可以利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
一种基于目标高度图提取的相对位置转换方法，包括以下步骤：
S01：由目标检测模块分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来，提取各个实例目标检测框中目标图像的特征，以形成特征图；通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图，以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓；
S02：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的目标检测的下边缘检测方法实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的目标检测的下边缘检测程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，例如运行的检测程序，以实现实施例中目标检测的下边缘检测模型的功能。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储目标检测的下边缘检测程序，被处理器执行时实现实施例中的目标检测的下边缘检测方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种目标检测的下边缘检测模型的训练方法，其特征在于，包括以下步骤：
获取样本图像，所述样本图像标注有实例分割结果，所述实例分割结果中包括目标检测框；
将所述样本图像输入预先建立的初始神经网络模型；
利用所述样本图像训练所述初始神经网络模型，先得到目标检测特征的底边高度图，再由高度图转换得到目标下边缘检测模型；
将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较；获得比较结果；
根据所述比较结果调整所述目标下边缘检测模型中的参数，使得所述目标下边缘检测模型的损失函数最小。
2.一种目标检测的下边缘检测方法，其特征在于，包括如下步骤：
S01：输入图像，通过目标检测模块获得输入图像特定目标类别的实例分割结果，所述实例分割结果中包括目标检测框和目标检测框的特征图；
S02：将实例分割结果输入底边检测模块中，通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开输出底边高度图；
S03：以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
3.根据权利要求2所述的目标检测的下边缘检测方法，其特征在于，还包括步骤S04：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
4.根据权利要求2所述的目标检测的下边缘检测方法，其特征在于，还包括步骤S021：特征融合步骤，所述特征融合步骤用于将步骤S01中提取特征图时，分别提取的多个卷积层特征图进行特征融合，并获得融合特征的特征图，使用融合特征的特征图以代替原特征图。
5.根据权利要求3所述的目标检测的下边缘检测方法，其特征在于，还包括步骤S041：在换算取得本体与目标检测框之间的相对位置关系之前，还包括将目标检测结果中每个检测到的目标框和该检测到的目标的底边高度图进行合并，以得到在合并后的目标底边检测图。
6.根据权利要求5所述的目标检测的下边缘检测方法，其特征在于，所述目标下边缘检测框包含以下要素：
A分割捕获图像中不同语义的部分，获得目标检测框中所属语义分割的类别要素；
B语义分割后特定类别的实例分割结果；
C各个实例分割结果中目标下边缘轮廓线；
D各个实例分割结果下边缘轮廓线中与地面接触的接触点。
7.一种目标检测的下边缘检测模型，其特征在于，包括以下部分：
目标检测模块，所述目标检测模块用于分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来；
特征提取模块，所述特征提取模块用于提取各个实例目标检测框中目标图像的特征，以形成特征图；
底边高度图提取模块，所述底边高度图提取模块用于通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图；
下边缘提取模块，所述下边缘提取模块用于以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓。
8.根据权利要求7所述的目标检测的下边缘检测模型，其特征在于，所述特征提取模块包括但不限于提取目标检测框中特定卷积层的特征。
9.根据权利要求7所述的目标检测的下边缘检测模型，其特征在于，所述所述底边高度图提取模块反复地在特征图上以多条分支进行卷积操作时，每条卷积操作卷积核的维度数为的通道数不特定，但该卷积核尺寸(hk,wk)特定为hk等于1，wk等于1。
10.根据权利要求9所述的目标检测的下边缘检测模型，其特征在于，所述特征提取模块包括初步特征提取部分和复杂特征提取部分，所述初步特征提取部分和复杂特征提取部分作为两个分支，可以同时工作；利用两个分支进行特征提取，即先通过基础网络进行初步特征提取，再通过特殊网络进行复杂特征提取，对于初步特征提取、复杂特征提取中不同阶段的图像特征均会被临时保存。
11.根据权利要求7-10任一项所述的目标检测的下边缘检测模型，其特征在于，所述目标下边缘检测框的目标包括可移动物体和静止物体，所述可移动物体包括行人、行人手持的接触地面的设备、包括但不限于轮椅、平衡车、自行车、手推车、摩托车、机动车辆在内的移动设备；所述静止物体包括指示牌、路障、树、栅栏、立柱在内的各类地面障碍物。
12.一种基于目标高度图提取的相对位置转换方法，其特征在于，包括以下步骤：
S01：由目标检测模块分割捕获图像中不同语义的部分，形成分割结果，再将分割结果进行实例分割获得不同语义中的各个实例，将各个实例以目标检测框的形式标注标注出来，提取各个实例目标检测框中目标图像的特征，以形成特征图；通过反复地在特征图上以多条分支进行卷积操作，再将多分支卷积操作结果合并，最终进行全连接展开目标的底边高度图，以底边高度图中各个像素点的特征信息与原特征图中该列像素点特征信息比对，获得底边高度图单列像素点与原特征图该列像素点的对应关系，获得底边高度图中各个像素点在原特征图中的对应位置关系，以该对应位置关系获得目标检测框中实例的下边缘轮廓；
S02：提取目标检测框中实例的下边缘轮廓中相对地面最低位置的像素点，判断该像素点为目标检测框中所示物体与地面接触点，利用本体摄像头标定参数获得本体摄像头在地面的投影，通过坐标系换算取得本体与目标检测框之间的相对位置关系。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求2至6任一权利要求所述的方法中的步骤。
CN201910158347.1A 2019-03-01 2019-03-01 一种基于目标检测的边缘检测模型、方法和存储介质 Pending CN110176017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910158347.1A CN110176017A (zh) 2019-03-01 2019-03-01 一种基于目标检测的边缘检测模型、方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910158347.1A CN110176017A (zh) 2019-03-01 2019-03-01 一种基于目标检测的边缘检测模型、方法和存储介质

Publications (1)

Publication Number Publication Date
CN110176017A true CN110176017A (zh) 2019-08-27

Family

ID=67689183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910158347.1A Pending CN110176017A (zh) 2019-03-01 2019-03-01 一种基于目标检测的边缘检测模型、方法和存储介质

Country Status (1)

Country Link
CN (1) CN110176017A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311620A (zh) * 2020-01-19 2020-06-19 贵州黔驰信息股份有限公司 一种实现边缘检测的方法、装置、计算机存储介质及终端
CN111368794A (zh) * 2020-03-19 2020-07-03 北京百度网讯科技有限公司 障碍物检测方法、装置、设备和介质
CN111860693A (zh) * 2020-07-31 2020-10-30 元神科技(杭州)有限公司 一种轻量级视觉目标检测方法及系统
CN113034524A (zh) * 2019-12-25 2021-06-25 深圳怡化电脑股份有限公司 一种图像边缘检测方法和装置
CN115965927A (zh) * 2023-03-16 2023-04-14 杭州枕石智能科技有限公司 一种路面信息提取方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
CN108537292A (zh) * 2018-04-10 2018-09-14 上海白泽网络科技有限公司 语义分割网络训练方法、图像语义分割方法及装置
CN108549893A (zh) * 2018-04-04 2018-09-18 华中科技大学 一种任意形状的场景文本端到端识别方法
CN108734713A (zh) * 2018-05-18 2018-11-02 大连理工大学 一种基于多特征图的交通图像语义分割方法
CN108898610A (zh) * 2018-07-20 2018-11-27 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109118519A (zh) * 2018-07-26 2019-01-01 北京纵目安驰智能科技有限公司 基于实例分割的目标Re-ID方法、系统、终端和存储介质
US20190065864A1 (en) * 2017-08-31 2019-02-28 TuSimple System and method for vehicle occlusion detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
US20190065864A1 (en) * 2017-08-31 2019-02-28 TuSimple System and method for vehicle occlusion detection
CN108549893A (zh) * 2018-04-04 2018-09-18 华中科技大学 一种任意形状的场景文本端到端识别方法
CN108537292A (zh) * 2018-04-10 2018-09-14 上海白泽网络科技有限公司 语义分割网络训练方法、图像语义分割方法及装置
CN108734713A (zh) * 2018-05-18 2018-11-02 大连理工大学 一种基于多特征图的交通图像语义分割方法
CN108898610A (zh) * 2018-07-20 2018-11-27 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109118519A (zh) * 2018-07-26 2019-01-01 北京纵目安驰智能科技有限公司 基于实例分割的目标Re-ID方法、系统、终端和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG, QIANGPENG等: ""Inceptext: A new inception-text module with deformable psroi pooling for multi-oriented scene text detection", 《ARXIV PREPRINT ARXIV:1805.01167 》, 8 May 2015 (2015-05-08) *
吴金亮;王港;梁硕;陈金勇;高峰;: "基于Mask R-CNN的舰船目标检测研究", 无线电工程, no. 11, 19 October 2018 (2018-10-19) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034524A (zh) * 2019-12-25 2021-06-25 深圳怡化电脑股份有限公司 一种图像边缘检测方法和装置
CN111311620A (zh) * 2020-01-19 2020-06-19 贵州黔驰信息股份有限公司 一种实现边缘检测的方法、装置、计算机存储介质及终端
CN111368794A (zh) * 2020-03-19 2020-07-03 北京百度网讯科技有限公司 障碍物检测方法、装置、设备和介质
CN111368794B (zh) * 2020-03-19 2023-09-19 北京百度网讯科技有限公司 障碍物检测方法、装置、设备和介质
CN111860693A (zh) * 2020-07-31 2020-10-30 元神科技(杭州)有限公司 一种轻量级视觉目标检测方法及系统
CN115965927A (zh) * 2023-03-16 2023-04-14 杭州枕石智能科技有限公司 一种路面信息提取方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110148148A (zh) 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质
CN110176017A (zh) 一种基于目标检测的边缘检测模型、方法和存储介质
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN111402264B (zh) 图像区域分割方法、装置及其模型训练方法及计算机设备
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN110348297A (zh) 一种用于识别立体停车库的检测方法、系统、终端和存储介质
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN108182695A (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
US20170178341A1 (en) Single Parameter Segmentation of Images
CN109190662A (zh) 一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质
CN111160169A (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN109271842A (zh) 一种基于关键点回归的通用物体检测方法、系统、终端和存储介质
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
CN112883926A (zh) 表格类医疗影像的识别方法及装置
CN117011260A (zh) 一种芯片外观缺陷自动检测方法、电子设备及存储介质
CN110135288A (zh) 一种电子证照的快速核对方法及装置
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN116843983A (zh) 路面病害识别方法、模型训练方法、电子设备及介质
CN111680680A (zh) 一种目标码定位方法、装置、电子设备及存储介质
CN114897987B (zh) 一种确定车辆地面投影的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination