CN111382625A - 道路标识识别方法、装置及电子设备 - Google Patents
道路标识识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111382625A CN111382625A CN201811629600.9A CN201811629600A CN111382625A CN 111382625 A CN111382625 A CN 111382625A CN 201811629600 A CN201811629600 A CN 201811629600A CN 111382625 A CN111382625 A CN 111382625A
- Authority
- CN
- China
- Prior art keywords
- image
- road
- model
- detected
- sign recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims description 20
- 238000013145 classification model Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 20
- 238000012545 processing Methods 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种道路标识识别方法、装置及电子设备，涉及图像处理技术领域，本方案将获取到的待检测图像，输入至预先训练好的道路标识识别模型中，以对该待检测图像进行道路标识识别；其中该道路标识识别模型为基于样本图像集(该样本图像集中包含带有干扰项的样本图像)训练得到的，使得该道路标识识别模型可以有效的排除图像中的干扰项，学习到图像前景中的道路标识。因此当使用上述道路标识识别模型对待检测图像进行识别时，可以在存在干扰项的情况下，有效识别出图像中的道路标识，提高道路标识检测的准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种道路标识识别方法、装置及电子设备。
背景技术
随着智能交通领域的不断发展，关于道路标识的检测及识别的研究也越来越多。目前，在进行道路标识检测及识别时，一般都是从拍摄的图像中选取一些固定的图像特征，例如道路标识的颜色特征、形状特征等，来分析道路标识。但是在实际交通应用场景中，图像采集过程可能受到运动模糊、背景干扰、天气条件以及拍摄视角等因素的影响，相同道路标识的图像之间也可能存在较大的差别，导致基于图像特征检测的方式无法有效识别出图像中的道路标识，影响了道路标识检测的准确性。
发明内容
有鉴于此，本发明的目的在于提供一种道路标识识别方法、装置及电子设备，以在存在干扰项的情况下，有效识别出图像中的道路标识，提高道路标识检测的准确性。
第一方面，本发明实施例提供了一种道路标识识别方法，所述方法基于预先训练的道路标识识别模型，所述方法包括：
获取待检测图像；将所述待检测图像输入预先训练好的道路标识识别模型；其中，所述道路标识识别模型为基于样本图像集训练得到的，所述样本图像集中包含带有干扰项的样本图像；基于所述道路标识识别模型对所述待检测图像进行识别，得到所述待检测图像中的道路标识所属的类别。
进一步地，基于所述道路标识识别模型对所述待检测图像进行识别，得到所述待检测图像中的道路标识所属的类别的步骤，包括：通过所述初始特征模型对所述待检测图像进行特征提取，得到所述待检测图像的特征图；基于所述RPN模型，从所述特征图中获取目标区域框；利用所述区域特征提取模块，从所述特征图中提取各个所述目标区域框对应的区域特征图；基于所述分类模型对所述区域特征图进行识别，得到所述目标区域框中的道路标识所属的类别。
进一步地，基于所述RPN模型，从所述特征图中获取目标区域框的步骤，包括：基于所述RPN模型，从所述特征图中获取该特征图中的特征点属于目标区域的概率，当所述概率大于预设值时，基于所述特征点的特征值确定目标区域框。
进一步地，所述道路标识识别模型的训练过程包括：获取各个场景下的道路图像；其中，所述道路图像包含地面、道路两侧或者是道路上方的标志牌的图像；根据所述道路图像对应的场景标注道路标识类型；将标注后的道路图像作为样本图像，加入样本图像集；基于所述样本图像集训练所述道路标识识别模型。
进一步地，从所述特征图中提取各个所述目标区域框对应的区域特征图的步骤之后，还包括：将所述目标区域框对应的区域特征图通过掩码分支模型转换为Mask图像；其中所述掩码分支模型包括全卷积网络；采用双线性插值算法将所述Mask图像变换为所述待检测图像中相应的目标区域的尺寸大小；根据变换后的Mask图像中，每个Mask点分别属于各个道路标识类别的概率，确定该Mask点所属的目标道路标识类别；根据所述Mask点所属的目标道路标识类别，得到所述目标区域框中的道路标识所属的类别。
进一步地，所述方法还包括：在得到所述目标区域框中的道路标识所属的类别之后，所述方法还包括：确定所述目标区域框中的道路标识所属的类别对应的显示颜色；按照所述显示颜色，在所述待检测图像上显示所述目标区域框中的道路标识。
进一步地，所述方法还包括：基于所述分类模型中的全连接层对所述区域特征图进行边框修正，以修正后的边框作为所述目标区域框中的道路标识对应的区域框，显示所述道路标识。
第二方面，本发明实施例还提供一种道路标识识别装置，包括：图像获取单元，用于获取待检测图像；图像输入单元，用于将所述待检测图像输入预先训练好的道路标识识别模型；其中，所述道路标识识别模型为基于样本图像集训练得到的，所述样本图像集中包含带有干扰项的样本图像；图像识别单元，用于基于所述道路标识识别模型对所述待检测图像进行识别，得到所述待检测图像中的道路标识所属的类别。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的实施方式所述的方法。
第四方面，本发明实施例还提供机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现所述第一方面的实施方式所述方法。
在本发明提供的实施例中，将获取到的待检测图像，输入至预先训练好的道路标识识别模型中，以对该待检测图像进行道路标识识别；其中该道路标识识别模型为基于样本图像集(该样本图像集中包含带有干扰项的样本图像)训练得到的，使得该道路标识识别模型可以有效的排除图像中的干扰项，学习到图像前景中的道路标识。因此当使用上述道路标识识别模型对待检测图像进行识别时，可以在存在干扰项的情况下，有效识别出图像中的道路标识，提高道路标识检测的准确性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种道路标识识别方法的流程示意图；
图2为本发明实施例提供的一种基于道路标识识别模型进行图像识别的流程示意图；
图3为本发明实施例提供的一种道路标识识别模型的训练过程的流程示意图；
图4为本发明实施例提供的一种颜色标识后的待检测图像的示意图；
图5为本发明实施例提供的一种道路标识识别装置的结构示意图；
图6为本发明实施例提供的另一种道路标识识别装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前图像采集过程可能受到运动模糊、背景干扰、天气条件以及拍摄视角等因素的影响，导致基于图像特征检测的方式无法有效识别出图像中的道路标识，影响了道路标识检测的准确性。基于此，本发明基于深度学习理论提供了一种道路标识识别方法、装置及电子设备，以在存在干扰项的情况下，有效识别出图像中的道路标识，提高道路标识检测的准确性。
本发明实施例提供的道路标识识别技术，可以但不限于应用于自动驾驶或者驾驶导航过程中，该技术可以采用相关的软件或硬件实现。
实施例一
参见图1所示的一种道路标识识别方法的流程示意图，具体可以但不限于应用于处理终端，如车载终端、移动终端或者是后台服务器。该方法基于预先训练的道路标识识别模型，参见图1，该方法包括如下步骤：
步骤S101，获取待检测图像。
例如，可以在行车上安装多个不同角度的摄像头，通过这些摄像头获取各个场景下的图像，该图像即为待检测图像。
步骤S102，将上述待检测图像输入预先训练好的道路标识识别模型。
其中，上述道路标识识别模型为基于样本图像集训练得到的，该样本图像集中包含带有干扰项的样本图像。该干扰项可以包括运动模糊、背景干扰、天气条件以及拍摄视角等因素造成的干扰。
步骤S103，基于上述道路标识识别模型对待检测图像进行识别，得到上述待检测图像中的道路标识所属的类别。
在本发明提供的实施例中，将获取到的待检测图像，输入至预先训练好的道路标识识别模型中，以对该待检测图像进行道路标识识别；其中该道路标识识别模型为基于样本图像集(该样本图像集中包含带有干扰项的样本图像)训练得到的，使得该道路标识识别模型可以有效的排除图像中的干扰项，学习到图像前景中的道路标识。因此当使用上述道路标识识别模型对待检测图像进行识别时，可以在存在干扰项的情况下，有效识别出图像中的道路标识，提高道路标识检测的准确性。
在可能的实施例中，上述道路标识识别模型包括依次连接的初始特征模型、RPN(Region Proposal Network，区域建议网络)模型、区域特征提取模块及分类模型。在检测过程中，将待检测图像输入至该道路标识识别模型后，对该待检测图像进行分类检测。
基于上述道路标识识别模型，参见图2，上述步骤S103可以包括以下步骤：
步骤S201，通过初始特征模型对待检测图像进行特征提取，得到该待检测图像的特征图。
其中，上述特征图包含形状特征、边缘特征以及空间位置特征。上述初始特征模型可以是卷积模型，用于特征提取。
步骤S202，基于RPN模型，从上述特征图中获取目标区域框。
例如可以通过特征图中各个特征点属于目标区域的概率进行目标区域框的确定。基于此上述步骤S202包括：基于RPN模型，从上述特征图中获取该特征图中的特征点属于目标区域的概率，当该概率大于预设值时，基于该特征点的特征值确定目标区域框。
该RPN模型用于获取目标区域框，从上述步骤S103提取的特征图中获取特征点，确定该特征点是否属于目标区域，当该特征点属于目标区域时，确定特征点所表示的目标区域框。
为了在保证检测准确度的同时，提高检测效率，在可能的实施例中，可以设置预设值，当该特征点属于目标区域的概率大于等于预设值时，确定该特征点属于目标区域，并确定该目标区域的目标区域框。例如，上述预设值可以为0.5，当属于目标区域的概率大于0.5，即大于不属于目标区域的概率时，确定该特征点属于目标区域。当然上述预设值也可以为0.55，0.6等，具体可以根据实际情况设定。
其中，上述特征点的特征值包括x偏移，y偏移、宽度偏移、高度偏移。特征点所表示的目标区域框的宽度为该特征点对应的区域框的宽度加上特征点的宽度偏移，特征点所表示的目标区域框的高度为该特征点对应的区域框的高度加上该特征点的高度偏移。
上述确定目标区域框的方式，能够在后续的检测过程中，有效减少了检测时间，提高了检测效率。
步骤S203，利用区域特征提取模块，从上述特征图中提取各个目标区域框对应的区域特征图。
其中，该区域特征提取模块可以为ROI Pooling层，或者是ROI Align层。区域特征提取模块根据目标区域框的大小及其在特征图中的位置，从特征图中提取对应的区域特征图。
步骤S204，基于分类模型对上述区域特征图进行识别，得到目标区域框中的道路标识所属的类别。
其中，上述道路标识的类别可以但不限于包括表示直行的直行箭头标识，也有表示左转的左转箭头，以及等待区标识，禁止停车标识等。该分类模型可以是全连接层、贝叶斯分类器或者SVM(Support Vector Machine)分类器。
为了提升道路标识检测的准确性，使用本发明实施例提供的检测技术，进行道路标识识别之前，进行模型训练以得到道路标识识别模型，训练的目的是学习各种因素(如运动模糊、背景干扰、天气条件以及拍摄视角等因素)干扰情况下的图像中的道路标识。上述模型训练过程具体包括：样本获取，样本标注、以标注后的样本进行学习训练。基于此，参见图3，上述道路标识识别模型的训练过程包括：
步骤S301，获取各个场景下的道路图像。
例如可以在行车上可以安装多个不同角度的摄像头，通过这些摄像头获取的各个场景下的道路图像，其中，该道路图像包含地面、道路两侧或者是道路上方的标志牌的图像。在获取到上述道路图像后，可以通过人工筛选方式，将图像分类。
步骤S302，根据上述道路图像对应的场景标注该道路图像道路标识类型。
例如可以在道路图像上人工标注：道路标识类型；例如道路图像A中标记出：包含直行箭头标识。其中标记道路标识类型时，可以首先框选道路标识所在的区域，然后标记该区域对应的道路标识类型。
步骤S303，将标注后的道路图像作为样本图像，加入样本图像集。
将该标注后的道路图像作为样本图像，然后将该样本图像加入至样本图像集，即由所有的经过标注的样本图像组成样本图像集。
该样本图像集中包含带有干扰项的样本图像，也包含不带有干扰项的样本图像，其中样本图像集中的样本图像的数量越大，后续训练得到的道路标识识别模型的识别精度越高，因此本发明实施例中，该样本图像的数量不能低于预设值，其中该预设值可以根据实际需求的识别精度设定。
步骤S304，基于上述样本图像集训练道路标识识别模型。
利用上述样本图像，训练初始特征模型、RPN模型和分类模型，以得到道路标识识别模型。
在训练过程中，首先将初始特征模型、RPN模型及分类模型串接起来，并在RPN模型与分类模型之间设置有区域特征提取模块，从而形成道路标识识别模型。在形成道路标识识别模型后，对该道路标识识别模型整个网络进行训练。以上述样本图像作为道路标识识别模型的输入，先求出前向传播的结果与标记好的数据的损失，然后使用梯度下降方法更新整个网络的权重系数。
在可能的实施例中，上述道路标识识别模型的部分处理过程如下：
(1)初始特征模型
将待检测图像作为输入，并输出待检测图像对应的特征图，该特征图包含各个区域对应的形状特征、边缘特征以及空间位置，其中该空间位置利用二维点表示。
(2)RPN模型
该RPN模型的具体处理过程如下：
从特征图中获取该特征图中特征点所属目标区域的概率，及特征点所表示的目标区域框。其中特征点的特征值包括x偏移，y偏移、宽度偏移、高度偏移。特征点所表示的目标区域框的宽度为特征点对应的区域框的宽度加上特征点的宽度偏移，特征点所表示的目标区域框的高度是特征点的对应的区域框的高度加上特征点的高度偏移。
需要说明的是，上述建议的目标区域框根据对应特征点所属目标区域的概率确定是否在后续采用，比如一副图像中仅有五六个箭头，在该PRN模型可能会提供20个对应的区域框，后续可以仅采用概率较高的前10个区域框；或者，使用NMS方法(Non-MaximumSuppression，非极大值抑制)，从具有重叠关系的区域框中筛选出该区域框所属目标区域的概率最高一个保留，删除重叠关系中所属目标区域的概率低的区域框，得到最终的目标区域框。
在具体实现过程中，例如可以利用3*3的卷积核对上述特征图进行卷积操作，得到一个多通道的特征图(比如维度大小为256*H*W，其中H表示该特征图的高度，W表示该特征图的宽度)，可以将该特征图看作为一个256维的H*W的特征向量(即特征点)。对每个特征向量做两次全连接操作，一次得到2个分数，一次得到4个坐标，由于需要对每个向量做同样的全连接操作，等同于对整个特征图做两次1*1的卷积，得到一个2*H*W和一个4*H*W大小的特征图。换言之，可以得到H*W个结果，每个结果包含2个分数(属于前景的概率和属于背景的概率)和4个坐标(该四个坐标为x偏移，y偏移、宽度偏移、高度偏移)。通过该4个坐标即可计算得到特征点对应的目标区域框。
该RPN模型将上述待检测图像的特征图作为输入，并输出特征图中的特征点所属目标区域的概率，及该特征点所表示的目标区域框，该概率的大小指引相应的目标区域框是否作为后续所需的目标区域框进行道路标识识别。
(3)区域特征提取模块
在上述从特征图中提取各个目标区域框对应的图像的过程中，由于目标区域框的位置通常是由模型回归得到的，一般是浮点数。为了提高空间位置精度，在本实施例中采用RoI Align层，使用双线性内插的方法获得坐标为浮点数的特征点上的特征值，由此RoIAlign层可以实现浮点精度的对齐，使得每个目标区域框能够更好地对齐特征图上的相应区域，从而准确的获得目标区域框对应的图像。
在本实施例中，将目标区域框中的候选区域分割成多个单元，每个单元的边界也不做量化。在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的特征值。例如：四个点a,b,d,c的坐标已知，a点的坐标是(1.2,2.5)那么应用坐标为(1,2)(2,2)(1,3)(2,3)四个点，使用双线性插值计算(1.2,2.5)坐标a的所有特征值。同理计算b,d,c的所有特征值。最后做a,b,d,c的平均值作为最终各个单元的特征值。
为了更加精细的标明道路标识在待检测图像中的位置，上述方法还包括：
(1)将目标区域框对应的区域特征图通过掩码分支模型转换为Mask图像。
其中上述掩码分支模型包括全卷积网络，还可以包括其他模型。
(2)采用双线性插值算法将上述Mask图像变换为待检测图像中相应的目标区域的尺寸大小。
将该Mask图像的输出尺寸根据待检测图像的尺寸大小进行扩大，使其能够以原比例大小映射在待检测图像的相应目标区域。例如待检测图像是800x800，然后经过初始特征模型后图像变成了400x400，上述区域特征提取模块如ROI Align经过计算从该400x400尺寸的特征图上选取的目标区域特征图，然后再进行后续分类处理等。因此在最后的处理过程中，均需要用插值进行计算使其能够映射回原始的待检测图像上，即需要将区域特征图的输出维度放大2倍。
(3)根据变换后的Mask图像中，每个Mask点分别属于各个道路标识类别的概率，确定该Mask点所属的目标道路标识类别。
在Mask图像中包含每个Mask点分别属于各个道路标识类别的概率，在可能的实施例中，可以选取其中概率值最大的道路标识类别作为Mask点所属的目标道路标识类别。
例如该Mask点属于直行箭头的概率为0.3，属于左转箭头的概率为0.5，属于右转箭头的概率为0.2，则该Mask点所属的目标道路标识类别为概率值为0.5对应的左转箭头。
(4)根据Mask点所属的目标道路标识类别，得到该目标区域框中的道路标识所属的类别。
在确定Mask图像中各个Mask点所属的目标道路标识类别后，就可以基于该各个Mask点的类别，确定该目标区域框中所存在的道路标识所属的类别。且通过对Mask图像中各个Mask点所属的目标道路标识类别的预测，能以像素级别，更加精细的定位每个道路标识的具体位置。
为达到剔除干扰的醒目显示目的，在得到上述目标区域框中的道路标识所属的类别之后，所述方法还包括：(1)确定目标区域框中的道路标识所属的类别对应的显示颜色；(2)按照上述显示颜色，在待检测图像上显示该目标区域框中的道路标识。
例如可以为不同的道路标识的所属的类别绑定预设的显示颜色，如左转箭头的显示颜色为蓝色，直行右转箭头的显示颜色为土黄色，这样可以将道路标识以预设颜色醒目的表示出来，如图4所示，同时该方式提高了用户的使用体验。
为进一步提高道路标识的准确率，在可能的实施例中，上述方法还包括：基于上述分类模型中的全连接层对区域特征图进行边框修正，以修正后的边框作为目标区域框中的道路标识对应的区域框，显示上述道路标识。
例如，该区域特征图中的道路标识为左转箭头，对该区域特征图的边框修正，使该边框更接近该左转箭头的轮廓，从而根据该修正后的边框，更能精确的确认该道路标识为左转箭头。
在另外的实施例中，为了更加有效的对驾驶人员进行提示，上述方法还包括：根据Mask预测图像，及待检测图像的RGB(红绿蓝)图像、深度图像，确定识别到的道路标识的三维空间位置；根据该道路标识的三维空间位置，将道路标识显示在电子地图中。这样当驾驶人员在驾驶过程中，可以直接在导航的电子地图中显示对应的道路标识，在进行道路标识醒目提示的同时，还能增强导航效果及驾驶人员的驾驶体验。
针对图像中的诸多干扰，首先通过包含带有干扰项的样本图像的样本数据集(该样本数据集中样本图像的数量足够多)，对深度神经网络模型进行训练，使得在识别过程中，有效排除图像中的干扰项，并通过深度神经网络提取到的各种层次的特征，有效提高道路标识识别模型的识别精度。另外，通过后续的边框修正，进一步准确的确定该边框内的道路标识的类型。因此，本发明实施例可以在复杂光照、部分遮挡、天气条件变化等非限制性条件下具有出色的检测效果，对直行、左转、右转、直行左转、直行右转、慢性等道路标志具有较高识别效率。
实施例二
本发明实施例还提供了一种道路标识识别装置，该道路标识识别装置主要用于执行本发明实施例上述内容所提供的道路标识识别方法，以下对本发明实施例提供的道路标识识别装置做具体介绍。
图5是根据本发明实施例的一种道路标识识别装置的示意图，如图5所示，该道路标识识别装置主要包括：图像获取单元11，图像输入单元12，图像识别单元13，其中：
图像获取单元11，用于获取待检测图像；
图像输入单元12，用于将上述待检测图像输入预先训练好的道路标识识别模型；其中，该道路标识识别模型为基于样本图像集训练得到的，该样本图像集中包含带有干扰项的样本图像；
图像识别单元13，用于基于上述道路标识识别模型对待检测图像进行识别，得到该待检测图像中的道路标识所属的类别。
在本发明提供的实施例中，将获取到的待检测图像，输入至预先训练好的道路标识识别模型中，以对该待检测图像进行道路标识识别；其中该道路标识识别模型为基于样本图像集(该样本图像集中包含带有干扰项的样本图像)训练得到的，使得该道路标识识别模型可以有效的排除图像中的干扰项，学习到图像前景中的道路标识。因此当使用上述道路标识识别模型对待检测图像进行识别时，可以在存在干扰项的情况下，有效识别出图像中的道路标识，提高道路标识检测的准确性。
可选地，上述图像识别单元13还用于：通过上述初始特征模型对待检测图像进行特征提取，得到该待检测图像的特征图；基于上述RPN模型，从上述特征图中获取目标区域框；利用上述区域特征提取模块，从特征图中提取各个目标区域框对应的区域特征图；基于上述分类模型对区域特征图进行识别，得到上述目标区域框中的道路标识所属的类别。
可选地，上述图像识别单元13还用于：基于上述RPN模型，从上述特征图中获取该特征图中的特征点属于目标区域的概率，当该概率大于预设值时，基于该特征点的特征值确定目标区域框。
可选地，参见图6，上述道路标识识别装置还包括模型训练单元14，所述模型训练单元用于：获取各个场景下的道路图像；其中，该道路图像包含地面、道路两侧或者是道路上方的标志牌的图像；根据道路图像对应的场景标注道路标识类型；将标注后的道路图像作为样本图像，加入样本图像集；基于该样本图像集训练该道路标识识别模型。
可选地，上述道路标识识别装置还包括Mask预测单元15，该Mask预测单元15用于：将目标区域框对应的区域特征图通过掩码分支模型转换为Mask图像；其中掩码分支模型包括全卷积网络；采用双线性插值算法将Mask图像变换为待检测图像中相应的目标区域的尺寸大小；根据变换后的Mask图像中，每个Mask点分别属于各个道路标识类别的概率，确定该Mask点所属的目标道路标识类别；根据Mask点所属的目标道路标识类别，得到目标区域框中的道路标识所属的类别。
可选地，上述道路标识识别装置还包括颜色显示单元16，该颜色显示单元16用于：确定目标区域框中的道路标识所属的类别对应的显示颜色；按照该显示颜色，在待检测图像上显示目标区域框中的道路标识。
可选地，上述道路标识识别装置还包括边框修正单元17，该边框修正单元17还用于：基于上述分类模型中的全连接层对区域特征图进行边框修正，以修正后的边框作为目标区域框中的道路标识对应的区域框，显示道路标识。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例三
参见图7，本发明实施例还提供一种电子设备100，包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
本发明实施例提供的道路标识识别装置及电子设备，与上述实施例提供的道路标识识别方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例所提供的进行道路标识识别方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种道路标识识别方法，其特征在于，所述方法基于预先训练的道路标识识别模型，所述方法包括：
获取待检测图像；
将所述待检测图像输入预先训练好的道路标识识别模型；其中，所述道路标识识别模型为基于样本图像集训练得到的，所述样本图像集中包含带有干扰项的样本图像；
基于所述道路标识识别模型对所述待检测图像进行识别，得到所述待检测图像中的道路标识所属的类别。
2.根据权利要求1所述的方法，其特征在于，所述道路标识识别模型包括依次连接的初始特征模型、RPN模型、区域特征提取模块及分类模型；
基于所述道路标识识别模型对所述待检测图像进行识别，得到所述待检测图像中的道路标识所属的类别的步骤，包括：
通过所述初始特征模型对所述待检测图像进行特征提取，得到所述待检测图像的特征图；
基于所述RPN模型，从所述特征图中获取目标区域框；
利用所述区域特征提取模块，从所述特征图中提取各个所述目标区域框对应的区域特征图；
基于所述分类模型对所述区域特征图进行识别，得到所述目标区域框中的道路标识所属的类别。
3.根据权利要求2所述的方法，其特征在于，基于所述RPN模型，从所述特征图中获取目标区域框的步骤，包括：
基于所述RPN模型，从所述特征图中获取该特征图中的特征点属于目标区域的概率，当所述概率大于预设值时，基于所述特征点的特征值确定目标区域框。
4.根据权利要求1所述的方法，其特征在于，所述道路标识识别模型的训练过程包括：
获取各个场景下的道路图像；其中，所述道路图像包含地面、道路两侧或者是道路上方的标志牌的图像；
根据所述道路图像对应的场景标注道路标识类型；
将标注后的道路图像作为样本图像，加入样本图像集；
基于所述样本图像集训练所述道路标识识别模型。
5.根据权利要求2所述的方法，其特征在于，从所述特征图中提取各个所述目标区域框对应的区域特征图的步骤之后，还包括：
将所述目标区域框对应的区域特征图通过掩码分支模型转换为Mask图像；其中所述掩码分支模型包括全卷积网络；
采用双线性插值算法将所述Mask图像变换为所述待检测图像中相应的目标区域的尺寸大小；
根据变换后的Mask图像中，每个Mask点分别属于各个道路标识类别的概率，确定该Mask点所属的目标道路标识类别；
根据所述Mask点所属的目标道路标识类别，得到所述目标区域框中的道路标识所属的类别。
6.根据权利要求2所述的方法，其特征在于，在得到所述目标区域框中的道路标识所属的类别之后，所述方法还包括：
确定所述目标区域框中的道路标识所属的类别对应的显示颜色；
按照所述显示颜色，在所述待检测图像上显示所述目标区域框中的道路标识。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述分类模型中的全连接层对所述区域特征图进行边框修正，以修正后的边框作为所述目标区域框中的道路标识对应的区域框，显示所述道路标识。
8.一种道路标识识别装置，其特征在于，包括：
图像获取单元，用于获取待检测图像；
图像输入单元，用于将所述待检测图像输入预先训练好的道路标识识别模型；其中，所述道路标识识别模型为基于样本图像集训练得到的，所述样本图像集中包含带有干扰项的样本图像；
图像识别单元，用于基于所述道路标识识别模型对所述待检测图像进行识别，得到所述待检测图像中的道路标识所属的类别。
9.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811629600.9A CN111382625A (zh) | 2018-12-28 | 2018-12-28 | 道路标识识别方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811629600.9A CN111382625A (zh) | 2018-12-28 | 2018-12-28 | 道路标识识别方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111382625A true CN111382625A (zh) | 2020-07-07 |
Family
ID=71216468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811629600.9A Pending CN111382625A (zh) | 2018-12-28 | 2018-12-28 | 道路标识识别方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111382625A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069971A (zh) * | 2020-09-01 | 2020-12-11 | 浙江省机电设计研究院有限公司 | 一种基于视频的高速公路标志标线识别方法及识别系统 |
| CN112101187A (zh) * | 2020-09-11 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 道路识别方法、装置及电子设备 |
| CN112464737A (zh) * | 2020-11-04 | 2021-03-09 | 浙江预策科技有限公司 | 道路标线的检测与识别方法、电子装置和存储介质 |
| CN113420597A (zh) * | 2021-05-24 | 2021-09-21 | 北京三快在线科技有限公司 | 环形交叉口识别方法及装置，电子设备及存储介质 |
| CN113470012A (zh) * | 2021-07-28 | 2021-10-01 | 浙江大华技术股份有限公司 | 标线识别方法、装置、存储介质及电子装置 |
| WO2022110862A1 (zh) * | 2020-11-30 | 2022-06-02 | 湖北亿咖通科技有限公司 | 地面导向箭头的构建方法及其装置、电子设备及存储介质 |
| CN116608865A (zh) * | 2023-07-20 | 2023-08-18 | 国网山东省电力公司济宁市任城区供电公司 | 一种变电站智能监控系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372571A (zh) * | 2016-08-18 | 2017-02-01 | 宁波傲视智绘光电科技有限公司 | 路面交通标志检测与识别方法 |
| CN108805018A (zh) * | 2018-04-27 | 2018-11-13 | 淘然视界(杭州)科技有限公司 | 道路交通标志检测识别方法、电子设备、存储介质及系统 |
-
2018
- 2018-12-28 CN CN201811629600.9A patent/CN111382625A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372571A (zh) * | 2016-08-18 | 2017-02-01 | 宁波傲视智绘光电科技有限公司 | 路面交通标志检测与识别方法 |
| CN108805018A (zh) * | 2018-04-27 | 2018-11-13 | 淘然视界(杭州)科技有限公司 | 道路交通标志检测识别方法、电子设备、存储介质及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 田锦 等: "基于Mask R-CNN的地面标识检测" * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069971A (zh) * | 2020-09-01 | 2020-12-11 | 浙江省机电设计研究院有限公司 | 一种基于视频的高速公路标志标线识别方法及识别系统 |
| CN112101187A (zh) * | 2020-09-11 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 道路识别方法、装置及电子设备 |
| CN112101187B (zh) * | 2020-09-11 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 道路识别方法、装置及电子设备 |
| CN112464737A (zh) * | 2020-11-04 | 2021-03-09 | 浙江预策科技有限公司 | 道路标线的检测与识别方法、电子装置和存储介质 |
| CN112464737B (zh) * | 2020-11-04 | 2022-02-22 | 浙江预策科技有限公司 | 道路标线的检测与识别方法、电子装置和存储介质 |
| WO2022110862A1 (zh) * | 2020-11-30 | 2022-06-02 | 湖北亿咖通科技有限公司 | 地面导向箭头的构建方法及其装置、电子设备及存储介质 |
| CN113420597A (zh) * | 2021-05-24 | 2021-09-21 | 北京三快在线科技有限公司 | 环形交叉口识别方法及装置，电子设备及存储介质 |
| CN113470012A (zh) * | 2021-07-28 | 2021-10-01 | 浙江大华技术股份有限公司 | 标线识别方法、装置、存储介质及电子装置 |
| CN116608865A (zh) * | 2023-07-20 | 2023-08-18 | 国网山东省电力公司济宁市任城区供电公司 | 一种变电站智能监控系统及方法 |
| CN116608865B (zh) * | 2023-07-20 | 2023-10-13 | 国网山东省电力公司济宁市任城区供电公司 | 一种变电站智能监控系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111382625A (zh) | 道路标识识别方法、装置及电子设备 | |
| CN106203398B (zh) | 一种检测车道边界的方法、装置和设备 | |
| CN113076842B (zh) | 一种用于提升极端天气与环境下交通标志识别精度的方法 | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| CN112287912B (zh) | 基于深度学习的车道线检测方法以及装置 | |
| CN113468967B (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
| CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN109583345B (zh) | 道路识别方法、装置、计算机装置及计算机可读存储介质 | |
| JP7122364B2 (ja) | 付着物検出装置、付着物検出方法 | |
| CN111191611B (zh) | 基于深度学习的交通标志标号识别方法 | |
| WO2020258077A1 (zh) | 一种行人检测方法及装置 | |
| CN110443242B (zh) | 读数框检测方法、目标识别模型训练方法及相关装置 | |
| CN111160395A (zh) | 图像识别方法、装置、电子设备和存储介质 | |
| Chang et al. | An efficient method for lane-mark extraction in complex conditions | |
| CN111191482B (zh) | 一种刹车灯识别方法、装置及电子设备 | |
| CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
| CN109523570B (zh) | 运动参数计算方法及装置 | |
| CN115909241A (zh) | 一种车道线检测方法、系统、电子设备和存储介质 | |
| JP7264428B2 (ja) | 道路標識認識装置及びそのプログラム | |
| CN112837384B (zh) | 车辆标记方法、装置和电子设备 | |
| CN114898306B (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
| CN109977937B (zh) | 图像处理方法、装置及设备 | |
| CN109740502B (zh) | 道路质量检测方法及装置 | |
| CN116580230A (zh) | 一种目标检测方法及一种分类模型的训练方法 | |
| CN113468938B (zh) | 交通图像识别方法、装置、图像处理设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 110000 No. 861-6, shangshengou village, Hunnan District, Shenyang City, Liaoning Province Applicant after: Shenyang Meihang Technology Co.,Ltd. Address before: 110000 12th and 13th floors, No.1 Jinhui street, Hunnan New District, Shenyang City, Liaoning Province Applicant before: SHENYANG MXNAVI Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |