CN111414903B - 一种指示牌内容识别方法、装置和设备 - Google Patents

Abstract

本发明公开一种指示牌内容识别方法、装置和设备，其中方法包括：识别指示牌图片中的文字和图形符号；将所述指示牌图片进行区块划分；将位于同一区块中的文字确定为文本行；根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。本发明在进行指示牌识别时根据文本行与图形符号的相对位置关系确定行驶方向，并基于行驶方向所对应的地图数据对文本行进行路名匹配，克服了因指示牌变得模糊不清而无法识别指示牌内容的问题，因此能够提高指示牌内容的识别准确度，从而保证导航精度。

Description

一种指示牌内容识别方法、装置和设备

技术领域

本发明涉及机器视觉和人工智能领域，特别涉及一种指示牌内容识别方法、装置和设备。

背景技术

指示牌是指设置在道路两侧用于指示前方道路信息的路标指示牌。随着导航技术的快速发展，具有方向信息的指示牌内容作为电子地图数据的重要组成部分，其作用显得越来越重要，因此，在电子地图数据制作过程中需要获取指示牌的内容信息。现有技术中对指示牌内容进行识别时通常都是对指示牌进行现场拍摄，然后对拍摄得到的指示牌图片进行本文本识别，以得到指示牌内容。

然而，由于指示牌都是露天设置的，容易受到外界环境的干扰，比如被树叶、鸟粪等异物遮挡、由光照变化引起反光异常、长年风吹日晒造成腐蚀破损等，都会造成指示牌变得模糊不清，因此在使用现有技术中进行指示牌内容识别时，难以保证识别出的内容的精度。如果识别出的指示牌内容错误，则会影响制作出的电子地图的准确性，进而影响导航信息应用。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供一种能够准确识别指示牌内容的指示牌内容识别方法、装置和设备。

作为本发明实施例的第一方面，涉及一种指示牌内容识别方法，其中包括：

识别指示牌图片中的文字和图形符号；

将所述指示牌图片进行区块划分；

将位于同一区块中的文字确定为文本行；

根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；

将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；

根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。

作为本发明实施例的第二方面，涉及一种指示牌内容识别装置，其中包括：

图形识别模块，用于识别指示牌图片中的图形符号；

文字识别模块，用于识别所述指示牌图片中的文字；

区块划分模块，用于将所述指示牌图片进行区块划分；

文本确定模块，用于将位于同一区块中的文字确定为文本行；

方向确定模块，用于根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；

路名匹配模块，用于将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；

内容确定模块，用于根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。

作为本发明实施例的第三方面，涉及一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述方法。

作为本发明实施例的第三方面，涉及一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上述方法。

本发明实施例在进行指示牌识别时根据文本行与图形符号的相对位置关系确定行驶方向，并基于行驶方向所对应的地图数据对文本行进行路名匹配，克服了因指示牌变得模糊不清而无法识别指示牌内容的问题，因此能够提高指示牌内容的识别准确度，从而保证导航精度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1中提供的指示牌内容识别方法的流程图；

图2为待识别指示牌的举例图；

图3A和图3B分别为对指示牌进行文字识别的举例效果图；

图4A和图4B分别为对指示牌进行区块划分的举例效果图；

图5为本发明实施例2中提供的指示牌内容识别装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面分别对本发明具体实施方式进行详细的说明。

实施例1

本实施例提供一种指示牌内容识别方法，如图1所示，该方法可以包括以下步骤：

步骤100，识别指示牌图片中的文字和图形符号。

其中，所述指示牌图片可以通过对指示牌进行拍摄而获取，例如可以由车辆上自带的摄像头拍摄，也可以通过车载记录仪进行拍摄。所述指示牌图片中可以包括文字和图形符号等多种字符元素，多个文字构成文本行，不同的文本行分布在图形符号的不同位置处。

例如，图2所示的指示牌图片中包括如下字符元素：

中文的路名文本行：“光华路”、“石杨路”、“军农路”、“友谊河路”和“宁杭高速”等；

拼音的路名文本行：“GUANGHUALU”、“SHIYANGLU”、“JUNNONGLU”和“NINGHANGGAOSU”等；

距离文本行：“1.0Km”、“1.1Km”、“0.8Km”等；

方向文本行：“西”；

图形符号：图2中所示的十字箭头图形和指南针方向图形。

具体地，在对指示牌图片中的文字进行识别时，可以先使用光学检测算法确定出各个文字的文字区域和图形符号区域，其中的光学检测技术例如为OCR(光学字符识别)技术，通过检测图片中字符元素的大小、明暗程度及排列关系来确定文字区域的范围；然后，使用神经网络分析模型识别出各个所述文字区域中的文字，其中的神经网络分析模型例如为深度卷积神经网络检测模型。

例如，可以使用Faster-R-CNN(Faster-Region-Convolutional NeuralNetworks，更快速的区域卷积神经网络)或ResNet(deep Residual Network，深度残差网络)等卷积神经网络模型识别所述指示牌图片中的文字。具体可以包括如下步骤：

1)提取指示牌图片中每个文字区域，所述文字区域可以用[x,y,w,h]表示，其中，x代表文字区域左上角坐标，y代表文字区域右上角坐标，w与h代表文字区域的宽度与高度；

2)将所述文字区域作为深度卷积神经网络检测模型的输入，获得所述深度卷积神经网络的输出；所述输出为文字的语义内容。

当然，在使用上述深度卷积神经网络检测模型之前，需要预先建立：

确定深度卷积神经网络的拓扑结构，所述拓扑结构包括：输入层、卷积层、池化层和输出层，以及各层的神经节点；

确定深度卷积神经网络中各层的参数变量；

通过对预设的各训练样本分别进行训练，并逆向反馈，调整深度卷积神经网络各层的参数变量直至所述深度卷积神经网络的期望输出值与实际输出值的误差小于预设的阈值时，停止训练，得到稳定的深度卷积神经网络。

通过本步骤能够识别出文字的语义内容。例如，在图3A和图3B所示的文字识别效果图中，表示中文路名的“光”、“华”等文字，表示距离的“1.0”、“Km”等文字，表示拼音路名的“G”、“H”等，表示方向的“西”等文字被分别识别出来。

上述步骤100中识别指示牌图片中的图形符号也可以通过深度卷积神经网络检测模型进行识别，具体步骤参照识别所述指示牌图片中的文字的内容部分，只是将指示牌图片中每个文字区域替换成图形符号区域，在此不再赘述。

步骤200，将所述指示牌图片进行区块划分。

其中，所述区块是指指示牌图片中的某个范围，该范围内容的内容仍然为图片而不是具有特定语义的文字。具体地，可以根据所述指示牌图片中各字符元素的高度、相对位置和/或间距划分所述区块。

例如，在图4A和图4B所示的区块划分效果图中，“光华路”中各字符元素的高度相同，“1.0Km”中的各字符元素的高度相同，但二者之间的间距较大，因此被划分成不同的区块；再例如，“GUANGHUALU”位于“光华路”的下方，因此被划分成不同的区块。

此处需要说明的是，步骤120中虽然用到了各字符元素的高度、相对位置和/或间距，但不需要使用文字语义，因此，步骤110与步骤120执行顺序不分先后，先执行步骤100和先执行步骤200都可以，当然也可以同时执行，本发明实施例对此不做具体限定。

步骤300，将位于同一区块中的文字确定为所述文本行。

具体地，可以根据识别出的所述文字和划分出的所述区块在所述指示牌中的坐标信息确定所述文字与所述区块的对应关系；将对应于同一区块的文字确定为所述文本行。

其中，所述坐标信息是分别在进行上述文字识别时记录的文字在指示牌中的坐标信息和在进行上述区块划分时记录的区块在指示牌中的坐标信息。坐标信息例如可以用[x,y,w,h]表示，其中x代表区块或文字的左上角的横坐标，y代表区块或文字的左上角的纵坐标，w代表区块或文字的宽度，h代表区块或文字的高度。根据该坐标信息可以确定某个文字位于哪个区块中，将位于同一区块中的文字确定文本行。

例如，区块“光华路”的坐标为[-3,12,6,2]，文字“光”的坐标为[-3,12,2,2]，文字“华”的坐标为[-1,12,2,2]，文字“路”的坐标为[1,12,2,2]，根据这些坐标可以确定出“光”、“华”和“路”这三个文字对应于区块“光华路”，因此确定这三个文字构成一个文本行。

步骤400，根据所述文本行与所述图形符号的相对位置确定文本行对应的行驶方向。

如上所述，由于识别出的文字和图形符号以及划分出的区块都具有在指示牌中的坐标信息，因此基于该坐标信息便可以确定出文本行与图形符号的相对位置；再根据图形符号中的箭头方向便可以确定出文本行所对应的行驶方向。

例如，在图2所示举例中识别出路名文本行“光*路”和图形符号十字箭头，由于“光*路”与十字箭头的上箭头的位置最接近，因此确定出“光*路”所对应的行驶方向为向前行驶。

步骤500，将所述文本行与所述行驶方向所对应的地图数据进行路名匹配。

其中，所述地图数据可以从电子地图数据库中获取，根据被拍摄的指示牌的地理位置或兴趣点(Point Of Interest，POI)的信息可以确定出包含该指示牌的周边道路名称的地图数据，再从中确定出与所述行驶方向所对应的地图数据。如上所述，指示牌有时受到外界环境干扰会变得模糊不清，仅靠文本行的识别不能保证识别的准确性，因此需要进行路名匹配。

具体地，可以使用所述文本行中的路名文本行，在所述地图数据中进行路名检索；当检索到完全一致的路名数据时，表明该路名文本行的识别正确，因此将其作为匹配结果；当未检索到完全一致的路名数据时，表明该路名文本行的识别不正确，因此使用匹配度最高的路名数据代替所述路名文本行，将代替后的所述路名文本行作为所述匹配结果。

例如，通过上述步骤识别出的路名文本行为“光*路”、“军农路”、“石扬路”等。以这些路名文本行为关键词在所述地图数据中进行路名检索；对于“军农路”，由于其未变模糊且识别正确，则能够检索到完全一致的路名数据，此时不需要进行更改；对于“光*路”，该路名不完整，不能检索到完全一致的路名数据，但能够检索到“光华路”这一路名数据与其匹配度最高，此时将“光*路”替换为“光华路”；对于“石扬路”，该路名虽然完整但识别错误，也不能检索到完全一致的路名数据，但能够检索到“石杨路”这一路名数据与其匹配度最高，此时将“石扬路”替换为“石杨路”。

步骤600，根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。

例如，在图2所示举例中，识别出的指示牌内容表明在友谊河路右侧0.8Km处为石杨路，在友谊河路左侧1.1Km处为军农路，在友谊河路的下侧为宁杭高速，在友谊河路上侧1.0Km处为光华路，且指示牌中指向光华路的箭头方向朝西。基于识别出的指示牌内容可以辅助车辆导航，也可以恢复成指示牌图样供驾驶员参考。

本实施例所述方法通过在进行指示牌识别时根据文本行与图形符号的相对位置关系确定行驶方向，并基于行驶方向所对应的地图数据对文本行进行路名匹配，克服了因指示牌变得模糊不清而无法识别指示牌内容的问题，因此能够提高指示牌内容的识别准确度，从而保证导航精度。

可选地，在上述步骤400中进行匹配时，除了上述的路名文本行以外，还可以考虑从指示牌中识别出的距离文本行、方向文本行中的至少之一，在所述地图数据中进行路名检索，具体地可以有如下方式：

方式一：使用所述路名文本行及相应的距离文本行，在所述地图数据中检索与到达所述指示牌为相应距离的道路的路名。

例如，在图2所示举例中识别出路名文本行“光*路”和距离文本行“1.0Km”，与其他路名文本行相比，“1.0Km”与“光*路”的位置最接近，因此认为这两个文本行是相对应的。基于此，在进行路名检索时，在地图数据中检索与到达该指示牌为相距1.0Km的道路的路名。

通过此方式，假设在地图数据中有“光华路”和“光明路”这两个路名数据均与“光*路”的匹配度最高，但是地图数据中“光华路”与指示牌相距为1.0km，而“光明路”与指示牌相距2.0km，结合识别出的距离文本行“1.0Km”便可以确定出将“光*路”替换为“光华路”。

方式二：使用所述文本行中的路名文本行及相应的方向文本行，在所述地图数据中检索与位于所述指示牌的相应方向上的道路的路名。

例如，在图2所示举例中识别出路名文本行“光*路”和方向文本行“西”，该方向文本行“西”适用于整个指示牌，因此认为这两个文本行是相对应的。基于此，在进行路名检索时，在地图数据中检索位于该指示牌西侧的道路的路名。

通过此方式，假设在地图数据中有“光华路”和“光明路”这两个路名数据均与“光*路”的匹配度最高，但是地图数据中“光华路”位于指示牌西侧，而“光明路”位于指示牌东侧，结合识别出的方向文本行“西”便可以确定出将“光*路”替换为“光华路”。

方式三：上述方式一与方式二的组合方式。例如，同时考虑距离文本行与方向文本行进行路名检索。

通过参考距离文本行、方向文本行中的一种或多种的组合来进行路名检索，有利于缩减检索范围，减少重名的发生，从而进一步提高匹配的准确性。

实施例2

本实施例提供一种指示牌内容识别装置，该装置可以装设于本地服务器或云端服务器中，通过执行上述方法，基于由图像采集车辆在道路上行驶时拍摄到的指示牌图片对指示牌内容进行识别，识别出的结果添加到电子地图数据中供用户使用。

如图5所示，该指示牌内容识别装置可以包括：图形识别模块10、文字识别模块20、区块划分模块30、文本确定模块40、方向确定模块50、路名匹配模块60和内容确定模块70。其工作原理如下：

图形识别模块10识别指示牌图片中的图形符号；文字识别模块20识别所述指示牌图片中的文字。具体地，可以使用光学检测技术确定出各个文字的文字区域，并使用神经网络分析模型识别出各个所述文字区域中的文字。

区块划分模块30将所述指示牌图片进行区块划分。具体地，可以根据所述指示牌图片中各字符元素的高度、相对位置和/或间距划分所述区块。

文本确定模块40将位于同一区块中的文字确定为文本行。具体地，可以根据识别出的所述文字和划分出的所述区块在所述指示牌中的坐标信息确定所述文字与所述区块的对应关系，然后根据所述对应关系，将对应于同一区块的文字确定为所述文本行。

方向确定模块50根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；路名匹配模块60将所述文本行与所述行驶方向所对应的地图数据进行路名匹配。具体地，路名匹配模块60可以使用所述文本行中的路名文本行，在所述地图数据中进行路名检索；当检索到完全一致的路名数据时，将所述路名文本行作为所述匹配结果；当未检索到完全一致的路名数据时，使用匹配度最高的路名数据代替所述路名文本行，将代替后的所述路名文本行作为所述匹配结果。可选地，在进行路名检索时，也可以使用所述路名文本行与识别出的所述文本行中的距离文本行、方向文本行中的至少之一，在所述地图数据中进行路名检索。

内容确定模块70根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。

本实施例所述装置的技术效果及相关举例说明可参见上述方法实施例的相关内容，此处不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种指示牌内容识别方法，其特征在于，包括：

识别指示牌图片中的文字和图形符号；

根据所述指示牌图片中各字符元素的高度、相对位置和/或间距，将所述指示牌图片进行区块划分；

将位于同一区块中的文字确定为文本行；

根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；

将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；

根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。

2.根据权利要求1所述的方法，其特征在于，识别所述指示牌图片中的文字包括：

使用光学检测技术确定出各个文字的文字区域；

使用神经网络分析模型识别出各个所述文字区域中的文字。

3.根据权利要求1所述的方法，其特征在于，将位于同一区块中的文字确定为文本行包括：

根据识别出的所述文字和划分出的所述区块在所述指示牌中的坐标信息确定所述文字与所述区块的对应关系；

根据所述对应关系，将对应于同一区块的文字确定为所述文本行。

4.根据权利要求1所述的方法，其特征在于，将所述文本行与所述行驶方向所对应的地图数据进行路名匹配包括：

使用所述文本行中的路名文本行，在所述地图数据中进行路名检索；

当检索到完全一致的路名数据时，将所述路名文本行作为所述匹配结果；

当未检索到完全一致的路名数据时，使用匹配度最高的路名数据代替所述路名文本行，将代替后的所述路名文本行作为所述匹配结果。

5.根据权利要求4所述的方法，其特征在于，进行所述路名检索包括：使用所述路名文本行与识别出的所述文本行中的距离文本行、方向文本行中的至少之一，在所述地图数据中进行路名检索。

6.一种指示牌内容识别装置，其特征在于，包括：

图形识别模块，用于识别指示牌图片中的图形符号；

文字识别模块，用于识别所述指示牌图片中的文字；

区块划分模块，用于根据所述指示牌图片中各字符元素的高度、相对位置和/或间距，将所述指示牌图片进行区块划分；

文本确定模块，用于将位于同一区块中的文字确定为文本行；

方向确定模块，用于根据所述文本行与所述图形符号的相对位置确定所述文本行对应的行驶方向；

路名匹配模块，用于将所述文本行与所述行驶方向所对应的地图数据进行路名匹配；

内容确定模块，用于根据所述路名匹配的匹配结果及所述图形符号确定所述指示牌的内容。

7.根据权利要求6所述的装置，其特征在于，所述路名匹配模块用于：

使用所述文本行中的路名文本行，在所述地图数据中进行路名检索；

当检索到完全一致的路名数据时，将所述路名文本行作为所述匹配结果；

当未检索到完全一致的路名数据时，使用匹配度最高的路名数据代替所述路名文本行，将代替后的所述路名文本行作为所述匹配结果。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～5中任一项所述的方法。

9.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～5中任一项所述的方法。

Images