CN104680165A - 从场景图像中自动提取路牌图像的方法和装置 - Google Patents

Abstract

本发明涉及从场景图像中自动提取路牌图像的方法和装置。从场景图像中自动提取路牌图像的方法包括：从场景图像中识别至少一个标志字符；根据包含至少一个标志字符的标志字符图像区域来估计标志字符颜色和路牌图像的路牌背景颜色；根据标志字符颜色和路牌背景颜色对场景图像进行多值化，以得到标志字符颜色被分为同一类别、路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像；以及根据多值化场景图像中的围绕至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。

Description

从场景图像中自动提取路牌图像的方法和装置

技术领域

本发明涉及信息处理领域，具体涉及从场景图像中自动提取路牌图像的方法和装置。

背景技术

近年来，具有摄像功能的移动装置越来越普及，从而非常便于拍摄自然场景图像。路牌作为一种常见的信息指示牌而广泛出现在各种场景中。例如，游客可能通过拍摄包括路牌的图像来读取地址，然后翻译地址文本。通过带有提取功能、识别功能和翻译功能的移动装置能够自动进行整个过程。在这种过程中，路牌图像提取是重要的步骤，这将决定最终的性能。

因此，需要一种能够更好地提取路牌图像的技术。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供一种从场景图像中自动提取路牌图像的方法和装置。

根据本发明的一个方面，提供了一种从场景图像中自动提取路牌图像的方法，该方法包括：从场景图像中识别至少一个标志字符；根据包含至少一个标志字符的标志字符图像区域来估计标志字符颜色和路牌图像的路牌背景颜色；根据标志字符颜色和路牌背景颜色对场景图像进行多值化，以得到标志字符颜色被分为同一类别、路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像；以及根据多值化场景图像中的围绕至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。

根据本发明的另一个方面，提供了一种从场景图像中自动提取路牌图像的装置，该装置包括：识别部，被配置为从场景图像中识别至少一个标志字符；估计部，被配置为根据包含至少一个标志字符的标志字符图像区域来估计标志字符颜色和路牌图像的路牌背景颜色；多值化部，被配置为根据标志字符颜色和路牌背景颜色对场景图像进行多值化，以得到标志字符颜色被分为同一类别、路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像；以及提取部，被配置为根据多值化场景图像中的围绕至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。

另外，根据本发明的又一个方面，还提供了用于实现上述方法的计算机程序。

此外，根据本发明的又一个方面，还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是示出根据本发明的实施例的从场景图像中自动提取路牌图像的方法的流程图；

图2是示出根据一个示例的识别标志字符的步骤的流程图；

图3示意性地示出了三个场景图像；

图4示意性地示出了以不同模式来识别标志字符的图；

图5示意性地示出了所获得的标志字符图像区域；

图6示意性地示出了经多值化的场景图像；

图7示意性地示出了提取出的路牌图像区域；

图8示意性地示出了经透视校正的路牌图像区域；

图9示意性地示出了最终得到的路牌图像；

图10是示出根据本发明的实施例的从场景图像中自动提取路牌图像的装置的配置框图；

图11是示出根据本发明的实施例的识别部的配置框图；

图12是示出根据另一个实施例的从场景图像中自动提取路牌图像的装置的配置框图；

图13是示出根据本发明的实施例的估计部的配置框图；

图14是示出根据又一个实施例的从场景图像中自动提取路牌图像的装置的配置框图；

图15是示出根据本发明的再一个实施例的从场景图像中自动提取路牌图像的装置的配置框图；以及

图16是示出可以用于实施本发明的从场景图像中自动提取路牌图像的方法和装置的计算设备的举例的结构图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

以下将参照图1至图9来描述从场景图像中自动提取路牌图像的方法100。

图1是示出根据本发明的实施例的从场景图像中自动提取路牌图像的方法100的流程图。

如图1所示，在步骤S102中，从场景图像中识别至少一个标志字符。

图3示意性地示出了三个场景图像。场景图像例如可以是由移动终端（例如，手机、个人数字助理（PDA）、平板计算机或佩戴式移动终端等等）拍摄的图像。在该场景图像中可以包括路牌图像，还可以包括路牌周围的场景，例如，街道、建筑物和植被等等。路牌是具有某一位置、地点或建筑的地址信息的指示牌。

根据发明人的观察和研究，一般情况下，在特定地理区域内的路牌通常具有特定的标志字符。例如，路牌通常具有作为标志字符的阿拉伯数字“0”到“9”。在图3所示的场景图像中，在图(3a)中出现了“100”，在图(3b)中出现了“99”，在图(3c)中出现了“118”。但是，应当理解到，标志字符不限于阿拉伯数字，还可以是在路牌中常出现的其他字符，例如“街”、“路”、“street（街）”、“block（街区）”或“No.”等等。

在标志字符是数字的情况下，可以用数字分类器来识别作为标志字符的数字。例如，数字分类器可以是用于将对象分类为数字或非数字的分类器。此外，数字分类器还可以是具有数字光学字符识别（OCR）引擎的分类器，其可以用于将对象分类为“0”、“1”、……、“9”。如果使用具有数字OCR引擎的分类器，则识别置信度可以被视为该识别对象是相应数字的概率。在这种情况下，可以通过设置阈值并对识别置信度与该阈值进行比较来提取相应的候选数字。

在步骤S104中，根据包含至少一个标志字符的标志字符图像区域来估计标志字符颜色和路牌图像的路牌背景颜色。

标志字符图像区域是包含所识别的标志字符以及该标志字符周围区域在内的图像区域。因此，标志字符图像区域中的标志字符的颜色可以被估计作为标志字符颜色，而该标志字符周围区域的颜色可以被估计作为路牌背景颜色。图5示意性地示出了所获得的标志字符图像区域。图(5a)中的标志字符图像区域包括标志字符“100”及其周围区域，图(5b)中的标志字符图像区域包括标志字符“99”及其周围区域，图(5c)中的标志字符图像区域包括标志字符“118”及其周围区域。

例如，可以通过以下步骤来得到标志字符图像区域。首先，可以将至少一个标志字符合并成行区域，然后对合并得到的行区域进行扩展以获得标志字符图像区域。如果存在多个标志字符，则这些标志字符将被合并成行区域。如果仅存在一个标志字符，则该单个标志字符所在区域将被作为行区域。在实际的操作中，标志字符易于被合并成行区域，这是因为各个标志字符往往具有相同的宽度和高度。

优选地，向场景图像上方扩展的长度大于向场景图像下方扩展的长度，这是因为根据发明人的观察和研究，标志字符往往更加靠近路牌的下方。例如，可以根据经验或有限次数的实验来确定向上和向下扩展的长度，该长度以足以估计背景颜色而不至于超出路牌区域为宜。

在估计标志字符颜色和路牌图像的路牌背景颜色的过程中，例如，可以根据标志字符图像区域来估计标志字符颜色的中心值和路牌背景颜色的中心值。此外，还可以根据标志字符图像区域来估计距标志字符颜色的中心值的距离阈值和距路牌背景颜色的中心值的距离阈值。这是因为尽管标志字符颜色属于一类颜色，在严格来讲标志字符的颜色并不是一个单一的颜色，而是位于一个颜色范围内。类似地，路牌背景颜色位于另一个颜色范围内。因此，通过估计标志字符颜色的中心值和距标志字符颜色的中心值的距离阈值、以及路牌背景颜色的中心值和距路牌背景颜色的中心值的距离阈值，能够获得标志字符颜色范围以及路牌背景颜色范围。

具体而言，可以根据标志字符图像区域的二值化图像将标志字符图像区域中的像素分为两类，一类是标志字符像素，一类是路牌背景像素。然后，根据这两类像素来分别获得相应的颜色分布模型。假设标志字符像素的颜色中心是{r₀,g₀,b₀}。像素i（包括标志字符像素和路牌背景像素）{r_i,g_i,b_i}到该中心{r₀,g₀,b₀}的距离是 $d_i=\sqrt{{(r_i-r_0)}^2+{(g_i-g_0)}^2+{(b_i-b_0)}^2},$ 其中i=1，2，……n。可以估计一个距离阈值d_t作为用于区分某个像素是否位于标志字符颜色范围内的分割标准。优选地，可以按照使标志字符图像区域中的绝大部分标志字符像素被多值化为同一类别的方式来确定距标志字符颜色的中心值的距离阈值。在一个示例中，可以通过使99%的标志字符像素到其中心的距离d都小于d_t，来设置d_t。

类似地，假设路牌背景字符像素的颜色中心是{R₀,G₀,B₀}，各像素i（包括标志字符像素和路牌背景像素）{r_i,g_i,b_i}到该中心{R₀,G₀,B₀}距离是 $D_i=\sqrt{{(r_i-R_0)}^2+{(g_i-G_0)}^2+{(b_i-B_0)}^2}.$ 可以估计一个距离阈值D_t作为用于区分某个像素是否位于路牌背景颜色范围内的分割标准。优选地，可以按照使路牌背景字符图像区域中的绝大部分路牌背景字符像素被多值化为同一类别的方式来确定距路牌背景字符颜色的中心值的距离阈值。例如，可以通过使99%的路牌背景字符像素到其中心的距离D都小于D_t，来设置D_t。

对于像素i，如果d_i≤D_i并且d_i<d_t，即像素i到标志字符颜色中心的距离小于像素i到路牌背景颜色中心的距离、且像素i到标志字符颜色中心的距离小于阈值距离d_t，则认为像素i位于标志字符颜色范围内，从而像素i被分类为标志字符像素。如果D_i≤d_i且D_i<D_t，即像素i到路牌背景颜色中心的距离小于像素i到标志字符颜色中心的距离、且像素i到路牌背景颜色中心的距离小于阈值距离D_t，则认为像素i位于路牌背景颜色范围内，从而像素i被分类为路牌背景像素。这两种条件都不符合的像素被分类为其他像素。

在步骤S106中，根据标志字符颜色和路牌背景颜色对场景图像进行多值化，以得到标志字符颜色被分为同一类别、路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像。

例如，可以根据标志字符颜色的中心值和路牌背景颜色的中心值、以及距标志字符颜色的中心值的距离阈值和距路牌背景颜色的中心值的距离阈值，对场景图像进行多值化。

根据发明人的观察和研究，路牌的背景颜色通常是同一类颜色，标志字符和路牌上的其他字符通常是同一类颜色，而路牌周边的场景的颜色是多种多样的。在有些情况下，标志字符为同一类颜色，路牌上的其他字符为另一类颜色。因此，通过对场景图像进行多值化能够区分开标志字符区域、路牌背景区域以及其他区域。

图6示意性地示出了经多值化的场景图像。从图6可以看出，通过进行多值化，能够容易地区分路牌背景区域和文本区域以及路牌周围的区域。

在步骤S108中，根据多值化场景图像中的围绕至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。

根据发明人的观察和研究，围绕标志字符的背景区域具有连续性，因此，通过连通域提取能够有效地提取路牌图像区域。

例如，在图(6a)和图(6b)的示例中，可以根据连通域的边缘直接截取路牌图像区域，这是因为连通域的形状与路牌的形状基本一致。

在图(6c)的示例中，由于图像曝光等原因导致路牌背景不均匀，从而最终获得的连通域的形状不规则。在这种情况下，可以根据连通域的外边缘的坐标取直线，从而截取路牌图像区域。换句话说，尽管围绕标志字符的且颜色属于路牌背景颜色的那一类别的连通域与路牌的形状不一致，但仍然能够根据该连通域的形状估计出路牌图像区域。

图7示意性地示出了提取出的路牌图像区域。

由于拍摄的角度导致所得到的路牌图像可能是偏斜的。因此，可选地，可以对提取到的路牌图像进行透视校正。图9示意性地示出了经过透视校正得到的路牌图像。

图2是示出根据一个示例的识别标志字符的步骤S102的流程图。

在步骤S102-2中，可以对场景图像进行二值化，以得到二值化的场景图像。这是因为根据发明人的观察和研究，通常标志字符与路牌背景具有显著不同的灰度，因此通过进行二值化将更容易地识别标志字符。

在步骤S102-4中，可以尝试按照第一模式和第二模式中的一种模式从二值化的场景图像中识别至少一个标志字符。在第一模式中，假设标志字符颜色深而路牌背景颜色浅，而在第二模式中，假设标志字符颜色浅而路牌背景颜色深。优选地，先尝试按照发生概率高的那个模式来识别标志字符。

在步骤S102-6中，判断是否已识别出标志字符。

如果没有识别出至少一个标志字符（步骤S102-6中为否），则尝试按照第一模式和第二模式中的另一种模式从二值化的场景图像中识别至少一个标志字符，然后前进到步骤S104。

如果识别出至少一个标志字符（步骤S102-6中为是），则前进到步骤S104。

图4示意性地示出了以不同模式来识别标志字符的图。在图(4a)和图(4b)中，按照标志字符颜色深而路牌背景颜色浅的模式（即，第一模式）能够识别出标志字符“100”和“99”。相比之下，在图(4c)中，按照标志字符颜色深而路牌背景颜色浅的模式（即，第一模式）不能够识别出标志字符。在这种情况下，在图(4d)中，按照标志字符颜色浅而路牌背景颜色深的模式（即，第二模式）能够识别出标志字符“118”。

在路牌图像周围往往存在各种对象，有些对象可能被误识别为标志字符。例如，如图(4c)所示，左下方的类似于“7”的部分可能为误识别为标志字符。在这种情况下，可以根据在场景图像中所识别的至少一个标志字符的自身颜色的均一性和/或周围区域的颜色的均一性来去除被误识别为标志字符的部分。这是因为，路牌中的标志字符本身的颜色以及其周围区域的颜色往往是基本均一的。而路牌之外的颜色不是均一的，因此，根据颜色的均一性能够去除被误识别为标志字符的部分。

到此为止已经描述了从场景图像中自动提取路牌图像的方法。以下将描述根据本发明的实施例的从场景图像中自动提取路牌图像的装置。针对方法所描述的内容也适用于以下的装置，因此为了简洁起见，将不再进行重复描述。

图10是示出根据本发明的实施例的从场景图像中自动提取路牌图像的装置1000的配置框图。

如图10所示，装置1000包括识别部1002、估计部1004、多值化部1006和提取部1008。

识别部1002被配置为从场景图像中识别至少一个标志字符。

估计部1004被配置为根据包含至少一个标志字符的标志字符图像区域来估计标志字符颜色和路牌图像的路牌背景颜色。

多值化部1006被配置为根据标志字符颜色和路牌背景颜色对场景图像进行多值化，以得到标志字符颜色被分为同一类别、路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像。

提取部1008被配置为根据多值化场景图像中的围绕至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。

图11是示出根据本发明的实施例的识别部1002的配置框图。

如图11所示，识别部1002可以包括二值化单元1002-2和识别单元1002-4。

二值化单元1002-2可以被配置为对场景图像进行二值化。

识别单元1002-4可以被配置为尝试按照第一模式和第二模式中的一种模式从二值化的场景图像中识别至少一个标志字符，如果没有识别出至少一个标志字符，则识别单元1002-4尝试按照第一模式和第二模式中的另一种模式从二值化的场景图像中识别至少一个标志字符。在第一模式中，假设标志字符颜色深而路牌背景颜色浅，而在第二模式中，假设标志字符颜色浅而路牌背景颜色深。优选地，识别单元1002-4先尝试用发生概率高的模式来进行识别。

图12是示出根据另一个实施例的从场景图像中自动提取路牌图像的装置1000’的配置框图。

图12所示的装置1000’与图10所示的装置1000的区别仅在于，装置1000’还包括去除部1010。

去除部1010可以被配置为根据识别部1002在场景图像中识别的至少一个标志字符的自身颜色的均一性和/或周围区域的颜色的均一性来去除被识别部1002误识别为标志字符的部分，并将去除了被误识别为标志字符的部分之后剩余的标志字符发送到估计部1004。估计部1004基于去除了被误识别为标志字符的部分之后剩余的标志字符来进行操作。

图13是示出根据本发明的实施例的估计部1004的配置框图。

如图13所示，估计部1004可以包括第一估计单元1004-2和第二估计单元1004-4。

第一估计单元1004-2可以被配置为根据标志字符图像区域来估计标志字符颜色的中心值和路牌背景颜色的中心值并将其发送给多值化部1006。

第二估计单元1004-4可以被配置为根据标志字符图像区域来估计距标志字符颜色的中心值的距离阈值和距路牌背景颜色的中心值的距离阈值并将其发送给多值化部1006。在一个实施例中，第二估计单元1004-4可以被配置为按照使标志字符图像区域中的绝大部分路牌背景像素被多值化为同一类别的方式来确定距路牌背景颜色的中心值的距离阈值，并且按照使标志字符图像区域中的绝大部分标志字符像素被多值化为同一类别的方式来确定距标志字符颜色的中心值的距离阈值。

在这种情况下，多值化部1006可以被配置为根据接收到的标志字符颜色的中心值和路牌背景颜色的中心值、以及距标志字符颜色的中心值的距离阈值和距路牌背景颜色的中心值的距离阈值来对场景图像进行多值化。

图14是示出根据又一个实施例的从场景图像中自动提取路牌图像的装置1000’’的配置框图。

图14所示的装置1000’’与图10所示的装置1000的区别在于，装置1000’’还可以包括合并部1012和扩展部1014。

合并部1012可以被配置为将至少一个标志字符合并成行区域，并将所获得的行区域发送给扩展部1014。扩展部1014可以被配置为对接收到的行区域进行扩展以获得标志字符图像区域并将标志字符图像区域发送到估计部1004。优选地，扩展部1014可以被配置为向场景图像上方扩展的长度大于向场景图像下方扩展的长度。

图15是示出根据本发明的再一个实施例的从场景图像中自动提取路牌图像的装置1000’’’的配置框图。

图15所示的装置1000’’’与图10所示的装置1000的区别在于，装置1000’’’还可以包括透视校正部1016。

透视校正部1016可以被配置为从提取部1008接收路牌图像，并对路牌图像进行透视校正。

通过本发明，即使在场景图像复杂的情况下，仍能够自动准确地提取路牌图像。此外，只需要对路牌做很少的假设，而这些假设将适于大多数的路牌图像。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图16所示的通用计算机1600安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图16中，中央处理单元(CPU)1601根据只读存储器(ROM)1602中存储的程序或从存储部分1608加载到随机存取存储器(RAM)1603的程序执行各种处理。在RAM1603中，也根据需要存储当CPU1601执行各种处理等等时所需的数据。CPU1601、ROM1602和RAM1603经由总线1604彼此链路。输入/输出接口1605也链路到总线1604。

下述部件链路到输入/输出接口1605：输入部分1606（包括键盘、鼠标等等）、输出部分1607（包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等）、存储部分1608（包括硬盘等）、通信部分1609（包括网络接口卡比如LAN卡、调制解调器等）。通信部分1609经由网络比如因特网执行通信处理。根据需要，驱动器1610也可链路到输入/输出接口1605。可拆卸介质1611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1610上，使得从中读出的计算机程序根据需要被安装到存储部分1608中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1611安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图16所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1611。可拆卸介质1611的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘（包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM1602、存储部分1608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机（例如图16所示的通用计算机1600）安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

基于以上的说明，可知公开至少公开了以下技术方案：

方案1.一种从场景图像中自动提取路牌图像的方法，包括：

从所述场景图像中识别至少一个标志字符；

根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色；

根据所述标志字符颜色和所述路牌背景颜色对所述场景图像进行多值化，以得到所述标志字符颜色被分为同一类别、所述路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像；以及

根据所述多值化场景图像中的围绕所述至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。

方案2.根据方案1所述的方法，其中，所述从所述场景图像中识别至少一个标志字符的步骤包括：

对所述场景图像进行二值化；

尝试按照第一模式和第二模式中的一种模式从二值化的场景图像中识别所述至少一个标志字符，其中，在所述第一模式中，假设所述标志字符颜色深而所述路牌背景颜色浅，而在所述第二模式中，假设所述标志字符颜色浅而所述路牌背景颜色深；以及

如果没有识别出所述至少一个标志字符，则尝试按照所述第一模式和所述第二模式中的另一种模式从所述二值化的场景图像中识别所述至少一个标志字符。

方案3.根据方案2所述的方法，其中，所述一种模式的发生概率比所述另一种模式的发生概率高。

方案4.根据方案2所述的方法，其中，在所述根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色的步骤之前还包括：

根据在所述场景图像中所识别的所述至少一个标志字符的自身颜色的均一性和/或周围区域的颜色的均一性来去除被误识别为标志字符的部分。

方案5.根据方案1所述的方法，其中，所述根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色的步骤包括：

根据所述标志字符图像区域来估计所述标志字符颜色的中心值和所述路牌背景颜色的中心值；以及

根据所述标志字符图像区域来估计距所述标志字符颜色的中心值的距离阈值和距所述路牌背景颜色的中心值的距离阈值，

其中，所述根据所述标志字符颜色和所述路牌背景颜色对所述场景图像进行多值化包括：根据所述标志字符颜色的中心值和所述路牌背景颜色的中心值、以及距所述标志字符颜色的中心值的距离阈值和距所述路牌背景颜色的中心值的距离阈值来对所述场景图像进行多值化。

方案6.根据方案5所述的方法，其中，所述根据所述标志字符图像区域来估计距所述标志字符颜色的中心值的距离阈值和距所述路牌背景颜色的中心值的距离阈值的步骤包括：

按照使所述标志字符图像区域中的绝大部分路牌背景像素被多值化为同一类别的方式来确定所述距路牌背景颜色的中心值的距离阈值；以及

按照使所述标志字符图像区域中的绝大部分标志字符像素被多值化为同一类别的方式来确定所述距所述标志字符颜色的中心值的距离阈值。

方案7.根据方案1所述的方法，其中，在所述根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色的步骤之前还包括：

将所述至少一个标志字符合并成行区域；以及

对所述行区域进行扩展以获得所述标志字符图像区域。

方案8.根据方案7所述的方法，其中，在对所述行区域进行扩展以获得所述标志字符图像区域时，向所述场景图像上方扩展的长度大于向所述场景图像下方扩展的长度。

方案9.根据方案1所述的方法，还包括：

对提取到的路牌图像进行透视校正。

方案10.根据方案1所述的方法，其中，所述至少一个标志字符包括至少一个数字。

方案11.一种从场景图像中自动提取路牌图像的装置，包括：

识别部，被配置为从所述场景图像中识别至少一个标志字符；

估计部，被配置为根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色；

多值化部，被配置为根据所述标志字符颜色和所述路牌背景颜色对所述场景图像进行多值化，以得到所述标志字符颜色被分为同一类别、所述路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像；以及

提取部，被配置为根据所述多值化场景图像中的围绕所述至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。

方案12.根据方案11所述的装置，其中，所述识别部包括：

二值化单元，被配置为对所述场景图像进行二值化；以及

识别单元，被配置为尝试按照第一模式和第二模式中的一种模式从二值化的场景图像中识别所述至少一个标志字符，如果没有识别出所述至少一个标志字符，则尝试按照所述第一模式和所述第二模式中的另一种模式从所述二值化的场景图像中识别所述至少一个标志字符，其中，在所述第一模式中，假设所述标志字符颜色深而所述路牌背景颜色浅，而在所述第二模式中，假设所述标志字符颜色浅而所述路牌背景颜色深。

方案13.根据方案12所述的装置，其中，所述一种模式的发生概率比所述另一种模式的发生概率高。

方案14.根据方案12所述的装置，还包括：

去除部，被配置为根据在所述场景图像中所识别的所述至少一个标志字符的自身颜色的均一性和/或周围区域的颜色的均一性来去除被误识别为标志字符的部分，并将去除了被误识别为标志字符的部分之后剩余的标志字符发送到所述估计部。

方案15.根据方案11所述的装置，其中，所述估计部包括：

第一估计单元，被配置为根据所述标志字符图像区域来估计所述标志字符颜色的中心值和所述路牌背景颜色的中心值；以及

第二估计单元，被配置为根据所述标志字符图像区域来估计距所述标志字符颜色的中心值的距离阈值和距所述路牌背景颜色的中心值的距离阈值，

其中，所述多值化部被配置为根据所述标志字符颜色的中心值和所述路牌背景颜色的中心值、以及距所述标志字符颜色的中心值的距离阈值和距所述路牌背景颜色的中心值的距离阈值来对所述场景图像进行多值化。

方案16.根据方案15所述的装置，其中，所述第二估计单元被配置为按照使所述标志字符图像区域中的绝大部分路牌背景像素被多值化为同一类别的方式来确定所述距路牌背景颜色的中心值的距离阈值，并且按照使所述标志字符图像区域中的绝大部分标志字符像素被多值化为同一类别的方式来确定所述距所述标志字符颜色的中心值的距离阈值。

方案17.根据方案11所述的装置，还包括：

合并部，被配置为将所述至少一个标志字符合并成行区域；以及

扩展部，被配置为对所述行区域进行扩展以获得所述标志字符图像区域并将所述标志字符图像区域发送到所述估计部。

方案18.根据方案17所述的装置，其中，所述扩展部被配置为向所述场景图像上方扩展的长度大于向所述场景图像下方扩展的长度。

方案19.根据方案11所述的装置，还包括：

透视校正部，被配置为对提取部提取到的路牌图像进行透视校正。

方案20.根据方案11所述的装置，其中，所述至少一个标志字符包括至少一个数字。

Claims (10)

1.一种从场景图像中自动提取路牌图像的方法，包括：

从所述场景图像中识别至少一个标志字符；

根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色；

根据所述标志字符颜色和所述路牌背景颜色对所述场景图像进行多值化，以得到所述标志字符颜色被分为同一类别、所述路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像；以及

根据所述多值化场景图像中的围绕所述至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。

2.根据权利要求1所述的方法，其中，所述从所述场景图像中识别至少一个标志字符的步骤包括：

对所述场景图像进行二值化；

尝试按照第一模式和第二模式中的一种模式从二值化的场景图像中识别所述至少一个标志字符，其中，在所述第一模式中，假设所述标志字符颜色深而所述路牌背景颜色浅，而在所述第二模式中，假设所述标志字符颜色浅而所述路牌背景颜色深；以及

如果没有识别出所述至少一个标志字符，则尝试按照所述第一模式和所述第二模式中的另一种模式从所述二值化的场景图像中识别所述至少一个标志字符。

3.根据权利要求2所述的方法，其中，所述一种模式的发生概率比所述另一种模式的发生概率高。

4.根据权利要求2所述的方法，其中，在所述根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色的步骤之前还包括：

根据在所述场景图像中所识别的所述至少一个标志字符的自身颜色的均一性和/或周围区域的颜色的均一性来去除被误识别为标志字符的部分。

5.根据权利要求1所述的方法，其中，所述根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色的步骤包括：

根据所述标志字符图像区域来估计所述标志字符颜色的中心值和所述路牌背景颜色的中心值；以及

根据所述标志字符图像区域来估计距所述标志字符颜色的中心值的距离阈值和距所述路牌背景颜色的中心值的距离阈值，

其中，所述根据所述标志字符颜色和所述路牌背景颜色对所述场景图像进行多值化包括：根据所述标志字符颜色的中心值和所述路牌背景颜色的中心值、以及距所述标志字符颜色的中心值的距离阈值和距所述路牌背景颜色的中心值的距离阈值来对所述场景图像进行多值化。

6.根据权利要求5所述的方法，其中，所述根据所述标志字符图像区域来估计距所述标志字符颜色的中心值的距离阈值和距所述路牌背景颜色的中心值的距离阈值的步骤包括：

按照使所述标志字符图像区域中的绝大部分路牌背景像素被多值化为同一类别的方式来确定所述距路牌背景颜色的中心值的距离阈值；以及

按照使所述标志字符图像区域中的绝大部分标志字符像素被多值化为同一类别的方式来确定所述距所述标志字符颜色的中心值的距离阈值。

7.根据权利要求1所述的方法，其中，在所述根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色的步骤之前还包括：

将所述至少一个标志字符合并成行区域；以及

对所述行区域进行扩展以获得所述标志字符图像区域。

8.根据权利要求7所述的方法，其中，在对所述行区域进行扩展以获得所述标志字符图像区域时，向所述场景图像上方扩展的长度大于向所述场景图像下方扩展的长度。

9.根据权利要求1所述的方法，还包括：

对提取到的路牌图像进行透视校正。

10.一种从场景图像中自动提取路牌图像的装置，包括：

识别部，被配置为从所述场景图像中识别至少一个标志字符；

估计部，被配置为根据包含所述至少一个标志字符的标志字符图像区域来估计标志字符颜色和所述路牌图像的路牌背景颜色；

多值化部，被配置为根据所述标志字符颜色和所述路牌背景颜色对所述场景图像进行多值化，以得到所述标志字符颜色被分为同一类别、所述路牌背景颜色被分为同一类别且其他颜色被分为同一类别的多值化场景图像；以及

提取部，被配置为根据所述多值化场景图像中的围绕所述至少一个标志字符的且颜色属于路牌背景颜色的那一类别的连通域来提取路牌图像。