CN110543882A - 一种字符串识别方法与装置 - Google Patents

Abstract

提出了一种字符串识别方法与装置。字符串识别方法（100）可以包括：检测具有多个字符串的字符串识别区域（S110）；将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域（S120）；将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串（S130）；识别重新排列后连接成的这个字符串（S140）。该方法可以用于双层车牌的车牌检测与号码识别。该方法降低了对于分布多处的字符串的识别难度，在提高识别精度的同时，亦能减少时间损耗。

Description

一种字符串识别方法与装置

技术领域

本发明涉及模式识别，更具体涉及一种字符串识别方法与装置。

背景技术

生活中有许多场景需要应用到计算机视觉领域的光学字符识别（OCR）和自然场景文字识别的技术。

近年来随着经济和科技的发展，汽车等交通工具越来越普及。汽车极大地改变了人们的生活方式，方便了人们出行。车牌是汽车的唯一标识。在安防监控中，车牌识别是十分重要的一环。首先要检测出车牌的位置，将车牌切割出来，再对车牌进行识别。车牌识别主要采用OCR技术进行识别。传统的车牌识别技术先对车牌进行字符分割，切分出单个字符，再对单个字符进行识别，最后完成整个车牌的识别。近年来随着深度学习的理论的发展和完善，在计算机视觉领域取得让人瞩目的成果。在车牌识别方法上各大安防厂商也开始引入深度学习的解决方案。

中国车牌从字符的层数角度区分，可以大致分类两类，单层车牌和双层车牌。无论采用传统的车牌识别方法还是深度学习方法，双层车牌都比单层车牌更难识别。

类似地，验证码、企业工牌信息、身份证信息、银行卡信息等等信息在字符串的排列上也可能采用上下结构或不规则分布的结构，使得完整识别的难度加大。由于识别难度增大，必然带来识别精度上的下降以及识别时间上的增加。

发明内容

本发明的实施例提供一种字符串识别方法与装置，特别适用于需要识别的字符串分布于识别区域中的多处，例如上下两行或者分布不规则，更具体如双层车牌的情况。本发明的实施例根据字符串的分布将识别区域分割成几个子区域，然后再将几个子区域重新排列，以便分布于各个子区域中的字符串能够连接成一个完整的字符串，一起进行识别。由此，降低了现有技术中对于此种情况的识别难度，提高识别精度的同时，亦能减少时间损耗。

为了实现本发明的目的，根据本发明的第一方面，提供一种字符串识别方法。所述方法可以包括：检测具有多个字符串的字符串识别区域；将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域；将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串；识别重新排列后连接成的这个字符串。

优选地，所述的识别重新排列后连接成的这个字符串的步骤可以包括：使用端到端深度学习方法来识别重新排列后连接成的这个字符串。

更具体地，所述的检测具有多个字符串的字符串识别区域的步骤可以包括检测双层号码的车牌；所述的将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域的步骤可以包括将检测出的车牌切割成各自带有一部分车牌号码的上下两部分；所述的将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串的步骤可以包括将车牌的上下两部分拼接成左右两部分，使得两部分的车牌号码连接成一个完整的车牌号码；所述的识别重新排列后连接成的这个字符串的步骤可以包括识别这个完整的车牌号码。

优选地，所述的检测双层号码的车牌的步骤可以进一步包括：检测车牌的四个角的位置；根据车牌的四个角的位置对车牌进行倾斜矫正，从而检测出矫正好的车牌。

为了实现本发明的目的，根据本发明的第二方面，提供一种字符串识别装置。该装置可以包括：识别区域检测模块，用于检测具有多个字符串的字符串识别区域；子区域切割模块，用于将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域；字符串整合模块，用于将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串；字符串识别模块，用于识别重新排列后连接成的这个字符串。

优选地，所述字符串识别模块可以被配置用于使用端到端深度学习方法来识别重新排列后连接成的这个字符串。

更具体地，所述识别区域检测模块可以被配置用于检测双层号码的车牌；所述子区域切割模块可以被配置用于将检测出的车牌切割成各自带有一部分车牌号码的上下两部分；所述字符串整合模块可以被配置用于将车牌的上下两部分拼接成左右两部分，使得两部分的车牌号码连接成一个完整的车牌号码；所述字符串识别模块可以被配置用于识别这个完整的车牌号码。

优选地，所述识别区域检测模块进一步包括：车牌四角位置检测子模块，用于通过检测车牌的四个角的位置；车牌矫正子模块，用于根据车牌的四个角的位置对车牌进行倾斜矫正，从而检测出矫正好的车牌。

为了实现本发明的目的，根据本发明的第三方面，提供一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行字符串识别方法，包括如下操作：检测具有多个字符串的字符串识别区域；将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域；将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串；识别重新排列后连接成的这个字符串。

优选地，所述的识别重新排列后连接成的这个字符串的操作可以包括使用端到端深度学习方法来识别重新排列后连接成的这个字符串。

在本发明中，与识别多个字符串相比，识别一个完整字符串降低了识别难度，由此不仅提高识别精度，而且能够减少时间损耗。

此外，由于识别的是一个完整的字符串，从而可以适用端到端深度学习方法来进行识别，从而进一步提高识别精度，减少时间损耗。

在检测识别车牌号码的具体实现中，在检测的车牌过程中会输出车牌的四个关键点，根据这些关键点很容易将车牌矫正成平行的状态；然后将双层车牌切分成上下两部分，再进行拼接：上部分放在图片左边，下部分放在图片右边，形成一张新的车牌。最后采用端到端深度学习的识别方式，易于识别，提高双层车牌识别精度。

附图说明

下面参考附图结合实施例说明本发明。

图1示出了根据本发明实施例的字符串识别方法的流程图。

图2示出了根据本发明实施例的字符串识别装置的示意框图。

图3示出了根据本发明具体实施例的车牌检测的过程。

图4示出了根据本发明具体实施例的针对检测到的车牌进行车牌号码识别的过程。

具体实施方式

附图仅用于示例说明，不能理解为对本发明的限制。下面结合附图和实施例对本发明的技术方案做进一步的说明。

图1示出了根据本发明实施例的字符串识别方法的流程图。

如图1中所示，根据本发明实施例的字符串识别方法100开始于步骤S110。在此步骤，检测具有多个字符串的字符串识别区域。

如前所述，本发明特别适用于需要识别的字符串分布于识别区域中的多处，例如上下两行或者分布不规则的情况。举例来说，在背景技术中提到了车牌中的双层号码车牌的情况，这样的双层号码车牌的情况不仅存在于中国，在日本、美国等国家也较为普遍。下文中将针对双层号码车牌的情况给出一个应用本发明的具体实施例。

此外，我们还应该想到验证码识别的场景。为了增加识别的难度，很多网站给出的验证码的排列很不规则，特别是有可能不在一条直线上，这样会对识别造成难度，可能不得不逐个进行识别，由此影响到识别的效率，也会影响识别精度。

类似地，企业工牌信息、身份证信息、银行卡信息等等信息在字符串的排列上也可能采用上下结构或不规则分布的结构，使得完整识别的难度加大。这些场景都适用于本发明。

具体地说，在步骤S110，就是要首先确定待识别的区域。在这个待识别的区域中，分布有多个字符串，而本发明的最终目标在于将这多个字符串整体进行识别。

接下来，在步骤S120，将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域。

例如，对于字符串排列成上下结构的区域，将整个区域切割为上下两个部分，上下两个部分中各自含有一个字符串。对于字符串分布不规则的场景，则将整个区域切割为不规则的几个部分，每个部分中都包含一个字符串。

然后，在步骤S130，将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串。例如，对于区域被切割为上下两部分的情况，可以将这两部分左右拼接起来，从而使得两部分中的字符串被连接成一个完整的字符串。对于字符串分布不规则的场景，可以将所有切割的子区域按照一定的规则或顺序排列，以便其中的字符串被首尾连接到一起，形成一个完整的字符串。

最后，在步骤S140，识别重新排列后连接成的这个字符串。由于只需要识别一个完整的字符串，可以使用端到端深度学习方法来识别重新排列后连接成的这个字符串。

本领域技术人员应该能够理解端到端深度学习的概念。简而言之，对于以前的一些数据处理系统，或者学习系统，它们可能需要多个阶段的处理，而端到端深度学习，就是忽略所有这些不同的阶段，用单个神经网络代替它。以光学字符识别（OCR）为例，在传统方法中，输入一个带字符串的图像，需要把图像中的字符串映射到一个输出，就是对这些字符的识别结果（即一个或多个字符串）。所以传统上，字符识别可能需要很多阶段的处理，可能需要提取一些特征，对字符区域做分割使得每个字符单独被分割出来以便识别，然而分别应用机器学习算法识别并提取每个可识别的字符，最后将这些字符连接在一起构成独立的字符串。和之前的有很多阶段的流水线相比，端到端深度学习做的就是，训练一个巨大的神经网络，输入的是带有字符串的图像，而输出的就是一个完整的字符串识别结果；而不像现有技术一样，将字符串中每个字符进行分别识别，最后组合成一个识别结果。通过这样的端到端深度学习，可以减少识别过程中的中间环节，在使得识别技术更加智能的同时，进一步提高识别精度，减少时间损耗。

在步骤S140完成之后，方法100可以结束。

与图1的方法相对应，可以构建一个字符串识别装置。

图2示出了根据本发明实施例的字符串识别装置的示意框图。

如图2中所示，根据本发明实施例的字符串识别装置200可以包括以下几个模块：识别区域检测模块201、子区域切割模块202、字符串整合模块203以及字符串识别模块204。

识别区域检测模块201用于检测具有多个字符串的字符串识别区域。本领域技术人员应理解，该模块执行的操作是图1的方法100中的步骤S110。

子区域切割模块202用于将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域。本领域技术人员应理解，该模块执行的操作是图1的方法100中的步骤S120。

字符串整合模块203用于将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串。本领域技术人员应理解，该模块执行的操作是图1的方法100中的步骤S130。

字符串识别模块204用于识别重新排列后连接成的这个字符串。本领域技术人员应理解，该模块执行的操作是图1的方法100中的步骤S140。从前文可知，字符串识别模块204由于只需要识别一个完整的字符串，可以使用端到端深度学习方法来识别重新排列后连接成的这个字符串。

下面将给出应用本发明的字符串识别方法与装置的一个具体实施例，即背景技术中所提到的双层号码车牌的场景。

图1的方法100中的步骤S110，即检测具有多个字符串的字符串识别区域的步骤在这个具体场景之中可以具体化为检测双层号码的车牌。换句话说，图2的装置200的识别区域检测模块201被具体用于检测双层号码的车牌。

图3示出了根据本发明具体实施例的车牌检测的过程。

如图3中所示，由于需要识别大客车的车牌号码，根据本发明的方法，首先需要检测出该大客车的车牌。

更具体地说，这一步骤（S110）可以包括：首先，检测车牌的四个角的位置；然后，根据车牌的四个角的位置对车牌进行倾斜矫正，从而检测出矫正好的车牌。如图3中所示，首先检测到了大客车的车牌的四个角的位置。这四个角的位置可以用四个点的坐标来表示。由这四个点所确定的封闭区域就可以作为检测出的车牌。在这里，初步检测出的车牌可以进行倾斜矫正。由于已经有了车牌四角位置的四个坐标，根据这四个点的坐标很容易计算出车牌的倾斜角度，从而进行倾斜矫正。

换句话说，图2的装置200的识别区域检测模块202可以进一步包括两个子模块，分别是：车牌四角位置检测子模块（未示出）和车牌矫正子模块（未示出）。车牌四角位置检测子模块具体用于检测车牌的四个角的位置。而车牌矫正子模块则具体用于根据车牌的四个角的位置对车牌进行倾斜矫正，从而检测出矫正好的车牌。

接下来可以看图4。图4示出了根据本发明具体实施例的针对检测到的车牌进行车牌号码识别的过程。

根据图1的方法100中的步骤S120，需要将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域。在图4中，这一步骤可以被具体化为将检测出的车牌切割成各自带有一部分车牌号码的上下两部分。换句话说，图2的装置200的子区域切割模块202被具体用于将检测出的车牌切割成各自带有一部分车牌号码的上下两部分。如图4所示，检测出的车牌可以分成上下两部分：“黑A”和“F31*3”（为保护隐私，这里隐去其中一位数字，以“*”代替）。

接下来，在步骤S130中，要将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串的步骤。换句话说，字符串整合模块203被具体用于将车牌的上下两部分拼接成左右两部分，使得两部分的车牌号码连接成一个完整的车牌号码。在图4中，这一步骤可以被具体化为将车牌的上下两部分拼接成左右两部分，使得两部分的车牌号码连接成一个完整的车牌号码。如图4所示，“黑A”和“F31*3”被拼接在一起。

最后，在步骤S140中，可以识别重新排列后连接成的这个字符串。该步骤在图4中可以被具体化为识别这个完整的车牌号码。换句话说，字符串识别模块204被具体用于识别这个完整的车牌号码。如图4所示，采用端到端深度学习的识别方法，可以完整地输出识别结果为“黑AF31*3”，即我们所需要检测和识别的车牌号码。

本领域普通技术人员应该认识到，本发明的方法可以实现为计算机程序。如上结合图1所述，根据上述实施例的方法可以执行一个或多个程序，包括指令来使得计算机或处理器执行结合附图所述的算法。这些程序可以使用各种类型的非瞬时计算机可读介质存储并提供给计算机或处理器。非瞬时计算机可读介质包括各种类型的有形存贮介质。非瞬时计算机可读介质的示例包括磁性记录介质（诸如软盘、磁带和硬盘驱动器）、磁光记录介质（诸如磁光盘）、CD-ROM（紧凑盘只读存储器）、CD-R、CD-R/W以及半导体存储器（诸如ROM、PROM（可编程ROM）、EPROM（可擦写PROM）、闪存ROM和RAM（随机存取存储器））。进一步，这些程序可以通过使用各种类型的瞬时计算机可读介质而提供给计算机。瞬时计算机可读介质的示例包括电信号、光信号和电磁波。瞬时计算机可读介质可以用于通过诸如电线和光纤的有线通信路径或无线通信路径提供程序给计算机。

因此，根据本发明，还可以提议一种计算机程序或一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行字符串识别方法，包括如下操作：检测具有多个字符串的字符串识别区域；将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域；将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串；识别重新排列后连接成的这个字符串。

在以上的计算机程序或计算机可读介质中，更具体地，所述的识别重新排列后连接成的这个字符串的操作包括：使用端到端深度学习方法来识别重新排列后连接成的这个字符串。

上面已经描述了本发明的各种实施例和实施情形。但是，本发明的精神和范围不限于此。本领域技术人员将能够根据本发明的教导而做出更多的应用，而这些应用都在本发明的范围之内。

也就是说，本发明的上述实施例仅仅是为清楚说明本发明所做的举例，而非对本发明实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、替换或改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种字符串识别方法，包括：

检测具有多个字符串的字符串识别区域；

将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域；

将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串；

识别重新排列后连接成的这个字符串。

2.如权利要求1所述的方法，其中，所述的识别重新排列后连接成的这个字符串的步骤包括：使用端到端深度学习方法来识别重新排列后连接成的这个字符串。

3.如权利要求1所述的方法，其中：

所述的检测具有多个字符串的字符串识别区域的步骤包括：检测双层号码的车牌；

所述的将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域的步骤包括：将检测出的车牌切割成各自带有一部分车牌号码的上下两部分；

所述的将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串的步骤包括：将车牌的上下两部分拼接成左右两部分，使得两部分的车牌号码连接成一个完整的车牌号码；

所述的识别重新排列后连接成的这个字符串的步骤包括：识别这个完整的车牌号码。

4.如权利要求3所述的方法，其中，所述的检测双层号码的车牌的步骤进一步包括：

检测车牌的四个角的位置；

根据车牌的四个角的位置对车牌进行倾斜矫正，从而检测出矫正好的车牌。

5.一种字符串识别装置，包括：

识别区域检测模块，用于检测具有多个字符串的字符串识别区域；

子区域切割模块，用于将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域；

字符串整合模块，用于将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串；

字符串识别模块，用于识别重新排列后连接成的这个字符串。

6.如权利要求5所述的装置，其中，所述字符串识别模块被配置用于使用端到端深度学习方法来识别重新排列后连接成的这个字符串。

7.如权利要求5所述的装置，其中：

所述识别区域检测模块被配置用于检测双层号码的车牌；

所述子区域切割模块被配置用于将检测出的车牌切割成各自带有一部分车牌号码的上下两部分；

所述字符串整合模块被配置用于将车牌的上下两部分拼接成左右两部分，使得两部分的车牌号码连接成一个完整的车牌号码；

所述字符串识别模块被配置用于识别这个完整的车牌号码。

8.如权利要求7所述的装置，其中，所述识别区域检测模块进一步包括：

车牌四角位置检测子模块，用于检测车牌的四个角的位置；

车牌矫正子模块，用于根据车牌的四个角的位置对车牌进行倾斜矫正，从而检测出矫正好的车牌。

9.一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行字符串识别方法，包括如下操作：

检测具有多个字符串的字符串识别区域；

将检测出的字符串识别区域切割成各自带有一个字符串的多个子区域；

将多个子区域重新排列以使得多个子区域中的字符串连接成一个字符串；

识别重新排列后连接成的这个字符串。

10.如权利要求9所述的计算机可读介质，其中，所述的识别重新排列后连接成的这个字符串的操作包括：使用端到端深度学习方法来识别重新排列后连接成的这个字符串。