CN110717486B - 文本检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种文本检测方法、装置、电子设备和存储介质，属于图像检测技术领域。所述方法包括：基于待检测的目标图像，确定所述目标图像对应的特征图像，并基于所述特征图像中确定所述特征图像中的每个像素点的形变特征；根据所述特征图像中的每个像素点的形变特征，获取所述特征图像中的每个像素点的形变参数；根据所述特征图像中的每个像素点的形变参数，从所述特征图像中确定文本区域。本申请中由于结合了像素点的形变特征对特征图像进行检测，从而能够检测任一形变文本，进而提高了检测准确性。

Description

文本检测方法、装置、电子设备和存储介质

技术领域

本申请涉及图像检测技术领域，特别涉及一种文本检测方法、装置、电子设备和存储介质。

背景技术

文本检测是指从图像中检测出文本区域。文本检测技术可以作为信息采集录入手段、比如对卡证、卷宗、报表等的文本区域自动检测，提供高质量的文本区域给文本识别器，可以省下手工输入的成本。文本检测技术也可以作为图像信息理解的重要前提，对图像中的文本区域进行检测，并提取文本区域中的内容，从而实现理解图像内容。

目前从图像中检测出文本区域的过程可以为：将回归目标设定为轴平行矩形，通过移动该矩形在图像中的位置，并将该图像中该矩形中的区域为目标区域，并检测该目标区域是否为文本区域。

在实现本申请的过程中，申请人发现现有技术至少存在以下问题：

由于图像中的文本区域的形状不一定是矩形，当图像中的文本区域为存在扭曲、透视、旋转等形状变化的文本区域时，通过以上方法就无法准确检测出来。

发明内容

本申请提供了一种文本检测方法、装置、设备和存储介质，可以解决现有技术中的无法检测出形变文本的文本区域的问题。技术方案如下：

一方面，本申请提供了一种文本检测方法，所述方法包括：

基于待检测的目标图像，确定所述目标图像对应的特征图像，并基于所述特征图像中确定所述特征图像中的每个像素点的形变特征；

根据所述特征图像中的每个像素点的形变特征，获取所述特征图像中的每个像素点的形变参数；

根据所述特征图像中的每个像素点的形变参数，从所述特征图像中确定文本区域。

在一个可能的实现方式中，所述基于所述特征图像中确定所述特征图像中的每个像素点的形变特征，包括：

对于所述特征图像中的每个像素点，确定所述像素点在多个方向上的多个采集偏移量，多个采集偏移量不完全相同；

以所述像素点为中心，所述多个采集偏移量为所述多个方向上的步长，获取所述像素点的相邻像素点的特征值；

基于所述相邻像素点的特征值，确定所述像素点的形变特征。

在一个可能的实现方式中，所述根据所述特征图像中的每个像素点的形变参数，从所述特征图像中确定文本区域，包括：

从所述特征图像中确定第一图像形变区域；

根据所述第一图像形变区域中的每个像素点的形变参数，从所述第一图像形变区域中确定形变参数对应的第二图像形变区域；

根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域；

通过所述指定形状对应的检测模型，检测所述图像检测区域中的内容是否为本文内容；

当所述图像检测区域中的内容为文本内容时，将所述图像检测区域确定为文本区域。

在一个可能的实现方式中，所述从所述特征图像中确定第一图像形变区域，包括：

确定所述特征图像中的每个像素点属于文本的置信度；

根据所述特征图像中的每个像素点的置信度，从所述特征图像中选择置信度超过预设阈值的像素点；

将选择的像素点组成所述第一图像形变区域。

在一个可能的实现方式中，所述根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域，包括：

根据所述第二图像形变区域中的每个像素点的形变参数和所述指定形状对应的转换矩阵，确定形变转换矩阵；

根据所述第二图像形变区域中的每个像素点的第一位置信息，通过所述形变转换矩阵，确定所述第二图像形变区域中的每个像素点的第二位置信息；

将所述每个像素点的第二位置信息组成所述图像检测区域。

在一个可能的实现方式中，所述基于待检测的目标图像，确定所述目标图像对应的特征图像，包括：

通过卷积神经网络，对待检测的目标图像进行迭代卷积处理，得到所述目标图像对应的特征图像。

另一方面，本申请提供了一种文本检测装置，所述装置包括：

确定模块，用于基于待检测的目标图像，确定所述目标图像对应的特征图像，并基于所述特征图像中确定所述特征图像中的每个像素点的形变特征；

提取模块，用于根据所述特征图像中的每个像素点的形变特征，获取所述特征图像中的每个像素点的形变参数；

检测模块，用于根据所述特征图像中的每个像素点的形变参数，从所述特征图像中确定文本区域。

在一个可能的实现方式中，所述确定模块，还用于对于所述特征图像中的每个像素点，确定所述像素点在多个方向上的多个采集偏移量，多个采集偏移量不完全相同；以所述像素点为中心，所述多个采集偏移量为所述多个方向上的步长，从所述特征图中获取所述像素点的相邻像素点的特征值；基于所述相邻像素点的特征值，确定所述像素点的形变特征。

在另一个可能的实现方式中，所述检测模块，还用于从所述特征图像中确定第一图像形变区域；根据所述第一图像形变区域中的每个像素点的形变参数，从所述第一图像形变区域中确定形变参数对应的第二图像形变区域；根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域；通过所述指定形状对应的检测模型，检测所述图像检测区域中的内容是否为本文内容；当所述图像检测区域中的内容为文本内容时，将所述图像检测区域确定为文本区域。

在另一个可能的实现方式中，所述检测模块，还用于确定所述特征图像中的每个像素点属于文本的置信度；根据所述特征图像中的每个像素点的置信度，从所述特征图像中选择置信度超过预设阈值的像素点；将选择的像素点组成所述第一图像形变区域。

在另一个可能的实现方式中，所述检测模块，还用于根据所述第二图像形变区域中的每个像素点的形变参数和所述指定形状对应的转换矩阵，确定形变转换矩阵；根据所述第二图像形变区域中的每个像素点的第一位置信息，通过所述形变转换矩阵，确定所述第二图像形变区域中的每个像素点的第二位置信息；将所述每个像素点的第二位置信息组成所述图像检测区域。

在另一个可能的实现方式中，所述确定模块，还用于通过卷积神经网络，对待检测的目标图像进行迭代卷积处理，得到所述目标图像对应的特征图像。

另一方面，本申请提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现上述文本检测方法中所执行的操作。

另一方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现上述文本检测方法中所执行的操作。

在本申请实施例中，基于待检测的目标图像对应的特征图像确定该特征图像中的每个像素点的形变特征。根据该特征图像中的每个像素点的形变特征，获取该特征图像中的每个像素点的形变参数。根据该特征图像中的每个像素点的形变参数，从该特征图像中确定文本区域。由于结合了像素点的形变特征对特征图像进行检测，从而能够检测任一形变文本，进而提高了检测准确性。

附图说明

图1是本申请实施例提供的一种文本检测架构的结构示意图；

图2是本申请实施例提供的一种文本检测方法流程图；

图3是本申请实施例提供的一种文本检测方法流程图；

图4是本申请实施例提供的一种文本检测装置结构示意图；

图5是本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本公开实施例提供了一种文本检测的架构示意图，参见图1，该文本检测的架构中包括形变特征提取模块101、形变参数回归模块102、形变区域变换模块103和形变文本分类模块104。其中，形变特征提取模块101的输出端与形变参数回归模块102的输入端相连，形变参数回归模块102的输出端与形变区域变换模块103的输入端相连，形变区域变换模块103的输出端与形变文本分类模块104相连。

其中，形变特征提取模块101，用于接收待检测的目标图像，基于待检测的目标图像，确定该目标图像对应的特征图像，并基于该特征图像中确定该特征图像中的每个像素点的形变特征，将该特征图像中的每个像素点的形变特征输出至形变参数回归模块102。

形变参数回归模块102，用于接收该特征图像中的每个像素点的形变特征，根据该特征图像中的每个像素点的形变特征，获取该特征图像中的每个像素点的形变参数，并将该特征图像中的每个像素点的形变参数输出至形变区域变换模块103。

形变参数回归模块102，还用于在获取该特征图像中的每个像素点的形变参数之后，获取该特征图像中的每个像素点属于文本的置信度，根据该特征图像中的每个像素点的置信度，将置信度超过预设阈值的像素点组成第一图像形变区域。

形变区域变换模块103，用于接收形变参数回归模块102输出的该特征图像中的每个像素点的形变参数，从该第一图像形变区域中确定形变参数对应的第二图像形变区域，根据该第二图像形变区域中的每个像素点的形变参数，将该第二图像形变区域转换为指定形状的图像检测区域，并将该图像检测区域输出至形变文本分类模块104。

形变文本分类模块104，用于接收形变区域变换模块103输出的该图像检测区域，检测该图像检测区域是否为文本区域。

需要说明的一点是，上述形变特征提取模块101、形变参数回归模块102、形变区域变换模块103和形变文本分类模块104可以集成在一个电子设备中，也可以集成在多个电子设备中。其中，电子设备可以为手机、平板电脑或者计算机等。在本申请实施例中，对电子设备不作具体限定；并且，在本申请实施例中以将形变特征提取模块101、形变参数回归模块102、形变区域变换模块103和形变文本分类模块104集成在一个电子设备中为例进行说明。

需要说明的另一点是，本申请实施例提供的文本检测的架构用于检测形变文本，与传统文本检测建构相比，该架构可以检测任意形变文本，且该架构易扩展，支持海量数据学习，可达到更好的准确率和泛化能力。并且，不需要针对单个字符或者文本段进行检测，不需要繁琐的后处理和规则设定。

本申请实施例提供了一种文本检测方法，参见图2，该方法包括：

步骤201：基于待检测的目标图像，确定所述目标图像对应的特征图像，并基于所述特征图像中确定所述特征图像中的每个像素点的形变特征。

步骤202：根据所述特征图像中的每个像素点的形变特征，获取所述特征图像中的每个像素点的形变参数。

步骤203：根据所述特征图像中的每个像素点的形变参数，从所述特征图像中确定文本区域。

在一个可能的实现方式中，所述基于所述特征图像中确定所述特征图像中的每个像素点的形变特征，包括：

对于所述特征图像中的每个像素点，确定所述像素点在多个方向上的多个采集偏移量，多个采集偏移量不完全相同；

以所述像素点为中心，所述多个采集偏移量为所述多个方向上的步长，从所述特征图中获取所述像素点的相邻像素点的特征值；

基于所述相邻像素点的特征值，确定所述像素点的形变特征。

在另一个可能的实现方式中，所述根据所述特征图像中的每个像素点的形变参数，从所述特征图像中确定文本区域，包括：

从所述特征图像中确定第一图像形变区域；

根据所述第一图像形变区域中的每个像素点的形变参数，从所述第一图像形变区域中确定形变参数对应的第二图像形变区域；

根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域；

通过所述指定形状对应的检测模型，检测所述图像检测区域中的内容是否为本文内容；

当所述图像检测区域中的内容为文本内容时，将所述图像检测区域确定为文本区域。

在另一个可能的实现方式中，所述从所述特征图像中确定第一图像形变区域，包括：

确定所述特征图像中的每个像素点属于文本的置信度；

根据所述特征图像中的每个像素点的置信度，从所述特征图像中选择置信度超过预设阈值的像素点；

将选择的像素点组成所述第一图像形变区域。

在另一个可能的实现方式中，所述根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域，包括：

根据所述第二图像形变区域中的每个像素点的形变参数和所述指定形状对应的转换矩阵，确定形变转换矩阵；

根据所述第二图像形变区域中的每个像素点的第一位置信息，通过所述形变转换矩阵，确定所述第二图像形变区域中的每个像素点的第二位置信息；

将所述每个像素点的第二位置信息组成所述图像检测区域。

在另一个可能的实现方式中，所述基于待检测的目标图像，确定所述目标图像对应的特征图像，包括：

通过卷积神经网络，对待检测的目标图像进行迭代卷积处理，得到所述目标图像对应的特征图像。

在本申请实施例中，基于待检测的目标图像对应的特征图像确定该特征图像中的每个像素点的形变特征。根据该特征图像中的每个像素点的形变特征，获取该特征图像中的每个像素点的形变参数。根据该特征图像中的每个像素点的形变参数，从该特征图像中确定文本区域。由于结合了像素点的形变特征对特征图像进行检测，从而能够检测任一形变文本，进而提高了检测准确性。

本申请实施例提供了一种文本检测方法，该方法的执行主体可以为电子设备，参见图3，该方法包括：

步骤301：电子设备基于待检测的目标图像，确定该目标图像对应的特征图像。

电子设备确定待检测的目标图像，通过卷积神经网络，对该目标图像进行迭代卷积处理，得到该目标图像对应的特征图像。

该迭代卷积处理可以为一次卷积处理，也可以为多次卷积处理；当该迭代卷积处理为一次卷积处理时，本步骤可以为：电子设备通过卷积神经网络，对该目标图像进行卷积处理，得到该目标图像对应的特征图像。当该迭代卷积处理为多次卷积处理时，本步骤可以为：电子设备通过卷积神经网络，对该目标图像进行卷积处理，得到第一特征图；通过卷积神经网络，对第一特征图再次进行卷积处理，得到第二特征图；确定是否达到迭代停止条件；当达到迭代停止条件时，将第二特征图作为该目标图像对应的特征图像；当没有达到迭代条件时，通过卷积神经网络，对第二特征图再次进行卷积处理，直到达到迭代停止条件，将当前特征图作为该目标图像对应的特征图像。该迭代停止条件可以为两张特征图之间的特征值差值小于第一预设阈值。

该目标图像可以为电子设备当前拍摄的图像，也可以为图像库中已存储的图像，还可以为当前接收的图像。在本申请实施例中，对目标图像的来源不作具体限定。并且，该目标图像中包括文本，该文本可以为形变文本，也可以为非形变文本。形变文本是指存在扭曲、透视、旋转等形状变化的文本。

当目标图像为当前拍摄的图像时，在一个可能的实现方式中，电子设备可以先通过相机进行拍摄，得到目标图像，然后通过文本检测应用程序调用图像库，从而获取该目标图像。在另一个可能的实现方式中，电子设备的文本检测应用程序的检测界面中包括相机接口，通过该相机接口开启相机进行拍摄，得到目标图像。

步骤302：电子设备基于该特征图像中确定该特征图像中的每个像素点的形变特征。

形变特征是指用于指示形变的特征。对于该特征图像中的每个像素点，电子设备通过以下步骤(1)至(3)确定该像素点的形变特征，包括：

(1)：电子设备确定该像素点在多个方向上的多个采集偏移量。

在本步骤之前，电子设备通过卷积神经网络训练出不同方向上的偏移量，并存储多个方向上的多个采集偏移量。相应的，本步骤可以为：电子设备获取已存储的多个方向上的多个采集偏移量。其中，多个方向上的多个采集偏移量不完全相同。

需要说明的一点是，特征提取是指在原有信息的基础上，提取出能更好地代表原有信息且能更好地完成目标任务的特征表示。形变特征的提取与普通的特征提取不同之处在于该形变特征包括了形变信息。并且，在深度学习中每个特征点通常采用相同的矩形局部区域(3*3，5*5，1*5等)来提取特征。而本申请实施例中的形变特征的提取取消了矩形局部区域相同的限制，每个形变特征在局部区域上有所偏移，其覆盖区域根据像素点所在的局部位置而有所不同，从而提取出的特征图像在一定程度上可以获取局部区域的形变信息。

(2)：电子设备以该像素点为中心，该多个采集偏移量为多个方向上的步长，从该特征图像中获取该像素点的相邻像素点的特征值。

对于多个方向中的每个方向；电子设备以该像素点为中心，以该方向上的采集偏移量为步长，确定该像素点的相邻像素点，从该特征图像中获取该相邻像素点的特征值。其中，该特征图像中的每个像素点的图像数据中存储每个像素点的特征值。相应的，电子设备从该特征图像中获取该相邻像素点的特征值的步骤可以为：电子设备从该特征图像中确定该相邻像素点的图像数据，从该图像数据中获取该相邻像素点的特征值。

(3)：电子设备基于相邻像素点的特征值，确定该像素点的形变特征。

电子设备基于相邻像素点的特征值，确定该像素点的相邻像素点之间的形状关系，将该形状关系确定为该像素点的形变特征。其中，形变特征在一定程度上包括了形变信息。

步骤303：电子设备根据该特征图像中的每个像素点的形变特征，获取该特征图像中的每个像素点的形变参数。

形变参数代表着局部形变信息，且形变参数可以根据不同的物体进行设置并更改；例如，当该图像为刚性物体对应的图像时，该形变参数可以为可回归affine(仿射)变换参数；当该图像为非刚性物体对应的图像时，该形变参数可以为可回归thin plate spine(薄板样条函数)变换参数。

在本步骤之前，电子设备训练每个形变特征与形变参数的对应关系。相应的，本步骤可以为：电子设备根据每个像素点的形变特征，从形变特征和形变参数的对应关系中获取每个像素点的形变参数。

步骤304：电子设备从该特征图像中确定第一图像形变区域。

在一个可能的实现方式中，电子设备直接将该特征图像作为第一图像形变区域。在本申请实施例中，电子设备直接将该特征图像作为第一图像形变区域，从而不需要对像素点进行筛选，提高了处理效率。

在另一个可能的实现方式中，由于本申请实施例是为了从目标图像中检测出文本区域。因此，可以选粗略对像素点进行分类，然后将属于文本的像素点组成该第一图像形变区域。相应的，本步骤可以通过以下步骤(1)至(3)实现，包括：

(1)：电子设备确定该特征图像中的每个像素点属于文本的置信度。

电子设备可以通过FCN架构逐像素分类法确定每个像素点属于文本的置信度。

(2)：电子设备根据该特征图像中的每个像素点的置信度，从该特征图像中的每个像素点中选择置信度超过第二预设阈值的像素点。

该第二预设阈值可以根据需要进行设置并更改，在本申请实施例中，对第二预设阈值不作具体限定；例如，第二预设阈值可以为0.5或者0.6等。

(3)：电子设备将选择的像素点组成第一图像形变区域。

需要说明的是，电子设备可以在特征图像中确定第一图像形变区域，也可以在目标图像中确定第一图像形变区域。当电子设备在目标图像中确定第一图像形变区域时，本步骤可以为：电子设备在目标图像中确定该选择的像素点对应的像素点，将该选择的像素点对应的像素点组成第一图像形变区域。

在本申请实施例中，电子设备对该特征图像中的像素点进行粗略的分类，从而筛选出可能属于文本区域的像素点，将不可能属于文本区域的像素点删除。由于电子设备对该特征图像中的像素点进行了粗略的分类，提高了后续文本检测的准确性以及降低了后续的工作量，进而提高了检测效率。

步骤305：电子设备根据该第一图像形变区域中的每个像素点的形变参数，从该第一图像形变区域中确定形变参数对应的第二图像形变区域。

本步骤可以通过以下步骤(1)至(2)实现，包括：

(1)：对于每个像素点，电子设备根据该像素点的形变参数和多个偏移矩阵，确定该像素点到多个指定点的多个偏移向量。

一个指定点对应一个偏移矩阵，且一个偏移矩阵对应一个偏移向量。对于每个指定点，电子设备将该像素点的形变参数组成形变矩阵，将该指定点的偏移矩阵与该形变矩阵的乘积确定为该像素点到该指定点的偏移向量。

多个指定点为第二图像形变区域中的多个点。例如，多个指定点可以为第二图像形变区域中的顶点、中心点、边长的中点等中的多个点。并且，多个指定点的数量可以根据需要进行设置并更改；例如，指定点的数量为4时，多个指定点可以分别为4个顶点。再如，指定点的数量为5时，多个指定点可以为4个顶点和1个中心点。再如，指定点的数量为9时，多个指定点可以为4个顶点、1个中心点和4个边长的中点。

例如，该像素点P的坐标为(x0，y0)，该像素点的形变参数为[a1,a2,a3,b1,b2,b3]，该像素点的形变参数组成的形变矩阵为

多个指定点分别为4个顶点、1个中心点和4个边长的中点。多个指定点分别为指定点1、指定点2、指定点3、指定点4、指定点5、指定点6、指定点7、指定点8和指定点9。指定点1、指定点2、指定点3、指定点4、指定点5、指定点6、指定点7、指定点8和指定点9对应的多个偏移矩阵分别为：

和

相应的，电子设备确定该像素点到多个指定点的偏移矩阵分别为：

和

需要说明的是，该像素点到某个指定点的偏移矩阵中包括该像素点到该指定点的竖直距离和水平距离。例如，t11和t12分别表示该像素点到指定点1的水平距离和竖直距离。

(2)：电子设备根据每个像素点的位置信息和每个像素点的多个偏移向量，确定第二图形形变区域。

电子设备根据每个像素点的位置信息和每个像素点的多个偏移向量，确定多个指定点的位置信息，根据多个指定点的位置信息和多个指定点的属性信息，确定第二图形形变区域。

当多个指定点的属性信息指示多个指定点为四个顶点时，电子设备根据多个指定点的位置信息和多个指定点的属性信息，确定第二图形形变区域的步骤可以为：电子设备根据多个指定点的位置信息，将相邻两个指定点进行连接，得到第二图形形变区域。

当多个指定点的属性信息指示多个指定点为四个顶点和一个中心点时，电子设备根据多个指定点的位置信息和多个指定点的属性信息，确定第二图形形变区域的步骤可以为：电子设备根据多个指定点的属性信息，从多个指定点中确定四个顶点，根据四个顶点的位置信息，将相邻两个顶点进行连接，得到第二图形形变区域。

当多个指定点的属性信息指示多个指定点为四个顶点、一个中心点和四个边长的中点时，电子设备根据多个指定点的位置信息和多个指定点的属性信息，确定第二图形形变区域的步骤可以为：电子设备根据多个指定点的属性信息，从多个指定点中确定四个顶点和四个边长的中点，根据四个顶点的位置信息和四个边长的中点的位置信息，将顶点与相邻边长的中点进行连接，得到第二图形形变区域。

步骤306：电子设备根据该第二图像形变区域中的每个像素点的形变参数，将该第二图像形变区域转换为指定形状的图像检测区域。

本步骤可以通过以下步骤(1)至(3)实现，包括：

(1)：电子设备根据该第二图像形变区域中的每个像素点的形变参数和指定形状对应的转换矩阵，确定形变转换矩阵。

电子设备将该第二图像形变区域中的每个像素点的形变参数组成形变矩阵，将形变矩阵和该指定形状对应的转换矩阵相乘，得到该形变转换矩阵。其中，指定形状可以根据需要进行设置并更改，在本申请实施例中，对指定形状不作具体限定；例如，指定形状可以为矩形或者带旋转矩形等。

(2)：电子设备根据该第二图像形变区域中的每个像素点的第一位置信息，通过形变转换矩阵，确定第二图像形变区域中的每个像素点的第二位置信息。

对于该第二图像形变区域中的每个像素点，电子设备确定该像素点的第一位置信息与该形变矩阵的乘积，得到该像素点的第二位置。

(3)：电子设备将每个像素点的第二位置组成该图像检测区域。

需要说明的一点是，电子设备将第二图像形变区域转换为指定形状的图像检测区域之后，电子设备还可以将该第二图像形变区域转换为固定尺寸的图像检测区域。

在一个可能的实现方式中，电子设备对该图像检测区域进行缩放处理，得到固定尺寸的图像检测区域。在另一个可能的实现方式中，电子设备可以通过补齐、resize和roipooling等方式将该第二图像形变区域转换为固定尺寸的图像检测区域。

步骤306：电子设备通过该指定形状对应的检测模型，检测该图像检测区域中的内容是否为文本内容。

当该图像检测区域中的内容为文本内容时，执行步骤307；当该图像检测区域中的内容为非文本内容时，电子设备确定该特征图像为非文本区域。这时候电子设备可以再通过以上步骤301-306重新确定一个图像检测区域，并检测该图像检测区域中的内容是否为文本内容，直到该目标图像中的每个图像检测区域都被检测完为止。

步骤307：当该图像检测区域中的内容为文本内容时，电子设备将该图像检测区域确定为文本区域。

当该图像检测区域中的内容为文本内容时，电子设备确定该图像检测区域为文本区域，而该图像检测区域为特征图像转换得到的，因此该特征图像也为文本区域。

在本申请实施例中，基于待检测的目标图像对应的特征图像确定该特征图像中的每个像素点的形变特征。根据该特征图像中的每个像素点的形变特征，获取该特征图像中的每个像素点的形变参数。根据该特征图像中的每个像素点的形变参数，从该特征图像中确定文本区域。由于结合了像素点的形变特征对特征图像进行检测，从而能够检测任一形变文本，进而提高了检测准确性。

本申请实施例提供了一种文本检测装置，该装置用于执行以上文本检测方法中电子设备执行的步骤。参见图4，该装置包括：

确定模块401，用于基于待检测的目标图像，确定所述目标图像对应的特征图像，并基于所述特征图像中确定所述特征图像中的每个像素点的形变特征；

提取模块402，用于根据所述特征图像中的每个像素点的形变特征，获取所述特征图像中的每个像素点的形变参数；

检测模块403，用于根据所述特征图像中的每个像素点的形变参数，从所述特征图像中确定文本区域。

在一个可能的实现方式中，所述确定模块401，还用于对于所述特征图像中的每个像素点，确定所述像素点在多个方向上的多个采集偏移量，多个采集偏移量不完全相同；以所述像素点为中心，所述多个采集偏移量为所述多个方向上的步长，从所述特征图中获取所述像素点的相邻像素点的特征值；基于所述相邻像素点的特征值，确定所述像素点的形变特征。

在另一个可能的实现方式中，所述检测模块403，还用于从所述特征图像中确定第一图像形变区域；根据所述第一图像形变区域中的每个像素点的形变参数，从所述第一图像形变区域中确定形变参数对应的第二图像形变区域；根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域；通过所述指定形状对应的检测模型，检测所述图像检测区域中的内容是否为本文内容；当所述图像检测区域中的内容为文本内容时，将所述图像检测区域确定为文本区域。

在另一个可能的实现方式中，所述检测模块403，还用于确定所述特征图像中的每个像素点属于文本的置信度；根据所述特征图像中的每个像素点的置信度，从所述特征图像中选择置信度超过预设阈值的像素点；将选择的像素点组成所述第一图像形变区域。

在另一个可能的实现方式中，所述检测模块403，还用根据所述第二图像形变区域中的每个像素点的形变参数和所述指定形状对应的转换矩阵，确定形变转换矩阵；根据所述第二图像形变区域中的每个像素点的第一位置信息，通过所述形变转换矩阵，确定所述第二图像形变区域中的每个像素点的第二位置信息；将所述每个像素点的第二位置信息组成所述图像检测区域。

在另一个可能的实现方式中，所述确定模块401，还用于通过卷积神经网络，对待检测的目标图像进行迭代卷积处理，得到所述目标图像对应的特征图像。

在本申请实施例中，基于待检测的目标图像对应的特征图像确定该特征图像中的每个像素点的形变特征。根据该特征图像中的每个像素点的形变特征，获取该特征图像中的每个像素点的形变参数。根据该特征图像中的每个像素点的形变参数，从该特征图像中确定文本区域。由于结合了像素点的形变特征对特征图像进行检测，从而能够检测任一形变文本，进而提高了检测准确性。

需要说明的是：上述实施例提供的文本检测装置在文本检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的文本检测装置与文本检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是本申请实施例提供的一种电子设备500的结构示意图。例如，该电子设备500可以用于执行上述各个实施例中提供的文本检测方法。参见图5，该电子设备500包括：

电子设备500可以包括RF(Radio Frequency，射频)电路510、包括有一个或一个以上计算机可读存储介质的存储器520、输入单元530、显示单元540、传感器550、音频电路560、WiFi(Wireless Fidelity，无线保真)模块570、包括有一个或者一个以上处理核心的处理器580、以及电源590等部件。本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器580处理；另外，将涉及上行的数据发送给基站。通常，RF电路510包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路510还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。

存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备500的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器520还可以包括存储器控制器，以提供处理器580和输入单元530对存储器520的访问。

输入单元530可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元530可包括触敏表面531以及其他输入设备532。触敏表面531，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面531上或在触敏表面531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面531。除了触敏表面531，输入单元530还可以包括其他输入设备532。具体地，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元540可用于显示由用户输入的信息或提供给用户的信息以及电子设备500的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元540可包括显示面板541，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板541。进一步的，触敏表面531可覆盖显示面板541，当触敏表面531检测到在其上或附近的触摸操作后，传送给处理器580以确定触摸事件的类型，随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图5中，触敏表面531与显示面板541是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面531与显示面板541集成而实现输入和输出功能。

电子设备500还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在电子设备500移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备500还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路560、扬声器561，传声器562可提供用户与电子设备500之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，传声器562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出处理器580处理后，经RF电路510以发送给比如另一电子设备，或者将音频数据输出至存储器520以便进一步处理。音频电路560还可能包括耳塞插孔，以提供外设耳机与电子设备500的通信。

WiFi属于短距离无线传输技术，电子设备500通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块570，但是可以理解的是，其并不属于电子设备500的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。

处理器580是电子设备500的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行电子设备500的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器580可包括一个或多个处理核心；优选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。

电子设备500还包括给各个部件供电的电源590(比如电池)，优选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源590还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，电子设备500还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，电子设备还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。该一个或者一个以上程序包含用于执行上述图2或图3所示实施例所示的方法。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于电子设备，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的文本检测方法中电子设备所执行的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种文本检测方法，其特征在于，所述方法包括：

基于待检测的目标图像，确定所述目标图像对应的特征图像，并基于所述特征图像确定所述特征图像中的每个像素点的形变特征，所述每个像素点的形变特征在局部区域上有偏移，所述偏移的覆盖区域基于所述像素点所在的局部位置而有所不同；

根据所述特征图像中的每个像素点的形变特征，获取所述特征图像中的每个像素点的形变参数；

从所述特征图像中确定第一图像形变区域；

根据所述第一图像形变区域中的每个像素点的形变参数，从所述第一图像形变区域中确定形变参数对应的第二图像形变区域；

根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域；

通过所述指定形状对应的检测模型，检测所述图像检测区域中的内容是否为文本内容；

当所述图像检测区域中的内容为文本内容时，将所述图像检测区域确定为文本区域。

2.根据权利要求1所述的方法，其特征在于，所述基于所述特征图像确定所述特征图像中的每个像素点的形变特征，包括：

对于所述特征图像中的每个像素点，确定所述像素点在多个方向上的多个采集偏移量，多个采集偏移量不完全相同；

以所述像素点为中心，所述多个采集偏移量为所述多个方向上的步长，从所述特征图中获取所述像素点的相邻像素点的特征值；

基于所述相邻像素点的特征值，确定所述像素点的形变特征。

3.根据权利要求1所述的方法，其特征在于，所述从所述特征图像中确定第一图像形变区域，包括：

确定所述特征图像中的每个像素点属于文本的置信度；

根据所述特征图像中的每个像素点的置信度，从所述特征图像中选择置信度超过预设阈值的像素点；

将选择的像素点组成所述第一图像形变区域。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域，包括：

根据所述第二图像形变区域中的每个像素点的形变参数和所述指定形状对应的转换矩阵，确定形变转换矩阵；

根据所述第二图像形变区域中的每个像素点的第一位置信息，通过所述形变转换矩阵，确定所述第二图像形变区域中的每个像素点的第二位置信息；

将所述每个像素点的第二位置信息组成所述图像检测区域。

5.根据权利要求1所述的方法，其特征在于，所述基于待检测的目标图像，确定所述目标图像对应的特征图像，包括：

通过卷积神经网络，对待检测的目标图像进行迭代卷积处理，得到所述目标图像对应的特征图像。

6.一种文本检测装置，其特征在于，所述装置包括：

确定模块，用于基于待检测的目标图像，确定所述目标图像对应的特征图像，并基于所述特征图像确定所述特征图像中的每个像素点的形变特征，所述每个像素点的形变特征在局部区域上有偏移，所述偏移的覆盖区域基于所述像素点所在的局部位置而有所不同；

提取模块，用于根据所述特征图像中的每个像素点的形变特征，获取所述特征图像中的每个像素点的形变参数；

检测模块，用于从所述特征图像中确定第一图像形变区域；根据所述第一图像形变区域中的每个像素点的形变参数，从所述第一图像形变区域中确定形变参数对应的第二图像形变区域；根据所述第二图像形变区域中的每个像素点的形变参数，将所述第二图像形变区域转换为指定形状的图像检测区域；通过所述指定形状对应的检测模型，检测所述图像检测区域中的内容是否为文本内容；当所述图像检测区域中的内容为文本内容时，将所述图像检测区域确定为文本区域。

7.根据权利要求6所述的装置，其特征在于，

所述确定模块，还用于对于所述特征图像中的每个像素点，确定所述像素点在多个方向上的多个采集偏移量，多个采集偏移量不完全相同；以所述像素点为中心，所述多个采集偏移量为所述多个方向上的步长，从所述特征图中获取所述像素点的相邻像素点的特征值；基于所述相邻像素点的特征值，确定所述像素点的形变特征。

8.根据权利要求6所述的装置，其特征在于，

所述检测模块，还用于确定所述特征图像中的每个像素点属于文本的置信度；根据所述特征图像中的每个像素点的置信度，从所述特征图像中选择置信度超过预设阈值的像素点；将选择的像素点组成所述第一图像形变区域。

9.根据权利要求6所述的装置，其特征在于，

所述检测模块，还用于根据所述第二图像形变区域中的每个像素点的形变参数和所述指定形状对应的转换矩阵，确定形变转换矩阵；根据所述第二图像形变区域中的每个像素点的第一位置信息，通过所述形变转换矩阵，确定所述第二图像形变区域中的每个像素点的第二位置信息；将所述每个像素点的第二位置信息组成所述图像检测区域。

10.根据权利要求6所述的装置，其特征在于，

所述确定模块，还用于通过卷积神经网络，对待检测的目标图像进行迭代卷积处理，得到所述目标图像对应的特征图像。

11.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至5任一权利要求所述的文本检测方法中所执行的操作。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至5任一权利要求所述的文本检测方法中所执行的操作。

Images