CN111784561A - 用于从图像中提取对象的方法、装置和存储介质 - Google Patents

Abstract

本发明公开了一种用于从图像中提取对象的方法、装置和存储介质，涉及图像处理领域。用于从图像中提取对象方法包括：将待处理图像输入到多个串行连接的边缘特征提取模块中的首个边缘特征提取模块，其中，边缘特征提取模块基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理，部分或全部边缘特征提取模块还用于对接收到的数据进行下采样处理；根据每个边缘特征提取模块处理后的数据相对于待处理图像的下采样倍数，对每个边缘特征提取模块的输出进行相应倍数的上采样处理；根据对上采样处理后的数据的合并结果，生成二值化图像；基于二值化图像提取待处理图像中的目标对象。本发明的实施例可以提高终端的计算速度和准确率。

Description

用于从图像中提取对象的方法、装置和存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种用于从图像中提取对象的方法、装置和存储介质。

背景技术

在一些应用中，需要对拍摄场景中的特定对象进行信息提取与加工的。例如，在需要对拍摄场景中的名片、银行卡、身份证、二维码、条形码等矩形对象进行检测时，需要将通过拍摄获得的图像中的四边形的角点检测出来，再根据角点恢复出一张矩形图像，并将该矩形图像送至光学字符识别(Optical Character Recognition，简称：OCR)等模块进行文字或内容识别。

发明内容

发明人进行分析后发现，相关技术采用终端提取图像中的对象时，处理速度较慢。

本发明实施例所要解决的一个技术问题是：如何提高通过终端从图像中提取对象的处理速度。

根据本发明一些实施例的第一个方面，提供一种用于从图像中提取对象方法，包括：将待处理图像输入到多个串行连接的边缘特征提取模块中的首个边缘特征提取模块，其中，边缘特征提取模块基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理，部分或全部边缘特征提取模块还用于对接收到的数据进行下采样处理；根据每个边缘特征提取模块处理后的数据相对于待处理图像的下采样倍数，对每个边缘特征提取模块的输出进行相应倍数的上采样处理；根据对上采样处理后的数据的合并结果，生成二值化图像；基于二值化图像提取待处理图像中的目标对象。

在一些实施例中，边缘特征提取模块包括一个或多个边缘特征提取层，边缘特征提取层基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理；边缘特征提取层基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理包括：采用尺寸为1*1的预设的输入侧卷积核对接收到的数据进行第一卷积计算，并根据第一卷积计算的结果获得包括多个通道的数据的第一特征图谱，其中，输入侧卷积核的数量大于边缘特征提取层接收到的数据的通道数；对于第一特征图谱的每一个通道的数据，采用相应的尺寸大于1*1的预设的卷积核进行第二卷积计算以进行边缘特征提取处理，并根据第二卷积计算的结果获得包括多个通道的数据的第二特征图谱；采用尺寸为1*1的预设的输出侧卷积核对第二特征图谱进行第三卷积计算，并根据第三卷积计算的结果获得处理后的数据，其中，输出侧卷积核的数量小于第二特征图谱的通道数。

在一些实施例中，在边缘特征提取模块中的至少一个边缘特征提取层基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理的过程中，第二卷积计算的卷积步长大于1，以便对第二特征图谱的长和宽进行下采样处理。在一些实施例中，将第一卷积计算的结果输入到激活函数中，获得包括多个通道的数据的第一特征图谱；将第二卷积计算的结果输入到激活函数中，获得包括多个通道的数据的第二特征图谱；将第三卷积计算结果、或者第三卷积计算结果的线性计算结果确定为处理后的数据。

在一些实施例中，对每个边缘特征提取模块的输出进行相应倍数的上采样处理包括：采用尺寸为1*1的预设的卷积核对每个边缘特征提取模块的输出进行卷积计算，并采用反卷积的方法将所述卷积计算的结果进行相应倍数的上采样处理。

在一些实施例中，基于二值化图像提取待处理图像中的目标对象包括：检测二值化图像中的线段，并确定每个线段的斜率；根据线段的斜率和线段间的距离信息，对临近的线段进行筛选或合并；根据合并后的线段，确定线段之间的交叉点；根据交叉点的位置信息，对临近的交叉点进行筛选或合并；基于合并后的交叉点，确定一个或多个多边形区域；根据预设条件对多边形区域进行筛选，获得筛选后的多边形区域；根据筛选后的多边形区域的位置信息，从待处理图像中提取目标对象。

在一些实施例中，方法还包括：获取多个背景图像和前景图像，其中，前景图像为目标对象的图像；对前景图像进行仿射变换；将进行仿射变换后的前景图像与背景图像进行合成，生成合成训练图像，以便采用合成训练图像对边缘特征提取模块的参数进行训练。

根据本发明一些实施例的第二个方面，提供一种用于从图像中提取对象的装置，包括：图像处理模块，被配置为将待处理图像输入到多个串行连接的边缘特征提取模块中的首个边缘特征提取模块，其中，边缘特征提取模块基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理，部分或全部边缘特征提取模块还用于对接收到的数据进行下采样处理；上采样模块，根据每个边缘特征提取模块处理后的数据相对于待处理图像的下采样倍数，对每个边缘特征提取模块的输出进行相应倍数的上采样处理；图像生成模块，被配置为根据对上采样处理后的数据的合并结果，生成二值化图像；对象提取模块，被配置为基于二值化图像提取待处理图像中的目标对象。

在一些实施例中，用于从图像中提取对象的装置位于终端。

根据本发明一些实施例的第三个方面，提供一种用于从图像中提取对象的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种用于从图像中提取对象的方法。

根据本发明一些实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意一种用于从图像中提取对象的方法。

上述发明中的一些实施例具有如下优点或有益效果：在本发明的实施例中，每个边缘特征提取模块采用深度可分离卷积操作对接收到的数据进行边缘特征提取处理以降低参数的数量。同时，通过对待处理图像进行下采样，可以提取多个尺度的边缘特征以提升特征提取的准确性和完整性。从而，本发明的实施例可以应用于计算能力有限的移动终端，提高了计算速度和准确率。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明一些实施例的用于从图像中提取对象的方法的流程示意图。

图2为根据本发明一些实施例的边缘特征提取层进行边缘特征提取处理的流程示意图。

图3为根据本发明一些实施例的训练图像生成方法的流程示意图。

图4为根据本发明一些实施例的二值化图像处理方法的流程示意图。

图5为根据本发明一些实施例的用于从图像中提取对象的装置的结构示意图。

图6为根据本发明另一些实施例的用于从图像中提取对象的装置的结构示意图。

图7为根据本发明又一些实施例的用于从图像中提取对象的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为根据本发明一些实施例的用于从图像中提取对象的方法的流程示意图。如图1所示，该实施例的方法包括步骤S102～S108。

在步骤S102中，将待处理图像输入到多个串行连接的边缘特征提取模块中的首个边缘特征提取模块，其中，边缘特征提取模块基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理，部分或全部边缘特征提取模块还用于对接收到的数据进行下采样处理。

除了最后一个边缘特征提取模块以外，每个边缘特征提取模块在对接收到的数据进行处理后，将处理后的数据发送给下一个边缘特征提取模块。从而，在多个串行连接的边缘特征提取模块中，每一个特征提取模块所输出的数据相对于待处理图像的下采样倍数呈递增的趋势。

在一些实施例中，首个边缘特征提取模块不进行下采样处理，而是仅提取边缘特征。除首个边缘提取特征模块以外的每个边缘特征提取模块对接收到的数据进行边缘特征提取处理以及下采样处理。

通过由部分或全部边缘特征提取模块对接收到的数据进行下采样处理，能够得到多个尺度的边缘特征。从而，可以对背景中的强边缘进行抑制，并且对于暗光环境有更好的适用性。

在一些实施例中，深度可分离卷积操作包括：对于输入数据的每一个通道，采用不同的卷积核进行卷积计算以获得特征图谱，其中，特征图谱的通道数与输入数据的通道数相等的，即每个卷积核只与一个通道的数据进行卷积运算；然后将多个1*1的卷积核中的每一个与特征图谱的所有通道的数据进行卷积计算结果的加权组合作为输出数据的一个通道，其中，1*1的卷积核的数量与输出通道数相等。

深度可分离卷积操作可以大大减少参数的数量。例如，设采用3*3的卷积核进行特征提取，输入通道为16，输出通道为32。如果直接采用32个3*3的卷积核中的每一个与输入数据的所有通道进行卷积计算，以输出具有32个通道的输出数据，那么需要使用的参数为：16*32*3*3＝4608。而如果采用基于深度可分离卷积操作的方法，则首先采用16个3*3的卷积核中的每一个分别与输入数据的16个通道的一个通道进行卷积运算，即3*3卷积核与输入通道一一对应进行计算，从而获得具有16个通道的特征图谱；然后采用32个1*1的卷积核中的每一个与特征图谱的所有通道的数据进行卷积计算和加权组合，以输出具有32个通道的输出数据。这种方法需要使用的参数为：16*3*3+16*32*1*1＝656。由此可见，在输入通道数、输出通道数、卷积核的最大尺寸相同的情况下，深度可分离卷积操作能够大大减少参数的数量，从而可以提升计算速度，适用于在终端运行。

在步骤S104中，根据每个边缘特征提取模块处理后的数据相对于待处理图像的下采样倍数，对每个边缘特征提取模块的输出进行相应倍数的上采样处理。

设串联的边缘特征提取模块有5个。第1个边缘特征提取模块不对数据进行下采样处理，第2～5个边缘特征提取模块对数据进行2倍的下采样处理。从而，每个边缘特征提取模块的输出数据相对于待处理图像的下采样倍数如表1所示。

表1

例如，第3个边缘特征提取模块本身对数据进行2倍的下采样处理。然而，由于第3个边缘特征提取模块接收到的数据是第2个边缘特征提取模块进行2倍下采样处理后的数据，因此第3个边缘特征提取模块输出的数据相对于原始的待处理图像进行了4倍的下采样。从而，在合并各个模块的输出以获得二值化图像之前，可以对第3个边缘特征提取模块输出的数据进行4倍的上采样，以将数据恢复为待处理图像的大小。

为了得到不同尺度的特征，并且能够将不同尺度的特征同时进行处理，需要将不同尺度的特征转换到同一尺寸。因此，通过对每个边缘特征提取模块的输出进行相应倍数的上采样处理，可以将各个边缘特征提取模块输出的数据变换到同一大小，以便于进行后续的数据合并。

在一些实施例中，可以采用尺寸为1*1的预设的卷积核对每个边缘特征提取模块的输出进行卷积计算，并采用反卷积的方法将卷积计算的结果进行相应倍数的上采样处理。

在步骤S106中，根据对上采样处理后的数据的合并结果，生成二值化图像。二值化图像中的边缘的像素值为255，其余像素的像素值为0。

在步骤S108中，基于二值化图像提取待处理图像中的目标对象。在一些实施例中，可以根据对二值化图像中的预设类型的线条的检测结果，确定输入图像中的对象的位置信息。

通过上述实施例的方法，每个边缘特征提取模块采用深度可分离卷积操作对接收到的数据进行边缘特征提取处理以降低参数的数量。同时，通过对待处理图像进行下采样，可以提取多个尺度的边缘特征以提升特征提取的准确性和完整性。从而，本发明的实施例可以应用于计算能力有限的移动终端，在提高了计算速度的同时，还能够提高对象提取的准确率。

在一些实施例中，边缘特征提取模块包括一个或多个边缘特征提取层，边缘特征提取层基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理。下面参考图2示例性地介绍每个边缘特征提取层进行边缘特征提取处理的实施例。

图2为根据本发明一些实施例的边缘特征提取层进行边缘特征提取处理的流程示意图。如图2所示，该实施例的边缘特征提取处理方法包括步骤S202～S206。

在步骤S202中，采用尺寸为1*1的预设的输入侧卷积核对接收到的数据进行第一卷积计算，并根据第一卷积计算的结果获得包括多个通道的数据的第一特征图谱。

在一些实施例中，输入侧卷积核的数量可以大于边缘特征提取层的接收的数据的通道数。由于通过采用深度可分离卷积的方法，后续计算过程中的参数数量已经大大减少，因此可以在进行深度可分离卷积操作之前，通过1*1的卷积核扩张输入数据的通道数。在扩张通道数后，并不会显著地增加计算负担，并且能够提升计算性能。

根据需要，输入侧卷积核的数量也可以等于边缘特征提取层的输入数据的通道数。

步骤S204～S206是基于深度可分离卷积的操作。

在步骤S204中，对于第一特征图谱的每一个通道的数据，采用相应的尺寸大于1*1的预设的卷积核进行第二卷积计算以进行边缘特征提取处理，并根据第二卷积计算的结果获得包括多个通道的数据的第二特征图谱。即，第一特征图谱中的通道的数量等于尺寸大于1*1的预设的卷积核的数量。

在步骤S206中，采用尺寸为1*1的预设的输出侧卷积核对第二特征图谱进行第三卷积计算，并根据第三卷积计算的结果获得处理后的数据，其中，所述输出侧卷积核的数量小于第二特征图谱的通道数，从而可以进行通道数的压缩。输出侧卷积核的数量等于边缘特征提取层的输出通道的数量。

在一些实施例中，在根据第一卷积计算的结果获得第一特征图谱以及根据第二卷积计算的结果获得第二特征图谱时，可以通过将第一卷积计算的结果和第二卷积计算的结果输入到冲激函数中，以分别获得包括多个通道的数据的第一特征图谱和包括多个通道的数据的第二特征图谱。而在根据第三卷积计算的结果获得处理后的数据时，可以将第三卷积计算结果、或者第三卷积计算结果的线性计算结果确定为处理后的数据。即，在第三卷积计算后不进行冲激函数计算。从而，可以在进行第三卷积计算后保留更多的特征，提高了基于终端的特征提取的准确性。

通过上述实施例的方法，能够在计算量较小的情况下提升边缘特征提取操作的性能。

在一些实施例中，部分边缘特征提取层用于提取边缘特征、而不进行下采样处理，而其他边缘特征提取层除了提取边缘特征以外，还可以用于进行下采样处理。上述两种不同类型的边缘特征提取层可以通过设置第二卷积计算的卷积步长实现。例如，可以通过将第二卷积计算的卷积步长(stride)设置为大于1的数，例如设置为2，以对第二特征图谱的长和宽进行下采样处理；而当卷积步长为1时，边缘特征提取层用于提取边缘特征、而不进行下采样处理。

在一些实施例中，当卷积步长为1时，可以将输入的数据和根据第三卷积计算的结果而确定的数据共同确定为处理后的数据。

设采用5个串行连接的边缘特征提取模块，每个模块中的边缘特征提取层的类型如表2所示。

表2

根据需要，本领域技术人员可以采用其他的结构，这里不再赘述。

本发明的实施例可以预先对边缘特征提取和数据合并过程中所采用的参数进行预先训练。训练数据集合包括一系列原始图像与标签图像对，其中，标签图像是在原始图像中标注目标对象后的图像。原始图像可以通过实际拍摄获得，然后由人工标注目标对象的轮廓以获得标签图像。然而由于训练过程所需要的数据量较大，如果训练数据集合中的数据全部通过人工标注获得，则时间与人力成本过高。本发明的实施例通过人工合成原始图像的方式进行训练数据集合的扩充。下面参考图3描述本发明训练图像生成方法的实施例。

图3为根据本发明一些实施例的训练图像生成方法的流程示意图。如图3所示，该实施例的训练图像生成方法包括步骤S302～S306。

在步骤S302中，获取多个背景图像和前景图像。前景图像是目标对象的图像。

在步骤S304中，对前景图像进行仿射变换。

在一些实施例中，仿射变换的参数可以是随机生成的。

在步骤S306中，将进行仿射变换后的前景图像与背景图像进行合成，生成合成训练图像，以便采用合成训练图像对边缘特征提取模块的参数进行训练。通过连接前景图像的角点，可以获得标签图像。

在一些实施例中，前景图像与背景图像进行合成时，前景图像的位置可以是随机生成的。

通过上述实施例的方法，在背景图像有X张、前景图像有Y张、并且同一对前景图像和背景图像合成N次的情况下，可以生成X*Y*N个训练数据，极大地扩充了训练数据集合中的数据量。从而，对于具有复杂的场景的待处理图像，本发明的实施例也能够准确地识别出其中的目标对象。

在获得二值化图像之后，可以对图像进行进一步处理，以提高对象提取的准确性。例如，可以对检测到二值化图像中邻近的的线条、交叉点进行筛选或合并，并选择满足预设条件的由线条构成的区域。下面参考图4描述本发明二值化图像处理方法的实施例。

图4为根据本发明一些实施例的二值化图像处理方法的流程示意图。如图4所示，该实施例的二值化图像处理方法包括步骤S402～S414。

在步骤S402中，检测二值化图像中的线段，并确定每个线段的斜率。在一些实施例中，可以使用霍夫(Hough)线段检测算法。

在步骤S404中，根据线段的斜率和线段间的距离信息，对临近的线段进行筛选或合并。

在一些实施例中，可以根据斜率对检测到的线段进行分类，并将同一类中的距离小于预设值的线段进行合并。

在步骤S406中，根据合并后的线段，确定线段之间的交叉点。

在步骤S408中，根据交叉点的位置信息，对临近的交叉点进行筛选或合并。在一些实施例中，可以根据交叉点的坐标、以及交叉点和相关线段所构成的角的角度确定临近的交叉点。

在步骤S410中，基于合并后的交叉点，确定一个或多个多边形区域。

在一些实施例中，当对名片、身份证、信用卡等矩形的目标对象进行识别时，可以确定一个或多个四边形区域。

在步骤S412中，根据预设条件对多边形区域进行筛选，获得筛选后的多边形区域。

在一些实施例中，可以根据筛选后的多边形区域的面积、位置、形状对多边形区域进行筛选。

在步骤S414中，根据筛选后的多边形区域的位置信息，从待处理图像中提取目标对象。

在一些实施例中，可以根据筛选后的多边形区域的角点的坐标确定待处理图像中的目标对象。根据需要，还可以将目标对象变换为期望的尺寸。例如，通过采用计算机视觉库OpenCV中的透视计算(getPerspectiveTransform)方法，可以得到用于进行透视变换的3*3矩阵，然后通过透视变换(warpPerspective)接口可以实现目标对象的变换过程。

通过上述实施例的方法，可以对图像中的干扰线条进行筛选，从而能够在复杂的背景中更准确地提取出目标对象。

下面参考图5描述本发明用于从图像中提取对象的装置的实施例。

图5为根据本发明一些实施例的用于从图像中提取对象的装置的结构示意图。如图5所示，该实施例的用于从图像中提取对象的装置50包括：图像处理模块510，被配置为将待处理图像输入到多个串行连接的边缘特征提取模块中的首个边缘特征提取模块，其中，所述边缘特征提取模块基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理，部分或全部边缘特征提取模块还用于对接收到的数据进行下采样处理；上采样模块520，被配置为根据每个边缘特征提取模块处理后的数据相对于所述待处理图像的下采样倍数，对每个边缘特征提取模块的输出进行相应倍数的上采样处理；图像生成模块530，被配置为根据对上采样处理后的数据的合并结果，生成二值化图像；对象提取模块540，被配置为基于所述二值化图像提取待处理图像中的目标对象。

在一些实施例中，用于从图像中提取对象的装置50还包括多个边缘特征提取模块550。边缘特征提取模块550包括一个或多个边缘特征提取层，边缘特征提取层被配置为采用尺寸为1*1的预设的输入侧卷积核对接收到的数据进行第一卷积计算，并根据第一卷积计算的结果获得包括多个通道的数据的第一特征图谱，其中，所述输入侧卷积核的数量大于边缘特征提取层接收到的数据的通道数；对于第一特征图谱的每一个通道的数据，采用相应的尺寸大于1*1的预设的卷积核进行第二卷积计算以进行边缘特征提取处理，并根据第二卷积计算的结果获得包括多个通道的数据的第二特征图谱；采用尺寸为1*1的预设的输出侧卷积核对第二特征图谱进行第三卷积计算，并根据第三卷积计算的结果获得处理后的数据，其中，输出侧卷积核的数量小于第二特征图谱的通道数。

在一些实施例中，在所述边缘特征提取模块550中的至少一个边缘特征提取层基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理的过程中，所述第二卷积计算的卷积步长大于1，以便对第二特征图谱的长和宽进行下采样处理。

在一些实施例中，边缘特征提取模块550进一步被配置为将第一卷积计算的结果输入到激活函数中，获得包括多个通道的数据的第一特征图谱；将第二卷积计算的结果输入到激活函数中，获得包括多个通道的数据的第二特征图谱；将第三卷积计算结果、或者第三卷积计算结果的线性计算结果确定为处理后的数据。

在一些实施例中，上采样模块520被配置为采用尺寸为1*1的预设的卷积核对每个边缘特征提取模块的输出进行卷积计算，并采用反卷积的方法将卷积计算的结果进行相应倍数的上采样处理。

在一些实施例中，对象提取模块540进一步被配置为检测二值化图像中的线段，并确定每个线段的斜率；根据线段的斜率和线段间的距离信息，对临近的线段进行筛选或合并；根据合并后的线段，确定线段之间的交叉点；根据交叉点的位置信息，对临近的交叉点进行筛选或合并；基于合并后的交叉点，确定一个或多个多边形区域；根据预设条件对所述多边形区域进行筛选，获得筛选后的多边形区域；根据筛选后的多边形区域的位置信息，从待处理图像中提取目标对象。

在一些实施例中，用于从图像中提取对象的装置50还包括训练图像生成模块560，被配置为获取多个背景图像和前景图像，其中，所述前景图像为目标对象的图像；对前景图像进行仿射变换；将进行仿射变换后的前景图像与背景图像进行合成，生成合成训练图像，以便采用合成训练图像对边缘特征提取模块的参数进行训练。根据需要，训练图像生成模块560也可以设置在用于从图像中提取对象的装置50以外的设备，例如设置在服务器中。

在一些实施例中，用于从图像中提取对象的装置50位于终端。

图6为根据本发明另一些实施例的用于从图像中提取对象的装置的结构示意图。如图6所示，该实施例的用于从图像中提取对象的装置60包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的用于从图像中提取对象的方法。

其中，存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

图7为根据本发明又一些实施例的用于从图像中提取对象的装置的结构示意图。如图7所示，该实施例的用于从图像中提取对象的装置70包括：存储器710以及处理器720，还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730，740，750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。

本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种用于从图像中提取对象的方法。

本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种用于从图像中提取对象方法，包括：

将待处理图像输入到多个串行连接的边缘特征提取模块中的首个边缘特征提取模块，其中，所述边缘特征提取模块基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理，部分或全部边缘特征提取模块还用于对接收到的数据进行下采样处理；

根据每个边缘特征提取模块处理后的数据相对于所述待处理图像的下采样倍数，对每个边缘特征提取模块的输出进行相应倍数的上采样处理；

根据对上采样处理后的数据的合并结果，生成二值化图像；

基于所述二值化图像提取待处理图像中的目标对象。

2.根据权利要求1所述的方法，其中，所述边缘特征提取模块包括一个或多个边缘特征提取层，边缘特征提取层基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理；

所述边缘特征提取层基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理包括：

采用尺寸为1*1的预设的输入侧卷积核对接收到的数据进行第一卷积计算，并根据第一卷积计算的结果获得包括多个通道的数据的第一特征图谱，其中，所述输入侧卷积核的数量大于边缘特征提取层接收到的数据的通道数；

对于所述第一特征图谱的每一个通道的数据，采用相应的尺寸大于1*1的预设的卷积核进行第二卷积计算以进行边缘特征提取处理，并根据第二卷积计算的结果获得包括多个通道的数据的第二特征图谱；

采用尺寸为1*1的预设的输出侧卷积核对第二特征图谱进行第三卷积计算，并根据第三卷积计算的结果获得处理后的数据，其中，所述输出侧卷积核的数量小于第二特征图谱的通道数。

3.根据权利要求2所述的方法，其中，在所述边缘特征提取模块中的至少一个边缘特征提取层基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理的过程中，所述第二卷积计算的卷积步长大于1，以便对第二特征图谱的长和宽进行下采样处理。

4.根据权利要求2所述的方法，

将第一卷积计算的结果输入到激活函数中，获得包括多个通道的数据的第一特征图谱；

将第二卷积计算的结果输入到激活函数中，获得包括多个通道的数据的第二特征图谱；

将第三卷积计算结果、或者第三卷积计算结果的线性计算结果确定为处理后的数据。

5.根据权利要求1所述的方法，其中，所述对每个边缘特征提取模块的输出进行相应倍数的上采样处理包括：

采用尺寸为1*1的预设的卷积核对每个边缘特征提取模块的输出进行卷积计算，并采用反卷积的方法将所述卷积计算的结果进行相应倍数的上采样处理。

6.根据权利要求1～5中任一项所述的方法，其中，所述基于所述二值化图像提取待处理图像中的目标对象包括：

检测二值化图像中的线段，并确定每个线段的斜率；

根据线段的斜率和线段间的距离信息，对临近的线段进行筛选或合并；

根据合并后的线段，确定线段之间的交叉点；

根据交叉点的位置信息，对临近的交叉点进行筛选或合并；

基于合并后的交叉点，确定一个或多个多边形区域；

根据预设条件对所述多边形区域进行筛选，获得筛选后的多边形区域；

根据筛选后的多边形区域的位置信息，从待处理图像中提取目标对象。

7.根据权利要求1～5中任一项所述的方法，还包括：

获取多个背景图像和前景图像，其中，所述前景图像为目标对象的图像；

对前景图像进行仿射变换；

将进行仿射变换后的前景图像与背景图像进行合成，生成合成训练图像，以便采用合成训练图像对边缘特征提取模块的参数进行训练。

8.一种用于从图像中提取对象的装置，包括：

图像处理模块，被配置为将待处理图像输入到多个串行连接的边缘特征提取模块中的首个边缘特征提取模块，其中，所述边缘特征提取模块基于深度可分离卷积操作对接收到的数据进行边缘特征提取处理，部分或全部边缘特征提取模块还用于对接收到的数据进行下采样处理；

上采样模块，被配置为根据每个边缘特征提取模块处理后的数据相对于所述待处理图像的下采样倍数，对每个边缘特征提取模块的输出进行相应倍数的上采样处理；

图像生成模块，被配置为根据对上采样处理后的数据的合并结果，生成二值化图像；

对象提取模块，被配置为基于所述二值化图像提取待处理图像中的目标对象。

9.根据权利要求8所述的装置，其中，所述用于从图像中提取对象的装置位于终端。

10.一种用于从图像中提取对象的装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～7中任一项所述的用于从图像中提取对象的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～7中任一项所述的用于从图像中提取对象的方法。

Images