CN106251338B - 目标完整性检测方法及装置 - Google Patents

Abstract

本发明的实施例提供了目标完整性检测方法和装置。该方法包括：将包括目标的原始图像输入至神经网络，以获得所述原始图像的热力图，其中所述热力图的像素值表示了所述原始图像中相应位置的像素属于所述目标的概率；根据所述热力图确定所述目标在所述原始图像中的边缘；以及根据所述边缘确定所述目标在所述原始图像中是否完整。上述方法和装置在检测原始图像中目标的完整性时，能够对原始图像中的杂乱背景等干扰信号鲁棒。此外，在神经网络得到热力图的前提下，后续只需要几步相对简单的图像处理操作，从而提高了整个方案的易用性。

Description

目标完整性检测方法及装置

技术领域

本发明涉及图像处理领域，更具体地涉及一种目标完整性检测方法和装置。

背景技术

随着图像处理技术的不断发展和计算设备计算能力的不断增强，越来越多的应用场景需要对图像中目标的完整性进行自动检测。例如，当用户办理银行、通讯等要求实名认证的相关手续时，常需要将自己的身份相关证件的图像存档留作记录。由于存档的证件图像日后需要调用，因此对图像的质量有要求。其中一项重要要求为图像中证件的完整性。以身份证为例，通常要求：1.证件在图像中完整可见，没有手指等障碍物遮挡。2.证件不缺角。

现有的图像中目标完整性检测方案中，通常是检测图像中目标的边缘并与真实值比对，以直接确定目标是否完整。但是当图像中存在复杂的背景，特别是存在文字、条纹等干扰时，难以得到诸如证件的目标的清晰边缘，因而无法准确判断是否满足完整性要求。

以身份证为例，图1a和图1b分别示出了现有技术中的包括身份证的原始图像以及经边缘检测的该图像。如图1b所示，身份证的边缘已经与其他背景的边缘相混淆，因而难以定位图像中身份证的位置。因此，判断图像中身份证是否完整是有困难的。也就是说，对于现有的目标完整性检测方案来说，当原始图像中除了目标外，还包括复杂的背景，特别是文字、条纹等干扰时，难以得到目标的清晰的真实边缘，因此难以准确检测目标在图像中是否完整。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种目标完整性检测方法和装置，通过基于神经网络而获得的热力图来确定目标在原始图像中是否完整，能够对原始图像中的杂乱背景等干扰信号鲁棒。此外，在神经网络得到热力图的前提下，后续处理只需要几步相对简单的图像处理操作，从而提高了整个方案的易用性。

根据本发明一方面，提供了一种目标完整性检测方法，包括：

将包括目标的原始图像输入至神经网络，以获得所述原始图像的热力图，其中所述热力图的像素值表示了所述原始图像中相应位置的像素属于所述目标的概率；

根据所述热力图确定所述目标在所述原始图像中的边缘；以及

根据所述边缘确定所述目标在所述原始图像中是否完整。

示例性地，其中所述目标的完整拍摄轮廓是四边形，所述根据所述边缘确定所述目标在所述原始图像中是否完整包括：

对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程；

计算所述4个直线方程所表示的直线所围住的四边形面积；以及

根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整。

示例性地，所述根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整包括：

计算所述边缘所围住的图形的面积与所述四边形面积的比值，在所述比值大于预定阈值的情况下，确定所述目标在所述原始图像中是完整的。

示例性地，所述对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程包括：

确定所述边缘上的每个点在所述边缘上的2个最近相邻点，并分别计算该点与其最近相邻点所构成的偏移矢量；

根据所述边缘上的每个点与其最近相邻点所构成的偏移矢量以及该点的位置对所述边缘上的所有点进行聚类；以及

确定点最多的4个类所对应的直线方程，以作为所述表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。

示例性地，所述聚类采用K均值聚类。

示例性地，所述根据所述热力图确定所述目标在所述原始图像中的边缘包括：

将所述热力图二值化；以及

针对经二值化的热力图进行边缘检测，以获得所述目标在所述原始图像中的边缘。

示例性地，所述方法还包括：

利用已经标注了其中目标的训练图像对初始神经网络进行训练，以获得所述神经网络。

根据本发明另一方面，还提供了一种目标完整性检测装置，包括：

热力图获得模块，用于将包括目标的原始图像输入至神经网络，以获得所述原始图像的热力图，其中所述热力图的像素值表示了所述原始图像中相应位置的像素属于所述目标的概率；

边缘确定模块，用于根据所述热力图确定所述目标在所述原始图像中的边缘；以及

完整性确定模块，用于根据所述边缘确定所述目标在所述原始图像中是否完整。

示例性地，其中所述目标的完整拍摄轮廓是四边形，所述完整性确定模块包括：

直线拟合单元，用于对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程；

完整面积计算单元，用于计算所述4个直线方程所表示的直线所围住的四边形面积；以及

完整性确定单元，用于根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整。

示例性地，所述完整性确定单元进一步用于计算所述边缘所围住的图形的面积与所述四边形面积的比值，并且，在所述比值大于预定阈值的情况下，确定所述目标在所述原始图像中是完整的。

示例性地，所述直线拟合单元包括：

偏移矢量确定子单元，用于确定所述边缘上的每个点在所述边缘上的2个最近相邻点，并分别计算该点与其最近相邻点所构成的偏移矢量；

聚类子单元，用于根据所述边缘上的每个点与其最近相邻点所构成的偏移矢量以及该点的位置对所述边缘上的所有点进行聚类；以及

直线确定子单元，用于确定点最多的4个类所对应的直线方程，以作为所述表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。

示例性地，所述聚类采用K均值聚类。

示例性地，所述边缘确定模块包括：

二值化单元，用于将所述热力图二值化；以及

边缘检测单元，用于针对经二值化的热力图进行边缘检测，以获得所述目标在所述原始图像中的边缘。

示例性地，所述装置还包括：

训练模块，用于利用已经标注了其中目标的训练图像对初始神经网络进行训练，以获得所述神经网络。

上述方法和装置在检测原始图像中目标的完整性时，能够对原始图像中的杂乱背景等干扰信号鲁棒。此外，在神经网络得到热力图的前提下，后续处理只需要几步相对简单的图像处理操作，从而提高了整个方案的易用性。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同或相似部件或步骤。

图1a和图1b分别示出了根据本发明一个实施例的包括身份证的原始图像以及经边缘检测的该图像；

图2示出了用于实现根据本发明实施例的用于目标完整性检测方法和装置的示例电子设备的示意性框图；

图3示出了根据本发明一个实施例的目标完整性检测方法的示意性流程图；

图4示出了根据本发明一个实施例的神经网络的示意性框图；

图5示出了根据本发明一个实施例的神经网络所获得的热力图；

图6示出了根据本发明一个实施例的经二值化的热力图；

图7示出了根据本发明一个实施例的热力图的边缘检测结果示意图；

图8示出了根据本发明一个实施例的根据目标在原始图像中的边缘确定目标在原始图像中是否完整的示意性流程图；

图9示出了根据本发明一个实施例的对目标在原始图像中的边缘进行直线拟合的示意性流程图；

图10示出了根据本发明一个实施例的拟合目标的边缘所获得的直线的示意图；

图11示出了根据本发明另一实施例的目标完整性检测方法的示意性流程图；

图12示出了根据本发明一个实施例的目标完整性检测装置的示意性框图；

图13示出了根据本发明另一实施例的目标完整性检测装置的示意性框图；

图14示出了根据本发明一个实施例的完整性确定模块的示意性框图；以及

图15是根据本发明一个实施例的目标完整性检测设备的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图2来描述用于实现本发明实施例的目标完整性检测方法和装置的示例电子设备200。

如图2所示，电子设备200包括一个或多个处理器202、一个或多个存储装置204、输入装置206和输出装置208，这些组件通过总线系统210和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备200的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器202可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备200中的其它组件以执行期望的功能。

所述存储装置204可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器202可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的计算机功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置206可以是用来接收用户所输入的指令以及采集数据的装置，并且可以包括键盘、鼠标、麦克风、触摸屏和图像采集装置等中的一个或多个。

所述输出装置208可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

上述输入装置206和输出装置208主要用于与用户交互，电子设备200也可以不包括二者。

在很多实际应用场景中，需要对图像中的目标进行完整性检测，即确定目标在图像中是否完整。该目标可以包括诸如身份证的各种证件、各种票据以及各种纸质文件等。

下面，将参考图3描述根据本发明一个实施例的目标完整性检测方法300。

在步骤S320中，将包括目标的原始图像输入至神经网络，以获得该原始图像的热力图。

目标可以是期望确定其在图像中的完整性的任何物体。可选地，目标的完整拍摄轮廓是封闭的规则图形。目标的完整拍摄轮廓是指与目标在图像中的完整边缘相对应的轮廓。对于三维物体，根据图像采集装置拍摄目标的角度不同，目标的完整拍摄轮廓也不同。对于同一类目标，通常具有相同或类似的完整拍摄轮廓。例如，如果目标是证件或票据等纸件，其完整拍摄轮廓一般是其平面摆放时所呈现的矩形。具体地，对于身份证，其完整拍摄轮廓大体是长度和宽度分别为85.6毫米和54.0毫米的矩形。证件或票据等纸件的完整拍摄轮廓是封闭的规则图形。规则图形例如是矩形、三角形、椭圆形、方形、圆形、平行四边形等。可选地，目标的完整拍摄轮廓由平滑的线条构成。例如，证件或票据等目标的轮廓一般为平滑的直线。

针对完整拍摄轮廓是封闭的规则图形的目标实施本发明，特别是针对完整拍摄轮廓由平滑的线条构成的目标实施本发明，可以更好地确保完整性检测的准确性。

原始图像的热力图的每个像素值表示了原始图像中相应位置的像素属于待检测目标的概率。热力图可显性、直观地将像素属于待检测目标的概率通过不同颜色区块呈现。可选地，热力图是灰度图。示例性地，热力图中的像素值越大，那么原始图像中相应位置的像素属于待检测目标的概率越大；否则，反之。热力图也可以是彩色图。例如，像素越趋近于红色，那么原始图像中相应位置的像素属于待检测目标的概率越大；像素越趋近于蓝色，那么原始图像中相应位置的像素属于待检测目标的概率越小。

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络依靠模型的复杂程度，通过调整神经网络内部大量节点之间相互连接的关系，从而达到处理信息的目的。神经网络适于处理复杂的、无法简单地用函数处理的计算。而图像数据本身不仅数据量大，而且其没有简单的规律性，利用神经网络可以更好地识别原始图像中的目标，生成相应的热力图。

在此步骤中，将包括目标的原始图像输入神经网络，神经网络输出该原始图像的热力图。示例性地，如图4所示，该神经网络400例如包括2个卷积层(第一卷积层和第二卷积层)，每个卷积层可以是16个通道、并且采用3x3卷积核。示例性地，该神经网络采用sigmoid函数作为激活函数。具体地，如图4所示，首先，将包括目标的原始图像输入至神经网络。然后，将经过第一卷积层(例如，16个通道、3x3卷积核的卷积层)提取的第一特征数据输入至Sigmoid激活函数，得到第二特征数据。再将所述第二特征数据输入至第二卷积层，从而得到该神经网络400的输出——该原始图像的热力图。

应该理解的是，图4中所示的神经网络是示例性的，根据实际的应用和需求，可以灵活地设定该神经网络的结构。

图5示出了根据本发明一个实施例的将图1a所示的原始图像输入神经网络400所获得的热力图。如图5所示，越可能是目标的位置，热力图中像素的亮度越大，即像素越白；越不可能是目标的位置，对应的热力图中像素的亮度越低，即像素越黑。

在步骤S340中，根据步骤S320所获得的热力图确定目标在所述原始图像中的边缘。

因为热力图的像素值表示了原始图像中相应位置的像素属于目标的概率，所以，从像素位置的角度来说，热力图中的边缘对应于目标在原始图像中的边缘。可以利用热力图的边缘来确定目标在原始图像中的边缘。

在一个示例中，可直接针对所述热力图做边缘检测，以确定目标在原始图像中的边缘。也就是说，通过对热力图做边缘检测，可以标识热力图中的亮度变化明显的像素。热力图的这些亮度变化明显的像素标识了目标在原始图像中的边缘。

在另一个示例中，可以首先将所述热力图进行二值化。该二值化的过程是图像分割的过程。经二值化的热力图将仅包括像素值分别为0和255的像素。图6示出了根据本发明一个实施例的经二值化的热力图。该经二值化的热力图是针对图5所示的热力图进行二值化所获得的。示例性地，可以利用基于阈值的分割算法、基于区域的分割算法等将热力图进行二值化。如图6所示，其中白色部分是目标部分，黑色部分是背景部分。对于得到的二值化的热力图，可以在图中寻找连通分量以获得目标所在的色块。

然后，针对经二值化的热力图中得到的色块提取边缘进行边缘检测。该边缘检测可以采用Laplacian算子、Roberts算子、Sobel算子和Canny算子等。图7示出了根据本发明一个实施例的热力图的边缘检测结果。该边缘检测结果是针对图6所示的经二值化的热力图中得到的色块提取边缘进行边缘检测所获得的。

首先对热力图进行二值化，然后再进行边缘检测，能够获得目标在原始图像中的、更合理、无毛刺的边缘，从而保证目标完整性检测的准确性。

在步骤S360中，根据步骤S340所确定的目标在原始图像中的边缘确定目标在原始图像中是否完整。目标在原始图像中的边缘可以大体勾勒出目标在原始图像中的位置以及形态，从而确定目标在原始图像中是否完整。

对于诸如证件、票据以及文件等近似平面矩形的物体来说，其在原始图像中的完整边缘一定是四边形。如果这类物体在原始图像中的边缘不是四边形，那么可以确定目标在原始图像中是不完整的。例如，假设在步骤S340中所确定的一个身份证在原始图像中的边缘是五边形，如图7所示，那么可以确定目标在原始图像中是缺角的。

上述目标完整性检测方法300中，通过基于神经网络而获得的热力图来确定目标在原始图像中是否完整，能够对原始图像中的杂乱背景等干扰信号鲁棒。此外，在神经网络得到热力图的前提下，后续处理只需要几步相对简单的图像处理操作，从而提高了整个方案的易用性。

图8示出了根据本发明一个实施例的上述步骤S360的示意性流程图。该流程主要应用于完整拍摄轮廓是四边形的目标，例如证件、票据以及文件等。如图8所示，根据步骤S340所确定的目标在原始图像中的边缘确定目标在原始图像中是否完整可以包括以下步骤。

步骤S862，对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。可以通过该4个直线方程之间的角度和位置关系确定并选择它们之间的4个交点，该4个交点可以构成一个四边形的4个顶点。可以用这4个交点的坐标来表示这4个直线方程。

在一个实施例中，可以采用对特定目标函数进行优化的方式来获得该直线方程，例如计算所述边缘上的像素点到直线的距离(平方和)，使得该距离最小的直线即为拟合直线，也即表示目标在原始图像中的完整拍摄轮廓的直线。

步骤S864，计算所述4个直线方程所表示的直线所围住的四边形面积。在4个直线方程是用其4个交点表示的情况中，这4个交点构成以其为顶点的四边形，即这些直线方程所对应的直线所围住的四边形。然后，计算这些直线所围住的四边形的面积。这些直线所围住的四边形的面积可以表示如果目标是完整的话，其在原始图像中应占有的面积。该面积可以用直线方程所围住的四边形内部的像素的个数来表示。

步骤S866，根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整。

步骤S340所确定的目标在原始图像中的边缘如图7所示，计算该边缘所围住的图形的面积。该边缘所围住的图形的面积表示了目标在原始图像中实际占有的面积。该面积也可以用该边缘所围住的图形内部的像素的个数来表示。

可选地，可以计算该边缘所围住的图形的面积与步骤S864所确定的四边形面积的比值。如果该比值大于预定阈值，那么可以确定目标在原始图像中是完整的。否则，确定目标在原始图像中是不完整的。该预定阈值可以根据应用场景来预先设定，例如75％-95％之间的任意值。

上述利用多边形面积来确定目标在原始图像中是否完整的方案，实现容易并且准确性强。

替代地，除了利用多边形面积来确定目标在原始图像中是否完整，还可以通过如下过程确定目标在原始图像中是否完整。首先，对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。该过程与上述步骤S862类似，为了简洁，不再赘述。然后，根据该4个直线方程所确定的四边形上的像素与所述边缘上的相应像素的位置偏差来确定目标在原始图像中是否完整。如果该4个直线方程所确定的四边形上的像素与所述边缘上的相应像素之间的位置偏差较小，那么确定目标在原始图像中完整。否则，确定目标在原始图像中不完整。

图9示出了根据本发明一个实施例的上述步骤S862的示意性流程图。如图9所示，步骤S862可以包括以下步骤。

步骤S862a，首先，确定步骤S340所确定的边缘上的每个点在所述边缘上的2个最近相邻点，然后，分别计算边缘上的该点与其最近相邻点所构成的偏移矢量。可以理解，根据边缘检测的方法的不同，边缘上的每个点可以是图像上的像素点，也可能不是像素点，例如是亚像素点等。以边缘上的点和其最近相邻点这两个点为端点，可以构成一个偏移矢量。该偏移矢量在一定程度上可以表示边缘在该点的切线的方向。对于边缘上的点可以是非像素点的情况，边缘上的点与其最近相邻点的偏移矢量与水平线的夹角可能是0度、30度、45度等任意角度。对于边缘上的点是像素点的情况，可以首先利用反锯齿算法来将边缘抗锯齿化，然后再计算每个点与其最近相邻点所构成的偏移矢量。

步骤S862b，根据步骤S862a所计算的边缘上的每个点与其在边缘上的最近相邻点所构成的偏移矢量以及该点的位置对所述边缘上的所有点进行聚类。

对于目标的边缘上的每个点来说，其所属的偏移矢量可以表明边缘在该点的切线的方向。在原始图像中，目标的边缘的每条边彼此方向可能不同。例如，在身份证是目标的情况中，身份证的长边和其短边在原始图像中的方向是一定不同的。在对边缘上的点进行聚类时，考虑每个点与其最近相邻点所构成的偏移矢量的因素，可以有效地将属于不同方向的边上的点分类到不同的类。

当然，在原始图像中，目标的边缘中可能包括方向相同或近似的边。例如，在目标包括身份证的情况中，目标在原始图像中可能呈现了一个梯形的形状。此时，梯形中包括两个平行的边。在对边缘上的点进行聚类时，考虑每个点的位置的因素，可以有效地将边缘上的所有点进行分类，即使那些点属于边缘的相同或相似方向的边。

例如，可以将边缘上的所有点分类为k个类。可选地，根据实际应用，k可以是4至10之间的任意整数。可选地，该聚类方法采用K均值聚类。K均值聚类方法实现容易，并且能够合理的对偏移矢量进行分类，从而保证了目标完整性检测的准确性。

步骤S862c，确定点最多的4个类所对应的直线方程，以作为所述表示所述目标在原始图像中的完整拍摄轮廓的4个直线方程。点最多的4个类所对应的直线方程所表示的直线即可示出目标在原始图像中的完整轮廓。图10示出了根据本发明一个实施例的所确定的直线方程所表示的直线，该直线是拟合图7所示的目标的边缘所获得的。

如前步骤S864和步骤S866所述，根据这些直线方程所表示的直线所围住的四边形面积和边缘所围住的图形的面积，可以确定目标在原始图像中是否完整。因为前者可以表示目标在原始图像中完整的情况下所占面积，后者可以表示目标在原始图像中实际所占面积，所以，二者相差越少，目标在原始图像中越完整。

示例性地，可以计算直线方程所表示的直线所围住的四边形面积和边缘所围住的图形的面积的比值。如果该比值大于预定阈值，那么可以确定目标在原始图像中是完整的。否则，确定目标在原始图像中是不完整的。

图11示出了根据本发明另一实施例的目标完整性检测方法1100的示意性流程图。如图11所示，与上述目标完整性检测方法300相比，目标完整性检测方法1100增加了步骤S1110。方法1100中的步骤S1120、步骤S1140和步骤S1160分别与方法300中的对应步骤类似，为了简洁，在此不再赘述。

在步骤S1110中，利用已经标注了其中目标的训练图像对初始神经网络进行训练，以获得上述用于获得热力图的神经网络。

首先，接收已经标注了其中目标的训练图像。该目标包括例如身份证件。可以选择有一些代表性的身份证件图片，例如完整的身份证件图片以及不完整的身份证件图片作为训练图像。训练图像中标注出了目标的部分。所标注的部分包括目标的内部，但不包括目标的缺角等缺失部分，即，按照训练图像中目标的实际形状进行标注。该标注过程可以包括但不限于手动标注。

然后，利用所接收的训练图像训练初始神经网络，以获得上述用于获得热力图的神经网络。

将训练图像输入至初始神经网络，以获得训练图像的热力图。根据神经网络获得的热力图和训练图像上的标注目标，计算神经网络的损失函数值。对于每个训练图像，期望神经网络获得的热力图和训练图像上的标注目标一致。神经网络获得的热力图和训练图像上的标注目标差异越大，那么所计算的损失函数值越大，这表明越需要调整神经网络的当前参数，以获得更准确的识别结果。不断调整神经网络的参数，直至损失函数值满足预设条件和/或迭代次数大于阈值。此时，停止对神经网络的训练并获得训练好的神经网络以用于获得图像的热力图。

可以将损失函数值满足预设条件以及迭代次数小于阈值这两个条件中的一个或二者作为训练执行结束的条件。损失函数值满足预设条件表示当前的神经网络可以获得一个相对准确的识别结果。增加迭代次数的约束条件可以使得系统能够适时停止运算，避免无谓的计算，提高计算效率。

上述目标完整性检测方法1100利用了训练的方式来获得用于获得热力图的神经网络。这可以获得可靠性和实用性更强的神经网络，由此保证目标完整性检测的准确性。

图12示出了根据本发明一个实施例的目标完整性检测装置1200的示意性框图。如图12所示，所述装置1200可以包括热力图获得模块1220、边缘确定模块1240和完整性确定模块1260。

热力图获得模块1220用于将包括目标的原始图像输入至神经网络，以获得所述原始图像的热力图，其中所述热力图的像素值表示了所述原始图像中相应位置的像素属于所述目标的概率。热力图获得模块1220可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S320和步骤S1120。

边缘确定模块1240用于根据所述热力图确定所述目标在所述原始图像中的边缘。边缘确定模块1240可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S340和步骤S1140。

完整性确定模块1260用于根据所述边缘确定所述目标在所述原始图像中是否完整。完整性确定模块1260可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S360和步骤S1160。

上述目标完整性检测装置1200，在检测原始图像中目标的完整性时，能够对原始图像中的杂乱背景等干扰信号鲁棒。此外，在神经网络得到热力图的前提下，后续处理只需要几步相对简单的图像处理操作，从而提高了整个方案的易用性。

图13示出了根据本发明另一实施例的目标完整性检测装置1300的示意性框图。如图13所示，相比于上述装置1200，装置1300中还包括训练模块1310。装置1300中的热力图获得模块1320、边缘确定模块1340和完整性确定模块1360分别与装置1200中的对应模块类似，为了简洁，在此不再赘述。

训练模块1310用于利用已经标注了其中目标的训练图像对初始神经网络进行训练，以获得用于获得原始图像的热力图的神经网络。

示例性地，所述边缘确定模块1240或1340包括二值化单元和边缘检测单元。

二值化单元用于将所述热力图二值化。二值化单元可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的热力图二值化过程。

边缘检测单元用于针对经二值化的热力图进行边缘检测，以获得所述目标在所述原始图像中的边缘。边缘检测单元可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的经二值化的热力图边缘检测过程。

示例性地，所述目标的完整拍摄轮廓是四边形。图14示出了根据本发明一个实施例的完整性确定模块的示意性框图。所述完整性确定模块1460包括直线拟合单元1462、完整面积计算单元1464和完整性确定单元1466。

直线拟合单元1462用于对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。直线拟合单元1462可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S862。

完整面积计算单元1464用于计算所述4个直线方程所表示的直线所围住的四边形面积。完整面积计算单元1464可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S864。

完整性确定单元1466用于根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整。示例性的，完整性确定单元1466进一步用于计算所述边缘所围住的图形的面积与所述四边形面积的比值。并且，在所述比值大于预定阈值的情况下，完整性确定单元1466确定所述目标在所述原始图像中是完整的。完整性确定单元1466可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S866。

示例性地，所述直线拟合单元1462包括偏移矢量确定子单元、聚类子单元和直线确定子单元。

偏移矢量确定子单元用于确定所述边缘上的每个点在所述边缘上的2个最近相邻点，并分别计算该点与其最近相邻点所构成的偏移矢量。偏移矢量确定子单元可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S862a。

聚类子单元用于根据所述边缘上的每个点与其最近相邻点所构成的偏移矢量以及该点的位置对所述边缘上的所有点进行聚类。示例性地，所述聚类采用K均值聚类。聚类子单元可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S862b。

直线确定子单元用于确定点最多的4个类所对应的直线方程，以作为所述表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。直线确定子单元可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现，并且可以执行根据本发明一个实施例的目标完整性检测方法中的步骤S862c。

本领域普通技术人员通过阅读上文关于目标完整性检测方法的详细描述，能够理解上述目标完整性检测装置的结构、实现以及优点，因此这里不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图15示出了根据本发明实施例的目标完整性检测设备1500的示意性框图。该目标完整性检测设备1500可以针对图像进行目标完整性的检测。目标完整性检测设备1500包括输入装置1510、存储装置1520、处理器1530以及输出装置1540。

所述输入装置1510用于接收用户所输入的操作指令以及采集数据。输入装置1510可以包括键盘、鼠标、麦克风、触摸屏和图像采集装置等中的一个或多个。

所述存储装置1520存储用于实现根据本发明实施例的目标完整性检测方法中的相应步骤的程序代码。

所述处理器1530用于运行所述存储装置1520中存储的程序代码，以执行根据本发明实施例的目标完整性检测方法的相应步骤，并且用于实现根据本发明实施例的目标完整性检测装置中的热力图获得模块1220、边缘确定模块1240和完整性确定模块1260。

在一个实施例中，在所述程序代码被所述处理器1530运行时使所述目标完整性检测设备1500执行以下步骤：

将包括目标的原始图像输入至神经网络，以获得所述原始图像的热力图，其中所述热力图的像素值表示了所述原始图像中相应位置的像素属于所述目标的概率；

根据所述热力图确定所述目标在所述原始图像中的边缘；以及

根据所述边缘确定所述目标在所述原始图像中是否完整。

示例性地，所述目标的完整拍摄轮廓是四边形。在所述程序代码被所述处理器1530运行时使所述目标完整性检测设备1500执行根据所述边缘确定所述目标在所述原始图像中是否完整的步骤包括：

对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程；

计算所述4个直线方程所表示的直线所围住的四边形面积；以及

根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整。

示例性地，在所述程序代码被所述处理器1530运行时使所述目标完整性检测设备1500执行的根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整的步骤包括：

计算所述边缘所围住的图形的面积与所述四边形面积的比值，在所述比值大于预定阈值的情况下，确定所述目标在所述原始图像中是完整的。

示例性地，在所述程序代码被所述处理器1530运行时使所述目标完整性检测设备1500执行的对所述边缘进行直线拟合以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程的步骤包括：

确定所述边缘上的每个点在所述边缘上的2个最近相邻点，并分别计算该点与其最近相邻点所构成的偏移矢量；

根据所述边缘上的每个点与其最近相邻点所构成的偏移矢量以及该点的位置对所述边缘上的所有点进行聚类；以及

确定点最多的4个类所对应的直线方程，以作为所述表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。

示例性地，所述聚类采用K均值聚类。

示例性地，在所述程序代码被所述处理器1530运行时使所述目标完整性检测设备1500执行的根据所述热力图确定所述目标在所述原始图像中的边缘的步骤包括：

将所述热力图二值化；以及

针对经二值化的热力图进行边缘检测，以获得所述目标在所述原始图像中的边缘。

示例性地，在所述程序代码被所述处理器1530运行时还使所述目标完整性检测设备1500执行以下步骤：

利用已经标注了其中目标的训练图像对初始神经网络进行训练，以获得所述神经网络。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的目标完整性检测方法的相应步骤，并且用于实现根据本发明实施例的目标完整性检测装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

在一个实施例中，所述计算机程序指令被计算机或处理器运行时，使得所述计算机或处理器执行以下步骤：

将包括目标的原始图像输入至神经网络，以获得所述原始图像的热力图，其中所述热力图的像素值表示了所述原始图像中相应位置的像素属于所述目标的概率；

根据所述热力图确定所述目标在所述原始图像中的边缘；以及

根据所述边缘确定所述目标在所述原始图像中是否完整。

示例性地，所述目标的完整拍摄轮廓是四边形。在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的根据所述边缘确定所述目标在所述原始图像中是否完整的步骤包括：

对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程；

计算所述4个直线方程所表示的直线所围住的四边形面积；以及

根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整。

示例性地，在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整包括：

计算所述边缘所围住的图形的面积与所述四边形面积的比值，在所述比值大于预定阈值的情况下，确定所述目标在所述原始图像中是完整的。

示例性地，在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的对所述边缘进行直线拟合以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程的步骤包括：

确定所述边缘上的每个点在所述边缘上的2个最近相邻点，并分别计算该点与其最近相邻点所构成的偏移矢量；

根据所述边缘上的每个点与其最近相邻点所构成的偏移矢量以及该点的位置对所述边缘上的所有点进行聚类；以及

确定点最多的4个类所对应的直线方程，以作为所述表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。

示例性地，所述聚类采用K均值聚类。

示例性地，在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的根据所述热力图确定所述目标在所述原始图像中的边缘的步骤包括：

将所述热力图二值化；以及

针对经二值化的热力图进行边缘检测，以获得所述目标在所述原始图像中的边缘。

在一个实施例中，所述计算机程序指令在被计算机或处理器运行时还使得所述计算机或处理器执行以下步骤：

利用已经标注了其中目标的训练图像对初始神经网络进行训练，以获得所述神经网络。

根据本发明实施例的目标完整性检测设备中的各模块可以通过根据本发明实施例的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机或处理器运行时实现。

根据本发明实施例的目标完整性检测方法及装置、目标完整性检测设备以及存储介质，可以针对图像进行各种目标的较准确完整性检测。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的目标完整性检测装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种目标完整性检测方法，包括：

将包括目标的原始图像输入至神经网络，以获得所述原始图像的热力图，其中所述热力图的像素值表示了所述原始图像中相应位置的像素属于所述目标的概率；

根据所述热力图确定所述目标在所述原始图像中的边缘；以及

根据所述边缘确定所述目标在所述原始图像中是否完整；

其中所述根据所述热力图确定所述目标在所述原始图像中的边缘包括：

对所述热力图做边缘检测，以确定所述目标在所述原始图像中的边缘；或

将所述热力图二值化；以及针对经二值化的热力图进行边缘检测，以获得所述目标在所述原始图像中的边缘。

2.如权利要求1所述的方法，其中所述目标的完整拍摄轮廓是四边形，所述根据所述边缘确定所述目标在所述原始图像中是否完整包括：

对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程；

计算所述4个直线方程所表示的直线所围住的四边形面积；以及

根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整。

3.如权利要求2所述的方法，其中，所述根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整包括：

计算所述边缘所围住的图形的面积与所述四边形面积的比值，在所述比值大于预定阈值的情况下，确定所述目标在所述原始图像中是完整的。

4.如权利要求2所述的方法，所述对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程包括：

确定所述边缘上的每个点在所述边缘上的2个最近相邻点，并分别计算该点与其最近相邻点所构成的偏移矢量；

根据所述边缘上的每个点与其最近相邻点所构成的偏移矢量以及该点的位置对所述边缘上的所有点进行聚类；以及

确定点最多的4个类所对应的直线方程，以作为所述表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。

5.如权利要求4所述的方法，所述聚类采用K均值聚类。

6.如权利要求1至5任一项所述的方法，所述方法还包括：

利用已经标注了其中目标的训练图像对初始神经网络进行训练，以获得所述神经网络。

7.一种目标完整性检测装置，包括：

热力图获得模块，用于将包括目标的原始图像输入至神经网络，以获得所述原始图像的热力图，其中所述热力图的像素值表示了所述原始图像中相应位置的像素属于所述目标的概率；

边缘确定模块，用于根据所述热力图确定所述目标在所述原始图像中的边缘；以及

完整性确定模块，用于根据所述边缘确定所述目标在所述原始图像中是否完整；

其中所述边缘确定模块包括检测单元，用于对所述热力图做边缘检测，以确定所述目标在所述原始图像中的边缘：或者

所述边缘确定模块包括：

二值化单元，用于将所述热力图二值化；以及

边缘检测单元，用于针对经二值化的热力图进行边缘检测，以获得所述目标在所述原始图像中的边缘。

8.如权利要求7所述的装置，其中所述目标的完整拍摄轮廓是四边形，所述完整性确定模块包括：

直线拟合单元，用于对所述边缘进行直线拟合，以获得表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程；

完整面积计算单元，用于计算所述4个直线方程所表示的直线所围住的四边形面积；以及

完整性确定单元，用于根据所述边缘所围住的图形的面积和所述四边形面积确定所述目标在所述原始图像中是否完整。

9.如权利要求8所述的装置，其中，所述完整性确定单元进一步用于计算所述边缘所围住的图形的面积与所述四边形面积的比值，并且，在所述比值大于预定阈值的情况下，确定所述目标在所述原始图像中是完整的。

10.如权利要求8所述的装置，所述直线拟合单元包括：

偏移矢量确定子单元，用于确定所述边缘上的每个点在所述边缘上的2个最近相邻点，并分别计算该点与其最近相邻点所构成的偏移矢量；

聚类子单元，用于根据所述边缘上的每个点与其最近相邻点所构成的偏移矢量以及该点的位置对所述边缘上的所有点进行聚类；以及

直线确定子单元，用于确定点最多的4个类所对应的直线方程，以作为所述表示所述目标在所述原始图像中的完整拍摄轮廓的4个直线方程。

11.如权利要求10所述的装置，所述聚类采用K均值聚类。

12.如权利要求7至11任一项所述的装置，所述装置还包括：

训练模块，用于利用已经标注了其中目标的训练图像对初始神经网络进行训练，以获得所述神经网络。