CN109377467A - 训练样本的生成方法、目标检测方法和装置 - Google Patents

训练样本的生成方法、目标检测方法和装置 Download PDF

Info

Publication number
CN109377467A
CN109377467A CN201811141521.3A CN201811141521A CN109377467A CN 109377467 A CN109377467 A CN 109377467A CN 201811141521 A CN201811141521 A CN 201811141521A CN 109377467 A CN109377467 A CN 109377467A
Authority
CN
China
Prior art keywords
image
vertex
composograph
network model
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811141521.3A
Other languages
English (en)
Inventor
钱佳景
王康
管维刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811141521.3A priority Critical patent/CN109377467A/zh
Publication of CN109377467A publication Critical patent/CN109377467A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种训练样本的生成方法、目标检测方法和装置，训练样本的生成方法包括：首先获取第一图像，第一图像中包括至少一个干扰物体，以及获取第二图像，第二图像中包括目标检测物体，目标检测物体具有四个顶点，然后以第一图像作为背景图像以及以第二图像作为前景图像，将第一图像和第二图像进行合成处理，得到合成图像，再获取合成图像中四个顶点的位置信息，最后根据合成图像和四个顶点的位置信息，生成神经网络模型的一组训练样本，神经网络模型用于从图像中检测目标物体的顶点。该方法有利于获得大量的训练样本，从而使用训练好的神经网络模型针对不同的背景环境下的图像目标检测的鲁棒性好。

Description

训练样本的生成方法、目标检测方法和装置
技术领域
本说明书一个或多个实施例涉及图像处理领域，尤其涉及训练样本的生成方法、目标检测方法和装置。
背景技术
当前，常常需要在图像中检测具有规则几何形状的物体，例如，在图像中检测具有四边形轮廓的物体(简称四边形物体)，比如身份证、书籍等。现有的解决方案是通过传统的边缘检测算法，比如霍夫直线检测算法，从图像中得到四个线段，然后两两计算线段所在直线相交的交点，从而得到四边形物体的四个顶点的坐标。
在图像的背景稍微复杂的情况下，经过边缘检测算法对图像处理后，不仅会得到四个线段，还会有不少干扰线段。现有的方案，通过人为设定的规则来排除这些干扰线段，比如为线段所形成的四边形的长宽比、面积的大小、相邻线段的角度等设定相应阈值，通过是否满足相应的阈值来确定四边形物体对应的四个线段。上述方法需要根据不同的背景环境来设置算法的阈值，因而在不同的背景环境下鲁棒性较差。
因此，希望能有改进的方案，针对不同的背景环境下的图像目标检测的鲁棒性好。
发明内容
本说明书一个或多个实施例描述了一种训练样本的生成方法、目标检测方法和装置，针对不同的背景环境下的图像目标检测的鲁棒性好。
第一方面，提供了一种训练样本的生成方法，方法包括：
获取第一图像，所述第一图像中包括至少一个干扰物体；
获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点；
以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像；
获取所述合成图像中所述四个顶点的位置信息；
根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点。
在一种可能的实施方式中，以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像，包括：
以所述第一图像作为背景图像，以所述第二图像作为前景图像，通过改变所述第二图像的尺寸和/或所述第二图像的位置，将所述第一图像和所述第二图像进行多次合成处理，得到多个合成图像。
进一步地，所述获取所述合成图像中所述四个顶点的位置信息，包括：
获取人工输入的所述第二图像中所述四个顶点的位置信息；
根据生成合成图像时所述第二图像的尺寸的变化，和/或所述第二图像的位置变化，确定所述合成图像中所述四个顶点的位置信息。
进一步地，所述获取所述合成图像中所述四个顶点的位置信息，包括：
获取人工输入的一个合成图像中所述四个顶点的位置信息；
根据另一个合成图像相对于该合成图像中所述第二图像的尺寸的变化，和/或另一个合成图像相对于该合成图像中所述第二图像的位置变化，确定所述另一个合成图像中所述四个顶点的位置信息。
在一种可能的实施方式中，所述干扰物体包括具有干扰线段的物体。
在一种可能的实施方式中，所述目标检测物体为四边形物体。
在一种可能的实施方式中，所述根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，包括：
通过边缘检测算法对所述合成图像进行处理，生成包括所述目标检测物体的边缘信息的黑白图像；
将所述黑白图像和所述四个顶点的位置信息，作为神经网络模型的一组训练样本。
第二方面，提供了一种目标检测方法，方法包括：
获取待检测图像，所述待检测图像中包含具有四个顶点的目标检测物体；
将所述待检测图像输入预先训练的神经网络模型，通过所述神经网络模型的输出得到所述目标检测物体的四个顶点的位置信息，其中所述神经网络模型利用权利要求1的方法生成的训练样本训练得到。
在一种可能的实施方式中，获取待检测图像包括：
获取原始图像，所述原始图像中包含具有四个顶点的目标检测物体；
利用边缘检测算法对所述原始图像进行处理，得到包含所述目标检测物体的边缘信息的黑白图像作为所述待检测图像。
在一种可能的实施方式中，所述神经网络模型包含卷积神经网络(convolutionalneural network，CNN)。
第三方面，提供了一种训练样本的生成装置，装置包括：
获取单元，用于获取第一图像，所述第一图像中包括至少一个干扰物体；获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点；
合成单元，用于以所述获取单元获取的第一图像作为背景图像以及以所述获取单元获取的第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像；
所述获取单元，还用于获取所述合成单元得到的合成图像中所述四个顶点的位置信息；
生成单元，用于根据所述合成单元得到的合成图像和所述获取单元获取的四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点。
第四方面，提供了一种目标检测装置，装置包括：
获取单元，用于获取待检测图像，所述待检测图像中包含具有四个顶点的目标检测物体；
检测单元，用于将所述获取单元获取的待检测图像输入预先训练的神经网络模型，通过所述神经网络模型的输出得到所述目标检测物体的四个顶点的位置信息，其中所述神经网络模型利用第三方面的装置生成的训练样本训练得到。
第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面和/或第二方面的方法。
第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面和/或第二方面的方法。
通过本说明书实施例提供的方法和装置，首先获取第一图像，所述第一图像中包括至少一个干扰物体，以及获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点，然后以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像，再获取所述合成图像中所述四个顶点的位置信息，最后根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点，这种训练样本的生成方法有利于获得大量的训练样本，有利于模型的构建，从而使用训练好的神经网络模型针对不同的背景环境下的图像目标检测的鲁棒性好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的训练样本的生成方法流程图；
图3为本说明书实施例提供的一种合成图像生成方式示意图；
图4示出根据一个实施例的目标检测方法流程图；
图5示出根据一个实施例的训练样本的生成装置的示意性框图；
图6示出根据一个实施例的目标检测装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及对待检测图像中的具有规则几何形状的物体进行目标检测，例如，对待检测图像中具有四个顶点的目标检测物体进行目标检测，上述具有四个顶点的目标检测物体可称为四边形物体。
参见图1，本说明书实施例提供了一种目标检测方法，该目标检测方法基于神经网络模型进行目标检测，将待检测图像输入预先训练的神经网络模型，通过所述神经网络模型的输出得到所述目标检测物体的四个顶点的位置信息，由于神经网络模型通过大量的训练样本预先进行训练，因此可以解决复杂背景下排除背景线条的干扰，并且针对不同的背景环境下的图像目标检测的鲁棒性好。
其中，对神经网络模型进行训练，需要大量的训练样本，相应地，本说明书实施例还提供了一种训练样本的生成方法。该训练样本的生成方法主要基于对前景图像和背景图像进行图像合成的方式得到合成图像，根据所述合成图像和所述合成图像中目标检测物体的四个顶点的位置信息，生成神经网络模型的一组训练样本，只要在进行图像合成时对前景图像进行一系列的尺寸变换和/或位置变化就可以得到不同的合成图像，从而根据一个背景图像和一个前景图像，可以得到多个合成图像，相应地生成神经网络模型的多组训练样本。
综上，本说明书实施例涉及目标检测和训练样本的生成两方面的改进，一方面，在目标检测时，可以解决复杂背景下排除背景线条的干扰，并且针对不同的背景环境下的图像目标检测的鲁棒性好；另一方面，在生成训练样本时，容易获得大量的训练样本。
图2示出根据一个实施例的训练样本的生成方法流程图。如图2所示，该实施例中训练样本的生成方法包括以下步骤：步骤21，获取第一图像，所述第一图像中包括至少一个干扰物体；步骤22，获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点；步骤23，以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像；步骤24，获取所述合成图像中所述四个顶点的位置信息；步骤25，根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点。下面描述以上各个步骤的具体执行方式。
首先在步骤21，获取第一图像，所述第一图像中包括至少一个干扰物体。可以理解的是，所述第一图像可以通过拍摄获取，干扰物体可以包括人像、桌面等。
在一个示例中，所述干扰物体包括具有干扰线段的物体，例如桌面。
接着在步骤22，获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点。可以理解的是，所述第二图像可以通过拍摄获取，目标检测物体可以为身份证、书籍等。
在一个示例中，所述目标检测物体为四边形物体，具体为长方形物体，例如身份证。
然后在步骤23，以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像。
本说明书实施例中，以所述第一图像作为背景图像，以所述第二图像作为前景图像，通过改变所述第二图像的尺寸和/或所述第二图像的位置，将所述第一图像和所述第二图像进行多次合成处理，得到多个合成图像。在一个示例中，可以通过对第二图像进行随机缩放处理以改变所述第二图像的尺寸；或者，可以通过对第二图像进行平移或旋转处理以改变所述第二图像的位置。
图3为本说明书实施例提供的一种合成图像生成方式示意图。参照图3，其中，当对第二图像不做任何处理，将第一图像和第二图像进行叠加，得到合成图像一；当对第二图像的尺寸进行缩小，将第一图像和尺寸缩小后的第二图像进行叠加，得到合成图像二；当对第二图像的尺寸进行缩小并对第二图像的位置进行平移后，将第一图像和尺寸缩小并平移后的第二图像进行叠加，得到合成图像三。由上可见，两个图像进行合成处理可以得到多个合成图像，可以理解的是，图中示出三个合成图像仅为举例说明，通过改变所述第二图像的尺寸和/或所述第二图像的位置，将所述第一图像和所述第二图像进行多次合成处理，可以得到多个合成图像。
然后在步骤24，获取所述合成图像中所述四个顶点的位置信息。可以理解的是，由于第二图像中包括具有四个顶点的目标检测物体，因此以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像，该合成图像中也包括具有四个顶点的目标检测物体。
本说明书实施例中，针对一组第一图像和第二图像可以生成多个合成图像，针对这多个合成图像仅需一次人工标注四个顶点，例如，可以在第二图像中人工标注四个顶点，在图片合成阶段，当对第二图像进行缩放、平移等操作时，同时可以根据这些操作计算得到所述多个合成图像中的四个顶点的位置信息；或者，还可以在一个合成图像中人工标注四个顶点，在图片合成阶段，当对第二图像进行缩放、平移等操作时，同时可以根据这些操作计算得到其他合成图像中的四个顶点的位置信息。采用上述方式，可以实现自动化打标。
在一个示例中，首先获取人工输入的一个合成图像中所述四个顶点的位置信息，然后根据另一个合成图像相对于该合成图像中所述第二图像的尺寸的变化，和/或另一个合成图像相对于该合成图像中所述第二图像的位置变化，确定所述另一个合成图像中所述四个顶点的位置信息。
可以理解的是，合成图像中所述四个顶点的位置信息可以按照合成图像的名称作为索引进行记录。假设背景图有m张，前景图有n张，对每个前景图随机变换次数k，就可以生产m*n*k张训练图片，同时记录下m*n*k条顶点信息。有利于获取大量的训练样本。
步骤25，根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点。可以理解的是，可以直接将所述合成图像和所述四个顶点的位置信息，作为神经网络模型的一组训练样本；或者，将所述合成图像和所述四个顶点的位置信息进行处理后，作为神经网络模型的一组训练样本。
在一个示例中，首先通过边缘检测算法对所述合成图像进行处理，生成包括所述目标检测物体的边缘信息的黑白图像，然后将所述黑白图像和所述四个顶点的位置信息，作为神经网络模型的一组训练样本。该示例中，将合成图像转化为黑白图像作为神经网络模型的输入有利于降低神经网络模型的复杂度。
本说明书实施例中，对于边缘检测算法不进行具体限定，可以采用现有的任一种边缘检测算法。
通过本说明书实施例提供的方法，首先获取第一图像，所述第一图像中包括至少一个干扰物体，以及获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点，然后以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像，再获取所述合成图像中所述四个顶点的位置信息，最后根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点，这种训练样本的生成方法有利于获得大量的训练样本，有利于模型的构建，从而使用训练好的神经网络模型针对不同的背景环境下的图像目标检测的鲁棒性好。
图4示出根据一个实施例的目标检测方法流程图。如图4所示，该实施例中目标检测方法包括以下步骤：步骤41，获取待检测图像，所述待检测图像中包含具有四个顶点的目标检测物体；步骤42，将所述待检测图像输入预先训练的神经网络模型，通过所述神经网络模型的输出得到所述目标检测物体的四个顶点的位置信息。其中所述神经网络模型可以为利用图2的方法生成的训练样本训练得到。下面描述以上各个步骤的具体执行方式。
首先在步骤41，获取待检测图像，所述待检测图像中包含具有四个顶点的目标检测物体。本说明书实施例中，待检测图像可以为原始图像，也可以为对原始图像通过边缘检测算法处理后的黑白图像。
在一个示例中，首先获取原始图像，所述原始图像中包含具有四个顶点的目标检测物体，然后利用边缘检测算法对所述原始图像进行处理，得到包含所述目标检测物体的边缘信息的黑白图像作为所述待检测图像。
然后在步骤42，将所述待检测图像输入预先训练的神经网络模型，通过所述神经网络模型的输出得到所述目标检测物体的四个顶点的位置信息。其中，所述神经网络模型包含卷积神经网络(convolutional neural network，CNN)。
为了适应于本说明书实施例提供的目标检测方法，本说明书实施例还提供了一个具体的神经网络模型作为示例。下面具体说明该神经网络模型的具体结构及具体处理过程。在对神经网络模型进行训练时，主要包括如下步骤：第一步，输入，图片[None,192，144，1],坐标信息[None,8]；第二步，卷积运算,卷积核5*5，数量32，激活函数relu；第三步，最大池化运算,步长2*2；第四步，卷积运算,卷积核3*3，数量64，激活函数relu；第五步，最大池化运算,步长2*2；第六步，卷积运算,卷积核3*3，数量128，激活函数relu；第七步，最大池化运算,步长2*2；第八步，卷积运算,卷积核3*3，数量256，激活函数relu；第九步，全连接,数量1024；第十步，全连接,数量8，最终得到8个输出坐标。
此外，可以通过损失函数计算输出坐标和输入坐标的均方差，优化器用adam，学习率0.0001，训练1万步后，损失可以降到0.4之下。
在使用训练好的神经网络模型进行目标检测时，输入边缘检测后的黑白图片，输出四边形顶点的8个坐标。
可以理解的是，上述神经网络模型的处理过程仅作为示例，在具体实现时可以包含比上述步骤更多的步骤，例如，更多层的卷积运算和池化运算；或者包含比上述步骤更少的步骤，例如，省略第九步的全连接。上述数值也仅作为示例，基于上述实施例经过简单变化得到的实施例均包含在本说明书提供的实施例范围之内。
通过本说明书实施例提供的方法，在目标检测时，由于神经网络模型基于大量的训练样本进行预先训练，从而可以解决复杂背景下排除背景线条的干扰，并且针对不同的背景环境下的图像目标检测的鲁棒性好。
根据另一方面的实施例，还提供一种训练样本的生成装置。图5示出根据一个实施例的训练样本的生成装置的示意性框图。如图5所示，该装置500包括：
获取单元51，用于获取第一图像，所述第一图像中包括至少一个干扰物体；获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点；
合成单元52，用于以所述获取单元51获取的第一图像作为背景图像以及以所述获取单元51获取的第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像；
所述获取单元51，还用于获取所述合成单元52得到的合成图像中所述四个顶点的位置信息；
生成单元53，用于根据所述合成单元52得到的合成图像和所述获取单元51获取的四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点。
可选地，作为一个实施例，所述合成单元52，具体用于以所述获取单元51获取的第一图像作为背景图像，以所述获取单元51获取的第二图像作为前景图像，通过改变所述第二图像的尺寸和/或所述第二图像的位置，将所述第一图像和所述第二图像进行多次合成处理，得到多个合成图像。
进一步地，所述获取单元51，具体用于获取人工输入的所述第二图像中所述四个顶点的位置信息；根据生成合成图像时所述第二图像的尺寸的变化，和/或所述第二图像的位置变化，确定所述合成图像中所述四个顶点的位置信息。
进一步地，所述获取单元51，具体用于获取人工输入的一个合成图像中所述四个顶点的位置信息；根据另一个合成图像相对于该合成图像中所述第二图像的尺寸的变化，和/或另一个合成图像相对于该合成图像中所述第二图像的位置变化，确定所述另一个合成图像中所述四个顶点的位置信息。
可选地，作为一个实施例，所述干扰物体包括具有干扰线段的物体。
可选地，作为一个实施例，所述目标检测物体为四边形物体。
可选地，作为一个实施例，所述生成单元53，具体用于通过边缘检测算法对所述合成单元52得到的合成图像进行处理，生成包括所述目标检测物体的边缘信息的黑白图像；将所述黑白图像和所述获取单元获取的四个顶点的位置信息，作为神经网络模型的一组训练样本。
通过本说明书实施例提供的装置，首先由获取单元51获取第一图像，所述第一图像中包括至少一个干扰物体，以及获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点，然后由合成单元52以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像，再由获取单元51获取所述合成图像中所述四个顶点的位置信息，最后由生成单元53根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点，这种训练样本的生成装置有利于获得大量的训练样本，有利于模型的构建，从而使用训练好的神经网络模型针对不同的背景环境下的图像目标检测的鲁棒性好。
根据另一方面的实施例，还提供一种目标检测装置。图6示出根据一个实施例的目标检测装置的示意性框图。如图6所示，该装置600包括：
获取单元61，用于获取待检测图像，所述待检测图像中包含具有四个顶点的目标检测物体；
检测单元62，用于将所述获取单元61获取的待检测图像输入预先训练的神经网络模型，通过所述神经网络模型的输出得到所述目标检测物体的四个顶点的位置信息，其中所述神经网络模型利用图5的装置生成的训练样本训练得到。
可选地，作为一个实施例，所述获取单元61，具体用于获取原始图像，所述原始图像中包含具有四个顶点的目标检测物体；利用边缘检测算法对所述原始图像进行处理，得到包含所述目标检测物体的边缘信息的黑白图像作为所述待检测图像。
可选地，作为一个实施例，所述神经网络模型包含卷积神经网络CNN。
通过本说明书实施例提供的装置，在目标检测时，由于神经网络模型基于大量的训练样本进行预先训练，从而可以解决复杂背景下排除背景线条的干扰，并且针对不同的背景环境下的图像目标检测的鲁棒性好。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图4所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图4所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (22)

1.一种训练样本的生成方法，所述方法包括：
获取第一图像，所述第一图像中包括至少一个干扰物体；
获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点；
以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像；
获取所述合成图像中所述四个顶点的位置信息；
根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点。
2.如权利要求1所述的方法，其中，以所述第一图像作为背景图像以及以所述第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像，包括：
以所述第一图像作为背景图像，以所述第二图像作为前景图像，通过改变所述第二图像的尺寸和/或所述第二图像的位置，将所述第一图像和所述第二图像进行多次合成处理，得到多个合成图像。
3.如权利要求2所述的方法，其中，所述获取所述合成图像中所述四个顶点的位置信息，包括：
获取人工输入的所述第二图像中所述四个顶点的位置信息；
根据生成合成图像时所述第二图像的尺寸的变化，和/或所述第二图像的位置变化，确定所述合成图像中所述四个顶点的位置信息。
4.如权利要求2所述的方法，其中，所述获取所述合成图像中所述四个顶点的位置信息，包括：
获取人工输入的一个合成图像中所述四个顶点的位置信息；
根据另一个合成图像相对于该合成图像中所述第二图像的尺寸的变化，和/或另一个合成图像相对于该合成图像中所述第二图像的位置变化，确定所述另一个合成图像中所述四个顶点的位置信息。
5.如权利要求1所述的方法，其中，所述干扰物体包括具有干扰线段的物体。
6.如权利要求1所述的方法，其中，所述目标检测物体为四边形物体。
7.如权利要求1所述的方法，其中，所述根据所述合成图像和所述四个顶点的位置信息，生成神经网络模型的一组训练样本，包括：
通过边缘检测算法对所述合成图像进行处理，生成包括所述目标检测物体的边缘信息的黑白图像；
将所述黑白图像和所述四个顶点的位置信息，作为神经网络模型的一组训练样本。
8.一种目标检测方法，所述方法包括：
获取待检测图像，所述待检测图像中包含具有四个顶点的目标检测物体；
将所述待检测图像输入预先训练的神经网络模型，通过所述神经网络模型的输出得到所述目标检测物体的四个顶点的位置信息，其中所述神经网络模型利用权利要求1的方法生成的训练样本训练得到。
9.如权利要求8所述的方法，其中，获取待检测图像包括：
获取原始图像，所述原始图像中包含具有四个顶点的目标检测物体；
利用边缘检测算法对所述原始图像进行处理，得到包含所述目标检测物体的边缘信息的黑白图像作为所述待检测图像。
10.如权利要求8所述的方法，其中，所述神经网络模型包含卷积神经网络CNN。
11.一种训练样本的生成装置，所述装置包括：
获取单元，用于获取第一图像，所述第一图像中包括至少一个干扰物体；获取第二图像，所述第二图像中包括目标检测物体，所述目标检测物体具有四个顶点；
合成单元，用于以所述获取单元获取的第一图像作为背景图像以及以所述获取单元获取的第二图像作为前景图像，将所述第一图像和所述第二图像进行合成处理，得到合成图像；
所述获取单元，还用于获取所述合成单元得到的合成图像中所述四个顶点的位置信息；
生成单元，用于根据所述合成单元得到的合成图像和所述获取单元获取的四个顶点的位置信息，生成神经网络模型的一组训练样本，所述神经网络模型用于从图像中检测目标物体的顶点。
12.如权利要求11所述的装置，其中，所述合成单元，具体用于以所述获取单元获取的第一图像作为背景图像，以所述获取单元获取的第二图像作为前景图像，通过改变所述第二图像的尺寸和/或所述第二图像的位置，将所述第一图像和所述第二图像进行多次合成处理，得到多个合成图像。
13.如权利要求12所述的装置，其中，所述获取单元，具体用于获取人工输入的所述第二图像中所述四个顶点的位置信息；根据生成合成图像时所述第二图像的尺寸的变化，和/或所述第二图像的位置变化，确定所述合成图像中所述四个顶点的位置信息。
14.如权利要求12所述的装置，其中，所述获取单元，具体用于获取人工输入的一个合成图像中所述四个顶点的位置信息；根据另一个合成图像相对于该合成图像中所述第二图像的尺寸的变化，和/或另一个合成图像相对于该合成图像中所述第二图像的位置变化，确定所述另一个合成图像中所述四个顶点的位置信息。
15.如权利要求11所述的装置，其中，所述干扰物体包括具有干扰线段的物体。
16.如权利要求11所述的装置，其中，所述目标检测物体为四边形物体。
17.如权利要求11所述的装置，其中，所述生成单元，具体用于通过边缘检测算法对所述合成单元得到的合成图像进行处理，生成包括所述目标检测物体的边缘信息的黑白图像；将所述黑白图像和所述获取单元获取的四个顶点的位置信息，作为神经网络模型的一组训练样本。
18.一种目标检测装置，所述装置包括：
获取单元，用于获取待检测图像，所述待检测图像中包含具有四个顶点的目标检测物体；
检测单元，用于将所述获取单元获取的待检测图像输入预先训练的神经网络模型，通过所述神经网络模型的输出得到所述目标检测物体的四个顶点的位置信息，其中所述神经网络模型利用权利要求10的装置生成的训练样本训练得到。
19.如权利要求18所述的装置，其中，所述获取单元，具体用于获取原始图像，所述原始图像中包含具有四个顶点的目标检测物体；利用边缘检测算法对所述原始图像进行处理，得到包含所述目标检测物体的边缘信息的黑白图像作为所述待检测图像。
20.如权利要求18所述的装置，其中，所述神经网络模型包含卷积神经网络CNN。
21.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项的所述的方法。
22.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项的所述的方法。
CN201811141521.3A 2018-09-28 2018-09-28 训练样本的生成方法、目标检测方法和装置 Pending CN109377467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811141521.3A CN109377467A (zh) 2018-09-28 2018-09-28 训练样本的生成方法、目标检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811141521.3A CN109377467A (zh) 2018-09-28 2018-09-28 训练样本的生成方法、目标检测方法和装置

Publications (1)

Publication Number Publication Date
CN109377467A true CN109377467A (zh) 2019-02-22

Family

ID=65402355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811141521.3A Pending CN109377467A (zh) 2018-09-28 2018-09-28 训练样本的生成方法、目标检测方法和装置

Country Status (1)

Country Link
CN (1) CN109377467A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948562A (zh) * 2019-03-25 2019-06-28 浙江啄云智能科技有限公司 一种基于x射线图像的安检系统深度学习样本生成方法
CN109948565A (zh) * 2019-03-26 2019-06-28 浙江啄云智能科技有限公司 一种用于邮政业的违禁品不开箱检测方法
CN110378336A (zh) * 2019-06-24 2019-10-25 南方电网科学研究院有限责任公司 训练样本中目标物体的语义级标注方法、装置及存储介质
CN110378999A (zh) * 2019-06-24 2019-10-25 南方电网科学研究院有限责任公司 训练样本中目标物体的目标框标注方法、装置及存储介质
CN110399874A (zh) * 2019-07-24 2019-11-01 福建博思软件股份有限公司 一种车牌识别训练数据的合成方法
CN110427944A (zh) * 2019-09-06 2019-11-08 重庆紫光华山智安科技有限公司 车牌检测数据的获取方法、装置、设备及存储介质
CN111091167A (zh) * 2020-03-25 2020-05-01 同盾控股有限公司 标志识别训练数据合成方法、装置、电子设备及存储介质
CN111508045A (zh) * 2020-03-12 2020-08-07 深兰人工智能芯片研究院（江苏）有限公司 一种图片合成的方法及装置
CN112070137A (zh) * 2020-08-27 2020-12-11 腾讯科技（深圳）有限公司 训练数据集的生成方法、目标对象检测方法及相关设备
CN112288036A (zh) * 2020-11-24 2021-01-29 支付宝(杭州)信息技术有限公司 生成训练样本的方法和装置
CN113538291A (zh) * 2021-08-02 2021-10-22 广州广电运通金融电子股份有限公司 卡证图像倾斜校正方法、装置、计算机设备和存储介质
CN117523341A (zh) * 2023-11-23 2024-02-06 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备
CN117523341B (zh) * 2023-11-23 2024-06-21 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345827A (zh) * 2008-08-26 2009-01-14 北京中星微电子有限公司 一种交互式动画播放方法及系统
US20140362258A1 (en) * 2013-06-10 2014-12-11 Olympus Corporation Image processing apparatus, image processing method, and computer readable recording medium
CN104240257A (zh) * 2014-09-30 2014-12-24 中国人民解放军国防科学技术大学 基于变化检测技术的sar图像舰船目标鉴别方法
CN107493488A (zh) * 2017-08-07 2017-12-19 上海交通大学 基于Faster R‑CNN模型的视频内容物智能植入的方法
CN108305262A (zh) * 2017-11-22 2018-07-20 腾讯科技（深圳）有限公司 文件扫描方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345827A (zh) * 2008-08-26 2009-01-14 北京中星微电子有限公司 一种交互式动画播放方法及系统
US20140362258A1 (en) * 2013-06-10 2014-12-11 Olympus Corporation Image processing apparatus, image processing method, and computer readable recording medium
CN104240257A (zh) * 2014-09-30 2014-12-24 中国人民解放军国防科学技术大学 基于变化检测技术的sar图像舰船目标鉴别方法
CN107493488A (zh) * 2017-08-07 2017-12-19 上海交通大学 基于Faster R‑CNN模型的视频内容物智能植入的方法
CN108305262A (zh) * 2017-11-22 2018-07-20 腾讯科技（深圳）有限公司 文件扫描方法、装置及设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948562B (zh) * 2019-03-25 2021-04-30 浙江啄云智能科技有限公司 一种基于x射线图像的安检系统深度学习样本生成方法
CN109948562A (zh) * 2019-03-25 2019-06-28 浙江啄云智能科技有限公司 一种基于x射线图像的安检系统深度学习样本生成方法
CN109948565A (zh) * 2019-03-26 2019-06-28 浙江啄云智能科技有限公司 一种用于邮政业的违禁品不开箱检测方法
CN109948565B (zh) * 2019-03-26 2021-05-25 浙江啄云智能科技有限公司 一种用于邮政业的违禁品不开箱检测方法
CN110378336A (zh) * 2019-06-24 2019-10-25 南方电网科学研究院有限责任公司 训练样本中目标物体的语义级标注方法、装置及存储介质
CN110378999A (zh) * 2019-06-24 2019-10-25 南方电网科学研究院有限责任公司 训练样本中目标物体的目标框标注方法、装置及存储介质
CN110399874A (zh) * 2019-07-24 2019-11-01 福建博思软件股份有限公司 一种车牌识别训练数据的合成方法
CN110427944A (zh) * 2019-09-06 2019-11-08 重庆紫光华山智安科技有限公司 车牌检测数据的获取方法、装置、设备及存储介质
CN111508045A (zh) * 2020-03-12 2020-08-07 深兰人工智能芯片研究院（江苏）有限公司 一种图片合成的方法及装置
CN111091167B (zh) * 2020-03-25 2020-07-28 同盾控股有限公司 标志识别训练数据合成方法、装置、电子设备及存储介质
CN111091167A (zh) * 2020-03-25 2020-05-01 同盾控股有限公司 标志识别训练数据合成方法、装置、电子设备及存储介质
CN112070137A (zh) * 2020-08-27 2020-12-11 腾讯科技（深圳）有限公司 训练数据集的生成方法、目标对象检测方法及相关设备
CN112288036A (zh) * 2020-11-24 2021-01-29 支付宝(杭州)信息技术有限公司 生成训练样本的方法和装置
CN113538291A (zh) * 2021-08-02 2021-10-22 广州广电运通金融电子股份有限公司 卡证图像倾斜校正方法、装置、计算机设备和存储介质
CN113538291B (zh) * 2021-08-02 2024-05-14 广州广电运通金融电子股份有限公司 卡证图像倾斜校正方法、装置、计算机设备和存储介质
CN117523341A (zh) * 2023-11-23 2024-02-06 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备
CN117523341B (zh) * 2023-11-23 2024-06-21 中船(北京)智能装备科技有限公司 一种深度学习训练图像样本的生成方法、装置及设备

Similar Documents

Publication Publication Date Title
CN109377467A (zh) 训练样本的生成方法、目标检测方法和装置
CN106875444B (zh) 一种目标物定位方法及装置
CN108961144B (zh) 图像处理系统
GB2600620A (en) Neural network for image registration and image segmentation trained using a registration simulator
CN103617615B (zh) 径向畸变参数获取方法及获取装置
US9905047B2 (en) Method and systems for generating a three dimensional model of a subject by iteratively generating meshes
CN107194962A (zh) 点云与平面图像融合方法及装置
CN109840508A (zh) 一个基于深度网络架构自动搜索的机器人视觉控制方法，设备及存储介质
CN103777852A (zh) 一种获取图像的方法、装置
US10169891B2 (en) Producing three-dimensional representation based on images of a person
WO2016018422A1 (en) Virtual changes to a real object
US10410400B1 (en) Digital image editing for images of folded objects
CN106023147B (zh) 一种基于gpu的快速提取线阵遥感影像中dsm的方法及装置
CN107248192A (zh) 立体图形绘制方法、装置、设备及存储介质
CN104574357B (zh) 定位带有已知图形的基准点的系统和方法
JP6863596B2 (ja) データ処理装置及びデータ処理方法
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
JP2023109570A (ja) 情報処理装置、学習装置、画像認識装置、情報処理方法、学習方法、画像認識方法
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
Rasoulzadeh et al. Strokes2Surface: Recovering Curve Networks From 4D Architectural Design Sketches
JP7386007B2 (ja) 画像処理方法、画像処理装置及び画像処理機器
KR20210084348A (ko) 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
Noborio et al. Image-based initial position/orientation adjustment system between real and virtual livers
CN106303153B (zh) 一种图像处理方法及装置
CN109333527B (zh) 一种与机器人的交互方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222

RJ01 Rejection of invention patent application after publication