CN113673541A - 一种用于目标检测的图像样本生成方法及应用 - Google Patents

一种用于目标检测的图像样本生成方法及应用 Download PDF

Info

Publication number
CN113673541A
CN113673541A CN202111224250.XA CN202111224250A CN113673541A CN 113673541 A CN113673541 A CN 113673541A CN 202111224250 A CN202111224250 A CN 202111224250A CN 113673541 A CN113673541 A CN 113673541A
Authority
CN
China
Prior art keywords
sample
image
area
enhanced
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111224250.XA
Other languages
English (en)
Other versions
CN113673541B (zh
Inventor
张元本
陈名国
廖丽曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weilin Software Co ltd
Original Assignee
Guangzhou Weilin Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weilin Software Co ltd filed Critical Guangzhou Weilin Software Co ltd
Priority to CN202111224250.XA priority Critical patent/CN113673541B/zh
Publication of CN113673541A publication Critical patent/CN113673541A/zh
Application granted granted Critical
Publication of CN113673541B publication Critical patent/CN113673541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于目标检测的图像样本生成方法及应用，该方法包括：对前景样本和/或背景样本进行分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定越界区；通过图像数据增强策略搜索空间对正样本及负样本进行数据增强；将增强后的正样本及负样本黏贴至前景样本、背景样本的不同的图像样本拼接区域内，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签；对含有正样本的混合样本使用残缺增强策略进行数据增强。本发明适用于数据量少的场景中增强数据，实现神经网络的训练，提高模型的MAP和AP50。

Description

一种用于目标检测的图像样本生成方法及应用
技术领域
本发明涉及目标检测技术领域，更具体的说，是一种用于目标检测的图像样本生成方法及应用。
背景技术
随着人工智能技术的蓬勃发展，深度学习技术已经在计算机视觉领域的分类、识别、检测、追踪、分割等领域获取突破性的进展。与传统的机器视觉方法相比，深度神经网络在大量富有局部相关特性的数据训练下，从各种数据集中提取有效的数据特征，具有高精度、强泛化、快速度的特点。深度学习虽然优于传统机器学习，但是深度学习需要建立在大量有相关性数据的基础上。在训练目标网络模型时，若样本量不足，则经常会导致目标网络模型训练过程欠拟合，使得目标网络模型效果变弱，进而导致目标网络模型无法实现分类任务或者回归任务。
在现有技术中，因为各种条件的限制和人工成本的约束，很多情况下都无法获得能使视觉任务模型训练达到的所需的数据量。针对数据量有限的问题，目前常用的解决方法是对目标图像数据进行增强扩充。
目前常用的数据增强方式分为以下两种：
第一种是判别方式。该种增强方式又可分为基于单样本数据增强和基于多样本数据增强。单样本的数据增强有几何变换类：水平垂直翻转、随机角度旋转、随机缩小放大、随机水平垂直平移、随机畸变、随机剪切等；颜色变换类：各种噪声、随机饱和度、随机对比度、色彩改变等。多样本的数据增强代表性的有Mixup、Cutout和CutMix，且多样本中还可以使用单样本增强方式进行增强。
该种判别方式虽然简单、快速，但是也存在以下缺陷：生成的增强数据可用特征不够丰富，很容易被神经网络学习到；对目标分类提升的性能明显，但目标检测提升有限。
第二种是生成方法，基于生成性对抗网络，用原数据进行新数据的生成。该种方式能生成与原数据相关又有区别的数据，缺点是如何设计一个合适的生成方式较难，如果设计不好，生成性对抗网络无法收敛或无法生成多样性且与原图有区别的图像，且训练过于复杂，图像中的目标和背景信息也不准确，即缺乏细节信息。
发明内容
本发明的目的在于提供一种用于目标检测的图像样本生成方法及应用，该方法适用于背景单一或数据量少的场景中增强数据，实现神经网络的训练，提高模型的MAP和AP50。
其技术方案如下：
本发明在一实施例中公开一种用于目标检测的图像样本生成方法，包括以下步骤：
数据样本分区：获取前景样本及背景样本，对获取的前景样本和/或背景样本进行分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定越界区；
数据样本增强：获取正样本及负样本，通过图像数据增强策略搜索空间对正样本及负样本进行数据增强，得到增强后的正样本及负样本；
数据样本拼接：将增强后的正样本及负样本根据图像融合黏贴至前景样本、背景样本的不同的图像样本拼接区域内，增强后的正样本、负样本在黏贴时避开前景样本、背景样本的限定越界区，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签；
混合样本增强：对含有正样本的混合样本使用残缺增强策略进行数据增强；
其中，前景样本为目标检测中带有目标检测任务框的样本，背景样本为目标检测中没有目标检测任务框的样本，正样本为需要识别或检测的物体类别的检测框的图像样本，负样本为不需要识别或检测的物体类别的检测框的图像样本。
优选地，在步骤数据样本分区中，具体包括以下步骤：
采用K近邻算法获取前景样本的所有类别的检测框；
将获取的所有类别的检测框之间互相做面积的交互比；
将交互比阈值大于0的检测框进行聚类，形成多个前景样本检测框分类群；
获取每个前景样本检测框分类群的左上角坐标的极小值及右上角坐标的极大值，形成代表框数据；
对获取的每个代表框数据进行过滤及建立限定越界区。
优选地，对获取的代表框数据进行过滤及建立限定越界区，具体包括：
计算每个代表框的面积，并取面积最大的代表框作为坐标分隔框；
坐标分隔框将前景样本分隔成多个区域，分别计算除坐标分隔框以外的多个区域的面积及前景样本的面积；
通过设定阈值过滤掉面积较小的区域以及长、宽畸形的区域，形成多个图像样本拼接区域；
针对每个图像样本拼接区域建立限定越界区。
优选地，针对每个图像样本拼接区域建立限定越界区，具体包括：
根据每个代表框在前景样本中所在的区域坐标，判断代表框的坐标是否落在同一图像样本拼接区域上；
若代表框的坐标落在同一图像样本拼接区域内，则以代表框的坐标为该图像样本拼接区域的限定越界区；
若代表框的坐标落在不同的图像样本拼接区域内，则将该代表框分割成多个拼接区域，并获取每一个拼接区域的越界区，遍历获取的每一个拼接区域的越界区，计算每一个拼接区域的越界区的中心点坐标，设定越界区相邻距离阈值，若任意两个拼接区域的越界区中心点之间的距离小于设定的越界区相邻距离阈值，则将该两个拼接区域的越界区合并，形成新的越界区，并以该形成的新的越界区为该图像样本拼接区域的限定越界区。
优选地，在步骤数据样本增强中，具体包括：
获取正样本及负样本；
建立图像数据增强策略搜索空间，图像数据增强策略搜索空间包括多种增强策略，设定每种增强策略的增强量级的取值范围；
设定参数N值及参数P值控制数据增强操作，参数N值表示对正样本或负样本进行N次图像数据转换操作，每次操作都均等的从图像数据增强策略搜索空间中选择一种进行图像变换操作；参数P值表示每一种增强策略执行的概率值；
根据设定的参数N值及参数P值，在图像数据增强策略搜索空间中对正样本及负样本进行数据增强，获得增强后的正样本及负样本。
优选地，将增强后的正样本及负样本根据图像融合黏贴至前景样本、背景样本的不同的图像样本拼接区域内，具体包括：
对前景样本和/或背景样本的图像样本拼接区域进行抽取；
判断抽取到的图像样本拼接区域是否存在限定越界区；
若抽到的图像样本拼接区域没有限定越界区，则计算该图像样本拼接区域的中心点坐标，将中心点坐标以设定概率数浮动位置，形成新的中心点坐标，以该新的中心点坐标为中心点，以需要黏贴的增强后的正样本、负样本的对角线长度的二分之一为边长划定区域范围，如果划定的区域范围没有超出抽取到的图像样本拼接区域的边界，则以新的中心点坐标为需要黏贴的正样本或负样本的中心点；如果划定的区域范围超出抽取到的图像样本拼接区域的边界，则按比例缩小对角线长度，并以缩小后的对角线长度为边长重新划定区域范围，直至区域范围没有超出抽取到的图像样本拼接区域的边界，并以缩小的比例乘以需要黏贴的正样本或负样本的边长，对正样本或负样本的边长进行缩放，并以新的中心点坐标为需要黏贴的正样本或负样本的中心点；
若抽取到的图像样本拼接区域有一个限定越界区，则计算该限定越界区每条边至该图像样本拼接区域的边界的值，并以获得的最大的值作为偏移值，通过偏移值及需要黏贴的增强后的正样本、负样本的对角线长度，获得需要黏贴的正样本或负样本的中心点；
若抽取到的图像样本拼接区域有两个限定越界区，则获取两个限定越界区的中心点的坐标，根据两个限定越界区的中心点坐标及需要黏贴的增强后的正样本、负样本的对角线长度，获得需要黏贴的正样本或负样本的中心点；
若抽取到的图像样本拼接区域存在的限定越界区大于两个，则舍弃该图像样本拼接区域，并重新抽取新的图像样本拼接区域。
优选地，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签，具体包括：
计算增强后的正样本、负样本的梯度场；
计算前景样本及背景样本的梯度场；
计算增强后的正样本、负样本拼接至前景样本、背景样本后的融合梯度场；
对融合梯度场进行求导计算，得到散度矩阵，并根据前景样本、背景样本的边缘像素点的像素值构造系数矩阵；根据散度矩阵及系数矩阵计算融合后的样本图像的各个像素点的像素值，得到融合后的样本图像；
根据融合后的样本图像计算正样本在前景样本、背景样本上的位置，即目标检测框的位置。
优选地，对含有正样本的混合样本使用残缺增强策略进行数据增强，具体包括：
对融合后的图像样本上的正样本及前景样本上的目标检测框进行限定范围的掩盖，该限定范围不超过目标检测框的一半区域；
每个目标检测框都有设定的概率被掩盖；
掩盖后的目标物体会将掩盖区域的像素点的像素值设置为0，从而形成带有掩膜的合成图像。
优选地，对获取的背景样本进行分区，具体包括：
对背景样本的宽和高进行均等划分，从而将背景样本划分为多个图像样本拼接区域；
设置背景样本的多个图像样本拼接区域的限定越界区为空。
本发明在另一实施例中还公开一种如上述任一项所述的用于目标检测的图像样本生成方法在外置式智能摄像头中的应用。
下面对本发明的优点或原理进行说明：
本发明通过在不同的图样数据集的基础上进行混合样本的数据增强，从而生成更多的训练样本，解决训练数据量不足的问题，适用于背景单一或数据量少的场景中增强数据，实现神经网络的训练，减少模型训练时产生的过拟合问题，提高模型的MAP和AP50。
需要说明的是：
上述“AP（Average Precision ）平均精度，根据PR曲线计算得出”；“AP50指取detector的IoU阈值大于0.5”。
上述“MAP(mean Average Precision) 各类别AP的平均值”。
附图说明
图1是本发明的图像样本生成方法的总的流程图；
图2是本发明的数据样本分区的流程图；
图3是本发明的数据样本增强的流程图；
图4是本发明一实施例中前景样本图；
图5是本发明一实施例中前景样本聚合图；
图6是本发明一实施例中前景样本分区图；
图7是本发明一实施例中前景样本限定越界区分割图；
图8是本发明一实施例中前景样本限定越界区合并图；
图9是本发明一实施例中背景样本分区图；
图10是本发明一实施例中图像合成区域图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示，本发明在一实施例中公开一种用于目标检测的图像样本生成方法，该生成方法包括以下步骤：
S1：数据样本分区：获取前景样本F S 及背景样本B S ，对获取的前景样本F S 和/或背景样本B S 进行分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定越界区。
本实施例首先将图像数据样本划分为前景样本F S 、背景样本B S 、正样本P S 、负样本N S 。其中，上述所述的前景样本F S 为目标检测中带有目标检测任务框的样本，前景样本F S 的样本数量和样本检测框的类别可根据任务特性或数据自身的情况进行选择。上述所述的背景样本B S 为目标检测中没有目标检测任务框的样本。上述所述正样本P S 为需要识别或检测的物体类别的检测框的图像样本。上述所述负样本N S 为不需要识别或检测的物体类别的检测框的图像样本。
如图2所示,在步骤数据样本分区中，具体包括以下步骤：
S11：采用K近邻算法获取前景样本F S 的所有类别的检测框。
S12：将获取的所有类别的检测框之间互相做面积的交互比；
S13：将交互比阈值大于0的检测框进行聚类，形成多个前景样本F S 检测框的分类群。
如图4至图8所示，在对前景样本F S 进行分区时，首先采用K近邻算法获取前景样本F S 的所有类别的检测框，如下所示：
Figure DEST_PATH_IMAGE001
；
其中，
Figure 639004DEST_PATH_IMAGE002
、
Figure DEST_PATH_IMAGE003
、
Figure 87303DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
分别表示前景样本F S 的所有类别的检测框的左上横坐标、左上 纵坐标、右下横坐标、右下纵坐标，
Figure 601461DEST_PATH_IMAGE006
表示检测框的类别，n 、m ......分别表示该类别检测 框的数量。
然后将检测框之间互相做面积的交互比，交互比的阈值设置为0，只要检测框与检测框之间存在交互，则需要聚类，形成检测框的分类群。
S14：获取每个前景样本F S 检测框分类群的左上角坐标的极小值及右上角坐标的极大值，形成代表框数据。
具体的，对前景样本F S 的检测框聚类后，形成多个检测框分类群的分区。取检测框分类群的左上角坐标的极小值及右上角坐标的极大值，如下所示：
Figure DEST_PATH_IMAGE007
；
Figure 527828DEST_PATH_IMAGE008
；
形成代表框数据
Figure DEST_PATH_IMAGE009
，
Figure 873359DEST_PATH_IMAGE010
；
其中，[
Figure DEST_PATH_IMAGE011
]、
Figure 492559DEST_PATH_IMAGE012
]分别表示检测框分类群左上角坐标及右下角坐标，n表示 每个检测框分类群里面的检测框数量，
Figure DEST_PATH_IMAGE013
分别表示每一个检测框分类群 的代表框，m表示聚类后生成的检测框分类群的群数。
S15：对获取的每个代表框数据进行过滤及建立限定越界区。
获得代表框数据
Figure 290751DEST_PATH_IMAGE009
后，接着对代表框数据
Figure 224072DEST_PATH_IMAGE009
进行过滤及建立限定越界区，具体包 括：
计算每个代表框的面积，并取面积最大的代表框作为坐标分隔框；
坐标分隔框将前景样本F S 分隔成多个区域，分别计算除坐标分隔框以外的多个区域的面积及前景样本F S 的面积；
通过设定阈值过滤掉面积较小的区域以及长、宽畸形的区域，形成多个图像样本拼接区域；
针对每个图像样本拼接区域建立限定越界区。
具体的，计算每个代表框的面积，接着取面积最大值的代表框坐为坐标分隔框
Figure 689688DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
；
如图6所示，坐标分隔框
Figure 417473DEST_PATH_IMAGE014
把整个前景样本F S 分隔成九个区域，然后计算八个 区域A、B、C、D、E、F、G、H的面积及整个前景样本F S 的面积，如下所示：
Figure 458286DEST_PATH_IMAGE016
；
Figure DEST_PATH_IMAGE017
；
Figure 726456DEST_PATH_IMAGE018
；
Figure DEST_PATH_IMAGE019
；
Figure 984262DEST_PATH_IMAGE020
；
Figure DEST_PATH_IMAGE021
；
Figure 945265DEST_PATH_IMAGE022
；
Figure DEST_PATH_IMAGE023
；
Figure 983628DEST_PATH_IMAGE024
；
其中，
Figure DEST_PATH_IMAGE025
、
Figure 993173DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE027
、
Figure 167802DEST_PATH_IMAGE028
分别为坐标分隔框
Figure 502968DEST_PATH_IMAGE014
的坐标，
Figure DEST_PATH_IMAGE029
、
Figure 763048DEST_PATH_IMAGE030
为前景样本F S 的宽和 高，
Figure DEST_PATH_IMAGE031
、
Figure 373021DEST_PATH_IMAGE032
、
Figure DEST_PATH_IMAGE033
、
Figure 667736DEST_PATH_IMAGE034
、
Figure DEST_PATH_IMAGE035
、
Figure 173804DEST_PATH_IMAGE036
、
Figure DEST_PATH_IMAGE037
、
Figure 157066DEST_PATH_IMAGE038
、
Figure DEST_PATH_IMAGE039
分别表示八个区域的面积以及整个前景样本F S 的面 积。
然后将所有区域的面积和前景样本F S 的面积进行对比，并设定阈值，通过该阈值过滤掉面积较小的区域，面积较小的区域被丢弃。接着通过设定长和宽的阈值，获取剩下的区域的长和宽，通过长和宽进行二次过滤，丢弃长和宽畸形的区域。把再次剩下的区域作为本实施例的图像样本拼接区域。
如下所示：
Figure 836309DEST_PATH_IMAGE040
；
其中，
Figure DEST_PATH_IMAGE041
表示图像样本拼接区域的集合，m表示前景样本F S 的分区数，
Figure 923214DEST_PATH_IMAGE013
分别表示每一个检测框分类群的代表框。
如图9所示，对背景样本B S 进行分区，可直接将整个背景样本B S 的宽
Figure 662500DEST_PATH_IMAGE042
和高
Figure DEST_PATH_IMAGE043
各自 划分为三等分，从而形成九个图像样本拼接区域，每个图像样本拼接区域的限定越界区均 设置为空。在本实施例中，可对背景样本B S 进行划分，也可选择不划分背景样本B S 。
获得图像样本拼接区域后，接着针对每个图像样本拼接区域建立限定界区，具体包括：
根据每个代表框在前景样本F S 中所在的区域坐标，判断代表框的坐标是否落在同一图像样本拼接区域内；
若代表框的坐标落在同一图像样本拼接区域内，则以该代表框的坐标为该图像样本拼接区域的越界区；
若代表框的坐标落在不同的图像样本拼接区域，则将该代表框分割成多个拼接区域，并获取每一个拼接区域的越界区，遍历获取的每一个拼接区域的越界区，计算每一个拼接区域的越界区的中心点坐标，并设定越界区相邻距离阈值，若任意两个拼接区域的越界区中心点之间的距离小于设定的越界区相邻距离阈值，则将该两个拼接区域的越界区合并，形成新的越界区，并以该形成的新的越界区为该图像样本拼接区域的限定越界区。
具体的，如果某些代表框的坐标落在图像样本拼接区域上，则以该代表框所在的 坐标为该图像样本拼接区域的限定越界区，如图6中代表框K1、K3，K1和K3则分别为其所在 的图像样本拼接区域的限定越界区。如果某些代表框落在两个甚至多个图像样本拼接区域 内，如图7中代表框K6所示落在两个图像样本拼接区域内，则通过图像拼接区域和代表框的 坐标，判断代表框是否落在不同的图像样本拼接区域内。若是，则对代表框进行分割，将代 表框分割成多个区域，接着获取代表框落在的每一个图像样本拼接区域的限定越界区
Figure 631593DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE045
；
其中，
Figure 786630DEST_PATH_IMAGE046
分别表示落在图像样本拼接区域n的限定越界区的坐标，
Figure DEST_PATH_IMAGE047
表示落在图像样本拼接区域m的限定越界区的坐标。
然后遍历每一个图像样本拼接区域的限定越界区
Figure 790358DEST_PATH_IMAGE044
，并求得每一个越界区
Figure 700546DEST_PATH_IMAGE044
的中 心点坐标，当任意越界区
Figure 625776DEST_PATH_IMAGE044
的中心点之间的距离小于越界区相邻距离阈值，则把该些限定 越界区
Figure 584505DEST_PATH_IMAGE044
合并，形成新的限定越界区
Figure 442740DEST_PATH_IMAGE048
。再把新的限定越界区
Figure 461511DEST_PATH_IMAGE044
合并时，可参照样本步骤 S14。
如图3所示，数据样本分区操作完成后，接着进行数据样本的增强操作，具体为：
S2：数据样本增强：获取正样本P S 及负样本N S ，通过图像数据增强策略搜索空间对正样本P S 及负样本N S 进行数据增强，得到增强后的正样本P S 及负样本N S 。
进一步地，数据样本增强具体包括以下步骤：
S21：获取正样本P S 及负样本N S ；
S22：建立图像数据增强策略搜索空间，图像数据增强策略搜索空间包括多种增强策略，设定每种增强策略的增强量级的取值范围；
S23：设定参数N值及参数P值控制数据增强操作，参数N值表示对正样本P S 或负样本N S 进行N次图像数据转换操作，每次操作都均等的从图像数据增强策略搜索空间中选择一种进行图像变换操作；参数P值表示每一种增强策略执行的概率值；
S24：根据设定的参数N值及参数P值，在图像数据增强策略搜索空间中对正样本P S 及负样本N S 进行数据增强，获得增强后的正样本P S 及负样本N S 。
优选地，参数N值、参数P值分别表示在图像数据增强策略搜索空间内随机进行N次数据转换操作，其中每种数据转换操作以概率P被执行。本实施例的图像数据增强策略搜索空间包括12种图像增强策略，并通过设置每种增强策略的增强量级的取值范围，令每次的数据转换幅度都在允许的范围内随机选择。
本实施例的所有增强操作分为两类，一类是形状变换，使图像数据的形状发生改变；另一类是颜色变换，改变图像数据中的像素值。其中某些变换可能还包含有一些子变换，如噪声扰动包含有高斯噪声、随机噪声等。
当参数N大于1时，图像数据均匀的进行颜色和形状变换，即首先从颜色变换中随机选择进行变换，然后从形状变换中随机选择进行变换。参数P值，表示单次图像数据增强策略有P的概率会被进行增强，也有1-P的概率会保持不变。
利用自动搜索在图像数据增强策略搜索空间中对正样本P S 及负样本N S 进行数据增强，正样本P S 及负样本N S 的每张图像经过概率P决定是否变换。如果需要变换，则经过图像数据增强策略搜索空间进行N次图像变换后，获得增强后的图像。
其中每张图像可选的图像增强策略如下表所示：
表1 图像增强策略
Figure DEST_PATH_IMAGE049
正样本P S 及负样本N S 增强后，接着执行数据样本的拼接操作。
S3：数据样本拼接：将增强后的正样本P S 及负样本N S 根据图像融合黏贴至前景样本F S 、背景样本B S 的不同的图像样本拼接区域内，增强后的正样本P S 、负样本N S 在黏贴时避开前景样本F S 、背景样本的限定越界区，根据正样本P S 及负样本N S 在前景样本F S 及背景样本B S 中的所在位置，计算目标检测框的坐标，获得增强后的前景样本F S 、背景样本B S ，以及增强后的前景样本F S 、背景样本B S 的数据标签。
其中，将增强后的正样本P S 及负样本N S 根据图像融合黏贴至前景样本F S 、背景样本B S 的不同图像样本拼接区域内，具体包括：
S31：对前景样本F S 和/或背景样本B S 的图像样本拼接区域进行抽取；
S32：判断抽取到的图像样本拼接区域是否存在限定越界区；
S33：若抽到的图像样本拼接区域没有限定越界区，则计算该图像样本拼接区域的中心点坐标，将中心点坐标以设定概率数浮动位置，形成新的中心点坐标，以该新的中心点坐标为中心点，以需要黏贴的增强后的正样本P S 、负样本N S 的对角线长度的二分之一为边长划定区域范围，如果划定的区域范围没有超出抽取到的图像样本拼接区域的边界，则以新的中心点坐标为需要黏贴的正样本P S 或负样本N S 的中心点，如果划定的区域范围超出抽取到的图像样本拼接区域的边界，则按比例缩小对角线长度，并以缩小后的对长度作为边长重新划定区域范围，直至区域范围没有超出抽取到的图像样本拼接区域的边界，并以缩小的比例乘以需要黏贴的正样本P S 或负样本N S 的边长，对正样本P S 或负样本N S 的边长进行缩放，并以该新的中心点坐标为需要黏贴的正样本P S 或负样本N S 的中心点；
S34：若抽取到的图像样本拼接区域有一个限定越界区，则计算该限定越界区每条边至该图像样本拼接区域的边界的值，并以获得的最大的值作为偏移值，通过偏移值及需要黏贴的增强后的正样本P S 、负样本N S 的对角线长度，获得需要黏贴的正样本P S 或负样本N S 的中心点；
S35：若抽取到的图像样本拼接区域有两个限定越界区，则获取两个限定越界区的中心点的坐标，根据两个限定越界区的中心点坐标及需要黏贴的增强后的正样本P S 、负样本N S 的对角线长度，获得需要黏贴的正样本P S 或负样本N S 的中心点；
S36：若抽取到的图像样本拼接区域存在的限定越界区大于两个，则舍弃该图像样本拼接区域，并重新抽取新的图样样本拼接区域。
具体的，在对前景样本F S 、背景样本B S 的图像样本拼接区域进行抽取之前，首先建立图像样本拼接区域的选择规则，保证前景样本F S 、背景样本B S 的所有图像样本拼接区域都有被抽中和没有被抽中的机率，每个前景样本F S 、背景样本B S 都有固定的分区阈值，保证每次抽取时都有图像样本拼接区域被抽取出来。
对于需要黏贴的增强后的正样本P S 、负样本N S ，需要先计算该样本的对角线的长度：
Figure 670776DEST_PATH_IMAGE050
；
其中，a，b分别表示增强后的正样本P S 或负样本N S 的相邻两边的边长，
Figure DEST_PATH_IMAGE051
表示边长a，b之间的夹角，
Figure 433195DEST_PATH_IMAGE051
只有90度和经过数据增强的畸变后的角度。
若抽取到的图像样本拼接区域没有存在任何限定越界区时，则首先求得该图像样 本拼接区域的中心点坐标
Figure 912980DEST_PATH_IMAGE052
，
Figure DEST_PATH_IMAGE053
；
Figure 633812DEST_PATH_IMAGE054
；
Figure DEST_PATH_IMAGE055
；
其中，
Figure 268055DEST_PATH_IMAGE056
分别表示从A到H图像样本拼接区域，每个区域的中心点坐标的 集合。
然后给该中心点设定一个概率数
Figure DEST_PATH_IMAGE057
，让中心点坐标
Figure 630904DEST_PATH_IMAGE052
进行概率数
Figure 666993DEST_PATH_IMAGE057
的浮动位置， 形成新的中心点
Figure 558725DEST_PATH_IMAGE058
，
Figure DEST_PATH_IMAGE059
；
以新的中心点为
Figure 742582DEST_PATH_IMAGE058
为中心点坐标，以需要黏贴的增强样本的对角线的c/2为边长， 划定区域范围。如果在以对角线的c/2为边长的情况下，划定的区域范围没有超出抽取到图 像样本拼接区域的边界，则以中心点
Figure 846804DEST_PATH_IMAGE058
为需要黏贴的正样本P S 或负样本N S 的中心点。如果划 定的区域范围超过抽取到的图像样本拼接区域的边界，则按比例缩小对角线的c/2，并以缩 小的比例乘以需要黏贴的正样本P S 或负样本N S 的边长，从而对正样本P S 、负样本N S 的边长进 行缩放，并以新的中心点
Figure 737400DEST_PATH_IMAGE058
为黏贴的中心点。
若抽取到的图像样本拼接区域有一个越界区，则计算该限定越界区每条边至该图 像样本拼接区域的边界的值，并以获得的最大的值作为偏移值
Figure 331192DEST_PATH_IMAGE060
，
Figure DEST_PATH_IMAGE061
；
接着通过以下公式获取中心点的偏移值，
Figure 471187DEST_PATH_IMAGE062
；
其中，
Figure DEST_PATH_IMAGE063
表示该偏移值以一定范围数进行移动，
Figure 379100DEST_PATH_IMAGE064
表示对角线的c/2的缩放比例， 如果偏移值超过对角线的c/2，则以一定比例缩小对角线的长度，并以缩小的比例乘以需要 黏贴的正样本P S 或负样本N S 的边长，从而对正样本P S 或负样本N S 的边长进行缩放，并以中心 点
Figure 186519DEST_PATH_IMAGE058
为黏贴的中心点进行正样本P S 或负样本N S 的黏贴。
若抽取到的图像样本拼接区域有两个限定越界区，则获取两个限定越界区H1和H2 的中心点坐标
Figure 888896DEST_PATH_IMAGE066
。然后根据限定越界区H1和限定越界区H2的中心点 坐标判定两个限定越界区是横向排列还是竖向排列。如果该两个限定越界区是竖向排列 的，则根据两个限定越界区的中心点坐标得到两个限定越界区的平均中心线的坐标
Figure DEST_PATH_IMAGE067
，
Figure 283230DEST_PATH_IMAGE067
=
Figure 729255DEST_PATH_IMAGE068
，并取该平均中心线上的一个坐标作为拼接中心点坐标的
Figure DEST_PATH_IMAGE069
值，
Figure 391180DEST_PATH_IMAGE069
的取值可 根据限定越界区的情况限定。
然后根据两个限定越界区的中心点坐标求得中心点到边角的距离L1，L2，
Figure 264459DEST_PATH_IMAGE070
；
Figure DEST_PATH_IMAGE071
；
其中，
Figure 644624DEST_PATH_IMAGE072
、
Figure DEST_PATH_IMAGE073
、
Figure 425498DEST_PATH_IMAGE074
Figure DEST_PATH_IMAGE075
分别表示限定越界区H1和H2的坐标值。
然后根据以下公式计算中心点k，
Figure 941930DEST_PATH_IMAGE076
；
接着根据以下公式计算新的中心点坐标
Figure DEST_PATH_IMAGE077
，
Figure 986110DEST_PATH_IMAGE078
；
若中心点的偏移值超过对角线的c/2，则以一定比例缩小对角线的长度，并以缩小 的比例乘以需要黏贴的正样本P S 或负样本N S 的边长，从而对正样本P S 或负样本N S 的边长进 行缩放，并以中心点
Figure 853572DEST_PATH_IMAGE058
为黏贴的中心点进行正样本P S 或负样本N S 的黏贴。
正样本P S 或负样本N S 黏贴的中心点确定后，接着此采用泊松融合将正样本P S 、负样本N S 黏贴至前景样本F S 、背景样本B S 上。
根据正样本P S 及负样本N S 在前景样本F S 及背景样本B S 中的所在位置，计算目标检测框的坐标，获得增强后的前景样本F S 、背景样本B S ，以及增强后的前景样本F S 、背景样本B S 的数据标签，具体包括：
计算增强后的正样本P S 及负样本N S 的梯度场；
计算前景样本F S 及背景样本B S 的梯度场；
计算正样本P S 、负样本N S 黏贴至前景样本F S 、背景样本B S 后的融合梯度场；
对融合梯度场进行求导计算，得到散度矩阵，并根据前景样本F S 、背景样本B S 的边缘像素点的像素值构造系数矩阵；
根据散度矩阵及系数矩阵计算融合后的样本图像的各个像素点的像素值，得到融合后的样本图像；
根据融合后的样本图像计算正样本P S 在前景样本F S 、背景样本B S 上的位置，即目标检测框的位置。
如图10所示，边缘像素点为正样本P S 、负样本N S 的边缘上的像素点，边缘像素点的像素值为已知，构成了对于融合后图像的约束条件，将这些约束条件以矩阵的形式进行展现，即为系数矩阵。
如图10所示，图10为本发明一个实施例的图像合成区域图，在图10中，正样本P S 或 负样本N S 的源图像为g，源图像g的梯度为V。将正样本P S 或负样本N S 的源图像g插入到背景样 本B S 的目标图像s的分区
Figure DEST_PATH_IMAGE079
中，分区
Figure 641399DEST_PATH_IMAGE079
具有边界
Figure 481179DEST_PATH_IMAGE080
。融合后的图像如图10中从左至右的第三 幅图所示，在融合后的图像中，目标图像s的像素值用函数f*描述，而融合后的图像在分区
Figure 758577DEST_PATH_IMAGE079
的像素值用函数f描述。
如果将散度矩阵记为b，将系数矩阵记为A，则融合后所得到的样本图像中各个像素点的像素值以矩阵的形式记为x,则可以建立如下所示的公式：Ax＝b。其中，A和b均为已知，通过上述公式即可计算出x的取值，即计算出样本图样中各个像素点的像素值，从而得到融合后的样本图像。
其中，泊松融合的公式如下：
Figure DEST_PATH_IMAGE081
；
Figure 785439DEST_PATH_IMAGE082
；
Figure DEST_PATH_IMAGE083
；
其中，正样本P S 、负样本N S 的源图像g插入到前景样本F S 、背景样本B S 的目标图像s 的分区
Figure 173695DEST_PATH_IMAGE079
中，分区
Figure 867981DEST_PATH_IMAGE079
具有边界
Figure 817745DEST_PATH_IMAGE080
，目标图像s的像素值和像素位置的关系可以用函数f*来描 述，而融合后的图像在分区
Figure 597482DEST_PATH_IMAGE079
的像素值和像素位置的关系则用函数f来描述，
Figure 789429DEST_PATH_IMAGE084
指图像函数f 的梯度，
Figure DEST_PATH_IMAGE085
指的是正样本P S 、负样本N S 的源图像g的梯度。
根据合成后的图像样本计算正样本P S 融合到前景样本F S 、背景样本B S 上的位置，即为正样本P S 的目标检测框的位置。
具体的，求出融合图像的中心点坐标
Figure 72643DEST_PATH_IMAGE058
，
Figure 957422DEST_PATH_IMAGE086
；
其中，
Figure DEST_PATH_IMAGE087
分别表示融合图像的中心点的坐标值。
接着求出每个分图像样本拼接区域上的正样本P S 的坐标，公式为：
Figure 958876DEST_PATH_IMAGE088
；
Figure DEST_PATH_IMAGE089
；
Figure 954514DEST_PATH_IMAGE090
；
Figure DEST_PATH_IMAGE091
；
其中，
Figure 888972DEST_PATH_IMAGE092
和
Figure DEST_PATH_IMAGE093
分别表示为在A到H的每一个图像样本拼接区域里面拼黏贴的 增强后的正样本P S 的宽和高。
S4：混合样本增强：对含有正样本P S 的混合样本使用残缺增强策略进行数据增强。
具体包括；
S41：对融合后的图像样本上的正样本P S 及前景样本F S 上的目标检测框进行限定范围的掩盖，该限定范围不超过目标检测框的一半区域；
S42：每个目标检测框都有设定的概率被掩盖；
S43：掩盖后的目标物体会将掩盖区域的像素点的像素值设置为0，从而形成带有掩膜的合成图像。
具体的，设置概率P，对融合图像上的正样本P S 及前景样本F S 上的目标物体的目标 检测框进行限定范围的覆盖。每个带有目标物体的目标检测框都有概率P会被掩盖，而掩盖 的范围会在[0,
Figure 882336DEST_PATH_IMAGE094
]和[0,
Figure DEST_PATH_IMAGE095
]内滑动。
在另一实施例中，上述的用于目标检测图像样本的生成方法主要用于外置式智能摄像头中。优选的，该外置式智能摄像头可为安装于智能冰箱上的摄像头。
本发明通过在不同的图样数据集的基础上进行混合样本的数据增强，从而生成更多的训练样本，解决训练数据量不足的问题，减少模型训练时产生的过拟合问题。
本发明所采用的数据增强方法，可以利用现有的数据标签直接转换成增强后的数据的标签，大大节省人工标注时间，本发明采用的混合数据增强有利于图像特征的提取，通过模型训练可以提高模型的MAP和AP50，提高模型的鲁棒性。
本发明的实施方式不限于此，按照本发明的上述内容，利用本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，本发明还可以做出其它多种形式的修改、替换或组合，均落在本发明权利保护范围之内。

Claims (10)

1.一种用于目标检测的图像样本生成方法，其特征在于，包括以下步骤：
数据样本分区：获取前景样本及背景样本，对获取的前景样本和/或背景样本进行分区，得到多个图像样本拼接区域，并分别建立多个图像样本拼接区域的限定越界区；
数据样本增强：获取正样本及负样本，通过图像数据增强策略搜索空间对正样本及负样本进行数据增强，得到增强后的正样本及负样本；
数据样本拼接：将增强后的正样本及负样本根据图像融合黏贴至前景样本、背景样本的不同的图像样本拼接区域内，增强后的正样本、负样本在黏贴时避开前景样本、背景样本的限定越界区，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签；
混合样本增强：对含有正样本的混合样本使用残缺增强策略进行数据增强；
其中，前景样本为目标检测中带有目标检测任务框的样本，背景样本为目标检测中没有目标检测任务框的样本，正样本为需要识别或检测的物体类别的检测框的图像样本，负样本为不需要识别或检测的物体类别的检测框的图像样本。
2.如权利要求1所述的用于目标检测的图像样本生成方法，其特征在于，在步骤数据样本分区中，具体包括以下步骤：
采用K近邻算法获取前景样本的所有类别的检测框；
将获取的所有类别的检测框之间互相做面积的交互比；
将交互比阈值大于零的检测框进行聚类，形成多个前景样本检测框分类群；
获取每个前景样本检测框分类群的左上角坐标的极小值及右上角坐标的极大值，形成代表框数据；
对获取的每个代表框数据进行过滤及建立限定越界区。
3.如权利要求2所述的用于目标检测的图像样本生成方法，其特征在于，对获取的代表框数据进行过滤及建立限定越界区，具体包括：
计算每个代表框的面积，并取面积最大的代表框作为坐标分隔框；
坐标分隔框将前景样本分隔成多个区域，分别计算除坐标分隔框以外的多个区域的面积及前景样本的面积；
通过设定阈值过滤掉面积较小的区域以及长、宽畸形的区域，形成多个图像样本拼接区域；
针对每个图像样本拼接区域建立限定越界区。
4.如权利要求3所述的用于目标检测的图像样本生成方法，其特征在于，针对每个图像样本拼接区域建立限定越界区，具体包括：
根据每个代表框在前景样本中所在的区域坐标，判断代表框的坐标是否落在同一图像样本拼接区域上；
若代表框的坐标落在同一图像样本拼接区域内，则以代表框的坐标为该图像样本拼接区域的限定越界区；
若代表框的坐标落在不同的图像样本拼接区域内，则将该代表框分割成多个拼接区域，并获取每一个拼接区域的越界区，遍历获取的每一个拼接区域的越界区，计算每一个拼接区域的越界区的中心点坐标，设定越界区相邻距离阈值，若任意两个拼接区域的越界区中心点之间的距离小于设定的越界区相邻距离阈值，则将该两个拼接区域的越界区合并，形成新的越界区，并以该形成的新的越界区为该图像样本拼接区域的限定越界区。
5.如权利要求1至4任一项所述的用于目标检测的图像样本生成方法，其特征在于，在步骤数据样本增强中，具体包括：
获取正样本及负样本；
建立图像数据增强策略搜索空间，图像数据增强策略搜索空间包括多种增强策略，设定每种增强策略的增强量级的取值范围；
设定参数N值及参数P值控制数据增强操作，参数N值表示对正样本或负样本进行N次图像数据转换操作，每次操作都均等的从图像数据增强策略搜索空间中选择一种进行图像变换操作；参数P值表示每一种增强策略执行的概率值；
根据设定的参数N值及参数P值，在图像数据增强策略搜索空间中对正样本及负样本进行数据增强，获得增强后的正样本及负样本。
6.如权利要求5所述的用于目标检测的图像样本生成方法，其特征在于，将增强后的正样本及负样本根据图像融合黏贴至前景样本、背景样本的不同的图像样本拼接区域内，具体包括：
对前景样本和/或背景样本的图像样本拼接区域进行抽取；
判断抽取到的图像样本拼接区域是否存在限定越界区；
若抽到的图像样本拼接区域没有限定越界区，则计算该图像样本拼接区域的中心点坐标，将中心点坐标以设定概率数浮动位置，形成新的中心点坐标，以该新的中心点坐标为中心点，以需要黏贴的增强后的正样本、负样本的对角线长度的二分之一为边长划定区域范围，如果划定的区域范围没有超出抽取到的图像样本拼接区域的边界，则以新的中心点坐标为需要黏贴的正样本或负样本的中心点；如果划定的区域范围超出抽取到的图像样本拼接区域的边界，则按比例缩小对角线长度，并以缩小后的对角线长度为边长重新划定区域范围，直至区域范围没有超出抽取到的图像样本拼接区域的边界，并以缩小的比例乘以需要黏贴的正样本或负样本的边长，对正样本或负样本的边长进行缩放，并以新的中心点坐标为需要黏贴的正样本或负样本的中心点；
若抽取到的图像样本拼接区域有一个限定越界区，则计算该限定越界区每条边至该图像样本拼接区域的边界的值，并以获得的最大的值作为偏移值，通过偏移值及需要黏贴的增强后的正样本、负样本的对角线长度，获得需要黏贴的正样本或负样本的中心点；
若抽取到的图像样本拼接区域有两个限定越界区，则获取两个限定越界区的中心点的坐标，根据两个限定越界区的中心点坐标及需要黏贴的增强后的正样本、负样本的对角线长度，获得需要黏贴的正样本或负样本的中心点；
若抽取到的图像样本拼接区域存在的限定越界区大于两个，则舍弃该图像样本拼接区域，并重新抽取新的图像样本拼接区域。
7.如权利要求6所述的用于目标检测的图像样本生成方法，其特征在于，根据正样本及负样本在前景样本及背景样本中的所在位置，计算目标检测框的坐标，获得增强后的前景样本、背景样本，以及增强后的前景样本、背景样本的数据标签，具体包括：
计算增强后的正样本、负样本的梯度场；
计算前景样本及背景样本的梯度场；
计算增强后的正样本、负样本拼接至前景样本、背景样本后的融合梯度场；
对融合梯度场进行求导计算，得到散度矩阵，并根据前景样本、背景样本的边缘像素点的像素值构造系数矩阵；根据散度矩阵及系数矩阵计算融合后的样本图像的各个像素点的像素值，得到融合后的样本图像；
根据融合后的样本图像计算正样本在前景样本、背景样本上的位置，即目标检测框的位置。
8.如权利要求7所述的用于目标检测的图像样本生成方法，其特征在于，对含有正样本的混合样本使用残缺增强策略进行数据增强，具体包括：
对融合后的图像样本上的正样本及前景样本上的目标检测框进行限定范围的掩盖，该限定范围不超过目标检测框的一半区域；
每个目标检测框都有设定的概率被掩盖；
掩盖后的目标物体会将掩盖区域的像素点的像素值设置为0，从而形成带有掩膜的合成图像。
9.如权利要求1所述的用于目标检测的图像样本生成方法，其特征在于，对获取的背景样本进行分区，具体包括：
对背景样本的宽和高进行均等划分，从而将背景样本划分为多个图像样本拼接区域；
设置背景样本的多个图像样本拼接区域的限定越界区为空。
10.一种如权利要求1至9任一项所述的用于目标检测的图像样本生成方法在外置式智能摄像头中的应用。
CN202111224250.XA 2021-10-21 2021-10-21 一种用于目标检测的图像样本生成方法及应用 Active CN113673541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111224250.XA CN113673541B (zh) 2021-10-21 2021-10-21 一种用于目标检测的图像样本生成方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111224250.XA CN113673541B (zh) 2021-10-21 2021-10-21 一种用于目标检测的图像样本生成方法及应用

Publications (2)

Publication Number Publication Date
CN113673541A true CN113673541A (zh) 2021-11-19
CN113673541B CN113673541B (zh) 2022-02-11

Family

ID=78550714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111224250.XA Active CN113673541B (zh) 2021-10-21 2021-10-21 一种用于目标检测的图像样本生成方法及应用

Country Status (1)

Country Link
CN (1) CN113673541B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418898A (zh) * 2022-03-21 2022-04-29 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN114677541A (zh) * 2022-03-23 2022-06-28 成都智元汇信息技术股份有限公司 一种基于目标提取黏合样本集的方法及系统
CN116385455A (zh) * 2023-05-22 2023-07-04 北京科技大学 基于梯度场标签的浮选泡沫图像实例分割方法和装置
CN117952947A (zh) * 2024-02-02 2024-04-30 正泰集团研发中心(上海)有限公司 用于产品缺陷检测的方法、产品缺陷检测装置及电子设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794515A (zh) * 2010-03-29 2010-08-04 河海大学 基于协方差和二叉树支持向量机的目标检测系统及方法
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN108764082A (zh) * 2018-05-17 2018-11-06 淘然视界(杭州)科技有限公司 一种飞机目标检测方法、电子设备、存储介质及系统
CN109753949A (zh) * 2019-01-31 2019-05-14 南京邮电大学 一种基于深度学习的多视窗交通标志检测方法
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
CN110163053A (zh) * 2018-08-02 2019-08-23 腾讯科技（深圳）有限公司 生成人脸识别的负样本的方法、装置及计算机设备
CN110188705A (zh) * 2019-06-02 2019-08-30 东北石油大学 一种适用于车载系统的远距离交通标志检测识别方法
US20190377940A1 (en) * 2018-06-12 2019-12-12 Capillary Technologies International Pte Ltd People detection system with feature space enhancement
US20200193163A1 (en) * 2014-02-28 2020-06-18 Second Spectrum, Inc. Methods and systems of combining video content with one or more augmentations to produce augmented video
US20200242153A1 (en) * 2019-01-29 2020-07-30 Samsung Electronics Co., Ltd. Method, apparatus, electronic device and computer readable storage medium for image searching
CN111626350A (zh) * 2020-05-25 2020-09-04 腾讯科技（深圳）有限公司 目标检测模型训练方法、目标检测方法及装置
US20200302169A1 (en) * 2019-03-19 2020-09-24 Booz Allen Hamilton Inc. Method and system for classifying an input data set within a data category using multiple data recognition tools
CN111738231A (zh) * 2020-08-06 2020-10-02 腾讯科技（深圳）有限公司 目标对象检测方法、装置、计算机设备和存储介质
CN112258461A (zh) * 2020-10-13 2021-01-22 江南大学 一种基于卷积神经网络的肺结节检测方法
CN112508836A (zh) * 2020-12-14 2021-03-16 磐基技术有限公司 一种基于标注框拼接的深度学习图像增强方法
CN112561881A (zh) * 2020-12-16 2021-03-26 南京莱斯电子设备有限公司 基于评价模型的红外图像自适应数据增强方法
CN113177439A (zh) * 2021-04-08 2021-07-27 中通服咨询设计研究院有限公司 一种行人翻越马路护栏检测方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794515A (zh) * 2010-03-29 2010-08-04 河海大学 基于协方差和二叉树支持向量机的目标检测系统及方法
US20200193163A1 (en) * 2014-02-28 2020-06-18 Second Spectrum, Inc. Methods and systems of combining video content with one or more augmentations to produce augmented video
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN108764082A (zh) * 2018-05-17 2018-11-06 淘然视界(杭州)科技有限公司 一种飞机目标检测方法、电子设备、存储介质及系统
US20190377940A1 (en) * 2018-06-12 2019-12-12 Capillary Technologies International Pte Ltd People detection system with feature space enhancement
CN110163053A (zh) * 2018-08-02 2019-08-23 腾讯科技（深圳）有限公司 生成人脸识别的负样本的方法、装置及计算机设备
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
US20200242153A1 (en) * 2019-01-29 2020-07-30 Samsung Electronics Co., Ltd. Method, apparatus, electronic device and computer readable storage medium for image searching
CN109753949A (zh) * 2019-01-31 2019-05-14 南京邮电大学 一种基于深度学习的多视窗交通标志检测方法
US20200302169A1 (en) * 2019-03-19 2020-09-24 Booz Allen Hamilton Inc. Method and system for classifying an input data set within a data category using multiple data recognition tools
CN110188705A (zh) * 2019-06-02 2019-08-30 东北石油大学 一种适用于车载系统的远距离交通标志检测识别方法
CN111626350A (zh) * 2020-05-25 2020-09-04 腾讯科技（深圳）有限公司 目标检测模型训练方法、目标检测方法及装置
CN111738231A (zh) * 2020-08-06 2020-10-02 腾讯科技（深圳）有限公司 目标对象检测方法、装置、计算机设备和存储介质
CN112258461A (zh) * 2020-10-13 2021-01-22 江南大学 一种基于卷积神经网络的肺结节检测方法
CN112508836A (zh) * 2020-12-14 2021-03-16 磐基技术有限公司 一种基于标注框拼接的深度学习图像增强方法
CN112561881A (zh) * 2020-12-16 2021-03-26 南京莱斯电子设备有限公司 基于评价模型的红外图像自适应数据增强方法
CN113177439A (zh) * 2021-04-08 2021-07-27 中通服咨询设计研究院有限公司 一种行人翻越马路护栏检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418898A (zh) * 2022-03-21 2022-04-29 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN114418898B (zh) * 2022-03-21 2022-07-26 南湖实验室 一种基于目标重叠度计算和自适应调整的数据增强方法
CN114677541A (zh) * 2022-03-23 2022-06-28 成都智元汇信息技术股份有限公司 一种基于目标提取黏合样本集的方法及系统
CN116385455A (zh) * 2023-05-22 2023-07-04 北京科技大学 基于梯度场标签的浮选泡沫图像实例分割方法和装置
CN116385455B (zh) * 2023-05-22 2024-01-26 北京科技大学 基于梯度场标签的浮选泡沫图像实例分割方法和装置
CN117952947A (zh) * 2024-02-02 2024-04-30 正泰集团研发中心(上海)有限公司 用于产品缺陷检测的方法、产品缺陷检测装置及电子设备

Also Published As

Publication number Publication date
CN113673541B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN113673541B (zh) 一种用于目标检测的图像样本生成方法及应用
Wei et al. Multi-vehicle detection algorithm through combining Harr and HOG features
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105373794B (zh) 一种车牌识别方法
CN109214420A (zh) 基于视觉显著性检测的高纹理图像分类方法及系统
CN108334881B (zh) 一种基于深度学习的车牌识别方法
CN106651872A (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN104408449B (zh) 智能移动终端场景文字处理方法
CN113435240B (zh) 一种端到端的表格检测和结构识别方法及系统
CN111666938A (zh) 一种基于深度学习的两地双车牌检测识别方法及系统
CN104050684B (zh) 一种基于在线训练的视频运动目标分类方法与系统
CN107066972B (zh) 基于多通道极值区域的自然场景文本检测方法
CN102542289A (zh) 一种基于多高斯计数模型的人流量统计方法
CN109948625A (zh) 文本图像清晰度评估方法及系统、计算机可读存储介质
CN111027475A (zh) 一种基于视觉的实时交通信号灯识别方法
CN108090485A (zh) 基于多视角融合的图像前景自动提取方法
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN109034136A (zh) 图像处理方法、装置、摄像设备及存储介质
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN104463138A (zh) 基于视觉结构属性的文本定位方法及系统
CN107527054A (zh) 基于多视角融合的前景自动提取方法
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法
CN111860509A (zh) 一种由粗到精的两阶段非约束车牌区域精准提取方法
CN115063785B (zh) 高速公路场景使用目标识别模型定位车牌的方法及装置
CN113033482A (zh) 一种基于区域注意力的交通标志检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant