CN114120070B - 图像检测方法、装置、设备及存储介质 - Google Patents
图像检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114120070B CN114120070B CN202210109728.2A CN202210109728A CN114120070B CN 114120070 B CN114120070 B CN 114120070B CN 202210109728 A CN202210109728 A CN 202210109728A CN 114120070 B CN114120070 B CN 114120070B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- sampling
- network model
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本申请公开了一种图像检测方法、装置、设备及存储介质，包括：获取待检测图像和图像训练样本集合；其中，每个图像训练样本中包括未含有目标对象的背景图像和含有目标对象的前景图像；获取网络模型，网络模型用于对图像训练样本进行优先背景采样，以及计算图像训练样本中背景图像的难度系数；基于图像训练样本集合训练网络模型，生成检测模型；根据检测模型检测待检测图像，生成检测结果。上述方案中设计的网络模型可以计算得到图像训练样本中背景图像的难度系数，基于不同难度系数的图像训练样本对网络模型进行训练，可以得到对复杂背景图像学习效果较好的检测模型，进而提高检测模型对图像的检测精度，降低图像背景的假阳率。
Description
技术领域
本申请实施例涉及图像识别领域，尤其涉及一种图像检测方法、装置、设备及存储介质。
背景技术
在目标检测领域，在例如安检、工业质检、医疗等存在大量背景图像的场景下，采用基础检测算法进行目标检测时，因存在对复杂背景特征学习困难、学习不充分等问题，导致在背景图像上存在较高的假阳率，从而降低检测效率。目前，对常用的基础检测算法进行了优化，例如，OHEM、Focal loss算法等，以降低目标检测的假阳率。但是，在图像复杂的场景下，上述优化后的算法仍然不能精准、高效地检测复杂图像的目标对象。
发明内容
本申请实施例提供了一种图像检测方法、装置、设备及存储介质，可以得到对复杂背景图像学习效果较好的检测模型，进而提高检测模型对图像的检测精度，降低图像背景的假阳率。
第一方面，本申请实施例还提供了一种图像检测方法，该方法包括：
获取待检测图像和图像训练样本集合；
其中，每个图像训练样本中包括未含有目标对象的背景图像和含有目标对象的前景图像；
获取网络模型，网络模型用于对图像训练样本进行优先背景采样，以及计算图像训练样本中背景图像的难度系数；
基于图像训练样本集合训练网络模型，生成检测模型；
根据检测模型检测待检测图像，生成检测结果。
第二方面，本申请实施例还提供了一种图像检测装置，该装置包括：
获取模块，用于获取待检测图像和图像训练样本集合；
其中，每个图像训练样本中包括未含有目标对象的背景图像和含有目标对象的前景图像；
获取模块，还用于获取网络模型，网络模型用于对图像训练样本进行优先背景采样，以及计算图像训练样本中背景图像的难度系数；
训练模块，用于基于图像训练样本集合训练网络模型，生成检测模型；
检测模块，用于根据检测模型检测待检测图像，生成检测结果。
第三方面，本申请实施例还提供了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当处理器执行计算机程序时，实现如本申请任意实施例提供的图像检测方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请任意实施例提供的图像检测方法。
本申请实施例提供了一种图像检测方法、装置、设备及存储介质，该方法包括：获取待检测图像和图像训练样本集合；其中，每个图像训练样本中包括未含有目标对象的背景图像和含有目标对象的前景图像；获取网络模型，网络模型用于对图像训练样本进行优先背景采样，以及计算图像训练样本中背景图像的难度系数；基于图像训练样本集合训练网络模型，生成检测模型；根据检测模型检测待检测图像，生成检测结果。由于上述方案中设计的网络模型可以计算得到图像训练样本中背景图像的难度系数，那么基于该难度系数可以直观地确定各图像训练样本中背景图像的复杂程度，基于不同背景复杂程度的图像训练样本对网络模型进行训练，可以得到对复杂背景图像学习效果较好的检测模型，进而提高检测模型对图像的检测精度，降低图像背景的假阳率。
附图说明
图1为本申请实施例中的一种图像检测方法的流程图；
图2是本申请实施例中的获取图像训练样本的示意图；
图3是本申请实施例中的一种基于优先背景采样策略对候选框集合进行采样的方法流程图；
图4是本申请实施例中的一种确定难例背景图像集合的方法流程图；
图5是本申请实施例中的一种图像检测装置的结构示意图；
图6是本申请实施例中的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
另外，在本申请实施例中，“可选地”或者“示例性地”等词用于表示作例子、例证或说明。本申请实施例中被描述为“可选地”或者“示例性地”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“可选地”或者“示例性地”等词旨在以具体方式呈现相关概念。
图1为本申请实施例提供的一种图像检测方法的流程图，该方法可以应用于存在大量背景画面但目标对象较少的复杂图像场景下，例如，安检场景（比如，正常运输物品较多，仅存在个别违禁物品）等。本申请实施例中设计的检测模型对复杂图像中的图像背景具有较好的学习效果，可以高效、精准地检测出各类场景下，复杂图像中的目标对象。该方法可以由本申请实施例提供的图像检测装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在计算机设备中，计算机设备比如可以是服务器。以下实施例将以该装置集成在计算机设备中为例进行说明，如图1所示，该方法可以包括但不限于以下步骤：
S101、获取待检测图像和图像训练样本集合。
本申请实施例中的待检测图像可以为在各类应用场景下，通过采集设备采集到的图像。进一步地，该待检测图像可以包括复杂图像，比如，安检场景下，对用户携带的行李箱中的物品进行扫描、采集，若行李箱中携带数量较多的物品，其中有一件体积较小的违禁物品，那么采集到的关于该行李箱的图片即可以被认为是复杂图像。
图像训练样本集合中每个图像训练样本可以包含有背景图像和前景图像，其中，背景图像可以理解为图像中不存在需要识别的目标对象，前景图像可以理解为图像中存在需要识别的目标对象，该目标对象为与当前应用场景相关的对象，例如，安检场景下的违禁物品，工业质检场景下零件的瑕疵等。示例性地，获取图像训练样本集合的实现方式可以包括：在获取的现有的图像中进行目标对象标注，将标注有目标对象的图像构成的集合确定为前景图像集合F，将未标注有目标对象的图像构成的集合确定为背景图像集合B，其中，集合B中图像的数量远大于集合F中图像的数量，即背景图像的数量远大于前景图像的数量，这样可以便于网络模型对背景图像进行较好的学习。在集合F与集合B中各随机选取一张前景图像和背景图像，将两张图像进行拼接，得到图像训练样本I，并将背景图像在图像训练样本I中的坐标标记为Bg。进一步地，为了保证背景图像和前景图像无法完全对齐时，无效面积最小，在拼接时，可以对两种图像进行翻转和旋转处理，并以两张图像的长边为基准进行对齐，无法对齐的区域可以用255像素填充。示例性地，该拼接过程可以如图2所示。
S102、获取网络模型。
在本申请实施例中，选用的网络模型可以为基于锚框的网络模型，即该网络模型具有标注锚框的功能。进一步地，该网络模型还可以用于对上述获取的图像训练样本进行优先背景采样，并计算图像训练样本中背景图像的难度系数。
S103、基于图像训练样本集合训练网络模型，生成检测模型。
示例性地，本申请实施例中，训练网络模型的实现方式可以包括：基于网络模型对图像训练样本集合中的每个样本进行处理，生成候选框集合。例如，网络模型对图像训练样本集合中的每个样本进行特征提取，生成特征图集合，再基于网络模型中的区域建议网络对特征图集合进行处理，生成候选框集合。进而，通过网络模型基于优先背景采样策略对生成的候选框集合进行采样，生成采样样本集合，并基于网络模型对采样样本集合进行处理，生成采样样本对应图像训练样本所包含的背景图像的难度系数。
需要说明的是，上述采样样本可以理解为候选框，一个图像训练样本上可以有多个候选框，那么对采样样本集合进行处理时，可能存在多个采样样本对应或属于同一个图像训练样本包含的背景图像的情况。当然，也可能存在采样样本属于其对应图像训练样本包含的前景图像的情况。
基于网络模型根据获取的背景图像的难度系数，确定难例背景图像集合，并通过网络模型对难例背景图像集合进行处理，将处理难例背景图像集合后得到的网络模型确定为检测模型。
本申请实施例中背景图像的难度系数可以反映网络模型学习该背景图像的难易程度，其中，难度系数越大，表示该背景图像越复杂，网络模型越难以学习。由于本申请实施例中设计的网络模型可以计算得到图像训练样本中背景图像的难度系数，那么基于该难度系数可以从各图像训练样本包含的背景图像中更好地确定难例背景图像集合，即复杂的背景图像构成的集合，这样网络模型对难例背景图像集合进行处理，也即基于难例背景图像训练网络模型，可以得到对复杂背景图像学习效果较好的检测模型。
S104、根据检测模型检测待检测图像，生成检测结果。
基于上述过程得到对复杂背景图像学习效果较好的检测模型，那么在获取到任何场景下的待检测图像后，检测模型都可以以较高的精度对该待检测图像进行检测与识别，从而生成关于该待检测图像的检测结果，降低检测过程中关于待检测图像背景的假阳率。
本申请实施例提供了一种图像检测方法，该方法包括：获取待检测图像和图像训练样本集合；其中，每个图像训练样本中包括未含有目标对象的背景图像和含有目标对象的前景图像；获取网络模型，网络模型用于对图像训练样本进行优先背景采样，以及计算图像训练样本中背景图像的难度系数；基于图像训练样本集合训练网络模型，生成检测模型；根据检测模型检测待检测图像，生成检测结果。由于上述方案中设计的网络模型可以计算得到图像训练样本中背景图像的难度系数，那么基于该难度系数可以直观地确定各图像训练样本中背景图像的复杂程度，基于不同背景复杂程度的图像训练样本对网络模型进行训练，可以得到对复杂背景图像学习效果较好的检测模型，进而提高检测模型对图像的检测精度，降低图像背景的假阳率。
如图3所示，在一种示例中，上述步骤S103中，通过网络模型基于优先背景采样策略对候选框集合进行采样的实现方式可以包括但不限于如下步骤：
S301、以遍历的方式确定候选框集合中的未含有目标对象的候选框，并将确定的候选框标记为候选框负样本。
在本申请实施例中，一个图像训练样本上可以有多个候选框，由于一个图像训练样本包含前景图像和背景图像，那么该多个候选框中，可能会存在以下一种或多种情况，例如，有的候选框包含有前景图像中的目标对象，有的候选框仅存在于前景图像部分但未包含目标对象，有的候选框存在于背景图像部分。网络模型对图像训练样本集合中的每个样本进行处理，生成候选框集合后，可以对候选框集合中的所有候选框进行遍历，从中选取未包含有目标对象的候选框，并将确定出的候选框标记为候选框负样本。
S302、分别计算候选框负样本与候选框负样本对应图像训练样本所包含的背景图像之间的交并比IOU。
交并比（Intersection Over Union，IOU）用于表示预测框与真实框之间的重叠程度，取值范围为0~1之间。由于本申请实施例中的网络模型具有标注锚框的功能，那么该网络模型对图像训练样本进行处理，生成的候选框也可以看作锚框形状，其具备关于候选框形状的各项参数（例如，坐标、长度、宽度等），那么计算候选框负样本与候选框负样本对应图像训练样本所包含的背景图像之间的IOU时，可以基于该候选框负样本的参数与背景图像在图像训练样本中的坐标Bg进行计算，具体的计算方式可以采用现有计算IOU的方式，本申请实施例在此不做赘述。
S303、选取大于预设值的IOU对应的候选框负样本，并将选取的候选框负样本添加至备份集合中。
可以理解的是，由于有的候选框负样本存在于其对应图像训练样本中包含的前景图像中，那么其与对应图像训练样本中包含的背景图像之间的IOU较低，即重叠程度较小。示例性地，设上述预设值为0.9，若某候选框负样本与其对应的背景图像之间的IOU大于0.9，表示其来自于该背景图像，与该背景图像之间的重叠程度较高，那么可以将该候选框负样本添加至备份集合中。
S304、根据备份集合中候选框负样本的数量确定采样样本集合。
示例性地，可以将备份集合中候选框负样本的数量与预设负样本数量N进行比较，其中，N为大于0的整数。
若备份集合中候选框负样本的数量小于或等于1/2*N，也即来自背景图像部分的候选框负样本的数量小于或等于1/2*N，那么确定备份集合中候选框负样本的数量少于N的样本数n。例如，假设备份集合中候选框负样本的数量为m，则m+n=N，其中，m为大于或等于0的整数，且n的取值范围为（0，N]，n取整数。对每个图像训练样本中前景图像未含有目标对象的候选框负样本进行随机采样，确定n个随机采样样本，并将备份集合中的候选框负样本和n个随机采样样本构成的集合确定为采样样本集合。
相反，在备份集合中的候选框负样本的数量大于1/2*N的情况下，以随机采样的方式在上述区域建议网络生成的候选框集合中确定N个未含有目标对象的候选框，也即N个候选框负样本，并将确定的候选框构成的集合标记为采样样本集合。
另外，若上述候选框集合中包含的未含有目标对象的候选框的总数量小于或等于预设负样本数量N，那么将候选框集合中所有未含有目标对象的候选框所构成的集合确定为采样样本集合。
在一种示例中，上述步骤S103中，对采样样本集合进行处理，生成采样样本对应图像训练样本所包含的背景图像的难度系数的实现方式可以包括：通过网络模型对采样样本集合进行前向传播，例如，基于网络模型中的RoI Pooling网络层与RCNN网络层对采样样本集合进行处理，确定各采样样本对对应图像训练样本所包含的背景图像贡献的损失值。
示例性地，各采样样本对对应背景图像贡献的损失值可以通过如下方式表示：
其中，Clsloss i 表示第i个采样样本对对应背景图像贡献的损失值，
表示第i个
采样样本的真实标签，
为网络模型对第i个采样样本前向传播预测的结果。集合R表示采
样样本集合中属于背景图像的采样样本的序号构成的集合，若i不属于集合R，表示序号为i
的采样本样本属于前景图像，那么该采样样本对对应图像训练样本所包含的背景图像（也
即与该采样样本所属前景图像为一个图像训练样本的背景图像）贡献的损失值为0。
在采样样本集合中筛选属于背景图像的采样样本，并确定筛选的采样样本在采样样本集合中的索引，也即上述集合R中各采样样本的索引。根据确定的索引，以及筛选出的采样样本对其所属的背景图像贡献的损失值，确定背景图像的难度系数。
示例性地，上述难度系数可以以如下方式表示：
其中，x表示背景图像中采样样本的数量，i表示背景图像中采样样本的索引，H表示该背景图像的难度系数。例如，若背景图像A中仅包含采样样本a和采样样本b，那么可以基于采样样本a和采样样本b的索引，以及这两个采样样本各自对背景图像贡献的损失值，确定背景图像A的难度系数。
如图4所示，在一种示例中，上述步骤S103中，确定难例背景图像集合的实现方式可以包括但不限于以下方式：
S401、确定最后M个训练周期中每个训练周期对应的各背景图像的难度系数。
其中，最后M个训练周期（Epoch）为预设训练周期中倒数M个的训练周期，且M为大于0的整数。例如，假设预设训练周期为16个周期，M取值为5，那么可以确定最后5个（即第12~16）训练周期中每个训练周期对应的各背景图像的难度系数。
可以理解的是，由于网络模型的训练过程中趋于稳定，那么最后几个训练周期中各背景图像的难度系数更能代表网络模型的训练效果。
S402、对每个训练周期对应的各背景图像的难度系数按照从大到小的顺序分别进行排序，并选取每个训练周期排序后前X个难度系数对应的背景图像。
上述X的取值范围为大于0的整数，例如，假设X为6，那么选取的最后5个训练周期排序后前6个难度系数对应的背景图像可以如以下形式所示：
Epoch12：1.jpg，2.jpg，3.jpg，0.jpg，20.jpg，10.jpg
Epoch13：1.jpg，2.jpg，3.jpg，5.jpg，7.jpg，11.jpg
Epoch14：1.jpg，13.jpg，3.jpg，7.jpg，8.jpg，12.jpg
Epoch15：1.jpg，9.jpg，3.jpg，6.jpg，8.jpg，13.jpg
Epoch16：1.jpg，2.jpg，3.jpg，6.jpg，8.jpg，13.jpg
S403、统计选取的背景图像中出现次数分别大于P和Q的背景图像。
其中，P和Q均为大于0的整数，且P大于Q。例如，假设P为4，Q为2，那么以步骤S402中示例为例，出现次数大于4的背景图像为1.jpg和3.jpg，出现次数大于2的背景图像有2.jpg。
S404、将出现次数大于P的背景图像复制为p个相同的背景图像，将出现次数大于Q的背景图像复制为q个相同的背景图像。
上述p和q均为大于0的整数，且满足p大于q。例如，假设p取值为3，q取值为2，那么可以将背景图像1.jpg和3.jpg分别复制为3个相同的背景图像，将背景图像2.jpg复制为2个相同的背景图像，即变换为1.jpg、1.jpg、1.jpg、3.jpg、3.jpg、3.jpg、2.jpg、2.jpg。
需要说明的是，在本申请实施例中，例如X、M、P、Q以及p、q等参数的具体取值可以根据实际需要进行设置，本申请实施例中的取值仅是示例性的举例。
S405、将p个相同的背景图像、q个相同的背景图像，以及第M个训练周期对应的排序后前X个难度系数对应的背景图像构成的集合确定为难例背景图像集合。
可以理解的是，随着网络模型训练周期的增加，网络模型的训练结果趋于稳定，若上述背景图像1.jpg、2.jpg和3.jpg在最后几个训练周期内，其对应的难度系数仍然排在前几名，且在最后几个训练周期出现的次数比较多，说明背景图像1.jpg、2.jpg和3.jpg较为复杂，那么可以设置网络模型对这几个背景图像重复训练几次。另外，最后一个训练周期的训练结果可以反映网络模型的最终性能，那么可以选取最后一个训练周期对应的排序后难度系数在前几位的背景图像，并将这几个背景图像和上述重复设置的背景图像均看作较为复杂的背景图像，将这些背景图像构成的集合确定为难例背景图像集合。
设置网络模型对确定的难例背景图像集合中的各背景图像重复训练一次，将训练后的网络模型确定为检测模型。
图5为本申请实施例提供的一种图像检测装置的结构示意图，如图5所示，该装置可以包括：获取模块501、训练模块502、检测模块503；
其中，获取模块，用于获取待检测图像和图像训练样本集合；
其中，每个图像训练样本中包括未含有目标对象的背景图像和含有目标对象的前景图像；
获取模块，还用于获取网络模型，该网络模型用于对图像训练样本进行优先背景采样，以及计算图像训练样本中背景图像的难度系数；
训练模块，用于基于图像训练样本集合训练网络模型，生成检测模型；
检测模块，用于根据检测模型检测待检测图像，生成检测结果。
在一种示例中，训练模块，用于基于网络模型对图像训练样本集合中的每个样本进行处理，生成候选框集合；通过网络模型基于优先背景采样策略对候选框集合进行采样，生成采样样本集合；基于网络模型对采样样本集合进行处理，生成采样样本对应图像训练样本所包含的背景图像的难度系数；通过网络模型基于背景图像的难度系数，确定难例背景图像集合；通过网络模型对难例背景图像集合进行处理，将处理难例背景图像集合后得到的网络模型确定为检测模型。
在一种示例中，训练模块，具体可以用于以遍历的方式确定候选框集合中的未含有目标对象的候选框，并将确定的候选框标记为候选框负样本；分别计算候选框负样本与候选框负样本对应图像训练样本所包含的背景图像之间的交并比IOU；选取大于预设值的IOU对应的候选框负样本，并将选取的候选框负样本添加至备份集合中；根据备份集合中候选框负样本的数量确定采样样本集合。
示例性地，训练模块还可以包括比较单元和处理单元；
其中，比较单元，用于将备份集合中候选框负样本的数量与预设负样本数量N进行比较，N为大于0的整数；
处理单元，用于在备份集合中候选框负样本的数量小于或等于1/2*N的情况下，确定备份集合中候选框负样本的数量少于N的样本数n；对每个图像训练样本包含的前景图像中未含有目标对象的候选框负样本进行随机采样，确定n个随机采样样本，n为大于0的整数，且n小于或等于N；将备份集合中的候选框负样本和随机采样样本构成的集合确定为采样样本集合。
或者，在备份集合中的候选框负样本的数量大于1/2*N的情况下，处理单元用于以随机采样的方式在候选框集合中确定N个未含有目标对象的候选框，并将确定的候选框构成的集合标记为采样样本集合。
在一种示例中，训练模块，还用于通过网络模型对采样样本集合进行前向传播，确定各采样样本对对应图像训练样本所包含的背景图像贡献的损失值；在采样样本集合中筛选属于背景图像的采样样本，并确定筛选的采样样本在采样样本集合中的索引；根据确定的索引和筛选的采样样本对其所属背景图像贡献的损失值，确定背景图像的难度系数。
在一种示例中，训练模块，还用于确定最后M个训练周期中每个训练周期对应的各背景图像的难度系数；其中，最后M个训练周期为预设训练周期中倒数M个的训练周期，且M为大于0的整数；对每个训练周期对应的各背景图像的难度系数按照从大到小的顺序分别进行排序，并选取每个训练周期排序后前X个难度系数对应的背景图像；统计选取的背景图像中出现次数分别大于P和Q的背景图像；其中，X、P和Q均为大于0的整数，且P大于Q；将出现次数大于P的背景图像复制为p个相同的背景图像，将出现次数大于Q的背景图像复制为q个相同的背景图像，p和q均为大于0的整数，且p大于q；将p个相同的背景图像、q个相同的背景图像，以及第M个训练周期对应的排序后前X个难度系数对应的背景图像构成的集合确定为难例背景图像集合。
上述图像检测装置可以执行图1-图4所提供的图像检测方法，具备该方法中相应的器件和有益效果。
图6为本发明实施例6提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括控制器601、存储器602、输入装置603、输出装置604；计算机设备中控制器601的数量可以是一个或多个，图6中以一个控制器601为例；计算机设备中的控制器601、存储器602、输入装置603和输出装置604可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器602作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如图1实施例中的图像检测方法对应的程序指令/模块（例如，图像检测装置中的获取模块501、训练模块502、检测模块503）。控制器601通过运行存储在存储器602中的软件程序、指令以及模块，从而执行计算机设备的各种功能以及数据处理，即实现上述的图像检测方法。
存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器602可进一步包括相对于控制器601远程设置的存储器，这些远程存储器可以通过网络连接至终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置603可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置604可包括显示屏等显示装置。
本申请实施例还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机控制器执行时用于执行一种图像检测方法，该方法包括图1所示的步骤。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory, ROM）、随机存取存储器（RandomAccess Memory, RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
值得注意的是，上述图像检测装置中所包括的模块只是按照功能逻辑进行划分，但并不局限于上述的划分方式，只要能够实现相应的功能即可，不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (8)
1.一种图像检测方法，其特征在于，包括：
获取待检测图像和图像训练样本集合；
其中，每个图像训练样本中包括未含有目标对象的背景图像和含有目标对象的前景图像；
获取网络模型，所述网络模型用于对所述图像训练样本进行优先背景采样，以及计算所述图像训练样本中背景图像的难度系数；
基于所述图像训练样本集合训练所述网络模型，生成检测模型；
根据所述检测模型检测所述待检测图像，生成检测结果；
其中，基于所述图像训练样本集合训练所述网络模型，生成检测模型，包括：
基于所述网络模型对所述图像训练样本集合中的每个样本进行处理，生成候选框集合；
通过所述网络模型基于优先背景采样策略对所述候选框集合进行采样，生成采样样本集合；
基于所述网络模型对所述采样样本集合进行处理，生成采样样本对应图像训练样本所包含的背景图像的难度系数；
通过所述网络模型基于所述背景图像的难度系数，确定难例背景图像集合；
通过所述网络模型对所述难例背景图像集合进行处理，将处理所述难例背景图像集合后得到的网络模型确定为检测模型；
其中，基于所述网络模型对所述采样样本集合进行处理，生成采样样本对应图像训练样本所包含的背景图像的难度系数，包括：
通过所述网络模型对所述采样样本集合进行前向传播，确定各采样样本对对应图像训练样本所包含的背景图像贡献的损失值；
在所述采样样本集合中筛选属于背景图像的采样样本，并确定筛选的采样样本在所述采样样本集合中的索引；
根据所述索引和所述筛选的采样样本对其所属背景图像贡献的损失值，确定所述背景图像的难度系数。
2.根据权利要求1所述的方法，其特征在于，所述通过所述网络模型基于优先背景采样策略对所述候选框集合进行采样，生成采样样本集合，包括：
以遍历的方式确定所述候选框集合中的未含有目标对象的候选框，并将确定的候选框标记为候选框负样本；
分别计算所述候选框负样本与所述候选框负样本对应图像训练样本所包含的背景图像之间的交并比IOU；
选取大于预设值的IOU对应的候选框负样本，并将选取的候选框负样本添加至备份集合中；
根据所述备份集合中候选框负样本的数量确定采样样本集合。
3.根据权利要求2所述的方法，其特征在于，所述根据所述备份集合中候选框负样本的数量确定采样样本集合，包括：
将所述备份集合中候选框负样本的数量与预设负样本数量N进行比较，N为大于0的整数；
在所述备份集合中候选框负样本的数量小于或等于1/2*N的情况下，确定所述备份集合中候选框负样本的数量少于所述N的样本数n；
对所述每个图像训练样本包含的前景图像中未含有目标对象的候选框负样本进行随机采样，确定n个随机采样样本，n为大于0的整数，且n小于或等于N；
将所述备份集合中的候选框负样本和所述随机采样样本构成的集合确定为采样样本集合。
4.根据权利要求2所述的方法，其特征在于，所述根据所述备份集合中候选框负样本的数量确定采样样本集合，包括：
将所述备份集合中候选框负样本的数量与预设负样本数量N进行比较，N为大于0的整数；
在所述备份集合中候选框负样本的数量大于1/2*N的情况下，以随机采样的方式在所述候选框集合中确定N个未含有目标对象的候选框，并将确定的候选框构成的集合标记为采样样本集合。
5.根据权利要求1所述的方法，其特征在于，所述通过所述网络模型基于所述背景图像的难度系数，确定难例背景图像集合，包括：
确定最后M个训练周期中每个训练周期对应的各背景图像的难度系数；
其中，所述最后M个训练周期为预设训练周期中倒数M个的训练周期，且M为大于0的整数；
对所述每个训练周期对应的各背景图像的难度系数按照从大到小的顺序分别进行排序，并选取每个训练周期排序后前X个难度系数对应的背景图像；
统计选取的背景图像中出现次数分别大于P和Q的背景图像；
其中，X、P和Q均为大于0的整数，且P大于Q；
将出现次数大于P的背景图像复制为p个相同的背景图像，将出现次数大于Q的背景图像复制为q个相同的背景图像，p和q均为大于0的整数，且p大于q；
将所述p个相同的背景图像、所述q个相同的背景图像，以及第M个训练周期对应的排序后前X个难度系数对应的背景图像构成的集合确定为难例背景图像集合。
6.一种图像检测装置，其特征在于，包括：
获取模块，用于获取待检测图像和图像训练样本集合；
其中，每个图像训练样本中包括未含有目标对象的背景图像和含有目标对象的前景图像；
所述获取模块，还用于获取网络模型，所述网络模型用于对所述图像训练样本进行优先背景采样，以及计算所述图像训练样本中背景图像的难度系数；
训练模块，用于基于所述图像训练样本集合训练所述网络模型，生成检测模型；
检测模块，用于根据所述检测模型检测所述待检测图像，生成检测结果；
其中，所述训练模块，还用于基于网络模型对图像训练样本集合中的每个样本进行处理，生成候选框集合；通过网络模型基于优先背景采样策略对候选框集合进行采样，生成采样样本集合；基于网络模型对采样样本集合进行处理，生成采样样本对应图像训练样本所包含的背景图像的难度系数；通过网络模型基于背景图像的难度系数，确定难例背景图像集合；通过网络模型对难例背景图像集合进行处理，将处理难例背景图像集合后得到的网络模型确定为检测模型；
所述训练模块，还用于通过网络模型对采样样本集合进行前向传播，确定各采样样本对对应图像训练样本所包含的背景图像贡献的损失值；在采样样本集合中筛选属于背景图像的采样样本，并确定筛选的采样样本在采样样本集合中的索引；根据确定的索引和筛选的采样样本对其所属背景图像贡献的损失值，确定背景图像的难度系数。
7.一种计算机设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5任一项所述的图像检测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-5任一项所述的图像检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210109728.2A CN114120070B (zh) | 2022-01-29 | 2022-01-29 | 图像检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210109728.2A CN114120070B (zh) | 2022-01-29 | 2022-01-29 | 图像检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114120070A CN114120070A (zh) | 2022-03-01 |
| CN114120070B true CN114120070B (zh) | 2022-05-10 |
Family
ID=80362131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210109728.2A Active CN114120070B (zh) | 2022-01-29 | 2022-01-29 | 图像检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114120070B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814835A (zh) * | 2020-06-12 | 2020-10-23 | 理光软件研究所（北京）有限公司 | 计算机视觉模型的训练方法、装置、电子设备和存储介质 |
| CN112613450A (zh) * | 2020-12-29 | 2021-04-06 | 清华大学 | 一种增强在困难样本上表现的3d目标检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6719497B2 (ja) * | 2018-03-12 | 2020-07-08 | 株式会社 日立産業制御ソリューションズ | 画像生成方法、画像生成装置及び画像生成システム |
| CN110222724B (zh) * | 2019-05-15 | 2023-12-19 | 平安科技（深圳）有限公司 | 一种图片实例检测方法、装置、计算机设备及存储介质 |
| CN111523621B (zh) * | 2020-07-03 | 2020-10-20 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN112232450B (zh) * | 2020-12-15 | 2021-03-16 | 浙江啄云智能科技有限公司 | 一种综合多阶段的难例样本挖掘方法、目标检测方法 |
| CN113191359B (zh) * | 2021-06-30 | 2021-11-16 | 之江实验室 | 基于支持与查询样本的小样本目标检测方法与系统 |
-
2022
- 2022-01-29 CN CN202210109728.2A patent/CN114120070B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814835A (zh) * | 2020-06-12 | 2020-10-23 | 理光软件研究所（北京）有限公司 | 计算机视觉模型的训练方法、装置、电子设备和存储介质 |
| CN112613450A (zh) * | 2020-12-29 | 2021-04-06 | 清华大学 | 一种增强在困难样本上表现的3d目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114120070A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112508975A (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| KR20170056474A (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
| CN109948533B (zh) | 一种文本检测方法、装置、设备及可读存储介质 | |
| CN113539304B (zh) | 视频拆条方法和装置 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN112801047B (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN109671055B (zh) | 肺结节检测方法及装置 | |
| CN111639230B (zh) | 一种相似视频的筛选方法、装置、设备和存储介质 | |
| CN114612872A (zh) | 目标检测方法、装置、电子设备及计算机可读存储介质 | |
| CN109635755A (zh) | 人脸提取方法、装置及存储介质 | |
| CN111144215B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN115100489A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN114783021A (zh) | 一种口罩佩戴智能检测方法、装置、设备及介质 | |
| CN112116585B (zh) | 图像移除篡改盲检测方法、系统、设备及存储介质 | |
| CN114120070B (zh) | 图像检测方法、装置、设备及存储介质 | |
| CN112614108A (zh) | 基于深度学习检测甲状腺超声图像中结节的方法和装置 | |
| CN111753729A (zh) | 一种假脸检测方法、装置、电子设备及存储介质 | |
| CN111652181A (zh) | 目标跟踪方法、装置及电子设备 | |
| CN116091784A (zh) | 一种目标跟踪方法、设备及存储介质 | |
| CN114820755A (zh) | 一种深度图估计方法及系统 | |
| CN115115947A (zh) | 遥感图像检测方法、装置、电子设备以及存储介质 | |
| CN112464939A (zh) | 目标检测中的数据增广方法、装置及存储介质 | |
| CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN113420664B (zh) | 基于图像的安全隐患检测方法及装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |