CN113159209A - 目标检测方法、装置、设备和计算机可读存储介质 - Google Patents

目标检测方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113159209A
CN113159209A CN202110474736.2A CN202110474736A CN113159209A CN 113159209 A CN113159209 A CN 113159209A CN 202110474736 A CN202110474736 A CN 202110474736A CN 113159209 A CN113159209 A CN 113159209A
Authority
CN
China
Prior art keywords
target
original
types
sample
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110474736.2A
Other languages
English (en)
Other versions
CN113159209B (zh
Inventor
李搏
甘伟豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110474736.2A priority Critical patent/CN113159209B/zh
Publication of CN113159209A publication Critical patent/CN113159209A/zh
Application granted granted Critical
Publication of CN113159209B publication Critical patent/CN113159209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供了一种目标检测方法、装置、设备和计算机可读存储介质，包括：获取待检测场景图像；通过目标检测网络对待检测场景图像进行检测，得到至少两类目标的检测结果；目标检测网络是根据至少两类目标训练集训练得到；至少两类目标训练集中的每一类目标训练集包括一类目标对应的目标正样本、目标负样本和目标冲突样本；每一类目标训练集的目标正样本、目标负样本和目标冲突样本的集合是基于至少两类原始训练集得到的；至少两类原始训练集中每一类原始训练集包括针对一类目标对应的原始正样本和原始负样本；每一类目标冲突样本为目标检测网络不学习的样本。本公开增加了多目标检测灵活性，提高了对各种多类目标检测的检测效率。

Description

目标检测方法、装置、设备和计算机可读存储介质
技术领域
本公开涉及图像处理技术，尤其涉及一种目标检测方法、装置、设备和计算机可读存储介质。
背景技术
目前，为了对待检测图像中的多个目标的检测，通常需要多个单目标检测网络分别对待检测图像进行单目标检测，由于每个单目标检测网络均需要对待检测图像进行特征提取，造成了计算机资源的浪费；或者，由人工标注大量的多目标样本，来训练多目标检测网络，从而实现一个目标检测网络对多个目标的检测；而这种方式又需要大量人工标注，导致对多目标检测的效率低、灵活性差。
发明内容
本公开实施例提供一种目标检测方法、装置、设备和计算机可读存储介质，增加了多目标检测灵活性，提高了对各种多类目标检测的检测效率。
本公开的技术方案是这样实现的：
本公开实施例提供一种目标检测方法，包括：
获取待检测场景图像；通过目标检测网络对所述待检测场景图像进行检测，得到至少两类目标的检测结果；所述目标检测网络是根据至少两类目标训练集训练得到的；所述至少两类目标训练集中的每一类目标训练集包括一类目标对应的目标正样本、目标负样本和目标冲突样本；所述每一类目标训练集中的目标正样本、目标负样本和目标冲突样本的集合是基于至少两类原始训练集得到的；所述至少两类原始训练集中每一类原始训练集包括针对一类目标对应的原始正样本和原始负样本；其中，每一类目标冲突样本为所述目标检测网络不学习的样本。
这样，目标检测装置可以在各类原始训练集的基础上，通过设置冲突样本，快速得到针对各类目标组合的目标检测网络，增加了多目标检测灵活性，提高了对各种多类目标检测的检测效率。
上述方法中，所述通过目标检测网络对所述待检测图像进行检测，得到至少两类目标的检测结果之前，所述方法还包括：获取所述至少两类原始训练集；根据所述至少两类原始训练集，确定所述至少两类目标训练集；采用所述至少两类目标训练集，训练原始目标检测网络，得到所述目标检测网络。
这样，目标检测装置在获取至少两类原始训练集后，可以根据至少两类原始训练集中的所有样本，确定至少两类目标训练集中的目标正样本、目标负样本和目标冲突样本，增加了目标训练集设置的灵活性，提高了目标训练集的获取效率，从而提高了目标检测的效率和灵活性。
上述方法中，所述根据所述至少两类原始训练集，确定所述至少两类目标训练集，包括：将所述至少两类原始训练集中的第p类原始正样本，作为第p类目标正样本；p为正整数，且p小于等于所述至少两类的总类别数；从所述至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本；从所述至少两类原始训练集中，将除所述第p类目标正样本和所述第p目标冲突样本以外的其他样本，作为第p类目标负样本；将所述第p类目标正样本、所述第p类目标负样本和所述第p类目标冲突样本的集合，作为所述第p类目标训练集，从而得到所述至少两类目标训练集。
这样，目标检测装置可以根据每一类的原始正样本确定一类目标正样本，根据至少两类原始负样本确定每一类目标冲突样本，进而确定出每一类目标负样本，从而得到每一类目标训练集，增加了目标训练集设置的灵活性，提高了目标训练集的获取效率，从而提高了目标检测的效率和灵活性。
上述方法中，所述从所述至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本，包括：从所述至少两类原始负样本中，将第p类原始负样本以外的其他类负样本作为所述第p类目标冲突样本。
这样，目标检测装置可以从至少两类原始负样本中，确定出每一类的目标冲突样本，从而快速确定目标冲突样本，提高了目标训练集的获取效率，从而提高了目标检测的效率和灵活性。
上述方法中，所述从所述至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本，还包括：根据第p类目标在所述至少两类原始训练集中出现的概率，从所述至少两类原始负样本中，确定所述第p类目标冲突样本。
这样，目标检测装置可以根据每一类目标在原始训练集中出现的概率，确定每一类目标冲突样本，提高了确定冲突样本的准确性，从而提高了目标检测网络的检测准确度。
上述方法中，所述根据第p类目标在所述至少两类原始训练集中出现的概率，从所述至少两类原始负样本中，确定所述第p类目标冲突样本，包括：若所述至少两类目标中的第p类目标在所述至少两类原始训练集中出现的概率大于概率阈值，则将所述至少两类负样本中所述第p类原始负样本以外的其他类负样本，确定为所述第p类目标冲突样本；若所述第p类目标在所述至少两类原始训练集中出现的概率小于或者等于所述概率阈值，则确定所述至少两类原始负样本中不存在所述第p类目标冲突样本。
这样，目标检测装置可以在其他类原始负样本中存在较多的第p类目标的情况下，将其他类原始负样本确定为第p类目标冲突样本，避免目标检测网络将其他类原始负样本中存在的第p类目标的前景当作背景进行学习，提高了目标检测网络的检测准确度。以及，当其他类原始负样本中基本不存在第p类目标时，目标检测装置可以不设置第p类目标冲突样本，如此，可以快速从至少两类原始训练集中确定出第p类目标训练集，减小了确定第p类目标训练集的复杂度，从而提高了目标检测网络的生成效率。
上述方法中，所述目标检测网络包括特征提取网络和至少两类分类网络；其中，所述特征提取网络用于从待检测图像中提取特征；所述至少两类分类网络中的每一类分类网络用于根据所述特征进行一类目标检测，从而得到至少两类目标的检测结果。
这样，目标检测网络中只有一个特征提取网络，通过这一个特征提取网络从待检测图像中一次性提取至少两类特征，如此，至少两类分类网络中的每一类分类网络都可以对至少两类特征进行目标分类，而不必对不同的分类网络分别提取不同类的特征，减少了特征提取的时间消耗，同时，减少了计算机资源消耗。
上述方法中，所述采用所述至少两类目标训练集，训练原始目标检测网络，得到所述目标检测网络，包括：采用所述至少两类目标训练集中的n批目标样本，在当前轮次内，对所述原始目标检测网络依次进行n次更新，得到n次至少两类焦点损失中的每一类焦点损失和当前轮次内更新完成的原始目标检测网络；所述至少两类焦点损失与所述至少两类分类网络对应；n为正整数；基于所述n次至少两类焦点损失中的每一类焦点损失，确定当前轮次内的焦点损失均值；若所述当前轮次内的焦点损失均值和/或当前轮次的轮次数满足终止条件，则终止训练，将所述当前轮次内更新完成的原始目标检测网络作为所述目标检测网络。
这样，目标检测装置可以将目标训练集分为n批样本，每一轮次训练均通过n批样本对目标检测网络进行n次更新，得到n次焦点损失均值，根据n次焦点损失均值和/或训练的轮次数满足终止条件的情况下，终止训练，得到目标检测网络；增加了目标检测网络的更新次数，提高了目标检测网络的准确性。
上述方法中，所述基于所述n次至少两类焦点损失中的每一类焦点损失，确定当前轮次内的焦点损失均值之后，所述方法还包括：若所述当前轮次内的焦点损失均值和/或当前轮次的轮次数不满足终止条件，则进行下一轮次的更新，得到下一轮次内的焦点损失均值和下一轮次内更新完成的原始目标检测网络；若所述下一轮次的焦点损失均值和/或下一轮次的轮次数满足终止条件，则终止训练，将所述下一轮次内更新完成的原始目标检测网络作为所述目标检测网络。
这样，目标检测装置可以将目标训练集分为n批样本，每一轮次训练均通过n批样本对目标检测网络进行n次更新，得到n次焦点损失均值，在n次焦点损失均值和/或训练的轮次数不满足终止条件的情况下，进行下一轮次的训练；如此，增加了目标检测网络的训练理论次数，提高了目标检测网络的准确性。
上述方法中，所述采用所述至少两类目标训练集中的n批目标样本，在当前轮次内，对所述原始目标检测网络依次进行n次更新，得到n次至少两类焦点损失中的每一类焦点损失和当前轮次内更新完成的原始目标检测网络，包括：在当前轮次内，基于所述n次更新中得到的第m-1次更新的原始目标检测网络中的特征提取网络，提取所述至少两类原始训练集中n批原始样本中的第m批原始样本的特征，得到第m特征；m为大于1且小于等于n的正整数；通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述n批目标样本中与所述第m批原始样本对应的第m批目标样本，确定所述第m特征的每一类焦点损失，作为第m次每一类焦点损失；根据所述第m次每一类焦点损失，对所述第m-1次更新的原始目标检测网络进行更新，得到第m次更新的原始目标检测网络，直至得到第n次每一类焦点损失，从而得到所述n次每一类焦点损失；以及第n次更新的原始目标检测网络，将所述第n次更新的原始目标检测网络作为所述当前轮次内训练完成的目标检测网络。
这样，目标检测装置可以提取每一批样本的特征，根据每一批样本的特征，与每一批样本对应的原始训练集中样本，确定每一批样本中每一类目标的焦点损失，根据每一批样本中每一类目标的焦点损失更新目标检测网络，从而实现对目标检测网络的训练，提高了目标检测网络的训练效率。
上述方法中，所述终止迭代条件，包括以下至少之一：
所述当前轮次内的焦点损失均值小于损失阈值；
所述当前轮次的轮次数大于或者等于最大轮次数。
这样，目标检测装置可以根据每一轮次的焦点损失均值和/或对应轮次的轮次数，确定终止训练的时机，将最后一次更新的目标检测网络作为训练完成的目标检测网络。提高了训练的灵活性。
上述方法中，所述通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述n批目标样本中与所述第m批原始样本对应的第m批目标样本，确定所述第m特征的每一类焦点损失，作为第m次每一类焦点损失，包括：通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述第m批目标样本，确定所述第m特征的每一类预检测概率；所述第m特征的每一类预检测概率表征所述第m特征对应的分类类别的概率；根据所述第m特征的每一类当前预检测概率，确定所述第m特征对应的每一类焦点损失，并将所述第m特征对应的每一类焦点损失作为所述第m次每一类焦点损失。
这样，目标检测装置可以对第m批样本确定出每一类预检测概率，根据每一类预检测概率确定对应的一类焦点损失，从而得到第m次每一类焦点损失；如此，目标检测装置可以根据当前轮次内每一次每一类焦点损失确定当前轮次的焦点损失均值，基于焦点损失均值确定目标检测网络是否训练完成，提高了焦点损失计算时的多样性。
上述方法中，所述基于所述第m批目标样本，确定所述第m特征的每一类预检测概率，包括：若所述第m特征所属样本对应所述第m批目标样本中第i类目标冲突样本中的特征，则确定所述第m特征的第i类预检测概率为预设概率；所述预设概率对应的焦点损失为0；i为正整数；若所述第m特征所属样本为所述第m批目标样本中的第i类目标正样本或所述第i类目标负样本中的特征时，则根据所述第i类目标正样本和所述第i类目标负样本，确定所述第i类预检测概率；进行第i+1类预检测概率的确定过程，直至确定完第N类预检测概率时为止，得到了所述第m特征的每一类预检测概率，其中，N为至少两类目标的类型总数量。
这样，目标检测装置可以在第m特征所属的样本为第i类目标冲突样本的情况下，将第i类预检测概率确定为预设概率，且预设概率对应的焦点损失为0，从而实现目标检测装置在训练过程中不学习目标冲突样本，使冲突样本不对目标检测网络的训练产生影响，如此，对于任何一个目标检测网络，在获取至少两类原始训练集后，可以直接输入至少两类原始训练集对目标检测网络进行训练，进一步提高了目标检测网络的训练效率。
上述方法中，所述采用所述至少两类目标训练集，训练所述目标检测网络之后，所述方法还包括：获取更新后的第一类目标训练集；采用所述更新后的第一类目标训练集对所述第一类分类网络进行训练，得到更新后的第一类分类网络，采用所述更新后的第一类分类网络更新所述目标检测网络，得到更新后的目标检测网络。
这样，在至少两类目标训练集中任意一类目标训练集更新的情况下，目标检测装置可以单独通过更新的目标训练集训练一类分类网络，从而实现目标检测网络的快速更新。
上述方法中，所述采用所述至少两类目标训练集，训练所述目标检测网络之后，所述方法还包括：获取第二类分类网络；所述第二类分类网络用于检测所述至少两类目标以外的其他类目标；将所述第二类分类网络加入所述至少两类分类网络，得到更新后的至少两类分类网络，采用所述更新后的至少两类分类网络更新所述目标检测网络，得到更新后的目标检测网络。
这样，在目标检测网络需要检测除至少两类目标以外的其他类目标时，可以直接获取其他类分类网络，将其他类分类器加入至少两类分类网络中，得到更新后的至少两类分类网络，从而增加目标检测网络的检测类别；由此，快速实现对目标检测网络检测类别的更新，同时保证了其他类分类网络的分类精度。
本公开实施例提供一种目标检测装置，包括：
获取模块，用于获取待检测场景图像；
检测模块，用于通过目标检测网络对所述待检测场景图像进行检测，得到至少两类目标的检测结果；所述目标检测网络是根据至少两类目标训练集训练得到的；所述至少两类目标训练集中的每一类目标训练集包括一类目标对应的目标正样本、目标负样本和目标冲突样本；所述每一类目标训练集中的目标正样本、目标负样本和目标冲突样本的集合是基于所述至少两类原始训练集得到的合；所述至少两类原始训练集中每一类原始训练集包括针对一类目标对应的原始正样本和原始负样本；其中，每一类目标冲突样本为所述目标检测网络不学习的样本。
上述装置中，还包括确定模块和训练模块；所述获取模块，还用于获取所述至少两类原始训练集；所述确定模块，用于根据所述至少两类原始训练集，确定所述至少两类目标训练集；所述训练模块，用于采用所述至少两类目标训练集，训练原始目标检测网络，得到所述目标检测网络。
上述装置中，所述确定模块，还用于将所述至少两类原始训练集中的第p类原始正样本，作为第p类目标正样本；p为正整数，且p小于等于所述至少两类的总类别数；从所述至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本；从所述至少两类原始训练集中，将除所述第p类目标正样本和所述第p目标冲突样本以外的其他样本，作为第p类目标负样本；将所述第p类目标正样本、所述第p类目标负样本和所述第p类目标冲突样本的集合，作为所述第p类目标训练集，从而得到所述至少两类目标训练集。
上述装置中，所述确定模块，还用于从所述至少两类原始负样本中，将第p类原始负样本以外的其他类负样本作为所述第p类目标冲突样本。
上述装置中，所述确定模块，还用于根据第p类目标在所述至少两类原始训练集中出现的概率，从所述至少两类原始负样本中，确定所述第p类目标冲突样本。
上述装置中，所述确定模块，还用于若所述至少两类目标中的第p类目标在所述至少两类原始训练集中出现的概率大于概率阈值，则将所述至少两类负样本中所述第p类原始负样本以外的其他类负样本，确定为所述第p类目标冲突样本；若所述第p类目标在所述至少两类原始训练集中出现的概率小于或者等于所述概率阈值，则确定所述至少两类原始负样本中不存在所述第p类目标冲突样本。
上述装置中，所述目标检测网络包括特征提取网络和至少两类分类网络；其中，特征提取网络用于从待检测图像中提取特征；所述至少两类分类网络中的每一类分类网络用于根据所述特征进行一类目标检测，从而得到至少两类目标的检测结果。
上述装置中，所述训练模块，还用于采用所述至少两类目标训练集中的n批目标样本，在当前轮次内，对所述原始目标检测网络依次进行n次更新，得到n次至少两类焦点损失中的每一类焦点损失和当前轮次内更新完成的原始目标检测网络；所述至少两类焦点损失与所述至少两类分类网络对应；n为正整数；基于所述n次至少两类焦点损失中的每一类焦点损失，确定当前轮次内的焦点损失均值；若所述当前轮次内的焦点损失均值和/或当前轮次的轮次数满足终止条件，则终止训练，将所述当前轮次内更新完成的原始目标检测网络作为所述目标检测网络。
上述装置中，所述训练模块，还用于若所述当前轮次内的焦点损失均值和/或当前轮次的轮次数不满足终止条件，则进行下一轮次的更新，得到下一轮次内的焦点损失均值和下一轮次内更新完成的原始目标检测网络；若所述下一轮次的焦点损失均值和/或下一轮次的轮次数满足终止条件，则终止训练，将所述下一轮次内更新完成的原始目标检测网络作为所述目标检测网络。
上述装置中，所述训练模块，还用于在当前轮次内，基于所述n次更新中得到的第m-1次更新的原始目标检测网络中的特征提取网络，提取所述至少两类原始训练集中n批原始样本中的第m批原始样本的特征，得到第m特征；m为大于1且小于等于n的正整数；通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述n批目标样本中与所述第m批原始样本对应的第m批目标样本，确定所述第m特征的每一类焦点损失，作为第m次每一类焦点损失；根据所述第m次每一类焦点损失，对所述第m-1次更新的原始目标检测网络进行更新，得到第m次更新的原始目标检测网络，直至得到第n次每一类焦点损失，从而得到所述n次每一类焦点损失；以及第n次更新的原始目标检测网络，将所述第n次更新的原始目标检测网络作为所述当前轮次内训练完成的目标检测网络。
上述装置中，所述终止迭代条件，包括以下至少之一：
所述当前轮次内的焦点损失均值小于损失阈值；
所述当前轮次的轮次数大于或者等于最大轮次数。
上述装置中，所述训练模块，还用于通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述第m批目标样本，确定所述第m特征的每一类预检测概率；所述第m特征的每一类预检测概率表征所述第m特征对应的分类类别的概率；根据所述第m特征的每一类当前预检测概率，确定所述第m特征对应的每一类焦点损失，将所述第m特征对应的每一类焦点损失作为所述第m次每一类焦点损失。
上述装置中，所述训练模块，还用于若所述第m特征所属样本对应所述第m批目标样本中第i类目标冲突样本中的特征，则确定所述第m特征的第i类预检测概率为预设概率；所述预设概率对应的焦点损失为0；i为正整数；若所述第m特征所属样本为所述第m批目标样本中的第i类目标正样本或所述第i类目标负样本中的特征时，则根据所述第i类目标正样本和所述第i类目标负样本，确定所述第i类预检测概率；进行第i+1类预检测概率的确定过程，直至确定完第N类预检测概率时为止，得到了所述第m特征的每一类预检测概率，其中，N为至少两类目标的类型总数量。
上述装置中，所述训练模块，还用于获取更新后的第一类目标训练集；采用所述更新后的第一类目标训练集对所述第一类分类网络进行训练，得到更新后的第一类分类网络，采用所述更新后的第一类分类网络更新所述目标检测网络，得到更新后的目标检测网络。
上述装置中，所述训练模块，还用于获取第二类分类网络；所述第二类分类网络用于检测所述至少两类目标以外的其他类目标；将所述第二类分类网络加入所述至少两类分类网络，得到更新后的至少两类分类网络，采用所述更新后的至少两类分类网络更新所述目标检测网络，得到更新后的目标检测网络。
本公开实施例提供一种目标检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序时，实现上述目标检测方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于被处理器执行时，实现上述目标检测方法。
本公开实施例具有以下有益效果：
本公开实施例所提供了一种目标检测方法、装置、设备和计算机可读存储介质；目标检测装置获取待检测场景图像；通过目标检测网络对待检测场景图像进行检测，得到至少两类目标的检测结果；目标检测网络是根据至少两类目标训练集训练的；至少两类目标训练集中的每一类目标训练集包括一类目标对应的目标正样本、目标负样本和目标冲突样本；每一类目标训练集中的目标正样本、目标负样本和目标冲突样本是基于至少两类原始训练集确定的；至少两类原始训练集中每一类原始训练集包括针对一类目标对应的原始正样本和原始负样本；其中，每一类目标冲突样本为包括一类目标对应的其他类负样本；也就是说，在现有的各类原始训练集的基础上，通过设置冲突样本，可以使目标检测装置快速得到针对各类目标组合的目标检测网络，增加了多目标检测灵活性，提高了对各种多类目标检测的检测效率。
附图说明
图1为本公开实施例提供的一个可选的目标检测网络检测目标的流程示意图；
图2为本公开实施例提供的一个可选的训练样本示意图；
图3为本公开实施例提供的一个可选的目标检测系统架构的结构示意图；
图4为本公开实施例提供的一种可选的目标检测方法流程图；
图5为本公开实施例提供的一种可选的训练样本示意图；
图6为本公开实施例提供的一种可选的目标检测方法流程图；
图7为本公开实施例提供的一种可选的目标检测方法流程图；
图8为本公开实施例提供的一种可选的目标检测方法流程图；
图9为本公开实施例提供的一种可选的目标检测网络检测目标的流程示意图；
图10为本公开实施例提供的一种可选的目标检测方法流程图；
图11为本公开实施例提供的一种可选的目标检测方法流程图；
图12为本公开实施例提供的一种可选的目标检测装置的结构示意图；
图13为本公开实施例提供的一种可选的目标检测设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词和术语进行说明，本公开实施例中涉及的名词和术语适用于如下的解释。
1)目标检测：目标检测通常需要通过目标检测网络对图片进行特征提取，再对提取的特征进行前景和背景的识别，分类出正确的前景作为目标；目标检测关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息。
示例性的，图1是本公开实施例提供的示例性的目标检测网络检测目标的流程示意图。如图1所示，待检测图片经过卷积层的卷积处理后，得到特征图，特征图经过RPN网络后，得到多个感兴趣区域(Region of Interest，RoI)，池化层、全连接层和归一化指数层对于每一个RoI进行池化处理得到特征向量，将每个特征向量转换为二维向量，并将每个所述二维向量进行归一化处理，得到每个RoI的后验概率，最后，将后验概率高于预设概率值RoI进行标注，完成目标检测。
2)训练样本：目标检测网络通过对训练样本中针对目标的正样本和负样本的学习，提取目标对应的特征，并正确分类出目标的前景和背景，从而实现目标检测；其中，正样本通常为图片中标注了前景的区域，即标注了目标的区域；负样本为图片中标注了背景的区域，负样本中不包括目标。
示例性的，图2是本公开实施例提供的一种可选的训练样本的示意图，如图2所示为人脸的训练样本，其中，实线框标注的区域为正样本，虚线框标注的区域为负样本；正样本为图片中的人脸，负样本中不包括人脸。
需要说明的是，当需要对多个目标进行检测时，通常需要针对多个目标中每个目标的单目标检测网络来对待检测图像中的多个目标进行检测，这样，每个单目标检测网络都需要从待检测图像中提取特征，再对特征进行分类，从而实现对单目标的检测；而目标检测网络在进行目标检测的过程中，提取特征占用的时间比分类的时间更多，因此，基于多个单目标检测网络进行多目标检测，将占用大量的检测时间和计算机资源；或者，也可以重新训练针对多目标检测的目标检测网络，这样，则需要人工标注新的训练样本，作为新的训练样本的图片中需要将所有的目标的正样本标注出来，即需要大量人工进行样本标注，之后才能基于新的训练样本训练多目标的目标检测网络，导致对多目标检测的效率低、灵活性差。
本公开实施例提供一种目标检测方法、装置、设备和计算机可读存储介质，能够增加目标检测的灵活性，提高目标检测的效率。下面说明本公开实施例提供的目标检测设备的示例性应用，本公开实施例提供的目标检测设备可以实施为带有图像采集设备的笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端。下面，将说明设备实施为终端时示例性应用。
参见图3，图3是本公开实施例提供的目标检测系统100的一个可选的架构示意图；为实现支撑一个目标检测应用，终端400通过网络300连接服务器200，终端中包括目标检测装置；网络300可以是广域网或者局域网，又或者是二者的组合。
终端400用于获取待检测图像，通过目标检测网络对待检测场景图像进行检测，得到至少两类目标的检测结果；目标检测网络是根据至少两类目标训练集训练的；至少两类目标训练集中的每一类目标训练集包括一类目标对应的目标正样本、目标负样本和目标冲突样本；每一类目标训练集中的目标正样本、目标负样本和目标冲突样本是基于至少两类原始训练集确定的；至少两类原始训练集中每一类原始训练集包括针对一类目标对应的原始正样本和原始负样本；其中，每一类目标冲突样本为包括一类目标对应的其他类负样本。基于上述目标检测网络进行目标检测，并将目标检测结果在图形界面4001显示。服务器200用于通过数据库500中预先存储的原始训练集，对终端400提供目标检测网络的数据支持。
示例性的，在智慧城市的应用场景中，数据库500中保存有针对各种目标的原始训练集，各种目标如：烟火、横幅、标语、垃圾、猫、狗等；当需要检测城市中的烟火、垃圾、横幅时，终端400可以从城市的线上监控获取到待检测图像后，通过服务器200从数据库500中获取烟火的原始训练集、垃圾的原始训练集以及横幅的原始训练集，基于这三个原始训练集确定出针对烟火、垃圾和横幅的多目标检测网络的多个目标训练集，通过多个目标训练集训练目标检测网络，从而实现对待检测图像中烟火、垃圾和横幅的检测，在检测到目标为烟火、垃圾或横幅中的至少一个时，在终端400的图形界面4001上显示标注了检测到的目标的待检测图像。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。
参见图4，图4是本公开实施例提供的目标检测方法的一个可选的流程示意图，将结合图4示出的步骤进行说明。
S101、获取待检测场景图像；
在本公开实施例中，目标检测装置需要先获取待检测场景图像，再对待检测图像中的目标(即目标对象，例如，烟火、垃圾和横幅等)进行检测。
在本公开实施例中，待检测场景图像是需要进行目标检测的图像；这里，待检测场景图像可以是通过场景图像采集装置实时采集的图像，也可以是从图像库中获取的图像，对此，本公开实施例不作限制。
在本公开实施例中，场景图像采集装置可以是目标检测装置中自带的图像采集装置，也可以是与目标检测装置通信的其他装置，对此，本公开实施例不作限制。
示例性的，终端为手机，手机中设置有目标检测装置，则手机可以通过自带的摄像头拍摄场景图像，作为待检测场景图像；或者，手机也可以获取城市监控摄像装置拍摄的场景图像，作为待检测场景图像；其中，城市监控摄像装置设置在城市中的各个地方，从而获取城市各个场景的场景图像；城市监控摄像装置可以与手机通信。
S102、通过目标检测网络对待检测场景图像进行检测，得到至少两类目标的检测结果；目标检测网络是根据至少两类目标训练集训练的；至少两类目标训练集中的每一类目标训练集包括一类目标对应的目标正样本、目标负样本和目标冲突样本；每一类目标训练集中的目标正样本、目标负样本和目标冲突样本的集合是基于至少两类原始训练集得到的；至少两类原始训练集中每一类原始训练集包括针对一类目标对应的目标的原始正样本和原始负样本；其中，每一类目标冲突样本为目标检测网络不学习的样本。
在本公开实施例中，目标检测装置在获取待检测场景图像后，通过目标检测网络对待检测场景图像进行检测，得到至少两类目标的检测结果。
其中，至少两类目标的检测结果中每一类目标检测结果为待检测场景图像中检测到该类目标或待检测场景图像中未检测到该类目标。
示例性的，目标检测装置中的目标检测网络可以检测待检测场景中的猫、狗和小鸟，则目标检测装置通过目标检测网络检测待检测场景图像后，可以确定出待检测场景图像是否包括猫、狗和小鸟。
需要说明的是，目标检测网络是根据至少两类目标训练集训练得到的；至少两类目标训练集中每一类目标训练集中包括该类目标的目标正样本、目标负样本和目标冲突样本；其中，每一类目标训练集中的这三种样本的集合可以为上述至少两类目标对应的至少两类原始训练集中所有样本的集合。
在本公开实施例中，每一类目标训练集中的这三种样本的集合还可以为上述至少两类目标对应的至少两类原始训练集中的部分样本的集合，本公开实施例不作限制。
在本公开实施例中，目标检测装置中可以包括训练模块，通过训练模块训练目标检测网络；或者，训练模块也可以设置在训练装置中，训练装置通过训练模块训练目标检测网络后，目标检测装置可以从训练装置中获取目标检测网络，再采用目标检测网络对待检测场景图像进行目标检测；对此，可以根据需要设置，本公开实施例不作限制。
在本公开实施例中，目标检测网络可以是基于卷积神经网络(RegionConvolutional Neural Networks，R-CNN)的网络，也可以是基于快速卷积神经网络(FastR-CNN)的网络、还可以是基于区域全卷积网络(Region-based Fully ConvolutionalNetworks，R-FCN)、SSD、视网膜网络(RetinaNET)等等可以实现目标检测的目标检测网络，对于目标检测网络，本公开实施例不作限制。
在本公开实施例中，样本图像中标注了前景的区域为正样本，标注了背景的区域为负样本；对于一类原始训练集中的样本图像，目标检测网络会学习负样本作为背景，学习正样本作为前景；如此，目标检测网络可以基于正样本和负样本的学习，实现对待检测场景图像中的前景和背景的正确分类，从而识别出目标。
在本公开实施例中，至少两类原始训练集中每一类原始训练集包括该类目标的原始正样本和原始负样本。
在本公开实施例中，每一类原始训练集可以是基于采集的大量场景图像，进行人工标注得到的；也可以是现有的公共数据集中已经标注好的，对于原始训练集的设置，本公开实施例不作限制。
在本公开实施例中，每一类原始正样本为该类目标的前景，可以作为每一类目标正样本；每一类原始负样本为该类目标的背景，可以作为每一类目标负样本；其他类目标的原始正样本为其他类目标的前景，可以作为该类目标的背景，即该类目标的目标负样本；而其他类目标的原始负样本为其他类目标的前景，但可能为该类目标的前景，因此，目标检测网络可以将其他类目标的原始负样本作为该类目标冲突样本，在对该类目标检测的训练过程中，不学习该类目标冲突样本，避免目标检测网络对该类目标检测的准确率受到影响。
示例性的，至少两类目标包括行人和人脸，图2中示出了人脸的原始正样本和原始负样本，图5中示出了行人的原始正样本和原始负样本；可以看出，行人的原始负样本中不包括行人，但可以包括人脸，人脸的原始负样本中不包括人脸，但可能包括行人；如果行人的负样本中包括人脸，目标检测网络如果将行人的负样本作为人脸的负样本进行学习，则会将行人负样本中的人脸作为背景进行学习，导致目标检测网络对人脸的检测准确度降低。
可以理解的是，目标检测网络是在至少两类目标的至少两类原始训练集的基础上，通过设置至少两类目标训练集中每一类目标训练集的冲突样本，得到至少两类目标的目标训练集，进而通过至少两类目标训练集训练得到的；也就是说，在现有的各类原始训练集的基础上，通过设置冲突样本，可以使目标检测装置快速得到针对各类目标组合的目标检测网络，增加了多目标检测灵活性，提高了对各种多类目标检测的检测效率。
在本公开的一些实施例中，S102中通过目标检测网络对待检测图像进行检测，得到至少两类目标的检测结果之前的实现，如图6所示，可以包括S201-S203。
S201、获取至少两类原始训练集；
在本公开实施例中，目标检测装置在确定目标检测网络需要检测的至少两类目标后，可以获取该至少两类目标对应的至少两类原始训练集，其中，一类目标对应一类原始训练集；一类原始训练集中的原始正样本中只标注了这一类目标。
S202、根据至少两类原始训练集，确定至少两类目标训练集；
在本公开实施例中，目标检测装置在获取至少两类原始训练集后，可以从至少两类原始训练集的所有原始正样本和原始负样本中，确定出至少两类目标训练集中的每一类目标训练集。
在本公开实施例中，目标检测装置可以从至少两类原始训练集的至少两类原始正样本和至少两类原始负样本中，确定出每一类目标训练集中的目标正样本、目标负样本和目标冲突样本。
需要说明的是，每一类目标训练集中的目标正样本、目标负样本和目标冲突样本的合集为所述至少两类原始训练集的合集。
示例性的，至少两类原始训练集包括3类原始训练集，分别为1类原始训练集、2类原始训练集和3类原始训练集；其中，1类原始训练集的原始正样本为A1，原始负样本为B1；2类原始训练集的原始正样本为A2，原始负样本为B2；3类原始训练集的原始正样本为A3，原始负样本为B3；则1类目标训练集、2类目标训练集和3类目标训练集中任意一类目标训练集包括A1、B1、A2、B2、A3和B3。
可以理解的是，目标检测装置在获取至少两类原始训练集后，可以根据至少两类原始训练集中的所有样本，确定至少两类目标训练集中的目标正样本、目标负样本和目标冲突样本，增加了目标训练集设置的灵活性，提高了目标训练集的获取效率，从而提高了目标检测的效率和灵活性。
在本公开的一些实施例中，S202中根据至少两类原始训练集，确定至少两类目标训练集的实现，如图7所示，可以包括S301-S304。
S301、将至少两类原始训练集中的第p类原始正样本，作为第p类目标正样本；p为正整数，且p小于等于所述至少两类的总类别数；
在本公开实施例中，目标检测装置可以将至少两类原始训练集中，第p类原始正样本，作为第p类目标正样本，从而得到至少两类目标正样本；也就是说，第p类原始正样本即为第p类目标正样本。
S302、从至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本；
在本公开实施例中，目标检测装置可以从至少两类原始训练集中的至少两类原始负样本中，确定出第p类目标冲突样本；按照相同的方法可以得到其他类的目标冲突样本，从而得到至少两类目标冲突样本。
在本公开的一些实施例中，目标检测装置可以从至少两类原始负样本中，将除第p类原始负样本以外的其他类负样本作为第p类冲突样本。
示例性的，目标检测网络用于检测烟火、横幅和标语三类目标，则烟火的目标冲突样本可以为横幅的原始负样本和标语的原始负样本；横幅的目标冲突样本可以为烟火的原始负样本和标语的原始负样本；标语的目标冲突样本可以为烟火的原始负样本和横幅的原始负样本。
可以理解的是，目标检测装置可以从至少两类原始负样本中，确定出每一类的目标冲突样本，从而快速确定目标冲突样本，提高了目标训练集的获取效率，从而提高了目标检测的效率和灵活性。
在本公开的一些实施例中，目标检测装置可以根据第p类目标在至少两类原始训练集中出现的概率，从至少两类原始负样本中，确定第p类冲突样本。
需要说明的额是，第p类目标在至少两类原始训练集中出现的概率为至少两类原始训练集中的目标，属于第p类目标这个类型的图像的占比。
在本公开实施例中，目标检测装置可以获取至少两类目标中第p类目标在至少两类原始训练集中出现的概率，判断概率是否高于概率阈值，得到判断结果，根据片段结果，确定第p类目标冲突样本。
可以理解的是，目标检测装置可以根据每一类目标在原始训练集中出现的概率，确定每一类目标冲突样本，提高了确定冲突样本的准确性，从而提高了目标检测网络的检测准确度。
在本公开的一些实施例中，若至少两类目标中的第p类目标在至少两类原始训练集中出现的概率大于概率阈值，则目标检测装置将至少两类负样本中的第p类原始负样本以外的其他类负样本，确定为第p类目标冲突样本。
在本公开实施例中，概率阈值可以根据需要设置，对此，本公开实施例不作限制。
在本公开实施例中，如果至少两类目标的第p类目标在至少两类原始训练集中出现概率大于概率阈值，表示其他类目标的原始负样本中存在较多的第p类目标，目标检测装置可以确定其他类原始负样本为第p类目标冲突样本。
可以理解的是，在其他类原始负样本中存在较多的第p类目标的情况下，将其他类原始负样本确定为第p类目标冲突样本，避免目标检测网络将其他类原始负样本中存在的第p类目标的前景当作背景进行学习，提高了目标检测网络的检测准确度。
在本公开的一些实施例中，若至少两类目标中的第p类目标在至少两类原始训练集中出现的概率小于或者等于概率阈值，则目标检测装置确定所述至少两类原始负样本中不存在所述第p类目标冲突样本。
在本公开实施例中，如果至少两类目标的第p类目标在至少两类原始训练集中出现概率小于或者等于概率阈值，表示其他类目标的原始负样本中基本不存在第p类目标，目标检测装置可以确定至少两类原始负样本中不存在第p类目标的目标冲突样本。
可以理解的是，当其他类原始负样本中基本不存在第p类目标时，目标检测装置可以不设置第p类目标冲突样本，如此，可以快速从至少两类原始训练集中确定出第p类目标训练集，减小了确定第p类目标训练集的复杂度，从而提高了目标检测网络的生成效率。
在本公开的一些实施例中，每一类目标冲突样本的确定方式可以是预先设置好的；如此，目标检测装置可以根据预先设置好的每一类目标冲突样本的确定方式，确定第p类目标冲突样本。
在本公开实施例中，不同类的目标冲突样本的确定方式可以相同，也可以不同，对此，本申请实施例不作限制。
在本公开的一些实施例中，不同类别的目标对应不同的类别标识，如此，目标检测装置可以根据类别标识来识别不同类别的样本。
在本公开的一些实施例中，同一类别的不同样本可以对应不同的样本标识，如此，目标检测装置可以根据类别标识和样本标识，识别每一类别的原始正样本和原始负样本，从而从至少两类原始训练集中所有类别的原始正样本以及原始负样本，确定出每一类目标的目标正样本、目标冲突样本和目标负样本。
示例性的，目标检测网络用于检测烟火、横幅和标语三类目标，其中，烟火、横幅和标语三类目标的类别标识分别为1、2和3，烟火的原始正样本为A1，原始负样本为B1，横幅的原始正样本为A2，原始负样本为B2，烟火的原始正样本为A3，原始负样本为B3；则目标检测装置可以从A1-A3、B1-B3中确定类别1、2和3的目标正样本、目标冲突样本和目标负样本。
S303、从至少两类原始训练集中，将除第p类目标正样本和第p冲突样本以外的其他样本，作为第p类目标负样本；
在本公开实施例中，目标检测装置在确定第p类目标正样本和第p类目标冲突样本后，可以确定出第p类目标负样本为至少两类原始训练集的样本集合中除第p类目标正样本、第p类目标冲突样本以外的其他样本；如此，第p类目标正样本、第p类目标冲突样本和第p类目标负样本的合集为至少两类原始训练集。
S304、将第p类目标正样本、第p类目标负样本和第p类目标冲突样本的集合，作为第p类目标训练集，从而得到至少两类目标训练集。
在本公开实施例中，目标检测装置确定出第p类目标正样本、第p类目标负样本和第p类目标冲突样本后，将第p类目标正样本、第p类目标负样本和第p类目标冲突样本的集合，作为第p类目标训练集，从而得到至少两类目标训练集。
示例性的，目标检测网络用于检测烟火、横幅、标语和垃圾四类目标，其中，烟火的原始正样本和原始负样本分别标识为A1和B1、横幅的原始正样本和原始负样本分别标识为A2和B2，标语的原始正样本和原始负样本分别标识为A3和B3，垃圾的原始正样本和原始负样本分别标识为A4和B4；其中，烟火在场景图像中出现的概率小于概率阈值，其他三类目标在场景图像中出现的概率均大于概率阈值；则目标检测装置可以确定烟火的目标正样本为A1，目标负样本为A2-A4和B1-B4；横幅的目标正样本为A2，目标冲突样本为B1、B3和B4，目标负样本为B2、A1、A3和A4；标语的目标正样本为A3，目标冲突样本为B1、B2和B4，目标负样本为B3、A1-A2和A4；垃圾的目标正样本为A4，目标冲突样本为B1-B3，目标负样本为B4和A1-A3。
可以理解的是，目标检测装置可以根据每一类的原始正样本确定每一类目标正样本，根据至少两类原始负样本确定每一类目标冲突样本，进而确定出每一类目标负样本，从而得到每一类目标训练集，增加了目标训练集设置的灵活性，提高了目标训练集的获取效率，从而提高了目标检测的效率和灵活性。
S203、采用至少两类目标训练集，训练原始目标检测网络，得到目标检测网络。
在本公开实施例中，目标检测装置确定出至少两类目标训练集后，可以利用至少两类目标训练集训练原始目标检测网络，训练完成的原始目标检测网络作为目标检测网络，目标检测网络用于从待检测场景图像中检测至少两类目标。
在本公开的一些实施例中，目标检测网络可以包括一个特征提取网络和一个至少两分类的分类网络。
在本公开实施例中，目标检测网络通过特征提取网络对待检测场景图像提取特征后，再通过一个至少两分类的分类网络对提取的特征进行至少两类分类，从而识别至少两类目标。
在本公开的一些实施例中，目标检测网络包括特征提取网络和至少两类分类网络；其中，特征提取网络用于从待检测图像中提取特征；至少两类分类网络中的每一类分类网络用于根据特征进行一类目标检测，从而得到至少两类目标的检测结果。
示例性的，图8示出了一种可选的目标检测网络检测目标的流程示意图，如图8所示，目标检测网络用于检测烟火、垃圾和标语三类目标；目标检测网络包括一个特征提取网络和三个分类网络；三个分类网络包括烟火分类网络、垃圾分类网络和标语分类网络；目标检测装置通过特征提取网络提取待检测场景图片中的特征，其中，特征包括烟火特征、垃圾特征和标语特征，并通过烟火分类网络对特征进行分类，得到烟火检测结果；通过垃圾分类网络对特征进行分类，得到垃圾检测结果；通过标语分类网络对特征进行分类，得到标语检测结果。
在本公开实施例中，至少两类分类网络中每一类分类网络用于对一类目标进行前景和背景的分类，从而识别对应的一类目标。
可以理解的是，目标检测网络中只有一个特征提取网络，通过这一个特征提取网络从待检测图像中一次性提取至少两类特征，如此，至少两类分类网络中的每一类分类网络都可以对至少两类特征进行目标分类，而不必对不同的分类网络分别提取不同类的特征，减少了特征提取的时间消耗，同时，减少了计算机资源消耗。
在本公开的一些实施例中，S203中采用至少两类目标训练集，训练目标检测网络的实现，如图9所示，可以包括：S401-S403。
S401、采用至少两类目标训练集中的n批目标样本，在当前轮次内，对原始目标检测网络依次进行n次更新，得到n次至少两类焦点损失中的每一类焦点损失和当前轮次内更新完成的原始目标检测网络；至少两类焦点损失与至少两类分类网络对应；n为正整数；
在本公开实施例中，目标检测装置通过至少两类目标训练集中的n批目标样本对原始目标检测网络进行n次更新，完成当前轮次的更新；其中，每一次更新可以得到至少两类焦点损失，至少两类焦点损失中的每一类焦点损失对应一类检测目标，每一类焦点损失是通过一类分类器得到的。
其中，n为正整数；n的值可以根据需要设置，对此，本公开实施例不作限制。
这里，n批样本中不同批的样本数量可以相同，也可以不同，对此，本公开实施例不作限制。
在本公开的一些实施例中，S401中采用至少两类目标训练集中的n批目标样本，在当前轮次内，对原始目标检测网络依次进行n次更新，得到n次至少两类焦点损失中的每一类焦点损失和当前轮次内更新完成的原始目标检测网络的实现，可以包括：S501-S503。
S501、在当前轮次内，基于n次更新中得到的第m-1次更新的原始目标检测网络中的特征提取网络，提取至少两类原始训练集中n批原始样本中的第m批原始样本的特征，得到第m特征；m为大于1且小于等于n的正整数；
在本公开实施例中，目标检测装置可以将至少两类原始训练集中的样本分为n批原始样本，n批原始样本中每一批原始样本为至少两类原始训练集中的一批目标样本，得到至少两类目标训练集中的n批目标样本。
在本公开实施例中，目标检测装置在当前轮次内对原始目标检测网络更新n次；其中，在得到第m-1次更新的原始目标检测网络后，采用第m-1次更新的原始目标检测网络中的特征提取网络，提取n批原始样本中第m批原始样本的特征，得到第m特征；m为大于1且小于等于n的正整数。
需要说明的是，在当前轮次内的第1次更新，是由上一轮次更新完成的原始目标检测网络提取第1批原始样本得到第1特征；基于第1特征进行更新。
S502、通过第m-1次更新的原始目标检测网络中的每一类分类网络，基于n批目标样本中与第m批原始样本对应的第m批目标样本，确定第m特征的每一类焦点损失，作为第m次每一类焦点损失；
在本申请实施例中，目标检测装置在得到第m特征后，通过第m-1次更新的原始目标检测网络中的每一类分类网络，根据n批目标样本中与第m批原始样本对应的第m批目标样本，确定第m特征的每一类焦点损失，得到第m次每一类焦点损失。
在本公开的一些实施例中，目标检测装置可以通过第m-1次更新的原始目标检测网络中的每一类分类网络，基于第m批目标样本，确定第m特征的每一类预检测概率；第m特征的每一类预检测概率表征第m特征对应的分类类别的概率；根据第m特征的每一类当前预检测概率，确定第m特征对应的每一类焦点损失，将第m特征对应的每一类焦点损失作为到第m次每一类焦点损失。
可以理解的是，目标检测装置可以对第m批样本确定出每一类预检测概率，根据每一类预检测概率确定对应的一类焦点损失，从而得到第m次每一类焦点损失；如此，目标检测装置可以根据当前轮次内每一次每一类焦点损失确定当前轮次的焦点损失均值，基于焦点损失均值确定目标检测网络是否训练完成，提高了焦点损失计算时的多样性。
在本公开实施例中，目标检测装置通过至少两类分类网络中的每一类分类网络，根据第m批目标样本确定出第m特征为每一类分类类别的每一类当前预检测概率；其中，每一类分类类别包括每一类前景类别和每一类背景类别。
在本公开的一些实施例中，若第m特征所属样本为第m批目标样本中第i类目标冲突样本中的特征，则确定第m特征的第i类预检测概率为预设概率；预设概率对应的焦点损失为0；i为正整数；若第m特征所属样本为第m批目标样本中的第i类目标正样本或第i类目标负样本中的特征时，则根据第i类目标正样本和第i类目标负样本，确定第i类预检测概率；继续进行第i+1类预检测概率的确定过程，直至确定完第N类预检测概率时为止，得到了第m特征的每一类预检测概率，其中，N为至少两类目标的类型总数量，这样就确定了第m特征的每一类预检测概率。
需要说明的是，在得到了一类预检测概率(例如第i类预检测概率)的情况下，可以继续进行下一个预检测概率(例如第i+1类预检测概率)的确定，一直循环下去，直至所有类型的预检测概率都确定的情况下，就想得到了每一类预检测概率。
在本公开实施例中，第i类分类网络为至少两类分类网络中的任意一类分类网络。
在本公开实施例中，目标检测装置可以通过第i类分类网络，根据公式(1)和公式(2)确定第m次第i类焦点损失FL。
FL(pt)＝-α(1-pt)r log(pt) 公式(1)
Figure BDA0003046969420000261
其中，pt为第i类分类网络根据第m批目标样本中第i类目标正样本和第i类目标负样本，预测的第m特征为第i类的预检测概率；y＝1表示第m特征为前景，p为第i类分类网络预测的第m特征为前景的概率；r为可调聚焦参数，-(1-pt)r为调制因子，α为平衡正负样本均衡性的权重。
在本公开实施例中，如果第m特征所属样本对应第i类目标冲突样本，则目标检测装置可以直接确定第m特征的第i类预检测概率为预设概率1，如此，得到焦点损失为0。
在本公开实施例中，若第m特征所属样本为第m批目标样本中的第i类目标正样本或第i类目标负样本中的特征，确定第m特征为第i类前景的预检测概率为p，则第m特征为前景的焦点损失FL1，参见公式(3)。
FL1＝-α(1-p)r log(p) 公式(3)
在本公开实施例中，第m特征为第i类前景的预检测概率为p，则第m特征为第i类背景的预检测概率为1-p，由此，第m特征为背景的焦点损失FL2，参见公式(4)。
FL2＝-αpr log(1-p) 公式(4)
可以理解的是，目标检测装置可以在第m特征所属的样本为第i类目标冲突样本的情况下，将第i类预检测概率确定为预设概率，且预设概率对应的焦点损失为0，从而实现目标检测装置在训练过程中不学习目标冲突样本。目标检测装置可以在训练目标检测网络的过程中，在计算焦点损失时，将冲突样本对应的焦点损失确定为预设值，使冲突样本对应的焦点损失为0，从而使冲突样本不对目标检测网络的训练产生影响，如此，对于任何一个目标检测网络，在获取至少两类原始训练集后，可以直接输入至少两类原始训练集对目标检测网络进行训练，进一步提高了目标检测网络的训练效率。
S503、根据第m次每一类焦点损失，对第m-1次更新的原始目标检测网络进行更新，得到第m次更新的原始目标检测网络，直至得到第n次每一类焦点损失，从而得到n次每一类焦点损失；以及第n次更新的原始目标检测网络，将第n次更新的原始目标检测网络作为当前轮次内训练完成的目标检测网络。
在本公开实施例中，目标检测装置在得到第m次每一类焦点损失后，可以将第m次每一类焦点损失进行加权求和，得到第m次焦点损失；再根据第m次焦点损失对第m-1次更新的原始目标检测网络进行更新，得到第m次更新的原始目标检测网络。
在本公开实施例中，目标检测装置在得到第m次更新的原始目标检测网络之后，继续进行当前轮次内的后续n-m次更新，直至完成当前轮次内的第n次更新。
在本公开实施例中，目标检测装置完成当前轮次的n次更新后，可以得到第n次更新的原始目标检测网络和n次每一类焦点损失。
可以理解的是，目标检测装置可以提取每一批样本的特征，根据每一批样本的特征，与每一批样本对应的原始训练集中的样本，确定每一批样本中每一类目标的焦点损失，根据每一批样本中每一类目标的焦点损失更新目标检测网络，从而实现对目标检测网络的训练，提高了目标检测网络的训练效率。
S402、基于n次至少两类焦点损失中的每一类焦点损失，确定当前轮次内的焦点损失均值；
在本公开实施例中，目标检测装置在当前轮次内，对原始目标检测网络依次进行n次更新，每次更新得到一次每一类焦点损失；在n次更新完成后，得到n次每一类焦点损失。
在本公开实施例中，目标检测装置可以对每一次得到的每一类次焦点损失加权求和，得到每一次的焦点损失，从而得到n次焦点损失；再对n次焦点损失求均值，得到当前轮次内的焦点损失均值。
S403、若当前轮次内的焦点损失均值和/或当前轮次的轮次数满足终止条件，则终止迭代训练，将当前轮次内更新完成的原始目标检测网络作为目标检测网络。
在本申请实施例中，目标检测装置在当前轮次更新完成后，可以根据当前轮次内的焦点损失均值和/或当前轮次的轮次数和终止条件，确定下一步处理方式。
在本公开的一些实施例中，终止条件包括以下至少之一：当前轮次内的焦点损失均值小于损失阈值；当前轮次的轮次数大于或者等于最大轮次数。
在本公开实施例中，目标检测装置可以在当前轮次内的焦点损失均值小于损失阈值的情况下，终止训练；或者，在当前轮次的轮次数大于或者等于最大轮次数的情况下，终止训练；对于以上两个条件，任意满足一个，目标检测装置将终止迭代。
可以理解的是，目标检测装置可以根据每一轮次的焦点损失均值和/或对应轮次的轮次数，确定终止训练的时机，将最后一次更新的目标检测网络作为训练完成的目标检测网络。提高了训练的灵活性。
在本公开实施例中，若当前轮次更新完成后，目标检测装置确定终止训练，则可以将当前轮次内更新完成的原始目标检测网络作为目标检测网络。
可以理解的是，目标检测装置可以将目标训练集分为n批样本，每一轮次训练均通过n批样本对目标检测网络进行n次更新，得到n次焦点损失均值，根据n次焦点损失均值和/或训练的轮次数满足终止条件的情况下，终止训练，得到目标检测网络；增加了目标检测网络的更新次数，提高了目标检测网络的准确性。
在本公开的一些实施例中，S402中基于n次至少两类焦点损失中的每一类焦点损失，确定当前轮次内的焦点损失均值之后的实现，可以包括：S601-S602。
S601、若当前轮次内的焦点损失均值和/或当前轮次的轮次数不满足终止条件，则进行下一轮次的更新，得到下一轮次内的焦点损失均值和下一轮次内更新完成的原始目标检测网络；
在本公开实施例中，目标检测装置在确定当前轮次内的焦点损失均值和/或当前轮次的轮次数不满足终止条件的情况下，将对当前轮次更新完成的原始目标检测网络继续进行下一轮次的更新。
在本公开实施例中，目标检测装置在下一轮次更新完成后，可以得到下一轮次的焦点损失均值和下一轮次更新完成的原始目标检测网络。
S602、若下一轮次的焦点损失均值和/或下一轮次的轮次数满足终止条件，则终止训练，将下一轮次内更新完成的原始目标检测网络作为目标检测网络。
在本公开实施例中，目标检测装置在得到下一轮次的焦点损失均值和下一轮次更新完成的原始目标检测网络后，如果确定下一轮次的焦点损失均值和/或下一轮次的轮次数满足终止条件，将终止训练，将下一轮次内更新完成的原始目标检测网络作为目标检测网络。
需要说明的是，目标检测装置每更新一轮次的原始目标检测网络后，需要根据当前轮次的焦点损失均值和当前轮次的轮次数和终止条件确定是否继续下一轮次的训练，某一轮次训练完成后，如果该轮次的焦点损失均值和轮次数满足终止条件，则在该轮次训练完成后，终止训练，将该轮次训练完成的原始目标检测网络作为最终训练完成的目标检测网络，通过最终训练完成的目标检测网络检测至少两类目标。
可以理解的是，目标检测装置可以将目标训练集分为n批样本，每一轮次训练均通过n批样本对目标检测网络进行n次更新，得到n次焦点损失均值，在n次焦点损失均值和/或训练的轮次数不满足终止条件的情况下，进行下一轮次的训练；如此，增加了目标检测网络的训练理论次数，提高了目标检测网络的准确性。
在本公开的一些实施例中，S203中采用至少两类目标训练集，训练原始目标检测网络，得到目标检测网络之后的实现，如图10所示，可以包括S701-S702。
S701、获取更新后的第一类目标训练集；
在本公开实施例中，第一类目标训练集为至少两类目标训练集中的任意一类训练集；目标检测装置可以在第一类目标训练集更新后，获取更新后的第一类目标训练集。
在本公开的一些实施例中，目标检测装置可以在至少两类原始训练集中的至少一类原始训练集更新后，基于更新后的至少一类原始训练集更新第一类目标训练集，从而得到更新后的第一类目标训练集。
在本公开的一些实施例中，目标检测装置也可以在第一类原始训练集更新后，基于更新后的第一类原始训练集更新第一类目标训练集，从而得到更新后的第一类目标训练集。
在本公开的一些实施例中，目标检测装置可以按照预设的更新时间间隔，获取至少两类原始训练集作为更新后的至少两类原始训练集，基于更新后的至少两类原始训练集更新第一类目标训练集，从而得到更新后的第一类目标训练集。
其中，预设的更新时间间隔可以根据需要设置，本公开实施例不作限制。
在本公开的一些实施例中，目标检测装置可以在第一类原始训练集更新后，获取更新后的第一类原始训练集，根据更新后的第一类原始训练集更新第一类目标训练集，从而得到更新后的第一类目标训练集。
在本公开的一些实施例中，更新后的第一类原始训练集中包括第一类目标的新型正样本。
示例性的，横幅的原始训练集中，横幅的正样本中文字为中文；如果在城市监控摄像头中采集的场景图像中，出现了英文文字的横幅，则更新后的横幅的原始训练集中将包括英文文字的横幅；如此，目标检测装置获取到的更新后的横幅的目标训练集中将包括英文文字的横幅。
S702、采用更新后的第一类目标训练集对第一类分类网络进行训练，得到更新后的第一类分类网络，采用更新后的第一类分类网络更新目标检测网络，得到更新后的目标检测网络。
在本公开实施例中，目标检测装置在获取更新后的第一类目标训练集后，可以采用更新后的第一目标训练集对目标检测网络中的第一类分类网络训练，得到更新后的第一类分类网络，由此，目标检测网络中的第一类分类网络得到了更新，则目标检测网络得到了更新，得到了更新后的目标检测网络。
可以理解的是，在至少两类目标训练集中的第一类目标训练集更新后，可以采用更新后的第一类目标训练集对第一类分类网络进行训练，由此，快速实现对目标检测网络的更新，在提高了目标检测网络对第一类目标的检测准确度的同时，不影响其他类分类网络的检测准确度。
在本公开的一些实施例中，S203中采用至少两类目标训练集，训练目标检测网络之后的实现，如图11所示，可以包括S801-S802。
S801、获取第二类分类网络；第二类分类网络用于检测至少两类目标以外的其他类目标；
S802、将第二类分类网络加入至少两类分类网络，得到更新后的至少两类分类网络，采用更新后的至少两类分类网络更新目标检测网络，得到更新后的目标检测网络。
在本公开实施例中，第二类分类网络用于检测至少两类目标外的其他类目标；目标检测装置在现有的目标检测网络的基础上，需要增加对第二类目标的检测时，可以直接获取训练好的第二类分类网络，将第二类分类网络加入至少两类分类网络，得到更新后的至少两类分类网络，由此，得到更新后的目标检测网络，更新后的目标检测网络中将包括更新后的至少两类分类网络，从而使更新后的目标检测网络在原目标检测网络的基础上，还能够对新增的第二类目标进行检测。
在本公开实施例中，第二类分类网络可以是单独训练的分类网络；如此，提高了目标检测网络的使更新后的目标检测网络能够检测出第二类目标的同时，不影响其他类目标的检测准确度。
在本公开的一些实施例中，第二类分类网络可以是根据第二类原始训练集训练得到的。
在本公开的一些实施例中，第二类分类网络可以是根据第二类目标训练集训练得到的，其中，第二类目标训练集可以是根据至少两类原始训练集和第二类原始训练集确定的。
需要说明的是，更新第一类分类网络是通过更新目标检测网络中第一类分类网络的网络参数实现的；增加第二类分类网络，是通过增加第二类分类网络的网络参数实现的。
可以理解的是，在目标检测网络需要检测除至少两类目标以外的其他类目标时，可以直接获取其他类分类网络，将其他类分类器加入至少两类分类网络中，得到更新后的至少两类分类网络，从而增加目标检测网络的检测类别；由此，快速实现对目标检测网络检测类别的更新，同时保证了其他类分类网络的分类精度。
本申请实施例提供一种目标检测装置455，如图12所示，该目标检测装置455包括：
获取模块4551，用于获取待检测场景图像；
检测模块4552，用于通过目标检测网络对所述待检测场景图像进行检测，得到至少两类目标的检测结果；所述目标检测网络是根据至少两类目标训练集训练得到的；所述至少两类目标训练集中的每一类目标训练集包括一类目标对应的目标正样本、目标负样本和目标冲突样本；所述每一类目标训练集中的目标正样本、目标负样本和目标冲突样本的集合是基于至少两类原始训练集得到的；所述至少两类原始训练集中每一类原始训练集包括针对一类目标对应的原始正样本和原始负样本；其中，每一类目标冲突样本为所述目标检测网络不学习的样本。
在一些实施例中，所述目标检测装置还包括确定模块和训练模块；所述获取模块4551，还用于获取所述至少两类原始训练集；所述确定模块，用于根据所述至少两类原始训练集，确定所述至少两类目标训练集；所述训练模块，用于采用所述至少两类目标训练集，训练原始目标检测网络，得到所述目标检测网络。
在一些实施例中，所述确定模块，还用于将所述至少两类原始训练集中的第p类原始正样本，作为第p类目标正样本；p为正整数；从所述至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本；从所述至少两类原始训练集中，将除所述第p类目标正样本和所述第p目标冲突样本以外的其他样本，作为第p类目标负样本；将所述第p类目标正样本、所述第p类目标负样本和所述第p类目标冲突样本的集合，作为所述第p类目标训练集，从而得到所述至少两类目标训练集。
在一些实施例中，所述确定模块，还用于从所述至少两类原始负样本中，将第p类原始负样本以外的其他类负样本作为所述第p类目标冲突样本。
在一些实施例中，所述确定模块，还用于根据第p类目标在所述至少两类原始训练集中出现的概率，从所述至少两类原始负样本中，确定所述第p类目标冲突样本。
在一些实施例中，所述确定模块，还用于若所述至少两类目标中的第p类目标在所述至少两类原始训练集中出现的概率大于概率阈值，则将所述至少两类负样本中所述第p类原始负样本以外的其他类负样本，确定为所述第p类目标冲突样本；若所述第p类目标在所述至少两类原始训练集中出现的概率小于或者等于所述概率阈值，则确定所述至少两类原始负样本中不存在所述第p类目标冲突样本。
在一些实施例中，所述目标检测网络包括特征提取网络和至少两类分类网络；其中，特征提取网络用于从待检测图像中提取特征；所述至少两类分类网络中的每一类分类网络用于根据所述特征进行一类目标检测，从而得到至少两类目标的检测结果。
在一些实施例中，所述训练模块，还用于采用所述至少两类目标训练集中的n批目标样本，在当前轮次内，对所述原始目标检测网络依次进行n次更新，得到n次至少两类焦点损失中的每一类焦点损失和当前轮次内更新完成的原始目标检测网络；所述至少两类焦点损失与所述至少两类分类网络对应；n为正整数；基于所述n次至少两类焦点损失中的每一类焦点损失，确定当前轮次内的焦点损失均值；若所述当前轮次内的焦点损失均值和/或当前轮次的轮次数满足终止条件，则终止训练，将所述当前轮次内更新完成的原始目标检测网络作为所述目标检测网络。
在一些实施例中，所述训练模块，还用于若所述当前轮次内的焦点损失均值和/或当前轮次的轮次数不满足终止条件，则继续进行下一轮次的更新，得到下一轮次内的焦点损失均值和下一轮次内更新完成的原始目标检测网络；若所述下一轮次的焦点损失均值和/或下一轮次的轮次数满足终止条件，则终止训练，将所述下一轮次内更新完成的原始目标检测网络作为所述目标检测网络。
在一些实施例中，所述训练模块，还用于在当前轮次内，基于所述n次更新中得到的第m-1次更新的原始目标检测网络中的特征提取网络，提取所述至少两类原始训练集中n批原始样本中的第m批原始样本的特征，得到第m特征；m为大于1且小于等于n的正整数；通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述n批目标样本中与所述第m批原始样本对应的第m批目标样本，确定所述第m特征的每一类焦点损失，作为第m次每一类焦点损失；根据所述第m次每一类焦点损失，对所述第m-1次更新的原始目标检测网络进行更新，得到第m次更新的原始目标检测网络，直至得到第n次每一类焦点损失，从而得到所述n次每一类焦点损失；以及第n次更新的原始目标检测网络，将所述第n次更新的原始目标检测网络作为所述当前轮次内训练完成的目标检测网络。
在一些实施例中，所述终止迭代条件，包括以下至少之一：
所述当前轮次内的焦点损失均值小于损失阈值；
所述当前轮次的轮次数大于或者等于最大轮次数。
在一些实施例中，所述训练模块，还用于通过所述第m-1次更新的原始目标检测网络中的每一类分类网络基于所述第m批目标样本，确定所述第m特征的每一类预检测概率；所述第m特征的每一类预检测概率表征所述第m特征对应的分类类别的概率；根据所述第m特征的每一类当前预检测概率，确定所述第m特征对应的每一类焦点损失，并将所述第m特征对应的每一类焦点损失作为所述第m次每一类焦点损失。
在一些实施例中，所述训练模块，还用于若所述第m特征所属样本对应所述第m批目标样本中第i类目标冲突样本中的特征，则确定所述第m特征的第i类预检测概率为预设概率；所述预设概率对应的焦点损失为0；i为正整数；若所述第m特征所属样本为所述第m批目标样本中的第i类目标正样本或所述第i类目标负样本中的特征时，则根据所述第i类目标正样本和所述第i类目标负样本，确定所述第i类预检测概率；进行第i+1类预检测概率的确定过程，直至确定完第N类预检测概率时为止，得到了所述第m特征的每一类预检测概率，其中，N为至少两类目标的类型总数量。
在一些实施例中，所述训练模块，还用于获取更新后的第一类目标训练集；采用所述更新后的第一类目标训练集对所述第一类分类网络进行训练，得到更新后的第一类分类网络，采用所述更新后的第一类分类网络更新所述目标检测网络，得到更新后的目标检测网络。
在一些实施例中，所述训练模块，还用于获取第二类分类网络；所述第二类分类网络用于检测所述至少两类目标以外的其他类目标；将所述第二类分类网络加入所述至少两类分类网络，得到更新后的至少两类分类网络，采用所述更新后的至少两类分类网络更新所述目标检测网络，得到更新后的目标检测网络。
图13为本申请实施例的目标检测设备的结构组成示意图，如图13所示，目标检测设备19包括存储器1901、处理器1902及存储在存储器1901上并可在处理器1902上运行的计算机程序；其中，处理器用于运行计算机程序时，执行如前述实施例中的目标检测方法。
可以理解，目标检测设备19还包括总线系统1903；通信设备19中的各个组件通过总线系统1903耦合在一起。可理解，总线系统1903用于实现这些组件之间的连接通信。总线系统1903除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
存储器1901配置为存储由处理器1902计算机程序和应用，还可以缓存待处理器1902以及目标检测设备中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
处理器1902执行程序时实现上述任一项目标检测方法的步骤。处理器1902通常控制目标检测设备19的总体操作。
上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本公开实施例不作限制。
上述计算机可读存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
本公开实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本公开实施例上述的目标检测方法。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
综上所述，本公开实施例通过目标检测装置能够根据需要检测的至少两类目标，获取针对至少两类目标中每一类目标的原始训练集，并基于至少两类原始训练集确定至少两类目标训练集，根据至少两类目标训练集训练目标检测装置，从而提高了目标检测装置的检测效率和灵活性；通过设置每一类目标冲突训练集，使目标检测网络忽略对冲突样本的学习，提高了目标检测网络的检测准确性。并且，目标检测装置可以根据每一类目标在场景图像中出现的概率，确定每一类冲突样本简化该类目标训练集的确定过程，提高目标检测网络的训练效率；进一步的，目标检测装置可以在在计算焦点损失时，将冲突样本对应的焦点损失确定为预设值，使冲突样本对应的焦点损失为0，从而使冲突样本不对目标检测网络的训练产生影响，如此，对于任何一个目标检测网络，在获取至少两类原始训练集后，可以直接输入至少两类原始训练集对目标检测网络进行训练，进一步提高了目标检测网络的训练效率，从而提高了目标检测效率；再进一步的，目标检测网络可以单独更新至少两类分类网络中的任意一个分类网络，或者获取新增类别的分类网络加入目标检测网络，使目标检测网络在至少两类检测目标的基础上，增加对新增类别目标的检测，从而快速增加目标检测网络的检测类别，提高目标检测网络的检测性能。
以上所述，仅为本公开的实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本公开的保护范围之内。

Claims (18)

1.一种目标检测方法，其特征在于，包括：
获取待检测场景图像；
通过目标检测网络对所述待检测场景图像进行检测，得到至少两类目标的检测结果；所述目标检测网络是根据至少两类目标训练集训练得到的；所述至少两类目标训练集中的每一类目标训练集包括一类目标对应的目标正样本、目标负样本和目标冲突样本；所述每一类目标训练集中的目标正样本、目标负样本和目标冲突样本的集合是基于至少两类原始训练集得到的；所述至少两类原始训练集中每一类原始训练集包括一类目标对应的原始正样本和原始负样本；其中，每一类所述目标冲突样本为所述目标检测网络不学习的样本。
2.根据权利要求1所述的方法，其特征在于，所述通过目标检测网络对所述待检测图像进行检测，得到至少两类目标的检测结果之前，所述方法还包括：
获取所述至少两类原始训练集；
根据所述至少两类原始训练集，确定所述至少两类目标训练集；
采用所述至少两类目标训练集，训练原始目标检测网络，得到所述目标检测网络。
3.根据权利要求2所述的方法，其特征在于，所述根据所述至少两类原始训练集，确定所述至少两类目标训练集，包括：
将所述至少两类原始训练集中的第p类原始正样本，作为第p类目标正样本；p为正整数，且p小于等于所述至少两类的总类别数；
从所述至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本；
从所述至少两类原始训练集中，将除所述第p类目标正样本和所述第p目标冲突样本以外的其他样本，作为第p类目标负样本；
将所述第p类目标正样本、所述第p类目标负样本和所述第p类目标冲突样本的集合，作为所述第p类目标训练集，从而得到所述至少两类目标训练集。
4.根据权利要求3所述的方法，其特征在于，所述从所述至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本，包括：
从所述至少两类原始负样本中，将第p类原始负样本以外的其他类负样本作为所述第p类目标冲突样本。
5.根据权利要求3所述的方法，其特征在于，所述从所述至少两类原始训练集的至少两类原始负样本中，确定第p类目标冲突样本，还包括：
根据第p类目标在所述至少两类原始训练集中出现的概率，从所述至少两类原始负样本中，确定所述第p类目标冲突样本。
6.根据权利要求5所述的方法，其特征在于，所述根据第p类目标在所述至少两类原始训练集中出现的概率，从所述至少两类原始负样本中，确定所述第p类目标冲突样本，包括：
若所述至少两类目标中的第p类目标在所述至少两类原始训练集中出现的概率大于概率阈值，则将所述至少两类负样本中所述第p类原始负样本以外的其他类负样本，确定为所述第p类目标冲突样本；
若所述第p类目标在所述至少两类原始训练集中出现的概率小于或者等于所述概率阈值，则确定所述至少两类原始负样本中不存在所述第p类目标冲突样本。
7.根据权利要求2-6任一项所述的方法，其特征在于，所述目标检测网络包括特征提取网络和至少两类分类网络；其中，所述特征提取网络用于从待检测图像中提取特征；所述至少两类分类网络中的每一类分类网络用于根据所述特征进行一类目标检测，从而得到至少两类目标的检测结果。
8.根据权利要求7所述的方法，其特征在于，所述采用所述至少两类目标训练集，训练原始目标检测网络，得到所述目标检测网络，包括：
采用所述至少两类目标训练集中的n批目标样本，在当前轮次内，对所述原始目标检测网络依次进行n次更新，得到n次至少两类焦点损失中的每一类焦点损失和当前轮次内更新完成的原始目标检测网络；所述至少两类焦点损失与所述至少两类分类网络对应；n为正整数；
基于所述n次至少两类焦点损失中的每一类焦点损失，确定当前轮次内的焦点损失均值；
若所述当前轮次内的焦点损失均值和/或当前轮次的轮次数满足终止条件，则终止训练，将所述当前轮次内更新完成的原始目标检测网络作为所述目标检测网络。
9.根据权利要求8所述的方法，其特征在于，所述基于所述n次至少两类焦点损失中的每一类焦点损失，确定当前轮次内的焦点损失均值之后，所述方法还包括：
若所述当前轮次内的焦点损失均值和/或当前轮次的轮次数不满足终止条件，则进行下一轮次的更新，得到下一轮次内的焦点损失均值和下一轮次内更新完成的原始目标检测网络；
若所述下一轮次的焦点损失均值和/或下一轮次的轮次数满足终止条件，则终止训练，将所述下一轮次内更新完成的原始目标检测网络作为所述目标检测网络。
10.根据权利要求8所述的方法，其特征在于，所述采用所述至少两类目标训练集中的n批目标样本，在当前轮次内，对所述原始目标检测网络依次进行n次更新，得到n次至少两类焦点损失中的每一类焦点损失和当前轮次内更新完成的原始目标检测网络，包括：
在当前轮次内，基于所述n次更新中得到的第m-1次更新的原始目标检测网络中的特征提取网络，提取所述至少两类原始训练集中n批原始样本中的第m批原始样本的特征，得到第m特征；m为大于1且小于等于n的正整数；
通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述n批目标样本中与所述第m批原始样本对应的第m批目标样本，确定所述第m特征的每一类焦点损失，作为第m次每一类焦点损失；
根据所述第m次每一类焦点损失，对所述第m-1次更新的原始目标检测网络进行更新，得到第m次更新的原始目标检测网络，直至得到第n次每一类焦点损失，从而得到所述n次每一类焦点损失；以及第n次更新的原始目标检测网络，将所述第n次更新的原始目标检测网络作为所述当前轮次内训练完成的目标检测网络。
11.根据权利要求8所述的方法，其特征在于，所述终止迭代条件，包括以下至少之一：
所述当前轮次内的焦点损失均值小于损失阈值；
所述当前轮次的轮次数大于或者等于最大轮次数。
12.根据权利要求10所述的方法，其特征在于，所述通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述n批目标样本中与所述第m批原始样本对应的第m批目标样本，确定所述第m特征的每一类焦点损失，作为第m次每一类焦点损失，包括：
通过所述第m-1次更新的原始目标检测网络中的每一类分类网络，基于所述第m批目标样本，确定所述第m特征的每一类预检测概率；所述第m特征的每一类预检测概率表征所述第m特征对应的分类类别的概率；
根据所述第m特征的每一类当前预检测概率，确定所述第m特征对应的每一类焦点损失，并将所述第m特征对应的每一类焦点损失作为所述第m次每一类焦点损失。
13.根据权利要求12所述的方法，其特征在于，所述基于所述第m批目标样本，确定所述第m特征的每一类预检测概率，包括：
若所述第m特征所属样本对应所述第m批目标样本中第i类目标冲突样本中的特征，则确定所述第m特征的第i类预检测概率为预设概率；所述预设概率对应的焦点损失为0；i为正整数；
若所述第m特征所属样本为所述第m批目标样本中的第i类目标正样本或所述第i类目标负样本中的特征时，则根据所述第i类目标正样本和所述第i类目标负样本，确定所述第i类预检测概率；
进行第i+1类预检测概率的确定过程，直至确定完第N类预检测概率时为止，得到了所述第m特征的每一类预检测概率，其中，N为至少两类目标的类型总数量。
14.根据权利要求2所述的方法，其特征在于，所述采用所述至少两类目标训练集，训练所述目标检测网络之后，所述方法还包括：
获取更新后的第一类目标训练集；
采用所述更新后的第一类目标训练集对所述第一类分类网络进行训练，得到更新后的第一类分类网络，采用所述更新后的第一类分类网络更新所述目标检测网络，得到更新后的目标检测网络。
15.根据权利要求2所述的方法，其特征在于，所述采用所述至少两类目标训练集，训练所述目标检测网络之后，所述方法还包括：
获取第二类分类网络；所述第二类分类网络用于检测所述至少两类目标以外的其他类目标；
将所述第二类分类网络加入所述至少两类分类网络，得到更新后的至少两类分类网络，采用所述更新后的至少两类分类网络更新所述目标检测网络，得到更新后的目标检测网络。
16.一种目标检测装置，其特征在于，包括：
获取模块，用于获取待检测场景图像；
检测模块，用于通过目标检测网络对所述待检测场景图像进行检测，得到至少两类目标的检测结果；所述目标检测网络是根据至少两类目标训练集训练得到的；所述至少两类目标训练集中的每一类目标训练集包括目标正样本、目标负样本和目标冲突样本；所述每一类目标训练集中的目标正样本、目标负样本和目标冲突样本的集合为所述至少两类原始训练集中所有样本的集合；所述至少两类原始训练集中每一类原始训练集包括针对一类目标的原始正样本和原始负样本；其中，每一类所述目标冲突样本为所述目标检测网络不学习的样本。
17.一种目标检测设备，其特征在于，包括：
存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序时，实现权利要求1至15任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于被处理器执行时，实现权利要求1至15任一项所述的方法。
CN202110474736.2A 2021-04-29 2021-04-29 目标检测方法、装置、设备和计算机可读存储介质 Active CN113159209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110474736.2A CN113159209B (zh) 2021-04-29 2021-04-29 目标检测方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110474736.2A CN113159209B (zh) 2021-04-29 2021-04-29 目标检测方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113159209A true CN113159209A (zh) 2021-07-23
CN113159209B CN113159209B (zh) 2024-05-24

Family

ID=76872411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110474736.2A Active CN113159209B (zh) 2021-04-29 2021-04-29 目标检测方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113159209B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063395A1 (en) * 2014-08-28 2016-03-03 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for labeling training samples
CN108764082A (zh) * 2018-05-17 2018-11-06 淘然视界(杭州)科技有限公司 一种飞机目标检测方法、电子设备、存储介质及系统
US20190213747A1 (en) * 2018-01-10 2019-07-11 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20200151484A1 (en) * 2018-02-13 2020-05-14 Boe Technology Group Co., Ltd. Sample acquisition method, target detection model generation method, target detection method, computing device and computer readable medium
CN111444828A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 一种模型训练的方法、目标检测的方法、装置及存储介质
CN111476827A (zh) * 2019-01-24 2020-07-31 曜科智能科技（上海）有限公司 目标跟踪方法、系统、电子装置及存储介质
CN111523596A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN111783844A (zh) * 2020-06-10 2020-10-16 东莞正扬电子机械有限公司 基于深度学习的目标检测模型训练方法、设备及存储介质
CN111881956A (zh) * 2020-07-15 2020-11-03 北京市商汤科技开发有限公司 网络训练方法及装置、目标检测方法及装置和电子设备
CN112102266A (zh) * 2020-08-31 2020-12-18 清华大学 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN112149503A (zh) * 2020-08-20 2020-12-29 北京迈格威科技有限公司 目标事件检测方法、装置和电子设备和可读介质
CN112232384A (zh) * 2020-09-27 2021-01-15 北京迈格威科技有限公司 模型训练方法、图像特征提取方法、目标检测方法和装置
CN112241705A (zh) * 2020-10-19 2021-01-19 平安科技（深圳）有限公司 基于分类回归的目标检测模型训练方法和目标检测方法
WO2021017261A1 (zh) * 2019-08-01 2021-02-04 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN112364923A (zh) * 2020-11-13 2021-02-12 北京明略昭辉科技有限公司 样本数据的处理方法及装置、系统、存储介质、电子设备
US20210089971A1 (en) * 2018-08-28 2021-03-25 American Chemical Society Systems and methods for performing a computer-implemented and feature based prior art search

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063395A1 (en) * 2014-08-28 2016-03-03 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for labeling training samples
US20190213747A1 (en) * 2018-01-10 2019-07-11 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20200151484A1 (en) * 2018-02-13 2020-05-14 Boe Technology Group Co., Ltd. Sample acquisition method, target detection model generation method, target detection method, computing device and computer readable medium
CN108764082A (zh) * 2018-05-17 2018-11-06 淘然视界(杭州)科技有限公司 一种飞机目标检测方法、电子设备、存储介质及系统
US20210089971A1 (en) * 2018-08-28 2021-03-25 American Chemical Society Systems and methods for performing a computer-implemented and feature based prior art search
CN111476827A (zh) * 2019-01-24 2020-07-31 曜科智能科技（上海）有限公司 目标跟踪方法、系统、电子装置及存储介质
WO2021017261A1 (zh) * 2019-08-01 2021-02-04 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN111444828A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 一种模型训练的方法、目标检测的方法、装置及存储介质
CN111523596A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN111783844A (zh) * 2020-06-10 2020-10-16 东莞正扬电子机械有限公司 基于深度学习的目标检测模型训练方法、设备及存储介质
CN111881956A (zh) * 2020-07-15 2020-11-03 北京市商汤科技开发有限公司 网络训练方法及装置、目标检测方法及装置和电子设备
CN112149503A (zh) * 2020-08-20 2020-12-29 北京迈格威科技有限公司 目标事件检测方法、装置和电子设备和可读介质
CN112102266A (zh) * 2020-08-31 2020-12-18 清华大学 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN112232384A (zh) * 2020-09-27 2021-01-15 北京迈格威科技有限公司 模型训练方法、图像特征提取方法、目标检测方法和装置
CN112241705A (zh) * 2020-10-19 2021-01-19 平安科技（深圳）有限公司 基于分类回归的目标检测模型训练方法和目标检测方法
CN112364923A (zh) * 2020-11-13 2021-02-12 北京明略昭辉科技有限公司 样本数据的处理方法及装置、系统、存储介质、电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BO LI等: "High performance visual tracking with Siamese region proposal network", 2018 IEEE/CVF CONFERENCE VISION AND PATTERN RECOGNITION (CVPR), vol. 2018, 16 December 2018 (2018-12-16), pages 8971 - 8980 *
XIN CHEN等: "Research On An Efficient Single-Stage Multi-Object Detection Algorithm", 2019 INTERNATIONAL CONFERENCE ON SMART GRID AND ELECTRICAL AUTOMATION (ICSEGA), vol. 2019, pages 461 - 464, XP033659019, DOI: 10.1109/ICSGEA.2019.00110 *
罗大鹏等: "基于少量样本学习的多目标检测跟踪方法", 电子学报, vol. 49, no. 1, pages 183 - 191 *

Also Published As

Publication number Publication date
CN113159209B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
EP3779774B1 (en) Training method for image semantic segmentation model and server
CN111814810A (zh) 图像识别方法、装置、电子设备及存储介质
CN110197716B (zh) 医学影像的处理方法、装置及计算机可读存储介质
CN107871314B (zh) 一种敏感图像鉴别方法和装置
KR20220107120A (ko) 생체 검측 모델의 트레이닝 방법 및 장치, 생체 검측 모델을 이용한 생체 검측 방법 및 장치, 전자장비, 저장매체 및 컴퓨터 프로그램
CN113052144B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN108960260B (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN108960314B (zh) 基于难样本的训练方法、装置及电子设备
CN110175657B (zh) 一种图像多标签标记方法、装置、设备及可读存储介质
CN111291887A (zh) 神经网络的训练方法、图像识别方法、装置及电子设备
CN111694954B (zh) 图像分类方法、装置和电子设备
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN115187772A (zh) 目标检测网络的训练及目标检测方法、装置及设备
CN117726884A (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
CN113159209B (zh) 目标检测方法、装置、设备和计算机可读存储介质
CN111091140A (zh) 目标分类方法、装置及可读存储介质
Zhang et al. Wild plant data collection system based on distributed location
CN112749702B (zh) 一种图像识别方法、装置、终端及存储介质
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN115424032A (zh) 目标检测模型训练方法、设备及计算机可读存储介质
CN109101992B (zh) 图像匹配方法、装置和计算机可读存储介质
CN113283388A (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN111881855A (zh) 图像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant