CN115082758B - 目标检测模型的训练方法、目标检测方法、装置和介质 - Google Patents

目标检测模型的训练方法、目标检测方法、装置和介质 Download PDF

Info

Publication number
CN115082758B
CN115082758B CN202210999180.3A CN202210999180A CN115082758B CN 115082758 B CN115082758 B CN 115082758B CN 202210999180 A CN202210999180 A CN 202210999180A CN 115082758 B CN115082758 B CN 115082758B
Authority
CN
China
Prior art keywords
information
image
detection
detection result
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210999180.3A
Other languages
English (en)
Other versions
CN115082758A (zh
Inventor
涂鹏
凌明
杨作兴
杨敏
艾国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen MicroBT Electronics Technology Co Ltd
Original Assignee
Shenzhen MicroBT Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen MicroBT Electronics Technology Co Ltd filed Critical Shenzhen MicroBT Electronics Technology Co Ltd
Priority to CN202210999180.3A priority Critical patent/CN115082758B/zh
Publication of CN115082758A publication Critical patent/CN115082758A/zh
Application granted granted Critical
Publication of CN115082758B publication Critical patent/CN115082758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种目标检测模型的训练方法、目标检测方法、装置和介质，其中的训练方法具体包括：利用特征提取单元，对图像样本进行特征提取；利用特征融合单元，对图像特征进行融合处理；分别对融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；利用第一检测单元，对第一掩码融合图像特征进行目标检测，得到第一检测结果，利用第二检测单元，对第二掩码融合图像特征进行目标检测，得到第二检测结果；根据第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据损失信息，对目标检测模型的参数进行更新。本申请实施例可以使目标检测模型在环境发生变化的情况下更加鲁棒。

Description

目标检测模型的训练方法、目标检测方法、装置和介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种目标检测模型的训练方法、目标检测方法、装置和介质。
背景技术
行人检测是智能视频监控领域比较重要的一个研究方向，它是一种基于机器学习的计算机视觉技术，用于通过分析检测场景中的行人、交通工具等其他物体来完成如人数统计、行人跟踪等任务。
目前的行人检测方法，通常由行人检测模型提取待检测图像的特征表示，并根据特征表示，检测待检测图像中是否包含行人，若是，则可以给出行人的位置信息。
在实际应用中，同一物体所处光照、物体密集度等环境的变化，可能使得行人检测模型针对同一物体在不同环境下的待检测图像，得出不同的检测结果，这将影响行人检测模型的鲁棒性。
发明内容
本申请实施例提供了一种目标检测模型的训练方法，可以使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，能够使目标检测模型在环境发生变化的情况下更加鲁棒。
相应的，本申请实施例还提供了一种目标检测方法、一种目标检测模型的训练装置、一种目标检测装置、一种电子设备和一种机器可读介质，用以保证上述方法的实现及应用。
为了解决上述问题，本申请实施例公开了一种目标检测模型的训练方法，所述目标检测模型包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元，所述方法包括：
利用特征提取单元，对图像样本进行特征提取，以得到图像特征；
利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；
分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；
利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；
根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据所述损失信息，对所述目标检测模型的参数进行更新。
为了解决上述问题，本申请实施例公开了一种目标检测方法，所述方法包括：
接收待检测图像；
利用目标检测模型，对所述待检测图像进行目标检测，以得到对应的检测结果；
其中，所述目标检测模型包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元；所述目标检测模型的训练过程包括：利用特征提取单元，对图像样本进行特征提取，以得到图像特征；利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据所述损失信息，对所述目标检测模型的参数进行更新。
为了解决上述问题，本申请实施例公开了一种目标检测模型的训练装置，所述目标检测模型包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元，所述装置包括：
特征提取模块，用于利用特征提取单元，对图像样本进行特征提取，以得到图像特征；
融合处理模块，用于利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；
随机掩码处理模块，用于分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；
目标检测模块，用于利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；
损失确定模块，用于根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息；
参数更新模块，用于根据所述损失信息，对所述目标检测模型的参数进行更新。
可选地，所述随机掩码处理模块包括：
概率确定模块，用于随机确定概率值；
掩码执行模块，用于在概率值大于概率阈值的情况下，对所述融合图像特征执行随机掩码操作。
可选地，所述掩码执行模块包括：
位置点确定模块，用于根据所述图像样本对应的图像尺寸，随机确定位置点；
掩码区域确定模块，用于根据所述位置点和掩码尺寸，确定掩码区域；
特征值替换模块，用于将所述掩码区域中融合图像特征的特征值替换为预设特征值。
可选地，所述第一检测结果或第二检测结果对应的检测结果信息包括如下概率信息中的至少一种：
所述图像样本中像素点属于预设目标的像素概率信息；
所述图像样本中位置区域属于预设目标的区域概率信息；以及
所述图像样本中像素点属于图像前景的前景概率信息。
可选地，所述第一检测结果包括：第一概率信息，所述第二检测结果包括：第二概率信息；
所述损失确定模块包括：
度量确定模块，用于确定第一概率信息与第二概率信息之间的度量信息；
损失信息确定模块，用于根据所述度量信息，确定损失信息。
可选地，所述度量信息为对称性度量信息；
所述度量确定模块包括：
第一乘积确定模块，用于确定第一概率信息的对数与第二概率信息的对数的第一差值，并确定第一概率信息的对数与第一差值之间的第一乘积；
第二乘积确定模块，用于确定第二概率信息的对数与第一概率信息的对数的第二差值，并确定第二概率信息的对数与第二差值之间的第二乘积；
对称性度量确定模块，用于根据所述第一乘积和第二乘积的和，确定第一概率信息与第二概率信息之间的对称性度量信息。
可选地，所述损失信息确定模块，包括：
第一损失确定模块，用于确定第一概率信息与所述图像样本的标注信息之间的第一损失信息；
第二损失确定模块，用于确定第二概率信息与所述图像样本的标注信息之间的第二损失信息；
第三损失确定模块，用于根据所述度量信息、所述第一损失信息和所述第二损失信息，确定损失信息。
为了解决上述问题，本申请实施例公开了一种目标检测装置，所述装置包括：
接收模块，用于接收待检测图像；
目标检测模块，用于利用目标检测模型，对所述待检测图像进行目标检测，以得到对应的检测结果；
其中，所述目标检测模型包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元；所述目标检测模型的训练过程包括：利用特征提取单元，对图像样本进行特征提取，以得到图像特征；利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据所述损失信息，对所述目标检测模型的参数进行更新。
本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例所述的方法。
本申请实施例还公开了一种机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例所述的方法。
本申请实施例包括以下优点：
在本申请实施例的技术方案中，在将融合图像特征输入检测单元之前，分别对该融合图像特征进行了第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征。第一随机掩码处理或第二随机掩码处理可以对图像样本中的随机区域进行掩码，以降低图像样本中目标的特征完整性或特征可靠性。
并且，本申请实施例在训练阶段采用了两个检测单元，两个检测单元输出的检测结果可以相互验证。具体而言，本申请实施例根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据该损失信息，对该目标检测模型的参数进行更新，参数更新的目的和方向是：增加该第一检测结果和第二检测结果之间的匹配度；故本申请实施例可以使不同检测单元对不同随机掩码处理下的掩码融合图像特征、提供相同的检测结果；因此，能够使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，进而能够提高目标检测模型的鲁棒性。
以目标为“猫”为例，在“猫”的腿部特征被掩码的时候，“猫”在图像样本中的空间坐标并不会发生改变。本申请实施例掩码融合图像特征中的随机区域，能够使目标检测模型在环境发生变化的情况下更加鲁棒。环境可以包括：光照、或物体密集度、或天气等，在环境发生变化的情况下，目标的特征完整性或特征可靠性难免会受到影响。而本申请实施例的第一随机掩码处理和第二随机掩码处理、第一检测单元和第二检测单元、以及基于第一检测结果和第二检测结果的损失信息和参数更新，能够使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，进而能够使目标检测模型在环境发生变化的情况下更加鲁棒。
附图说明
图1是本申请一个实施例的目标检测模型在训练阶段的结构示意图；
图2是本申请一个实施例的目标检测模型的训练方法的步骤流程示意图；
图3是本申请一个实施例的目标检测模型在检测阶段的结构示意图；
图4是本申请一个实施例的目标检测方法的步骤流程示意图；
图5是本申请一个实施例的目标检测模型的训练装置的结构示意图；
图6是本申请一个实施例的目标检测装置的结构示意图；
图7是本申请一个实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例可以应用于目标检测场景中。在目标检测场景中，可由目标检测模型提取待检测图像的特征表示，并根据特征表示，检测待检测图像中是否包含行人等目标，若是，则可以给出行人等目标的位置信息。目标可以包括：行人、车辆、动物等运动物体，可以理解，本申请实施例对于待检测的具体目标不加以限制。
在实际应用中，同一物体所处光照、物体密集度等环境的变化，可能使得目标检测模型针对同一物体在不同环境下的待检测图像，得出不同的检测结果，这将影响目标检测模型的鲁棒性。
针对目标检测模型针对同一物体在不同环境下的待检测图像、得出不同的检测结果的技术问题，本申请实施例提供了一种目标检测模型的训练方法，该目标检测模型具体可以包括：特征提取单元、特征融合单元和检测单元，该检测单元具体包括：第一检测单元和第二检测单元，该方法具体可以包括：
利用特征提取单元，对图像样本进行特征提取，以得到图像特征；
利用特征融合单元，对该图像特征进行融合处理，以得到融合图像特征；
分别对该融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；
利用第一检测单元，对该第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对该第二掩码融合图像特征进行目标检测，以得到第二检测结果；
根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据该损失信息，对该目标检测模型的参数进行更新。
本申请实施例的目标检测模型可用于根据输入图像，输出对应的检测结果。本申请实施例可以对数学模型进行训练，以得到目标检测模型。数学模型是运用数理逻辑方法和数学语言建构的科学或工程模型，数学模型是针对参照某种事物系统的特征或数量依存关系，采用数学语言，概括地或近似地表述出的一种数学结构，这种数学结构是借助于数学符号刻画出来的关系结构。其中，数学模型描述的是系统的行为和特征而不是系统的实际结构。其中，可采用机器学习、深度学习方法等方法进行数学模型的训练，机器学习方法可包括：线性回归、决策树、随机森林等，深度学习方法可包括：CNN（卷积神经网络，Convolutional Neural Networks）、LSTM（长短期记忆网络，Long Short-Term Memory）、GRU（门控循环单元，Gated Recurrent Unit）等。
参照图1，示出了本申请一个实施例的目标检测模型在训练阶段的结构示意图，该目标检测模型具体可以包括：特征提取单元101、特征融合单元102和检测单元103，其中，检测单元103可以包括：第一检测单元131和第二检测单元132。
其中，特征提取单元101可用于对图像样本进行特征提取。特征提取单元101可用于接收图像样本，并从图像样本中提取该图像的图像特征，图像特征可以指深层次的图像特征。特征提取单元101可以是主干（backbone）网络，可以包括：VGG（视觉几何群网络，Visual Geometry Group Network）、ResNet（残差网络，Residual Network）、轻量级网络等。可以理解，本申请实施例对于特征提取单元101对应的具体网络不加以限制。
其中，残差网络可以为卷积网络。卷积网络可以是一种深度前馈人工神经网络，在图像识别中具有较好的性能表现。卷积网络具体可以包括卷积层（convolutional layer）和池化层（pooling layer）。卷积层用于从输入的图像中自动抽取特征，得到特征图（feature map）。池化层用于对特征图进行池化处理，以减少特征图中的特征数量。池化层的池化处理可以包括：最大池化、或者平均池化、或者随机池化等方式，其可根据实际需求选择合适的方式。
特征融合单元102是目标检测模型中承上启下的单元，其可以对特征提取单元101提取的图像特征进行融合，得到融合图像特征，其能够提高特征的多样性和目标检测模型的性能。
本申请实施例在将融合图像特征输入检测单元103之前，分别对该融合图像特征进行了第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征。
第一检测单元131用于对该第一掩码融合图像特征进行目标检测，以得到第一检测结果。第二检测单元132用于对该第二掩码融合图像特征进行目标检测，以得到第二检测结果。其中，第一检测单元131和第二检测单元132可以具有相同的网络结构。第一检测单元131或第二检测单元132，用于根据第一掩码融合图像特征或第二掩码融合图像特征，检测图像样本中是否包含目标，并输出对应的检测结果。
本申请实施例在将融合图像特征输入检测单元之前，分别对该融合图像特征进行了第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征。第一随机掩码处理或第二随机掩码处理可以对图像样本中的随机区域进行掩码，以降低图像样本中目标的特征完整性或特征可靠性。
并且，本申请实施例在训练阶段采用了两个检测单元，两个检测单元输出的检测结果可以相互验证。而本申请实施例根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据该损失信息，对该目标检测模型的参数进行更新；故本申请实施例可以使不同检测单元对不同随机掩码处理下的掩码融合图像特征、提供相同的检测结果；因此，能够使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，进而能够提高目标检测模型的鲁棒性。
以目标为“猫”为例，在“猫”的腿部特征被掩码的时候，“猫”在图像样本中的空间坐标并不会发生改变。本申请实施例掩码融合图像特征中的随机区域，能够使目标检测模型在环境发生变化的情况下更加鲁棒。环境可以包括：光照、或物体密集度、或天气等，在环境发生变化的情况下，目标的特征完整性或特征可靠性难免会受到影响。而本申请实施例的第一随机掩码处理和第二随机掩码处理、第一检测单元和第二检测单元、以及基于第一检测结果和第二检测结果的损失信息和参数更新，能够使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，进而能够使目标检测模型在环境发生变化的情况下更加鲁棒。
方法实施例一
本实施例对目标检测模型的训练过程进行说明。
参考图2，示出了本申请一个实施例的目标检测模型的训练方法的步骤流程示意图，该目标检测模型具体可以包括：特征提取单元、特征融合单元和检测单元，该检测单元具体包括：第一检测单元和第二检测单元，该方法具体可以包括如下步骤：
步骤201、利用特征提取单元，对图像样本进行特征提取，以得到图像特征；
步骤202、利用特征融合单元，对该图像特征进行融合处理，以得到融合图像特征；
步骤203、分别对该融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；
步骤204、利用第一检测单元，对该第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对该第二掩码融合图像特征进行目标检测，以得到第二检测结果；
步骤205、根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据该损失信息，对该目标检测模型的参数进行更新。
本申请实施例可用于在目标检测模型的训练过程中，对目标检测模型的参数进行更新。目标检测模型的参数可以包括：特征提取单元、特征融合单元和检测单元分别对应的参数。
目标检测模型的训练过程可以包括：前向传播和反向传播。
其中，前向传播（Forward Propagation）可以根据目标检测模型的参数，按照从输入层到输出层的顺序，依次计算最后得到输出信息。其中，输出信息可用于确定损失信息。
反向传播（Backward Propagation）可以根据损失信息，按照从输出层到输入层的顺序，依次计算并对目标检测模型的参数进行更新。目标检测模型通常采用神经网络的结构，目标检测模型的参数可以包括：神经网络的权重等参数。其中，反向传播过程中，可以确定目标检测模型的参数的梯度信息，并利用该梯度信息，对目标检测模型的参数进行更新。例如，反向传播可以依据微积分中的链式法则，沿着从输出层到输入层的顺序，依次计算并存储目标检测模型的处理层（包括输入层、中间层和输出层）的参数的梯度信息。
在步骤201中，图像样本可以作为目标检测模型的训练图像。本申请实施例可以按照目标检测模型的训练图像收集方法，进行图像样本的收集。本申请实施例对于图像样本的具体收集方法不加以限制。
另外，本申请实施例的图像样本可以对应有标注信息。标注信息可以包括：区域级的标注信息，如图像样本中目标所在目标区域的边界信息。例如，在目标区域为矩形区域的情况下，边界信息可以为：矩形区域的左上角坐标和右下角坐标等。当然，标注信息可以包括：像素级的标注信息，如图像样本中像素点所属的目标等。
在实际应用中，特征提取单元可以包括：多个级别的卷积层，如conv1、conv2_x、conv3_x等3个级别的卷积层。可以按照从低级别到高低别（如conv1→conv2_x→conv3_x）的顺序，对输入的图像样本进行处理。按照从低级别到高低别的顺序，卷积层的输出的图像特征的尺寸呈现为从大到小的顺序。例如，对于低级别的卷积层，其输出中可能包含高分辨率（但是语义弱）的图像特征；而对于高级别的卷积层，其输出中可能包含低分辨率（但是语义强）的图像特征。
在本申请的一种应用示例中，将一幅具有RGB（红绿蓝，Red Green Blue）三通道的图像样本
Figure 64714DEST_PATH_IMAGE001
输入到特征提取单元，特征提取单元可以输出3层图像特征，分别记为：
Figure 860632DEST_PATH_IMAGE002
、
Figure 941721DEST_PATH_IMAGE003
和
Figure 760772DEST_PATH_IMAGE004
；其中H和W分别代表图像样本的高和宽，C1、C2和C3分别代表对应级别的图像特征的通道数。
在步骤202中，特征融合单元可以接收3层图像特征，并按照
Figure 319929DEST_PATH_IMAGE005
的顺序进行自顶向下的特征融合，分别记融合后得到的特征为
Figure 235933DEST_PATH_IMAGE006
、
Figure 330665DEST_PATH_IMAGE007
和
Figure 27226DEST_PATH_IMAGE008
；然后，可以按照
Figure 327757DEST_PATH_IMAGE009
的顺序，进行自底向上的二次特征融合，记二次特征融合后的融合图像特征为
Figure 301530DEST_PATH_IMAGE010
、
Figure 193262DEST_PATH_IMAGE011
和
Figure 314802DEST_PATH_IMAGE012
。
在步骤203中，可以分别将该融合图像特征输入第一随机掩码处理模块和第二随机掩码处理模块。其中，第一随机掩码处理模块可用于对该融合图像特征进行第一随机掩码处理。第二随机掩码处理模块可用于对该融合图像特征进行第二随机掩码处理。
第一随机掩码处理或第二随机掩码处理可以对图像样本中的随机区域进行掩码，以降低图像样本中目标的特征完整性或特征可靠性。
在具体实现中，第一随机掩码处理，具体可以包括：随机确定概率值；在概率值大于概率阈值的情况下，对该融合图像特征执行随机掩码操作。第二随机掩码处理，具体可以包括：随机确定概率值；在概率值大于概率阈值的情况下，对该融合图像特征执行随机掩码操作。
概率值的范围可以为[0,1]，也即，概率值可以为[0,1]范围内的实体数。概率阈值可由本领域技术人员根据实际应用需求确定，例如，概率阈值可以为[0.5,0.9]之间的数值。
本申请实施例将概率值大于概率阈值作为随机掩码操作的条件，可以实现随机掩码操作的随机性，也即，是否对该融合图像特征执行随机掩码操作是具有随机性的。这样，可以避免在第一随机掩码处理和第二随机掩码千篇一律地随机掩码操作的情况下、目标检测模型刻意学习掩码规律的情况，进而能够提高目标检测模型的鲁棒性。
在实际应用中，上述对该融合图像特征执行随机掩码操作的过程，具体可以包括：根据所述图像样本对应的图像尺寸，随机确定位置点；根据所述位置点和掩码尺寸，确定掩码区域；将所述掩码区域中融合图像特征的特征值替换为预设特征值。
假设H和W分别代表图像样本的高和宽，则随机确定的位置点的坐标值可以为（x，y），0<=x<=W, 0<=y<=H。
掩码区域的形状可以为矩形或圆形或椭圆形等。假设掩码区域为n×n的矩形区域，n可以为正整数，其可由本领域技术人员根据实际应用需求确定，例如，n可以为7等数值。位置点可以作为矩形区域的顶点或中心点。
以位置点为矩形掩码区域的左上顶点为例，矩形掩码区域的右下顶点的坐标值可以为（x+n, y+n）。在x+n>W、或者y+n>H的情况下，矩形掩码区域的部分落于图像样本的外部，故可以对右下顶点的坐标值进行调整，使得x+n<=W且y+n<=H。因此，矩形掩码区域的左上顶点的坐标值为（x,y），右下顶点的坐标值为（min(x+n, W), min(y+n, H)），其中min（）为取小函数。
将掩码区域中融合图像特征的特征值替换为预设特征值，可以实现掩码区域中融合图像特征的掩码处理。
预设特征值可由本领域技术人员根据实际应用需求确定。例如，预设特征值可以是图像背景色对应的特征值，其中，图像背景色可由本领域技术人员根据实际应用需求确定，或者，可以根据图像样本的图像前景色，确定图像背景色。
在一种实现方式中，预设特征值可以是掩码区域中融合图像特征对应的平均特征值。对掩码区域中融合图像特征对应的特征值求平均，可以得到平均特征值。预设特征值为平均特征值，可以在提高掩码区域中掩码融合图像特征与附近区域的融合图像特征之间的匹配度的情况下，降低图像样本中目标的特征完整性或特征可靠性。
需要说明的是，图像样本中除了掩码区域之外的区域可以称为其他区域，其他区域对应的融合图像特征可以保持不变。
第一随机掩码处理模块输出的第一掩码融合图像特征可以记为：
Figure 356707DEST_PATH_IMAGE013
、
Figure 778461DEST_PATH_IMAGE014
和
Figure 309937DEST_PATH_IMAGE015
；以及第二随机掩码处理模块输出的第二掩码融合图像特征可以记为：
Figure 590877DEST_PATH_IMAGE016
、
Figure 295527DEST_PATH_IMAGE017
和
Figure 40630DEST_PATH_IMAGE018
。
在步骤204中，第一检测单元可以接收第一掩码融合图像特征，并对该第一掩码融合图像特征进行目标检测，以得到第一检测结果。第二检测单元可以接收第二掩码融合图像，对该第二掩码融合图像特征进行目标检测，以得到第二检测结果。
第一检测结果或第二检测结果可以表征图像样本中是否包含目标，若是，还可以表征目标对应的位置信息。
在具体实现中，第一检测结果或第二检测结果对应的检测结果信息具体可以包括如下概率信息中的至少一种：
图像样本中像素点属于预设目标的像素概率信息；
图像样本中位置区域属于预设目标的区域概率信息；以及
图像样本中像素点属于图像前景的前景概率信息。
预设目标可以是待检测的目标。预设目标可以为一个或多个。例如，预设目标可以包括：“猫”、“狗”和“猪”等。
像素概率信息可以表征像素级别的检测结果信息。第一检测单元输出的像素概率信息可以称为第一像素概率信息
Figure 179225DEST_PATH_IMAGE019
，第二检测单元输出的像素概率信息可以称为第二像素概率信息
Figure 806515DEST_PATH_IMAGE020
。
区域概率信息可以表征区域级别的检测结果信息。第一检测单元输出的区域概率信息可以称为第一区域概率信息
Figure 252540DEST_PATH_IMAGE021
，第二检测单元输出的区域概率信息可以称为第二区域概率信息
Figure 789832DEST_PATH_IMAGE022
。
前景概率信息可以表征图像样本中像素点属于图像前景的概率。第一检测单元输出的前景概率信息可以称为第一前景概率信息
Figure 459847DEST_PATH_IMAGE023
，第二检测单元输出的前景概率信息可以称为第二前景概率信息
Figure 777696DEST_PATH_IMAGE024
。
在步骤205中，由于本申请实施例在训练阶段采用了两个检测单元，两个检测单元输出的检测结果可以相互验证。第一检测单元输出的第一检测结果可以验证第二检测单元输出的第二检测结果是否准确，或者，第二检测单元输出的第二检测结果可以验证第一检测单元输出的第一检测结果是否准确。
具体而言，本申请实施例根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据该损失信息，对该目标检测模型的参数进行更新，参数更新的目的和方向是：增加该第一检测结果和第二检测结果之间的匹配度；故本申请实施例可以使不同检测单元对不同随机掩码处理下的掩码融合图像特征、提供相同的检测结果；因此，能够使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，进而能够提高目标检测模型的鲁棒性。
在一种实现方式中，第一检测结果包括：第一概率信息，第二检测结果包括：第二概率信息；则步骤205根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，具体可以包括：确定第一概率信息与第二概率信息之间的度量信息；根据所述度量信息，确定损失信息。
度量信息是第一检测结果和第二检测结果之间的匹配信息的一种示例。度量信息可以是：交叉熵信息、或者相对熵信息等。可以理解，本申请实施例对于具体的度量信息不加以限制。
在另一种实现方式中，度量信息可以为对称性度量信息，对称性度量信息可以提高度量信息的准确度和参数更新的效率。
则上述确定第一概率信息与第二概率信息之间的度量信息的过程，具体可以包括：确定第一概率信息的对数与第二概率信息的对数的第一差值，并确定第一概率信息的对数与第一差值之间的第一乘积；确定第二概率信息的对数与第一概率信息的对数的第二差值，并确定第二概率信息的对数与第二差值之间的第二乘积；根据所述第一乘积和第二乘积的和，确定第一概率信息与第二概率信息之间的对称性度量信息。
在第一概率信息为第一像素概率信息、以及第二概率信息为第二像素概率信息的情况下，第一对称性度量信息
Figure 699516DEST_PATH_IMAGE025
可以表示为：
Figure 419210DEST_PATH_IMAGE026
（1）
在第一概率信息为第一区域概率信息、以及第二概率信息为第二区域概率信息的情况下，第二对称性度量信息
Figure 525706DEST_PATH_IMAGE027
可以表示为：
Figure 2955DEST_PATH_IMAGE028
（2）
在第一概率信息为第一前景概率信息、以及第二概率信息为第二前景概率信息的情况下，第三对称性度量信息
Figure 790783DEST_PATH_IMAGE029
可以表示为：
Figure 427300DEST_PATH_IMAGE030
（3）
本申请实施例可以对第一对称性度量信息、第二对称性度量信息和第三对称性度量信息进行融合，以得到融合对称性度量信息。对应的融合方式可以包括：求和或者加权平均等。
在又一种实现方式中，上述根据所述度量信息，确定损失信息的过程，具体可以包括：
确定第一概率信息与所述图像样本的标注信息之间的第一损失信息；
确定第二概率信息与所述图像样本的标注信息之间的第二损失信息；
根据所述度量信息、所述第一损失信息和所述第二损失信息，确定损失信息。
第一损失信息可以根据图像样本的标注信息验证第一概率信息的准确性。第二损失信息可以根据图像样本的标注信息验证第二概率信息的准确性。可以采用交叉熵函数，计算第一损失信息或第二损失信息。并且，可以对度量信息、第一损失信息和第二损失信息进行融合，以得到融合后的损失信息。本申请实施例的损失信息loss可以表示为：
Figure 813020DEST_PATH_IMAGE031
（4）
其中，lossmain1可以表示第一损失信息，用于提高第一概率信息与图像样本的标注信息之间的匹配度；lossmain2可以表示第二损失信息，用于提高第二概率信息与图像样本的标注信息之间的匹配度；三种度量信息用于提高第二概率信息与第一概率信息之间的匹配度。
本申请实施例可以经由损失函数表征损失信息与匹配信息之间的映射关系。在实际应用中，可以对损失函数的参数（如目标检测模型的参数）求偏导数，把求得的参数的偏导数以向量的形式写出来，偏导数对应的向量可以称为参数对应的梯度信息。可以根据梯度信息及步长信息，得到参数对应的更新量。
在采用梯度下降法的情况下，可以采用批量梯度下降法、随机梯度下降法、或者小批量梯度下降法等。在具体实现中，可以根据一个图像对应的训练图像进行迭代；或者，可以根据多个图像对应的训练图像进行迭代。上述迭代的收敛条件可以为：损失信息符合预设条件。预设条件可以为：损失信息与预设值之间的差值绝对值小于差值阈值，或者，迭代次数超过次数阈值等。换言之，在损失信息符合预设条件的情况下，可以结束迭代；此种情况下，可以得到目标检测模型的目标参数值。
综上，本申请实施例的目标检测模型的训练方法，在将融合图像特征输入检测单元之前，分别对该融合图像特征进行了第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征。第一随机掩码处理或第二随机掩码处理可以对图像样本中的随机区域进行掩码，以降低图像样本中目标的特征完整性或特征可靠性。
并且，本申请实施例在训练阶段采用了两个检测单元，两个检测单元输出的检测结果可以相互验证。具体而言，本申请实施例根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据该损失信息，对该目标检测模型的参数进行更新，参数更新的目的和方向是：增加该第一检测结果和第二检测结果之间的匹配度；故本申请实施例可以使不同检测单元对不同随机掩码处理下的掩码融合图像特征、提供相同的检测结果；因此，能够使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，进而能够提高目标检测模型的鲁棒性。
以目标为“猫”为例，在“猫”的腿部特征被掩码的时候，“猫”在图像样本中的空间坐标并不会发生改变。本申请实施例掩码融合图像特征中的随机区域，能够使目标检测模型在环境发生变化的情况下更加鲁棒。环境可以包括：光照、或物体密集度、或天气等，在环境发生变化的情况下，目标的特征完整性或特征可靠性难免会受到影响。而本申请实施例的第一随机掩码处理和第二随机掩码处理、第一检测单元和第二检测单元、以及基于第一检测结果和第二检测结果的损失信息和参数更新，能够使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，进而能够使目标检测模型在环境发生变化的情况下更加鲁棒。
方法实施例二
本实施例对目标检测模型的检测过程进行说明，目标检测模型可以对待检测图像进行目标检测，以得到对应的检测结果。
参照图3，示出了本申请一个实施例的目标检测模型在检测阶段的结构示意图，该目标检测模型具体可以包括：特征提取单元301、特征融合单元302和检测单元303。
其中，特征提取单元301可用于对待检测图像进行特征提取。特征提取单元101可用于接收待检测图像，并从待检测图像中提取该图像的图像特征，图像特征可以指深层次的图像特征。
特征融合单元302是目标检测模型中承上启下的单元，其可以对特征提取单元101提取的图像特征进行融合，得到融合图像特征，其能够提高特征的多样性和目标检测模型的性能。
检测单元303用于根据特征融合单元302输出的融合图像特征进行目标检测，以得到对应的检测结果。
相对于图1所示的目标检测模型在训练阶段的结构，图3所示的目标检测模型在检测阶段的结构可以包括一个检测单元。需要说明的是，图1所示的第一检测单元和第二检测单元可以具有相同的结构，故检测单元303可以为第一检测单元和第二检测单元中的任一。
另外，本申请实施例可以将特征融合单元302输出的融合图像特征输入检测单元303，由检测单元303根据融合图像特征进行目标检测。
参考图4，示出了本申请一个实施例的目标检测方法的步骤流程示意图，该方法具体可以包括如下步骤：
步骤401、接收待检测图像；
步骤402、利用目标检测模型，对该待检测图像进行目标检测，以得到对应的检测结果；
其中，该目标检测模型具体可以包括：特征提取单元、特征融合单元和检测单元，该检测单元包括：第一检测单元和第二检测单元；该目标检测模型的训练过程包括：利用特征提取单元，对图像样本进行特征提取，以得到图像特征；利用特征融合单元，对该图像特征进行融合处理，以得到融合图像特征；分别对该融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；利用第一检测单元，对该第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对该第二掩码融合图像特征进行目标检测，以得到第二检测结果；根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据该损失信息，对该目标检测模型的参数进行更新。
步骤401中的待检测图像可以源自采集装置。其中，采集装置可以采集视频，此种情况下可以从视频中提取视频帧，作为待检测图像。或者，采集装置可以采集图像，此种情况下，采集装置采集的图像可以作为待检测图像。
在步骤402中，目标检测模型可以按照图3所示的流程，对待检测图像进行目标检测。具体而言，目标检测模型中的特征提取单元可以提取待检测图像的图像特征。目标检测模型中的特征融合单元可以对特征提取单元输出的图像特征表示进行融合，以提高图像特征的多样性和目标检测模型的性能。
目标检测模型中的检测单元可以根据特征融合单元输出的融合图像特征，检测待检测图像中是否包含行人等目标，若是，则可以给出行人等目标的位置信息。因此，本申请实施例的检测结果可以包括：不包含目标。或者，本申请实施例的检测结果可以包括：包含目标、以及目标的位置信息，其中，位置信息可以为坐标信息，或者，可以在待检测图像中对位置信息进行标注。
综上，本申请实施例的目标检测方法，在训练阶段采用了两个检测单元，两个检测单元输出的检测结果可以相互验证。具体而言，本申请实施例根据该第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据该损失信息，对该目标检测模型的参数进行更新，参数更新的目的和方向是：增加该第一检测结果和第二检测结果之间的匹配度；故本申请实施例可以使不同检测单元对不同随机掩码处理下的掩码融合图像特征、提供相同的检测结果；因此，能够使目标检测模型在不依赖待检测图像的完整图像特征的情况下也能得到准确的检测结果，进而能够提高目标检测模型的鲁棒性。
在能够提高目标检测模型的鲁棒性的情况下，本申请实施例也能够提高检测结果的鲁棒性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上，本实施例还提供了一种目标检测模型的训练装置，参照图5，目标检测模型具体可以包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元，该训练装置具体可以包括：特征提取模块501、融合处理模块502、随机掩码处理模块503、目标检测模块504、损失确定模块505和参数更新模块506。
其中，特征提取模块501，用于利用特征提取单元，对图像样本进行特征提取，以得到图像特征；
融合处理模块502，用于利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；
随机掩码处理模块503，用于分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；
目标检测模块504，用于利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；
损失确定模块505，用于根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息；
参数更新模块506，用于根据所述损失信息，对所述目标检测模型的参数进行更新。
可选地，随机掩码处理模块503具体可以包括：
概率确定模块，用于随机确定概率值；
掩码执行模块，用于在概率值大于概率阈值的情况下，对所述融合图像特征执行随机掩码操作。
可选地，所述掩码执行模块具体可以包括：
位置点确定模块，用于根据所述图像样本对应的图像尺寸，随机确定位置点；
掩码区域确定模块，用于根据所述位置点和掩码尺寸，确定掩码区域；
特征值替换模块，用于将所述掩码区域中融合图像特征的特征值替换为预设特征值。
可选地，所述第一检测结果或第二检测结果对应的检测结果信息包括如下概率信息中的至少一种：
所述图像样本中像素点属于预设目标的像素概率信息；
所述图像样本中位置区域属于预设目标的区域概率信息；以及
所述图像样本中像素点属于图像前景的前景概率信息。
可选地，所述第一检测结果包括：第一概率信息，所述第二检测结果包括：第二概率信息；
所述损失确定模块505具体可以包括：
度量确定模块，用于确定第一概率信息与第二概率信息之间的度量信息；
损失信息确定模块，用于根据所述度量信息，确定损失信息。
可选地，所述度量信息为对称性度量信息；
所述度量确定模块具体可以包括：
第一乘积确定模块，用于确定第一概率信息的对数与第二概率信息的对数的第一差值，并确定第一概率信息的对数与第一差值之间的第一乘积；
第二乘积确定模块，用于确定第二概率信息的对数与第一概率信息的对数的第二差值，并确定第二概率信息的对数与第二差值之间的第二乘积；
对称性度量确定模块，用于根据所述第一乘积和第二乘积的和，确定第一概率信息与第二概率信息之间的对称性度量信息。
可选地，所述损失信息确定模块，具体可以包括：
第一损失确定模块，用于确定第一概率信息与所述图像样本的标注信息之间的第一损失信息；
第二损失确定模块，用于确定第二概率信息与所述图像样本的标注信息之间的第二损失信息；
第三损失确定模块，用于根据所述度量信息、所述第一损失信息和所述第二损失信息，确定损失信息。
在上述实施例的基础上，本实施例还提供了一种目标检测装置，参照图6，该目标检测装置具体可以包括：
接收模块601，用于接收待检测图像；
目标检测模块602，用于利用目标检测模型，对所述待检测图像进行目标检测，以得到对应的检测结果；
其中，所述目标检测模型可以包括：特征提取单元、特征融合单元和检测单元，所述检测单元可以包括：第一检测单元和第二检测单元；所述目标检测模型的训练过程可以包括：利用特征提取单元，对图像样本进行特征提取，以得到图像特征；利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据所述损失信息，对所述目标检测模型的参数进行更新。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块（programs），该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令（instructions）。
本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括终端设备、服务器（集群）等各类型的设备。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括：终端设备、服务器（集群）等电子设备。图7示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1100 。
对于一个实施例，图7示出了示例性装置1100，该装置具有一个或多个处理器1102、被耦合到(一个或多个)处理器1102中的至少一个的控制模块（芯片组）1104、被耦合到控制模块1104的存储器1106、被耦合到控制模块1104的非易失性存储器(NVM)/存储设备1108、被耦合到控制模块1104的一个或多个输入/输出设备1110，以及被耦合到控制模块1104的网络接口1112。
处理器1102可包括一个或多个单核或多核处理器，处理器1102可包括通用处理器或专用处理器（例如图形处理器、应用处理器、基频处理器等）的任意组合。在一些实施例中，装置1100 能够作为本申请实施例中所述终端设备、服务器（集群）等设备。
在一些实施例中，装置1100 可包括具有指令1114的一个或多个计算机可读介质(例如，存储器1106或NVM/存储设备1108) 以及与该一个或多个计算机可读介质相合并被配置为执行指令1114以实现模块从而执行本公开中所述的动作的一个或多个处理器1102。
对于一个实施例，控制模块1104可包括任意适当的接口控制器，以向(一个或多个)处理器1102中的至少一个和/或与控制模块1104通信的任意适当的设备或组件提供任意适当的接口。
控制模块1104可包括存储器控制器模块，以向存储器1106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1106可被用于例如为装置1100加载和存储数据和/或指令1114。对于一个实施例，存储器1106可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1106可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM) 。
对于一个实施例，控制模块1104可包括一个或多个输入/输出控制器，以向NVM/存储设备1108及(一个或多个)输入/输出设备1110 提供接口。
例如，NVM/存储设备1108可被用于存储数据和/或指令1114。NVM/存储设备1108可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD) 、一个或多个光盘(CD) 驱动器和/或一个或多个数字通用光盘(DVD) 驱动器)。
NVM/存储设备1108可包括在物理上作为装置1100 被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备1108可通过网络经由(一个或多个)输入/输出设备1110 进行访问。
(一个或多个)输入/输出设备1110 可为装置1100 提供接口以与任意其他适当的设备通信，输入/输出设备1110可以包括通信组件、音频组件、传感器组件等。网络接口1112可为装置1100 提供接口以通过一个或多个网络通信，装置1100 可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器(例如，存储器控制器模块) 的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP) 。对于一个实施例， (一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例， (一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC) 。
在各个实施例中，装置1100可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1100 可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1100包括一个或多个摄像机、键盘、液晶显示器(LCD) 屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC) 和扬声器。
其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或NVM/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种目标检测模型的训练方法和装置、一种目标检测方法和装置、一种电子设备和一种机器可读介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种目标检测模型的训练方法，其特征在于，所述目标检测模型包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元，所述方法包括：
利用特征提取单元，对图像样本进行特征提取，以得到图像特征；
利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；
分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；
利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；
根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据所述损失信息，对所述目标检测模型的参数进行更新；
其中，所述第一检测结果或第二检测结果对应的检测结果信息包括如下概率信息中的至少一种：所述图像样本中像素点属于预设目标的像素概率信息；所述图像样本中位置区域属于预设目标的区域概率信息；以及所述图像样本中像素点属于图像前景的前景概率信息；
所述第一检测结果包括：第一概率信息，所述第二检测结果包括：第二概率信息；所述根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，包括：确定第一概率信息与第二概率信息之间的度量信息；确定第一概率信息与所述图像样本的标注信息之间的第一损失信息；确定第二概率信息与所述图像样本的标注信息之间的第二损失信息；根据所述度量信息、所述第一损失信息和所述第二损失信息，确定损失信息。
2.根据权利要求1所述的方法，其特征在于，所述第一随机掩码处理、所述第二随机掩码处理，包括：
随机确定概率值；
在概率值大于概率阈值的情况下，对所述融合图像特征执行随机掩码操作。
3.根据权利要求2所述的方法，其特征在于，所述对所述融合图像特征执行随机掩码操作，包括：
根据所述图像样本对应的图像尺寸，随机确定位置点；
根据所述位置点和掩码尺寸，确定掩码区域；
将所述掩码区域中融合图像特征的特征值替换为预设特征值。
4.根据权利要求1所述的方法，其特征在于，所述度量信息为对称性度量信息；
所述确定第一概率信息与第二概率信息之间的度量信息，包括：
确定第一概率信息的对数与第二概率信息的对数的第一差值，并确定第一概率信息的对数与第一差值之间的第一乘积；
确定第二概率信息的对数与第一概率信息的对数的第二差值，并确定第二概率信息的对数与第二差值之间的第二乘积；
根据所述第一乘积和第二乘积的和，确定第一概率信息与第二概率信息之间的对称性度量信息。
5.一种目标检测方法，其特征在于，所述方法包括：
接收待检测图像；
利用目标检测模型，对所述待检测图像进行目标检测，以得到对应的检测结果；
其中，所述目标检测模型包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元；所述目标检测模型的训练过程包括：利用特征提取单元，对图像样本进行特征提取，以得到图像特征；利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据所述损失信息，对所述目标检测模型的参数进行更新；
其中，所述第一检测结果或第二检测结果对应的检测结果信息包括如下概率信息中的至少一种：所述图像样本中像素点属于预设目标的像素概率信息；所述图像样本中位置区域属于预设目标的区域概率信息；以及所述图像样本中像素点属于图像前景的前景概率信息；
所述第一检测结果包括：第一概率信息，所述第二检测结果包括：第二概率信息；所述根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，包括：确定第一概率信息与第二概率信息之间的度量信息；确定第一概率信息与所述图像样本的标注信息之间的第一损失信息；确定第二概率信息与所述图像样本的标注信息之间的第二损失信息；根据所述度量信息、所述第一损失信息和所述第二损失信息，确定损失信息。
6.一种目标检测模型的训练装置，其特征在于，所述目标检测模型包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元，所述装置包括：
特征提取模块，用于利用特征提取单元，对图像样本进行特征提取，以得到图像特征；
融合处理模块，用于利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；
随机掩码处理模块，用于分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；
目标检测模块，用于利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；
损失确定模块，用于根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息；
参数更新模块，用于根据所述损失信息，对所述目标检测模型的参数进行更新；
其中，所述第一检测结果或第二检测结果对应的检测结果信息包括如下概率信息中的至少一种：所述图像样本中像素点属于预设目标的像素概率信息；所述图像样本中位置区域属于预设目标的区域概率信息；以及所述图像样本中像素点属于图像前景的前景概率信息；
所述第一检测结果包括：第一概率信息，所述第二检测结果包括：第二概率信息；所述损失确定模块包括：
度量确定模块，用于确定第一概率信息与第二概率信息之间的度量信息；
损失信息确定模块，用于根据所述度量信息，确定损失信息；
所述损失信息确定模块，包括：
第一损失确定模块，用于确定第一概率信息与所述图像样本的标注信息之间的第一损失信息；
第二损失确定模块，用于确定第二概率信息与所述图像样本的标注信息之间的第二损失信息；
第三损失确定模块，用于根据所述度量信息、所述第一损失信息和所述第二损失信息，确定损失信息。
7.一种目标检测装置，其特征在于，所述装置包括：
接收模块，用于接收待检测图像；
目标检测模块，用于利用目标检测模型，对所述待检测图像进行目标检测，以得到对应的检测结果；
其中，所述目标检测模型包括：特征提取单元、特征融合单元和检测单元，所述检测单元包括：第一检测单元和第二检测单元；所述目标检测模型的训练过程包括：利用特征提取单元，对图像样本进行特征提取，以得到图像特征；利用特征融合单元，对所述图像特征进行融合处理，以得到融合图像特征；分别对所述融合图像特征进行第一随机掩码处理和第二随机掩码处理，以得到第一掩码融合图像特征和第二掩码融合图像特征；利用第一检测单元，对所述第一掩码融合图像特征进行目标检测，以得到第一检测结果，以及，利用第二检测单元，对所述第二掩码融合图像特征进行目标检测，以得到第二检测结果；根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，并根据所述损失信息，对所述目标检测模型的参数进行更新；
其中，所述第一检测结果或第二检测结果对应的检测结果信息包括如下概率信息中的至少一种：所述图像样本中像素点属于预设目标的像素概率信息；所述图像样本中位置区域属于预设目标的区域概率信息；以及所述图像样本中像素点属于图像前景的前景概率信息；
所述第一检测结果包括：第一概率信息，所述第二检测结果包括：第二概率信息；所述根据所述第一检测结果和第二检测结果之间的匹配信息，确定损失信息，包括：确定第一概率信息与第二概率信息之间的度量信息；确定第一概率信息与所述图像样本的标注信息之间的第一损失信息；确定第二概率信息与所述图像样本的标注信息之间的第二损失信息；根据所述度量信息、所述第一损失信息和所述第二损失信息，确定损失信息。
8.一种电子设备，其特征在于，包括：处理器；和
存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-5中任一项所述的方法。
9.一种机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求1-5中任一项所述的方法。
CN202210999180.3A 2022-08-19 2022-08-19 目标检测模型的训练方法、目标检测方法、装置和介质 Active CN115082758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210999180.3A CN115082758B (zh) 2022-08-19 2022-08-19 目标检测模型的训练方法、目标检测方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210999180.3A CN115082758B (zh) 2022-08-19 2022-08-19 目标检测模型的训练方法、目标检测方法、装置和介质

Publications (2)

Publication Number Publication Date
CN115082758A CN115082758A (zh) 2022-09-20
CN115082758B true CN115082758B (zh) 2022-11-11

Family

ID=83244560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210999180.3A Active CN115082758B (zh) 2022-08-19 2022-08-19 目标检测模型的训练方法、目标检测方法、装置和介质

Country Status (1)

Country Link
CN (1) CN115082758B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563665B (zh) * 2023-04-25 2024-07-02 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826457A (zh) * 2019-10-31 2020-02-21 上海融军科技有限公司 一种复杂场景下的车辆检测方法及装置
WO2020173654A1 (en) * 2019-02-25 2020-09-03 Asml Netherlands B.V. Method for determining stochastic variation of printed patterns
CN111951172A (zh) * 2019-05-16 2020-11-17 北京三星通信技术研究有限公司 一种图像优化方法、装置、设备和存储介质
CN113569814A (zh) * 2021-09-06 2021-10-29 海南智晶科技有限公司 一种基于特征一致性的无监督行人重识别方法
CN113870254A (zh) * 2021-11-30 2021-12-31 中国科学院自动化研究所 目标对象的检测方法、装置、电子设备及存储介质
CN113989577A (zh) * 2021-12-24 2022-01-28 中科视语(北京)科技有限公司 图像分类方法及装置
CN114565631A (zh) * 2022-03-02 2022-05-31 上海蓝长自动化科技有限公司 一种基于双层卷积网络和掩码细化的植物叶片精细分割方法
CN114677565A (zh) * 2022-04-08 2022-06-28 北京百度网讯科技有限公司 特征提取网络的训练方法和图像处理方法、装置
CN114758136A (zh) * 2022-06-13 2022-07-15 深圳比特微电子科技有限公司 目标去除模型建立方法、装置及可读存储介质
CN114882314A (zh) * 2022-05-19 2022-08-09 商汤人工智能研究中心(深圳)有限公司 模型训练方法及相关产品、图像处理方法及相关产品
CN114913094A (zh) * 2022-06-07 2022-08-16 中国工商银行股份有限公司 图像修复方法、装置、计算机设备、存储介质和程序产品

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915995B2 (en) * 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
CN111160379B (zh) * 2018-11-07 2023-09-15 北京嘀嘀无限科技发展有限公司 图像检测模型的训练方法及装置、目标检测方法及装置
CN109871903B (zh) * 2019-03-11 2022-08-26 南京邮电大学 一种基于端到端深度网络与对抗学习的目标检测方法
US12131258B2 (en) * 2019-09-24 2024-10-29 Qualcomm Incorporated Joint pruning and quantization scheme for deep neural networks
US12002145B2 (en) * 2020-08-17 2024-06-04 Intel Corporation Apparatus and method for efficient graphics processing including ray tracing
US11978247B2 (en) * 2020-11-12 2024-05-07 Objectvideo Labs, Llc Adversarial masks for scene-customized false detection removal
CN114066900A (zh) * 2021-11-12 2022-02-18 北京百度网讯科技有限公司 图像分割方法、装置、电子设备和存储介质
CN114049408B (zh) * 2021-11-15 2024-07-12 哈尔滨工业大学（深圳） 用于加速多模态mr成像的深度网络方法及其成像方法
CN114693917A (zh) * 2022-03-29 2022-07-01 北京云杉信息技术有限公司 一种应用于招牌照识别的数据增强方法
CN114820363A (zh) * 2022-04-24 2022-07-29 深圳市赛禾医疗技术有限公司 图像处理方法和装置
CN114708437B (zh) * 2022-06-02 2022-09-06 深圳比特微电子科技有限公司 目标检测模型的训练方法、目标检测方法、装置和介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173654A1 (en) * 2019-02-25 2020-09-03 Asml Netherlands B.V. Method for determining stochastic variation of printed patterns
CN111951172A (zh) * 2019-05-16 2020-11-17 北京三星通信技术研究有限公司 一种图像优化方法、装置、设备和存储介质
CN110826457A (zh) * 2019-10-31 2020-02-21 上海融军科技有限公司 一种复杂场景下的车辆检测方法及装置
CN113569814A (zh) * 2021-09-06 2021-10-29 海南智晶科技有限公司 一种基于特征一致性的无监督行人重识别方法
CN113870254A (zh) * 2021-11-30 2021-12-31 中国科学院自动化研究所 目标对象的检测方法、装置、电子设备及存储介质
CN113989577A (zh) * 2021-12-24 2022-01-28 中科视语(北京)科技有限公司 图像分类方法及装置
CN114565631A (zh) * 2022-03-02 2022-05-31 上海蓝长自动化科技有限公司 一种基于双层卷积网络和掩码细化的植物叶片精细分割方法
CN114677565A (zh) * 2022-04-08 2022-06-28 北京百度网讯科技有限公司 特征提取网络的训练方法和图像处理方法、装置
CN114882314A (zh) * 2022-05-19 2022-08-09 商汤人工智能研究中心(深圳)有限公司 模型训练方法及相关产品、图像处理方法及相关产品
CN114913094A (zh) * 2022-06-07 2022-08-16 中国工商银行股份有限公司 图像修复方法、装置、计算机设备、存储介质和程序产品
CN114758136A (zh) * 2022-06-13 2022-07-15 深圳比特微电子科技有限公司 目标去除模型建立方法、装置及可读存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection";Xiaolong Wang 等;《arXiv:1704.03414v1 [cs]》;20170411;1-10 *
"Detecting interchanges in road networks using a graph convolutional network approach";Min Yang 等;《Geographical Information Science》;20220311;1-8 *
"基于Siamese网络的单目标跟踪算法研究";王康豪;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20220315(第（2022）03期);I138-966 *
"基于卷积神经网络的Dropout方法研究";解天舒;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20210115(第（2022）01期);I138-2502 *
"基于深度学习的工业零件分割与位姿测量算法研究";李宇;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;20220315(第（2022）03期);C029-427 *
"多模态视觉语言表征学习研究综述";杜鹏飞 等;《软件学报》;20210203;第32卷(第02期);327-348 *
基于深度学习的复杂背景下目标检测;王志等;《重庆理工大学学报(自然科学)》;20180415(第04期);177-182 *

Also Published As

Publication number Publication date
CN115082758A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN110598558B (zh) 人群密度估计方法、装置、电子设备及介质
US20190311202A1 (en) Video object segmentation by reference-guided mask propagation
CN114708437B (zh) 目标检测模型的训练方法、目标检测方法、装置和介质
CN110910422A (zh) 目标跟踪方法、装置、电子设备和可读存储介质
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN110263654A (zh) 一种火焰检测方法、装置及嵌入式设备
CN114140683A (zh) 一种航拍图像目标检测的方法、设备与介质
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
CN116235209A (zh) 稀疏光流估计
CN112329881A (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN115082758B (zh) 目标检测模型的训练方法、目标检测方法、装置和介质
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN112825116B (zh) 监控视频图像人脸检测和追踪方法、装置、介质及设备
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN116630367B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN117036392A (zh) 图像检测方法及相关装置
CN117078602A (zh) 图像拉伸识别及模型训练方法、装置、设备、介质及产品
CN112084815A (zh) 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器
CN112949526B (zh) 人脸检测方法和装置
CN114529912A (zh) 图形验证码识别方法、装置、电子设备及可读存储介质
CN114170271A (zh) 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质
CN113657245A (zh) 一种用于人脸活体检测的方法、设备、介质及程序产品
CN117523345B (zh) 一种目标检测数据平衡方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant