CN116935209A - 神经网络训练方法、图像检测方法、装置、设备及产品 - Google Patents

神经网络训练方法、图像检测方法、装置、设备及产品 Download PDF

Info

Publication number
CN116935209A
CN116935209A CN202210365123.XA CN202210365123A CN116935209A CN 116935209 A CN116935209 A CN 116935209A CN 202210365123 A CN202210365123 A CN 202210365123A CN 116935209 A CN116935209 A CN 116935209A
Authority
CN
China
Prior art keywords
image
sample
target
auxiliary
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210365123.XA
Other languages
English (en)
Inventor
程凯
张锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202210365123.XA priority Critical patent/CN116935209A/zh
Publication of CN116935209A publication Critical patent/CN116935209A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种神经网络训练方法、图像检测方法、装置、设备、介质及产品，通过目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，再使用目标样本图像对神经网络进行训练，得到用于对图像中对象进行检测的图像检测模型，可以丰富用于训练的目标样本图像的类型和效果，增加目标样本图像的丰富性，减少不同类别对象之间的数据不均衡情况，同时通过多尺度融合合并深浅层特征，设置多个对象检测通道以便有针对性地检测不同面积占比的对象，大大提高图像检测模型的图像检测精度。

Description

神经网络训练方法、图像检测方法、装置、设备及产品
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种神经网络训练方法、图像检测方法、装置、设备、介质及产品。
背景技术
随着时代的进步和科技的发展，生产过程中的业务类型也不断扩展，仓库作为生产过程中重要的作业区域，对于仓库的智能管控也愈发重要。仓库场景下存在人员、设备、货物等多种需要被关注的对象，为了避免高危隐患，需要对每个对象产生的行为进行检测，从而识别出具有安全风险的行为，进而及时解决并减少仓库场景中的安全问题，有效促进安全生产作业的开展。
在对于仓库的智能管控中，大多是在在仓库中配置拍摄设备，拍摄被关注对象的图像作为训练样本，训练得到可以对图像中的对象进行定位和检测的模型，以确定出具有安全风险的行为，但是各个类别的对象数量分布不均衡，影响训练出的模型的精度和准确度，难以得到高质量的检测结果。
发明内容
本公开实施例至少提供一种神经网络训练方法、图像检测方法、装置、设备、介质及产品。
本公开实施例提供了一种神经网络训练方法，所述方法包括：
获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，所述训练样本图像包括所述目标业务场景下的至少一个样本对象，所述辅助开源图像包括至少一种业务场景下的至少一个辅助对象；
基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，所述目标对象包括所述样本对象和所述辅助对象；
使用生成的所述目标样本图像和所述目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型。
一种可选的实施方式中，所述获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，包括：
获取在目标业务场景下采集的采集图像；
按照图像质量要求，对所述采集图像进行筛选处理，得到符合所述图像质量要求的采集图像；
对符合所述图像质量要求的采集图像进行对象标注，得到训练样本图像，以及所述训练样本图像中的样本对象的样本对象标注信息，所述样本对象标注信息用于指示样本对象的对象类型以及样本对象在所述训练样本图像中的标注位置。
一种可选的实施方式中，所述基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，包括：
基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像；
基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像；
基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息。
一种可选的实施方式中，所述基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像，包括：
从所述辅助对象标注信息中确定出所述辅助对象的对象类型和所述辅助对象在所述辅助开源图像中的标注位置，以及从所述样本对象标注信息中确定出所述样本对象的对象类型；
检测所述辅助对象的对象类型与所述样本对象的对象类型是否一致；
若一致，按照所述辅助对象对应的标注位置，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像。
一种可选的实施方式中，所述基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像内容，包括：
按照所述样本对象标注信息指示的、所述样本对象在所述训练样本图像中的标注位置，从所述训练样本图像中提取出所述样本对象的样本对象图像。
一种可选的实施方式中，在所述基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息之前，所述方法还包括：
获取预设的、在所述目标业务场景下的各种对象类型对应的预设对象尺寸；
根据所述辅助对象图像对应的对象类型、所述样本对象图像对应的对象类型和每种对象类型的预设对象尺寸，对所述辅助对象图像和所述样本对象图像按照对应的预设对象尺寸进行图像尺寸调整，得到调整后的所述辅助对象图像内容和调整后的所述样本对象图像内容。
一种可选的实施方式中，所述基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，包括：
基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像，所述添加对象图像包括所述辅助对象图像和所述样本对象图像；
基于所述添加对象图像的对象类型和添加在所述训练样本图像中的添加位置，以及所述训练样本图像的样本对象标注信息，确定所述目标样本图像的目标对象标注信息。
一种可选的实施方式中，所述基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像，包括：
基于所述样本对象标注信息指示的、所述样本对象的对象类型，确定需要在所述训练样本图像中添加的添加对象图像对应的添加对象类型；
针对所述添加对象类型下的所述添加对象图像，确定在所述训练样本图像中添加所述添加对象图像的添加数量和添加位置；
基于所述添加对象类型、所述添加数量和所述添加位置，在所述训练样本图像中添加对应的所述添加对象图像，得到所述目标样本图像。
一种可选的实施方式中，在所述基于所述添加对象类型、所述添加数量和所述添加位置，在所述训练样本图像中添加对应的所述添加对象图像，得到所述目标样本图像之前，所述方法还包括：
基于所述添加位置，确定所述添加对象图像对应的添加对象在所述训练样本图像中对应的对象比例；
按照所述对象比例，对所述添加对象图像进行线性缩放处理，得到处理后的所述添加对象图像。
一种可选的实施方式中，所述使用生成的所述目标样本图像和所述目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型，包括：
将所述目标样本图像输入至神经网络，通过所述神经网络的特征提取融合层对所述目标样本图像进行多级图像特征的提取和融合，得到对提取出的多级图像特征进行融合过程中产生的多级融合特征，不同级的融合特征指示的特征图像的图像尺寸不同；
将各级融合特征输入至对应的、所述神经网络中对象检测层中的各个对象检测通道，得到所述目标样本图像中各个目标对象的检测标注信息，所述对象检测层包括多个对象检测通道，不同对象检测通道所用于检测的图像中的对象在图像中的面积占比不同；
基于所述目标样本图像中各个目标对象的检测标注信息，确定所述神经网络输出的针对所述目标样本图像的图像检测结果；
基于所述图像检测结果和所述目标对象标注信息，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中对象进行检测的图像检测模型。
本公开实施例提供了一种图像检测方法，所述方法包括：
获取待检测图像和图像检测模型，所述图像检测模型根据上述的神经网络训练方法训练得到；
通过所述图像检测模型对所述待检测图像进行检测，得到所述待检测图像的图像检测结果。
本公开实施例还提供一种神经网络训练装置，所述装置包括：
数据获取模块，用于获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，所述训练样本图像包括所述目标业务场景下的至少一个样本对象，所述辅助开源图像包括至少一种业务场景下的至少一个辅助对象；
数据生成模块，用于基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，所述目标对象包括所述样本对象和所述辅助对象；
模型训练模块，用于使用生成的所述目标样本图像和对应的目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型。
一种可选的实施方式中，所述数据获取模块具体用于：
获取在目标业务场景下采集的采集图像；
按照图像质量要求，对所述采集图像进行筛选处理，得到符合所述图像质量要求的采集图像；
对符合所述图像质量要求的采集图像进行对象标注，得到训练样本图像，以及所述训练样本图像中的样本对象的样本对象标注信息，所述样本对象标注信息用于指示样本对象的对象类型以及样本对象在所述训练样本图像中的标注位置。
一种可选的实施方式中，所述数据生成模块具体用于：
基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像；
基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像；
基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息。
一种可选的实施方式中，所述数据生成模块在用于基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像时，具体用于：
从所述辅助对象标注信息中确定出所述辅助对象的对象类型和所述辅助对象在所述辅助开源图像中的标注位置，以及从所述样本对象标注信息中确定出所述样本对象的对象类型；
检测所述辅助对象的对象类型与所述样本对象的对象类型是否一致；
若一致，按照所述辅助对象对应的标注位置，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像。
一种可选的实施方式中，所述数据生成模块在用于基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像内容时，具体用于：
按照所述样本对象标注信息指示的、所述样本对象在所述训练样本图像中的标注位置，从所述训练样本图像中提取出所述样本对象的样本对象图像。
一种可选的实施方式中，所述数据生成模块还用于：
获取预设的、在所述目标业务场景下的各种对象类型对应的预设对象尺寸；
根据所述辅助对象图像对应的对象类型、所述样本对象图像对应的对象类型和每种对象类型的预设对象尺寸，对所述辅助对象图像和所述样本对象图像按照对应的预设对象尺寸进行图像尺寸调整，得到调整后的所述辅助对象图像内容和调整后的所述样本对象图像内容。
一种可选的实施方式中，所述数据生成模块在用于基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息时，具体用于：
基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像，所述添加对象图像包括所述辅助对象图像和所述样本对象图像；
基于所述添加对象图像的对象类型和添加在所述训练样本图像中的添加位置，以及所述训练样本图像的样本对象标注信息，确定所述目标样本图像的目标对象标注信息。
一种可选的实施方式中，所述数据生成模块在用于基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像时，具体用于：
基于所述样本对象标注信息指示的、所述样本对象的对象类型，确定需要在所述训练样本图像中添加的添加对象图像对应的添加对象类型；
针对所述添加对象类型下的所述添加对象图像，确定在所述训练样本图像中添加所述添加对象图像的添加数量和添加位置；
基于所述添加对象类型、所述添加数量和所述添加位置，在所述训练样本图像中添加对应的所述添加对象图像，得到所述目标样本图像。
一种可选的实施方式中，所述数据生成模块还用于：
基于所述添加位置，确定所述添加对象图像对应的添加对象在所述训练样本图像中对应的对象比例；
按照所述对象比例，对所述添加对象图像进行线性缩放处理，得到处理后的所述添加对象图像。
一种可选的实施方式中，所述模型训练模块具体用于：
将所述目标样本图像输入至神经网络，通过所述神经网络的特征提取融合层对所述目标样本图像进行多级图像特征的提取和融合，得到对提取出的多级图像特征进行融合过程中产生的多级融合特征，不同级的融合特征指示的特征图像的图像尺寸不同；
将各级融合特征输入至对应的、所述神经网络中对象检测层中的各个对象检测通道，得到所述目标样本图像中各个目标对象的检测标注信息，所述对象检测层包括多个对象检测通道，不同对象检测通道所用于检测的图像中的对象在图像中的面积占比不同；
基于所述目标样本图像中各个目标对象的检测标注信息，确定所述神经网络输出的针对所述目标样本图像的图像检测结果；
基于所述图像检测结果和所述目标对象标注信息，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中对象进行检测的图像检测模型。
本公开实施例还提供一种图像检测装置，所述装置包括：
图像获取模块，用于获取待检测图像和图像检测模型，所述图像检测模型根据上述的神经网络训练装置训练得到；
图像检测模块，用于通过所述图像检测模型对所述待检测图像进行检测，得到所述待检测图像的图像检测结果。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述的神经网络训练方法或者图像检测方法的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的神经网络训练方法或者图像检测方法的步骤。
本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序、指令被处理器执行时实现上述的神经网络训练方法或者图像检测方法的步骤。
本公开实施例提供的神经网络训练方法、图像检测方法、装置、设备、介质及产品，在训练神经网络时，可以丰富用于训练的目标样本图像的类型和效果，增加目标样本图像的丰富性，提升训练数据的多样性，减少不同类别对象之间的数据不均衡情况，提高神经网络针对不同图像特征的学习效果，同时通过多尺度融合合并深浅层特征，设置多个对象检测通道以便有针对性地检测不同面积占比的对象，大大提高图像检测模型的图像检测精度。
进一步的，在通过图像检测模型进行图像检测时，通过图像检测模型的对象检测层中的多个对象检测通道，通过细粒度的检测通道的划分，有针对性地对不同面积占比的对象分别进行检测，有助于提升对于各种面积占比、各种对象类型的对象的检测精度，从而可以有效提高检测结果的准确度，降低对象的不同面积占比对检测结果的影响，抗干扰性高。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种神经网络训练方法的流程图；
图2示出了本公开实施例所提供的神经网络训练方法中，生成目标样本图像具体方法的流程图；
图3a示出了本公开实施例所提供的一种神经网络中，特征提取融合层的结构示意图；
图3b示出了本公开实施例所提供的一种神经网络中，对象检测层的结构示意图；
图4示出了本公开实施例所提供的一种图像检测方法的流程图；
图5示出了本公开实施例所提供的一种神经网络训练装置的示意图；
图6示出了本公开实施例所提供的一种图像检测练装置的示意图；
图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，在对于仓库的智能管控中，大多是在仓库中配置拍摄设备，拍摄被关注对象的图像作为训练样本，训练得到可以对图像中的对象进行定位和检测的模型，以确定出具有安全风险的行为，但是采集的图像极易受到环境、位置、地点、时间、对象自身运动等因素的干扰，使得识别过程中易出现难以检测、检测不准确、图像检测结果精度低等问题，并且若各个类别的对象数量分布不均衡，影响训练出的模型的精度和准确度，难以得到高质量的训练模型，训练效果不佳。
基于上述研究，本公开提供了一种神经网络训练方法和图像检测方法，在训练神经网络时，可以丰富用于训练的目标样本图像的类型和效果，增加目标样本图像的丰富性，提升训练数据的多样性，减少不同类别对象之间的数据不均衡情况，提高神经网络针对不同图像特征的学习效果，同时通过多尺度融合合并深浅层特征，设置多个对象检测通道以便有针对性地检测不同面积占比的对象，大大提高图像检测模型的图像检测精度。
进一步的，在通过图像检测模型进行图像检测时，通过图像检测模型的对象检测层中的多个对象检测通道，通过细粒度的检测通道的划分，有针对性地对不同面积占比的对象分别进行检测，有助于提升对于各种面积占比、各种对象类型的对象的检测精度，从而可以有效提高检测结果的准确度，降低对象的不同面积占比对检测结果的影响，抗干扰性高。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种神经网络训练方法进行详细介绍，本公开实施例所提供的神经网络训练方法的执行主体可以是神经网络训练装置，例如，神经网络训练方法可以由终端设备或服务器或其它处理设备执行。在一些可能的实现方式中，该神经网络训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图1，图1为本公开实施例提供的一种神经网络训练方法的流程图。如图1中所示，本公开实施例提供的神经网络训练方法包括：
S101：获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，所述训练样本图像包括所述目标业务场景下的至少一个样本对象，所述辅助开源图像包括至少一种业务场景下的至少一个辅助对象。
该步骤中，针对需要进行智能管控的目标业务场景，可以获取目标业务场景下的采集图像，作为用于训练神经网络的训练样本图像。例如针对生产过程中的智能管控，所述目标业务场景可以为仓库、车间、厂房等，针对教学过程中的智能管控，所述目标业务场景可以为教室、图书馆、实验室等。
可选地，通过在目标业务场景下设置摄像头等拍摄设备，按照预设的时间设置周期性地抓拍得到目标业务场景下的训练样本图像，也可以是通过目标业务场景下设置的拍摄设备，拍摄得到包括业务过程的视频，再从视频中提取出关键帧，作为训练样本图像，在此并不做任何限定。
这里，训练样本图像中包括所述目标业务场景下的至少一个样本对象。例如针对仓库的目标业务场景，样本对象可以包括工作人员、货物、车辆、机器等，针对实验室的目标业务场景，样本对象可以包括学生、教师、教学设备、实验器材等。
为了便于后续验证神经网络的训练情况，可以对训练样本图像中的样本对象进行标注，生成训练样本图像中每个样本对象的样本对象标注信息。
可选地，所述样本对象标注信息可以包括样本对象的对象类型以及样本对象在所述训练样本图像中的标注位置。
为了提升训练样本的数据多样性，在得到目标业务场景下的训练样本图像的基础上，同时也可以引入在其他业务场景下的数据，具体的，可以获取在多个业务场景下的多个辅助开源图像，每个辅助开源图像中包括至少一种业务场景下的至少一个辅助对象。这里，所述多个业务场景可以包括所述目标业务场景。
这里，为了提高训练速度，减少数据处理工作量，可以获取现有的开源(CommonObjects in Context，COCO)数据集，将COCO数据集中的图像作为辅助开源图像。COCO数据集是一个大规模的对象检测、分割、关键点检测和字幕数据集，集合了各个业务场景下的上万张图像。
为了便于后续提升训练样本图像的丰富性，可以对辅助开源图像中的辅助对象进行标注，生成辅助开源图像中每个辅助对象的辅助对象标注信息。
可选地，所述辅助对象标注信息可以包括辅助对象的对象类型以及辅助对象在所述辅助开源图像中的标注位置。
可以理解，通过在目标业务场景下设置的拍摄设备采集到的图像，部分可能存在由于光线昏暗导致的对象不清晰、由于对象在运动状态导致的抓拍瞬间图像模糊、由于相机调参不正确导致的图像模糊、在特定时间点下拍摄到不存在对象的图像等情况，这些图像作为训练样本会使得神经网络学习到错误的图像特征，为此需要将存在上述情况的图像筛选出去。
相应地，在一些可能的实施方式中，所述获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，包括：
获取在目标业务场景下采集的采集图像；
按照图像质量要求，对所述采集图像进行筛选处理，得到符合所述图像质量要求的采集图像；
对符合所述图像质量要求的采集图像进行对象标注，得到训练样本图像，以及所述训练样本图像中的样本对象的样本对象标注信息，所述样本对象标注信息用于指示样本对象的对象类型以及样本对象在所述训练样本图像中的标注位置。
该步骤中，在获取到通过在目标业务场景下设置的拍摄设备采集的采集图像后，可以按照图像质量要求，将模糊的采集图像、图中的对象模糊的采集图像、图中不存在对象的采集图像筛选出来并删除，从而得到符合所述图像质量要求的采集图像，可以理解，所述图像质量要求可以是图像清晰、图像中存在对象且对象清晰等。
这里，对所述采集图像进行筛选处理，可以是基于人工判断，人为地对所述采集图像进行筛选处理，还可以是通过预先训练好的图像筛选模型，识别出不符合所述图像质量要求的采集图像并将其删除，在此并不做任何限定。
在其他实施方式中，还可以基于采集图像的色温、对比度等显示状态，对所述采集图像进行翻转、尺度缩放、图像灰度校正、色彩分离、锐化、白平衡、旋转、色彩变换、对比度变换、对比度自动调整、色调均衡等处理。
在将不符合所述图像质量要求的采集图像删除后，针对符合所述图像质量要求的采集图像可以进行对象标注，以得到训练样本图像，以及所述训练样本图像中的样本对象的样本对象标注信息。
这里，所述样本对象标注信息用于指示样本对象的对象类型以及样本对象在所述训练样本图像中的标注位置。例如针对仓库的目标业务场景，样本对象的对象类型可以包括人、货物、车辆、机器等。
其中，样本对象在所述训练样本图像中的标注位置，可以是以标注框的形式对所述样本对象进行标注，具体的，可以通过标注框的左上角和右下角的坐标来体现所述样本对象的标注位置，还可以通过标注框的左下角和右上角的坐标来体现所述样本对象的标注位置，也可以通过所述标注框的中心点、长度、宽度来体现所述样本对象的标注位置，还可以通过标注框的四个角的坐标来体现所述样本对象的标注位置，在此并不做任何限定。
可选地，针对预先构建好的、待训练的神经网络，可以按照所述神经网络对应的数据格式，将所述样本对象标注信息的数据格式转换为适配于所述神经网络的数据格式。
示例性的，针对某一样本对象的样本对象标注信息，样本类型为货车，标注位置为标注框的左上角和右下角的坐标，而待训练的神经网络只能识别样本类型为车、标注位置为标注框的中心点、长度、宽度的样本对象标注信息，因此就要将当前的样本对象标注信息进行数据格式转换，使得转换后的样本对象标注信息能够被所述神经网络识别。
S102：基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，所述目标对象包括所述样本对象和所述辅助对象。
该步骤中，为了提升训练数据的多样性，减少不同类别对象之间的数据不均衡情况，可以对所述训练样本图像进行数据增强处理，具体的，可以基于所述辅助对象标注信息和所述样本对象标注信息，将所述辅助开源图像中的辅助对象和所述训练样本图像中的样本对象适应性地添加到所述训练样本图像中，以得到用于进行神经网络训练的目标样本对象。具体的，请同时参阅图2，图2为本公开实施例提供的神经网络训练方法中，生成目标样本图像具体方法的流程图。如图2中所示，所述方法包括：
S1021：基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像。
该步骤中，为了丰富用于训练的目标样本图像的类型和效果，可以将所述辅助开源图像中的所述辅助对象的辅助对象图像提取出来，以便在后续基于提取出的辅助对象图像对所述训练样本图像进行数据增强处理。
这里，为了提高训练速度，减少数据处理工作量，可以通过与所述辅助开源图像匹配的图像提取模型进行辅助对象图像的提取。
进一步的，为了减少背景因素的干扰，可以沿着所述辅助对象的外部边缘线进行切割，以提取得到辅助对象图像。
因此，一些可能的实施方式中，所述基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像，包括：
从所述辅助对象标注信息中确定出所述辅助对象的对象类型和所述辅助对象在所述辅助开源图像中的标注位置，以及从所述样本对象标注信息中确定出所述样本对象的对象类型；
检测所述辅助对象的对象类型与所述样本对象的对象类型是否一致；
若一致，按照所述辅助对象对应的标注位置，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像。
可以理解，所述辅助开源图像来自于多个业务场景，因此所述辅助开源图像中的辅助对象的对象类型有可能不属于所述目标业务场景下，例如针对仓库的目标业务场景，若所述辅助开源图像来自于马路的业务场景，马路图像中对象类型为人和车辆的辅助对象属于仓库的目标业务场景，但马路图像中对象类型为交通灯和道路指示牌的辅助对象不属于仓库的目标业务场景。
为了保证目标业务场景下的对象类型一致性，首先可以从所述辅助对象标注信息中确定出所述辅助对象的对象类型，并且从所述样本对象标注信息中确定出所述样本对象的对象类型，然后检测所述辅助对象的对象类型与所述样本对象的对象类型是否一致，可以理解，若所述辅助对象的对象类型与所述样本对象的对象类型一致，表示所述辅助对象是对应属于所述目标业务场景下的，因此可以按照所述辅助对象对应的标注位置，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像。
S1022：基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像。
该步骤中，为了丰富用于训练的目标样本图像的类型和效果，可以将所述训练样本图像中的所述样本对象的样本对象图像提取出来，以便在后续基于提取出的样本对象图像对所述训练样本图像进行数据增强处理。
这里，为了提高训练速度，减少数据处理工作量，可以通过所述训练样本图像和所述样本对象标注信息，对上述与所述辅助开源图像匹配的图像提取模型进行调整，使得调整后的图像提取模型与所述训练样本图像匹配，从而可以通过调整后的图像提取模型进行样本对象图像的提取。
可选地，也可以选用其它的图像提取模型或者人工智能算法等，实现样本对象图像的提取。
进一步的，为了减少背景因素的干扰，可以沿着所述样本对象的外部边缘线进行切割，以提取得到样本对象图像。
具体的，为了基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像内容，可以按照所述样本对象标注信息指示的、所述样本对象在所述训练样本图像中的标注位置，从所述训练样本图像中提取出所述样本对象的样本对象图像。
S1023：基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息。
该步骤中，为了丰富用于训练的目标样本图像的类型和效果，在从所述辅助开源图像中提取出所述辅助对象图像和从所述训练样本图像中提取出所述样本对象图像的情况下，可以基于所述辅助对象标注信息和所述样本对象标注信息，通过所述辅助对象图像和所述样本对象图像对所述训练样本图像进行数据增强处理，得到目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息。
在实际应用中，所述辅助开源图像和所述训练样本图像的图像尺寸可能不同，因此从所述辅助开源图像中提取出的所述辅助对象图像和从所述训练样本图像中提取出的所述样本对象图像的图像尺寸也可能不同，为了便于统一管理，在提取出所述辅助对象图像和所述样本对象图像后，可以对所述辅助对象图像和所述样本对象图像进行适应性的调整。
相应地，在一些可能的实施方式中，在所述基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息之前，所述方法还包括：
获取预设的、在所述目标业务场景下的各种对象类型对应的预设对象尺寸；
根据所述辅助对象图像对应的对象类型、所述样本对象图像对应的对象类型和每种对象类型的预设对象尺寸，对所述辅助对象图像和所述样本对象图像按照对应的预设对象尺寸进行图像尺寸调整，得到调整后的所述辅助对象图像内容和调整后的所述样本对象图像内容。
该步骤中，可以获取预设的、在所述目标业务场景下的各种对象类型对应的预设对象尺寸，针对每个所述辅助对象图像和每个所述样本对象图像，根据其对应的对象类型，从多个预设对象尺寸中确定其对应的预设对象尺寸，进而按照对应预设对象尺寸相应地进行图像尺寸调整，得到调整后的所述辅助对象图像内容和调整后的所述样本对象图像内容。
在得到调整后的所述辅助对象图像内容和调整后的所述样本对象图像内容后，可以使用调整后的所述辅助对象图像内容和调整后的所述样本对象图像内容对所述训练样本图像进行数据增强处理。
具体的，在一些可能的实施方式中，所述基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，包括：
基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像，所述添加对象图像包括所述辅助对象图像和所述样本对象图像；
基于所述添加对象图像的对象类型和添加在所述训练样本图像中的添加位置，以及所述训练样本图像的样本对象标注信息，确定所述目标样本图像的目标对象标注信息。
该步骤中，基于所述样本对象标注信息，可以确定在所述训练样本图像中待添加的对象图像的类型、数量、位置，从而从所述辅助对象图像内容和所述样本对象图像内容中选择出待添加到所述训练样本图像中的至少一个添加对象图像。
为了保证训练数据的完整性，可以在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加所述添加对象图像，进而将添加所述添加对象图像的训练样本图像作为目标样本图像，并将添加对象图像的对象类型和添加在所述训练样本图像中的添加位置作为添加对象的添加对象标注信息。
可以理解，此时所述目标样本图像中包括所述添加对象和所述样本对象，因此可以将所述添加对象的添加对象标注信息和所述样本对象的样本对象标注信息，作为所述目标样本图像的目标对象标注信息。
进而，一些可能的实施方式中，所述基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像，包括：
基于所述样本对象标注信息指示的、所述样本对象的对象类型，确定需要在所述训练样本图像中添加的添加对象图像对应的添加对象类型；
针对所述添加对象类型下的所述添加对象图像，确定在所述训练样本图像中添加所述添加对象图像的添加数量和添加位置；
基于所述添加对象类型、所述添加数量和所述添加位置，在所述训练样本图像中添加对应的所述添加对象图像，得到所述目标样本图像。
该步骤中，为了降低目标样本图像中不同对象类型下对象数量之间的差异，在确定所述样本对象标注信息指示的、所述样本对象的对象类型的情况下，可以确定所述训练样本图像中缺少或者数量较少的对象类型，将这类对象类型作为需要在所述训练样本图像中添加的添加对象图像对应的添加对象类型。
在确定所述样本对象标注信息指示的、所述样本对象在所述训练样本图像中的标注位置的情况下，可以确定所述训练样本图像中当前样本对象的数量以及每个样本对象的面积，再结合所述训练样本图像的面积，可以确定所述在训练样本图像中所述样本对象的面积占比，即确定所述训练样本图像的对象密度，基于所述对象密度，可以确定在所述训练样本图像中添加所述添加对象图像的添加数量和添加位置，具体的，可以确定在所述训练样本中添加所述添加对象图像的第一添加数量和每种添加对象类型下的第二添加数量。
在确定所述添加类型和所述添加数量后，可以从所述辅助对象图像内容和所述样本对象图像内容中选择出所述添加对象类型下的、所述添加数量的添加对象图像，从而可以确定每个添加位置对应的添加对象图像，这里，为了防止所述添加对象图像被裁剪，保证所述添加对象图像的完整性，需要保证所述添加对象图像按照对应的添加位置添加至所述训练样本图像后，所述添加对象图像内容全部在所述训练样本图像的范围内，即所述添加对象图像内容不超出所述训练样本图像的范围，进而可以按照所述添加位置，在所述训练样本图像中的所述添加位置处添加对应的所述添加对象图像，得到所述目标样本图像。
可选地，为了保证数据增强处理的有效性和丰富性，可以将所述辅助对象图像内容和所述样本对象图像内容按照预设比例进行混合，生成对象图像内容集合，以便从所述对象图像内容集合中选择出所述添加对象图像。
这里，为了减少不同类别对象之间的数据不均衡情况，提高神经网络针对不同图像特征的学习效果，可以尽量使得所述目标样本图像中包括多种对象类型的对象，并尽量使得不同对象类型下的对象数量一致。
在实际应用中，所述目标样本图像大多是以俯视的角度进行拍摄得到的，因此靠近目标样本图像底部的对象的面积较小，靠近目标样本图像顶部的对象的面积较大。同时，所述目标样本图像中的对象大小应符合真实场景，例如同一位置的人应该比车小。因此，在将所述添加对象图像添加到所述训练样本图像之前，可以对所述添加对象图像进行适应性调整。
相应地，在一些可能的实施方式中，在所述基于所述添加对象类型、所述添加数量和所述添加位置，在所述训练样本图像中添加对应的所述添加对象图像，得到所述目标样本图像之前，所述方法还包括：
基于所述添加位置，确定所述添加对象图像对应的添加对象在所述训练样本图像中对应的对象比例；
按照所述对象比例，对所述添加对象图像进行线性缩放处理，得到处理后的所述添加对象图像。
该步骤中，可以获取所述训练样本图像中每个添加位置对应的对象比例，从而确定所述添加位置对应的所述添加对象图像对应的添加对象在所述训练样本图像中对应的对象比例，进而可以对所述添加对象图像进行线性缩放处理，使得处理后的所述添加对象图像对应的添加对象满足所述对象比例，以便后续将处理后的所述添加对象图像添加至所述训练样本图像中。
承接上述S102，S103：使用生成的所述目标样本图像和所述目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型。
该步骤中，在得到所述目标样本图像和所述目标对象标注信息后，可以使用所述目标样本图像来训练待训练的神经网络，可以理解，模型训练是一个不断拟合的过程，因此可以通过所述目标对象标注信息对训练出的模型进行验证，以最终得到对训练完毕的、用于对图像中对象进行检测的图像检测模型。
这里，为了提高检测结果的准确度，降低对象的不同面积占比对检测结果的影响，可以通过细粒度的检测通道的划分，有针对性地对不同面积占比的对象分别进行检测。
具体的，在一些可能的实施方式中，所述使用生成的所述目标样本图像和所述目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型，包括：
将所述目标样本图像输入至神经网络，通过所述神经网络的特征提取融合层对所述目标样本图像进行多级图像特征的提取和融合，得到对提取出的多级图像特征进行融合过程中产生的多级融合特征，不同级的融合特征指示的特征图像的图像尺寸不同；
将各级融合特征输入至对应的、所述神经网络中对象检测层中的各个对象检测通道，得到所述目标样本图像中各个目标对象的检测标注信息，所述对象检测层包括多个对象检测通道，不同对象检测通道所用于检测的图像中的对象在图像中的面积占比不同；
基于所述目标样本图像中各个目标对象的检测标注信息，确定所述神经网络输出的针对所述目标样本图像的图像检测结果；
基于所述图像检测结果和所述目标对象标注信息，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中对象进行检测的图像检测模型。
该步骤中，在得到所述目标样本图像后，将所述目标样本图像输入至预先构建好的神经网络中，所述神经网络包括特征提取融合层和对象检测层，所述特征融合提取层用于对所述目标样本图像进行多级图像特征的提取，得到提取出的多级图像特征，再对提取出的多级图像特征进行融合，得到多级融合特征。
这里，特征提取和特征融合的级数与实际检测需求有关，在此并不做任何限定。
所述对象检测层用于对多级融合特征进行对象检测，具体的，所述对象检测层包括多个对象检测通道，不同对象检测通道所用于检测的图像中的对象在图像中的面积占比不同，可以理解，经过对于图像特征的提取、融合和传递之后，相对于对应图像尺寸不同的多级融合特征，在每个融合特征所对应的特征图像中，原本各目标对象的尺寸也会经过相应的放大或者缩小，而在不同的融合特征所对应的特征图像中，原本尺寸不同的目标对象基本会一致，因此在将所述多级融合特征输入至所述对象检测层后，根据每个对象检测通道对应的面积占比范围，可以确定各个面积的目标对象对应的对象检测通道，从而将各级融合特征输入至对应的对象检测通道中，对象检测通道可以检测与对应的面积占比相同的对象，从而可以检测得到所述目标样本图像中各个目标对象的检测标注信息。
这里，对象检测通道的个数可以实际检测需求具体设置，在此并不做任何限定。
其中，在将所述多级融合特征输入至所述对象检测层后，通过所述对象检测层得到所述目标样本图像中的目标对象在所述目标样本图像中的面积占比的方式，可以是分别确定所述目标样本图像的面积和所述目标样本图像中各个目标对象的面积，从而得到各个目标对象在所述目标样本图像中的面积占比，还可以是先确定每个目标样本图像的面积，再根据预设目标样本图像尺寸进行图像尺寸调整处理，将目标样本图像等比例缩放至同一图像尺寸，此时再确定所述目标样本图像中各个目标对象的面积，从而得到各个目标对象在所述目标样本图像中的面积占比。
其中，在将各级融合特征输入至对应的对象检测通道后，为了提高对于多种对象类型的检测精度，每个对象检测通道中可以设置有多个检测头，所述检测头与所述目标样本图像中包括的目标对象的对象类型一一对应，通过所述检测头，可以检测得到所述目标样本图像中的目标对象对应的检测对象类型，进而检测得到每个目标对象在所述目标样本图像中的检测位置。
示例性的，请参阅图3a和图3b，图3a位本公开实施例提供的一种神经网络中，特征提取融合层的结构示意图，图3b为本公开实施例所提供的一种神经网络中，对象检测层的结构示意图。神经网络包括提取融合层和对象检测层，本示例以三级特征提取、三级特征融合、三个对象检测通道为例，即提取融合层中包括三层特征提取层、三层第一特征融合层和三层第二特征融合层，对象检测层中包括三个对象检测通道。相应地，如图3a中所示，在将目标样本图像输入至第一层特征提取层后，经过第一层特征提取层的特征提取可以得到第一级图像特征，再将得到的第一级图像特征输入至第二层特征提取层，经过第二层特征提取层可以对第一级图像特征进行进一步处理，从而可以提取出第二级图像特征，同理，可以将第二层特征提取层提取到的第二级图像特征输入至第三层特征提取层中以提取出第三级图像特征。进而，将第一级图像特征输入至第一层第一特征融合层后，经过第一层第一特征融合层可以对第一级图像特征进行初步融合，从而可以得到第一级中间融合特征，在将第二级图像特征和第一级中间融合特征输入至第二层第一特征融合层后，经过第二层第一特征融合层可以对第二级图像特征和第一级中间融合特征进行初步融合，从而可以得到第二级中间融合特征，在将第三级图像特征和第二级中间融合特征输入至第三层第一特征融合层后，经过第三层第一特征融合层可以对第三级图像特征和第二级中间融合特征进行初步融合，从而可以得到第三级中间融合特征。接着，将第三级中间图像特征输入至第三层第二特征融合层后，经过第三层第二特征融合层可以对第三级中间融合特征进行进一步融合，从而可以得到第三级融合特征，在将第二级中间融合特征和第三级融合特征输入至第二层第二特征融合层后，经过第二层第二特征融合层可以对第二级中间融合特征和第三级融合特征进行进一步融合，从而可以得到第二级融合特征，在将第一级中间融合特征和第二级融合特征输入至第一层第二特征融合层后，经过第一层第二特征融合层可以对第一级中间融合特征和第二级融合特征进行进一步融合，从而可以得到第一级融合特征。
这里，根据实际检测需求，所述第一层第一特征融合层、第二层第一特征融合层、第三层第一特征融合层、第一层第二特征融合层、第二层第二特征融合层和第三层第二特征融合层可以是卷积层、池化层、全连接层等，在此并不做任何限定。
这样，通过第一层第一特征融合层、第二层第一特征融合层和第三层第一特征融合层的设置，将低层的定位特征传递到高层，通过第一层第二特征融合层、第二层第二特征融合层和第三层第二特征融合层的设置，将高层的强语义特征传递到低层，提高神经网络针对不同层次图像特征的学习效果。
然后，如图3b中所示，可以将第一级融合特征、第二级融合特征和第三级融合特征分别输入至对象检测层，在本示例中，所述对象检测层包括三个对象检测通道，各个融合特征分别输入到对应的对象检测通道中，对于第一级融合特征、第二级融合特征和第三级融合特征来讲，三个融合特征所对应的图像尺寸不同，而对于所述目标样本图像来讲，各目标对象在所述目标样本图像中的尺寸也不同，即在所述目标样本图像中对象图像的面积占比不同，经过对于图像特征的提取、融合和传递之后，相对于对应图像尺寸不同的三个融合特征，在每个融合特征所对应的特征图像中，原本各目标对象的尺寸也会经过相应的放大或者缩小，而在不同的融合特征所对应的特征图像中，原本尺寸不同的两个目标对象基本会一致，也就是说，经过不同级特征的融合处理后，所需要检测的面积占比不同的目标对象，其对应的对象图像的尺寸基本可以认为是一致的，这样，可以相应提高对象检测的平衡性，例如在所述目标样本图像中包含有三个目标对象，分别为对象A、对象B和对象C，在所述目标样本图像中，对象A的对象尺寸大于对象B的对象尺寸，对象B的对象尺寸大于对象C的对象尺寸，三者对应的面积占比也不同，而经过图像特征的提取、融合和传递之后，对象A在第三级特征融合特征对应的特征图像中的对象尺寸，与对象B在第二级特征融合特征对应的特征图像中的对象尺寸和对象C在第一级特征融合特征对应的特征图像中的对象尺寸，可以认为是基本一致的，这样，通过三个对象检测通道，可以分别检测与对象A对应的面积占比相同的对象，与对象B对应的面积占比相同的对象，和与对象C对应的面积占比相同的对象。
相应的，在每个对象检测通道中，可以设置多个检测头，这里，每个检测头可以检测对于属于同一对象类型的各个对象，在本示例中，以每个对象检测通道包括N个检测头进行说明，通过检测头，可以检测得到所述目标样本图像中的目标对象对应的检测对象类型，进而检测得到每个目标对象在所述目标样本图像中的检测位置，从而得到所述目标样本图像中各个目标对象的检测标注信息。
可以理解，所述神经网络输出的针对所述目标样本图像的图像检测结果可以包括所述目标样本图像中目标对象的检测对象类型以及目标对象在所述目标样本图像中的检测位置。
接着，基于所述图像检测结果和所述目标对象标注信息，对所述神经网络进行调整，具体的，可以对每个对象检测通道的权重进行适应性的调整，可选地，可以认为地进行参数调整，也可以通过人工智能算法进行参数调整，在此并不做任何限定，从而得到调整后的神经网络，返回执行所述将所述目标样本图像输入神经网络进行训练的步骤，直到满足训练截止条件，这里，若所述图像检测结果和所述目标对象标注信息之间的精度差距小于预设的精度阈值，确定所述神经网络满足所述训练截止条件，将训练完毕的所述神经网络作为用于对图像中对象进行检测的图像检测模型。
本公开实施例提供的神经网络训练方法，可以获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，所述训练样本图像包括所述目标业务场景下的至少一个样本对象，所述辅助开源图像包括至少一种业务场景下的至少一个辅助对象；基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，所述目标对象包括所述样本对象和所述辅助对象；使用生成的所述目标样本图像和所述目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型。
这样，在训练神经网络时，可以丰富用于训练的目标样本图像的类型和效果，增加目标样本图像的丰富性，提升训练数据的多样性，减少不同类别对象之间的数据不均衡情况，提高神经网络针对不同图像特征的学习效果，同时通过多尺度融合合并深浅层特征，设置多个对象检测通道以便有针对性地检测不同面积占比的对象，大大提高图像检测模型的图像检测精度。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像检测方法进行详细介绍，本公开实施例所提供的图像检测方法的执行主体可以是图像检测装置，例如，图像检测方法可以由终端设备或服务器或其它处理设备执行。在一些可能的实现方式中，该图像检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图4，图4为本公开实施例提供的一种图像检测方法的流程图。如图4中所示，本公开实施例提供的图像检测方法包括：
S401：获取待检测图像和图像检测模型，所述图像检测模型根据上述的神经网络训练方法训练得到。
该步骤中，在需要进行图像检测时，可以获取待检测图像和根据上述的神经网络训练方法训练得到的图像检测模型。
其中，所述待检测图像可以是基于通过在生产环境中增加的视频采集设备采集的待识别视频解析得到的，也可以是通过在生产环境中增加的图像采集设备采集得到的，在此并不做任何限定。
S402：通过所述图像检测模型对所述待检测图像进行检测，得到所述待检测图像的图像检测结果。
该步骤中，在将待检测图像输入图像检测模型后，可以得到针对待检测图像的图像检测结果。
具体的，在得到所述待检测图像后，将所述待检测图像输入至训练好的图像检测模型中，所述图像检测模型包括特征提取融合层和对象检测层，所述特征融合提取层用于对所述待检测图像进行多级图像特征的提取，得到提取出的多级图像特征，再对提取出的多级图像特征进行融合，得到多级融合特征，这里，不同级的融合特征指示的特征图像的图像尺寸不同。
所述对象检测层用于对多级融合特征进行对象检测，具体的，所述对象检测层包括多个对象检测通道，不同对象检测通道所用于检测的图像中的对象在图像中的面积占比不同，可以理解，经过对于图像特征的提取、融合和传递之后，相对于对应图像尺寸不同的多级融合特征，在每个融合特征所对应的特征图像中，原本各目标对象的尺寸也会经过相应的放大或者缩小，而在不同的融合特征所对应的特征图像中，原本尺寸不同的目标对象基本会一致，因此在将所述多级融合特征输入至所述对象检测层后，根据每个对象检测通道对应的面积占比范围，可以确定各目标对象对应的对象检测通道，从而将各级融合特征输入至对应的对象检测通道中，对象检测通道可以检测与对应的面积占比相同的对象，经过对象检测通道中设置的检测头，所述检测头与所述待检测图像中包括的待检测对象的对象类型一一对应，通过检测头，可以检测得到所述待检测图像中的目标对象对应的检测对象类型，进而检测得到每个目标对象在所述目标样本图像中的检测位置，从而得到针对待检测图像的图像检测结果。
可选地，所述图像检测结果可以包括待检测对象的对象类型以及待检测对象在所述待检测图像中的标注位置。
本公开实施例提供的图像检测方法，可以获取待检测图像和图像检测模型，所述图像检测模型根据上述的神经网络训练方法训练得到；通过所述图像检测模型对所述待检测图像进行检测，得到所述待检测图像的图像检测结果。
这样，在通过图像检测模型进行图像检测时，通过图像检测模型的对象检测层中的多个对象检测通道，通过细粒度的检测通道划分，有针对性地对不同面积占比的对象分别进行检测，有助于提升对于各种面积占比、各种对象类型的对象的检测精度，从而可以有效提高检测结果的准确度，降低对象的不同面积占比对检测结果的影响，抗干扰性高。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与神经网络训练方法对应的神经网络训练装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图5，图5为本公开实施例提供的一种神经网络训练装置的示意图。如图5中所示，本公开实施例提供的神经网络训练装置500包括：
数据获取模块510，用于获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，所述训练样本图像包括所述目标业务场景下的至少一个样本对象，所述辅助开源图像包括至少一种业务场景下的至少一个辅助对象；
数据生成模块520，用于基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，所述目标对象包括所述样本对象和所述辅助对象；
模型训练模块530，用于使用生成的所述目标样本图像和对应的目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型。
一种可选的实施方式中，所述数据获取模块510具体用于：
获取在目标业务场景下采集的采集图像；
按照图像质量要求，对所述采集图像进行筛选处理，得到符合所述图像质量要求的采集图像；
对符合所述图像质量要求的采集图像进行对象标注，得到训练样本图像，以及所述训练样本图像中的样本对象的样本对象标注信息，所述样本对象标注信息用于指示样本对象的对象类型以及样本对象在所述训练样本图像中的标注位置。
一种可选的实施方式中，所述数据生成模块520具体用于：
基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像；
基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像；
基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息。
一种可选的实施方式中，所述数据生成模块520在用于基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像时，具体用于：
从所述辅助对象标注信息中确定出所述辅助对象的对象类型和所述辅助对象在所述辅助开源图像中的标注位置，以及从所述样本对象标注信息中确定出所述样本对象的对象类型；
检测所述辅助对象的对象类型与所述样本对象的对象类型是否一致；
若一致，按照所述辅助对象对应的标注位置，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像。
一种可选的实施方式中，所述数据生成模块520在用于基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像内容时，具体用于：
按照所述样本对象标注信息指示的、所述样本对象在所述训练样本图像中的标注位置，从所述训练样本图像中提取出所述样本对象的样本对象图像。
一种可选的实施方式中，所述数据生成模块520还用于：
获取预设的、在所述目标业务场景下的各种对象类型对应的预设对象尺寸；
根据所述辅助对象图像对应的对象类型、所述样本对象图像对应的对象类型和每种对象类型的预设对象尺寸，对所述辅助对象图像和所述样本对象图像按照对应的预设对象尺寸进行图像尺寸调整，得到调整后的所述辅助对象图像内容和调整后的所述样本对象图像内容。
一种可选的实施方式中，所述数据生成模块520在用于基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息时，具体用于：
基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像，所述添加对象图像包括所述辅助对象图像和所述样本对象图像；
基于所述添加对象图像的对象类型和添加在所述训练样本图像中的添加位置，以及所述训练样本图像的样本对象标注信息，确定所述目标样本图像的目标对象标注信息。
一种可选的实施方式中，所述数据生成模块520在用于基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像时，具体用于：
基于所述样本对象标注信息指示的、所述样本对象的对象类型，确定需要在所述训练样本图像中添加的添加对象图像对应的添加对象类型；
针对所述添加对象类型下的所述添加对象图像，确定在所述训练样本图像中添加所述添加对象图像的添加数量和添加位置；
基于所述添加对象类型、所述添加数量和所述添加位置，在所述训练样本图像中添加对应的所述添加对象图像，得到所述目标样本图像。
一种可选的实施方式中，所述数据生成模块520还用于：
基于所述添加位置，确定所述添加对象图像对应的添加对象在所述训练样本图像中对应的对象比例；
按照所述对象比例，对所述添加对象图像进行线性缩放处理，得到处理后的所述添加对象图像。
一种可选的实施方式中，所述模型训练模块530具体用于：
将所述目标样本图像输入至神经网络，通过所述神经网络的特征提取融合层对所述目标样本图像进行多级图像特征的提取和融合，得到对提取出的多级图像特征进行融合过程中产生的多级融合特征，不同级的融合特征指示的特征图像的图像尺寸不同；
将各级融合特征输入至对应的、所述神经网络中对象检测层中的各个对象检测通道，得到所述目标样本图像中各个目标对象的检测标注信息，所述对象检测层包括多个对象检测通道，不同对象检测通道所用于检测的图像中的对象在图像中的面积占比不同；
基于所述目标样本图像中各个目标对象的检测标注信息，确定所述神经网络输出的针对所述目标样本图像的图像检测结果；
基于所述图像检测结果和所述目标对象标注信息，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中对象进行检测的图像检测模型。
本公开实施例提供的神经网络训练装置，可以获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，所述训练样本图像包括所述目标业务场景下的至少一个样本对象，所述辅助开源图像包括至少一种业务场景下的至少一个辅助对象；基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，所述目标对象包括所述样本对象和所述辅助对象；使用生成的所述目标样本图像和所述目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型。
这样，在训练神经网络时，可以丰富用于训练的目标样本图像的类型和效果，增加目标样本图像的丰富性，提升训练数据的多样性，减少不同类别对象之间的数据不均衡情况，提高神经网络针对不同图像特征的学习效果，同时通过多尺度融合合并深浅层特征，设置多个对象检测通道以便有针对性地检测不同面积占比的对象，大大提高图像检测模型的图像检测精度。
基于同一发明构思，本公开实施例中还提供了与图像检测方法对应的图像检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图6，图6为本公开实施例提供的一种图像检测装置的示意图。如图6中所示，本公开实施例提供的图像检测装置600包括：
图像获取模块610，用于获取待检测图像和图像检测模型，所述图像检测模型根据上述的神经网络训练装置训练得到；
图像检测模块620，用于通过所述图像检测模型对所述待检测图像进行检测，得到所述待检测图像的图像检测结果。
本公开实施例提供的图像检测装置，可以获取待检测图像和图像检测模型，所述图像检测模型根据上述的神经网络训练方法训练得到；通过所述图像检测模型对所述待检测图像进行检测，得到所述待检测图像的图像检测结果。
这样，在通过图像检测模型进行图像检测时，通过图像检测模型的对象检测层中的多个对象检测通道，通过细粒度的检测通道的划分，有针对性地对不同面积占比的对象分别进行检测，有助于提升对于各种面积占比、各种对象类型的对象的检测精度，从而可以有效提高检测结果的准确度，降低对象的不同面积占比对检测结果的影响，抗干扰性高。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于上述的神经网络训练方法或者图像检测方法，本公开实施例还提供了一种电子设备700，如图7所示，为本公开实施例提供的电子设备700结构示意图，包括：
处理器710、存储器720、和总线730；存储器720用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器710中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器710通过内存721与外部存储器722进行数据交换，当所述电子设备700运行时，所述处理器710与所述存储器720之间通过总线730通信，使得所述处理器710可以执行上述的神经网络训练方法或者图像检测方法的步骤。
可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的神经网络训练方法或者图像检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品包括有计算机指令，所述计算机指令被处理器执行时可以执行上述方法实施例中所述的神经网络训练方法或者图像检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种神经网络训练方法，其特征在于，所述方法包括：
获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，所述训练样本图像包括所述目标业务场景下的至少一个样本对象，所述辅助开源图像包括至少一种业务场景下的至少一个辅助对象；
基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，所述目标对象包括所述样本对象和所述辅助对象；
使用生成的所述目标样本图像和所述目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型。
2.根据权利要求1所述的方法，其特征在于，所述获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，包括：
获取在目标业务场景下采集的采集图像；
按照图像质量要求，对所述采集图像进行筛选处理，得到符合所述图像质量要求的采集图像；
对符合所述图像质量要求的采集图像进行对象标注，得到训练样本图像，以及所述训练样本图像中的样本对象的样本对象标注信息，所述样本对象标注信息用于指示样本对象的对象类型以及样本对象在所述训练样本图像中的标注位置。
3.根据权利要求1所述的方法，其特征在于，所述基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，包括：
基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像；
基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像；
基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述辅助对象标注信息和所述样本对象标注信息，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像，包括：
从所述辅助对象标注信息中确定出所述辅助对象的对象类型和所述辅助对象在所述辅助开源图像中的标注位置，以及从所述样本对象标注信息中确定出所述样本对象的对象类型；
检测所述辅助对象的对象类型与所述样本对象的对象类型是否一致；
若一致，按照所述辅助对象对应的标注位置，从所述辅助开源图像中提取出所述辅助对象的辅助对象图像。
5.根据权利要求3所述的方法，其特征在于，所述基于所述样本对象标注信息，从所述训练样本图像中提取出所述样本对象的样本对象图像内容，包括：
按照所述样本对象标注信息指示的、所述样本对象在所述训练样本图像中的标注位置，从所述训练样本图像中提取出所述样本对象的样本对象图像。
6.根据权利要求3所述的方法，其特征在于，在所述基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息之前，所述方法还包括：
获取预设的、在所述目标业务场景下的各种对象类型对应的预设对象尺寸；
根据所述辅助对象图像对应的对象类型、所述样本对象图像对应的对象类型和每种对象类型的预设对象尺寸，对所述辅助对象图像和所述样本对象图像按照对应的预设对象尺寸进行图像尺寸调整，得到调整后的所述辅助对象图像内容和调整后的所述样本对象图像内容。
7.根据权利要求3所述的方法，其特征在于，所述基于所述辅助对象图像、所述辅助对象标注信息、所述样本对象图像、所述样本对象标注信息和所述训练样本图像，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，包括：
基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像，所述添加对象图像包括所述辅助对象图像和所述样本对象图像；
基于所述添加对象图像的对象类型和添加在所述训练样本图像中的添加位置，以及所述训练样本图像的样本对象标注信息，确定所述目标样本图像的目标对象标注信息。
8.根据权利要求7所述的方法，其特征在于，所述基于所述样本对象标注信息，在所述训练样本图像中除所述样本对象图像之外的空白图像区域中添加至少一个添加对象图像，得到目标样本图像，包括：
基于所述样本对象标注信息指示的、所述样本对象的对象类型，确定需要在所述训练样本图像中添加的添加对象图像对应的添加对象类型；
针对所述添加对象类型下的所述添加对象图像，确定在所述训练样本图像中添加所述添加对象图像的添加数量和添加位置；
基于所述添加对象类型、所述添加数量和所述添加位置，在所述训练样本图像中添加对应的所述添加对象图像，得到所述目标样本图像。
9.根据权利要求8所述的方法，其特征在于，在所述基于所述添加对象类型、所述添加数量和所述添加位置，在所述训练样本图像中添加对应的所述添加对象图像，得到所述目标样本图像之前，所述方法还包括：
基于所述添加位置，确定所述添加对象图像对应的添加对象在所述训练样本图像中对应的对象比例；
按照所述对象比例，对所述添加对象图像进行线性缩放处理，得到处理后的所述添加对象图像。
10.根据权利要求1所述的方法，其特征在于，所述使用生成的所述目标样本图像和所述目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型，包括：
将所述目标样本图像输入至神经网络，通过所述神经网络的特征提取融合层对所述目标样本图像进行多级图像特征的提取和融合，得到对提取出的多级图像特征进行融合过程中产生的多级融合特征，不同级的融合特征指示的特征图像的图像尺寸不同；
将各级融合特征输入至对应的、所述神经网络中对象检测层中的各个对象检测通道，得到所述目标样本图像中各个目标对象的检测标注信息，所述对象检测层包括多个对象检测通道，不同对象检测通道所用于检测的图像中的对象在图像中的面积占比不同；
基于所述目标样本图像中各个目标对象的检测标注信息，确定所述神经网络输出的针对所述目标样本图像的图像检测结果；
基于所述图像检测结果和所述目标对象标注信息，调整所述神经网络的网络参数，直至所述神经网络满足训练截止条件，将训练完毕的所述神经网络作为用于对图像中对象进行检测的图像检测模型。
11.一种图像检测方法，其特征在于，所述方法包括：
获取待检测图像和图像检测模型，所述图像检测模型根据权利要求1至10任一项所述的方法训练得到；
通过所述图像检测模型对所述待检测图像进行检测，得到所述待检测图像的图像检测结果。
12.一种神经网络训练装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标业务场景下的、具有样本对象标注信息的多个训练样本图像，以及在多个业务场景下的、具有辅助对象标注信息的多个辅助开源图像，所述训练样本图像包括所述目标业务场景下的至少一个样本对象，所述辅助开源图像包括至少一种业务场景下的至少一个辅助对象；
数据生成模块，用于基于所述辅助开源图像、所述辅助对象标注信息、所述训练样本图像和所述样本对象标注信息，生成目标样本图像和针对所述目标样本图像中各种对象类型下目标对象的目标对象标注信息，所述目标对象包括所述样本对象和所述辅助对象；
模型训练模块，用于使用生成的所述目标样本图像和对应的目标对象标注信息对神经网络进行训练，得到训练完毕的、用于对图像中对象进行检测的图像检测模型。
13.一种图像检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取待检测图像和图像检测模型，所述图像检测模型根据权利要求12所述的神经网络训练装置训练得到；
图像检测模块，用于通过所述图像检测模型对所述待检测图像进行检测，得到所述待检测图像的图像检测结果。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一项所述的神经网络训练方法或权利要求11中所述的图像检测方法的步骤。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一项所述的神经网络训练方法或权利要求11中所述的图像检测方法的步骤。
16.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至10任一项所述的神经网络训练方法或权利要求11中所述的图像检测方法的步骤。
CN202210365123.XA 2022-04-07 2022-04-07 神经网络训练方法、图像检测方法、装置、设备及产品 Pending CN116935209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210365123.XA CN116935209A (zh) 2022-04-07 2022-04-07 神经网络训练方法、图像检测方法、装置、设备及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210365123.XA CN116935209A (zh) 2022-04-07 2022-04-07 神经网络训练方法、图像检测方法、装置、设备及产品

Publications (1)

Publication Number Publication Date
CN116935209A true CN116935209A (zh) 2023-10-24

Family

ID=88391347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210365123.XA Pending CN116935209A (zh) 2022-04-07 2022-04-07 神经网络训练方法、图像检测方法、装置、设备及产品

Country Status (1)

Country Link
CN (1) CN116935209A (zh)

Similar Documents

Publication Publication Date Title
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN106022300B (zh) 基于级联深度学习的交通标志识别方法和系统
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN109614921B (zh) 一种基于对抗生成网络的半监督学习的细胞分割方法
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN105590099B (zh) 一种基于改进卷积神经网络的多人行为识别方法
CN105574550A (zh) 一种车辆识别方法及装置
CN110852190B (zh) 一种融合目标检测与手势识别的驾驶行为识别方法及系统
CN106295645B (zh) 一种车牌字符识别方法和装置
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN109472193A (zh) 人脸检测方法及装置
CN106897681A (zh) 一种遥感图像对比分析方法及系统
CN104778470A (zh) 基于组件树和霍夫森林的文字检测和识别方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN109215047B (zh) 基于深海视频的运动目标检测方法和装置
CN111753642B (zh) 一种确定关键帧的方法及装置
CN117011563A (zh) 基于半监督联邦学习的道路损害巡检跨域检测方法及系统
CN113505653B (zh) 目标检测方法、装置、设备、介质及程序产品
CN111402185A (zh) 一种图像检测方法及装置
CN116542610B (zh) 一种非接触式柜内资产自动盘点装置、方法和存储介质
CN112560925A (zh) 一种复杂场景目标检测数据集构建方法及系统
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination