CN112215244A - 货物图像检测方法、装置、设备及存储介质 - Google Patents

货物图像检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112215244A
CN112215244A CN202011204728.8A CN202011204728A CN112215244A CN 112215244 A CN112215244 A CN 112215244A CN 202011204728 A CN202011204728 A CN 202011204728A CN 112215244 A CN112215244 A CN 112215244A
Authority
CN
China
Prior art keywords
network
trained
image detection
retrained
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011204728.8A
Other languages
English (en)
Inventor
刘阳
陈志强
李元景
张丽
邢宇翔
张良
戴诗语
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongfang Vision Technology Jiangsu Co ltd
Tsinghua University
Nuctech Co Ltd
Original Assignee
Tongfang Vision Technology Jiangsu Co ltd
Tsinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongfang Vision Technology Jiangsu Co ltd, Tsinghua University, Nuctech Co Ltd filed Critical Tongfang Vision Technology Jiangsu Co ltd
Priority to CN202011204728.8A priority Critical patent/CN112215244A/zh
Publication of CN112215244A publication Critical patent/CN112215244A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种货物图像检测方法、装置、设备及存储介质，涉及安检技术领域。该方法包括：获取待训练图像检测模型，待训练图像检测模型包括特征提取网络和多个类别检测分支网络，特征提取网络与多个类别检测分支网络分别连接；迭代更新待训练图像检测模型的网络参数，获得训练后的图像检测模型；根据训练后的图像检测模型确定待优化再训练的类别检测分支网络；迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型；根据训练后的图像检测模型和/或优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。该方法实现了提高多类别货物图像检测模型的检测准确率，提升了整体网络的可配置性和可维护性。

Description

货物图像检测方法、装置、设备及存储介质
技术领域
本公开涉及安检技术领域，具体而言，涉及一种货物图像检测方法、装置、设备及可读存储介质。
背景技术
随着人工智能技术的发展，基于深度学习技术的深度神经网络被广泛地应用在分类任务以及目标检测任务中。随着研究的不断深入，深度神经网络的性能逐渐提升，目前基于深度神经网络的目标检测技术已经被广泛地应用到安检领域的大型集装箱检测流程中，主要对集装箱中潜在夹藏禁限品进行识别与检测，从而辅助人工查验，极大地提高了查验的效率。
深度学习是一种基于数据驱动的学习机制，禁限品识别与检测属于监督学习的范畴。在训练深度神经网络检测模型时，需要采用大量的带有标注信息的图像数据。相关技术采用基于更快速循环-卷积神经网络(Faster R-CNN)的模型对货物扫描图像进行目标检测与分类，以对集装箱中潜在夹藏禁限品进行识别与检测，在禁限品类别较多的情况下，难以保障模型对所有类别都获得较好的检测效果，导致检测准确率较低。
如上所述，如何提高货物图像检测模型的准确率成为亟待解决的问题。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种货物图像检测方法、装置、设备及可读存储介质，能够提高货物图像检测模型的检测准确率。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一方面，提供一种货物图像检测方法，包括：获取待训练图像检测模型，所述待训练图像检测模型包括特征提取网络和多个类别检测分支网络，所述特征提取网络与所述多个类别检测分支网络分别连接；迭代更新所述待训练图像检测模型的网络参数，获得训练后的图像检测模型；根据所述训练后的图像检测模型确定待优化再训练的类别检测分支网络；迭代更新所述待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型；根据所述训练后的图像检测模型和/或所述优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。
根据本公开的一实施例，所述多个类别检测分支网络中的各个类别检测分支网络包括相互连接的区域提取网络和分类回归网络；在所述迭代更新所述待训练图像检测模型的网络参数之前，所述方法还包括：配置所述待训练图像检测模型的网络训练超参数，所述网络训练超参数包括所述多个类别检测分支网络对应的多个类别检测分支权重系数、多个所述区域提取网络对应的多个区域提取权重系数和多个所述分类回归网络对应的多个分类回归权重系数；所述迭代更新所述待训练图像检测模型的网络参数包括：获取多个所述区域提取网络对应的多个区域提取损失函数和多个所述分类回归网络对应的多个分类回归损失函数；根据所述多个类别检测分支权重系数、所述多个区域提取损失函数、所述多个区域提取权重系数、所述多个分类回归损失函数和所述多个分类回归权重系数获得所述待训练图像检测模型的总损失函数；基于所述待训练图像检测模型的总损失函数通过反向传播过程迭代更新所述待训练图像检测模型的网络参数。
根据本公开的一实施例，所述训练后的图像检测模型包括训练后的特征提取网络和多个训练后的类别检测分支网络；所述根据所述训练后的图像检测模型确定待优化再训练的类别检测分支网络包括：从所述多个训练后的类别检测分支网络中确定所述待优化再训练的类别检测分支网络，并获得无需再训练的类别检测分支网络；所述迭代更新所述待优化再训练的类别检测分支网络的网络参数包括：获取所述待优化再训练的类别检测分支网络的总损失函数；基于所述待优化再训练的类别检测分支网络的总损失函数通过反向传播过程迭代更新所述待优化再训练的类别检测分支网络的网络参数，获得优化再训练的类别检测分支网络的网络参数，其中，所述训练后的特征提取网络的网络参数和所述无需再训练的类别检测分支网络的网络参数不进行迭代更新。
根据本公开的一实施例，所述获得优化再训练后的图像检测模型包括：基于所述训练后的特征提取网络的网络参数和所述优化再训练的类别检测分支网络的网络参数获得所述优化再训练后的图像检测模型。
根据本公开的一实施例，在所述根据所述训练后的图像检测模型确定待优化再训练的类别检测分支网络之后，所述迭代更新所述待优化再训练的类别检测分支网络的网络参数之前，所述方法还包括：通过组合加载一个或者多个预训练模型对所述待优化再训练的类别检测分支网络的网络参数进行初始化。
根据本公开的一实施例，所述根据所述训练后的图像检测模型和/或所述优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像包括：将所述训练后的图像检测模型进行拆分，获得训练后的特征提取网络和多个训练后的类别检测分支网络；将所述优化再训练后的图像检测模型进行拆分，获得优化再训练后的类别检测分支网络；获取最终的特征提取网络为所述训练后的特征提取网络；从所述多个训练后的类别检测分支网络和所述优化再训练后的类别检测分支网络中确定最终的多个类别检测分支网络；通过对所述最终的特征提取网络与所述最终的多个类别检测分支网络进行组合，获得所述最终的图像检测模型以检测所述货物图像。
根据本公开的一实施例，所述方法还包括：获取所述货物图像；通过所述最终的特征提取网络提取所述货物图像的特征，获得所述货物图像的特征图；将所述货物图像的特征图通过所述最终的类别检测分支网络进行处理，获得对所述货物图像进行检测的预测目标位置和预测目标类别。
根据本公开的再一方面，提供一种货物图像检测装置，包括：待训练模型获取模块，用于获取待训练图像检测模型，所述待训练图像检测模型包括特征提取网络和多个类别检测分支网络，所述特征提取网络与所述多个类别检测分支网络分别连接；整体模型训练模块，用于迭代更新所述待训练图像检测模型的网络参数，获得训练后的图像检测模型；分支配置模块，用于根据所述训练后的图像检测模型确定待优化再训练的类别检测分支网络；分支优化模块，用于迭代更新所述待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型；模型合并模块，用于根据所述训练后的图像检测模型和/或所述优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。
根据本公开的一实施例，所述多个类别检测分支网络中的各个类别检测分支网络包括相互连接的区域提取网络和分类回归网络；所述装置还包括：参数配置模块，用于配置所述待训练图像检测模型的网络训练超参数，所述网络训练超参数包括所述多个类别检测分支网络对应的多个类别检测分支权重系数、多个所述区域提取网络对应的多个区域提取权重系数和多个所述分类回归网络对应的多个分类回归权重系数；所述整体模型训练模块包括：第一损失计算模块，用于获取多个所述区域提取网络对应的多个区域提取损失函数和多个所述分类回归网络对应的多个分类回归损失函数；根据所述多个类别检测分支权重系数、所述多个区域提取损失函数、所述多个区域提取权重系数、所述多个分类回归损失函数和所述多个分类回归权重系数获得所述待训练图像检测模型的总损失函数；第一训练模块，用于基于所述待训练图像检测模型的总损失函数通过反向传播过程迭代更新所述待训练图像检测模型的网络参数。
根据本公开的一实施例，所述训练后的图像检测模型包括训练后的特征提取网络和多个训练后的类别检测分支网络；所述分支配置模块还用于：从所述多个训练后的类别检测分支网络中确定所述待优化再训练的类别检测分支网络，并获得无需再训练的类别检测分支网络；所述分支优化模块包括：第二损失计算模块，用于获取所述待优化再训练的类别检测分支网络的总损失函数；第二训练模块，用于基于所述待优化再训练的类别检测分支网络的总损失函数通过反向传播过程迭代更新所述待优化再训练的类别检测分支网络的网络参数，获得优化再训练的类别检测分支网络的网络参数，其中，所述训练后的特征提取网络的网络参数和所述无需再训练的类别检测分支网络的网络参数不进行迭代更新。
根据本公开的一实施例，所述分支优化模块，还用于：基于所述训练后的特征提取网络的网络参数和所述优化再训练的类别检测分支网络的网络参数获得所述优化再训练后的图像检测模型。
根据本公开的一实施例，所述装置还包括：网络初始化模块，用于通过组合加载一个或者多个预训练模型对所述待优化再训练的类别检测分支网络的网络参数进行初始化。
根据本公开的一实施例，所述模型合并模块包括：第一模型拆分模块，用于将所述训练后的图像检测模型进行拆分，获得训练后的特征提取网络和多个训练后的类别检测分支网络；第二模型拆分模块，用于将所述优化再训练后的图像检测模型进行拆分，获得优化再训练后的类别检测分支网络；模型冻结模块，用于获取最终的特征提取网络为所述训练后的特征提取网络；从所述多个训练后的类别检测分支网络和所述优化再训练后的类别检测分支网络中确定最终的多个类别检测分支网络；通过对所述最终的特征提取网络与所述最终的多个类别检测分支网络进行组合，获得所述最终的图像检测模型以检测所述货物图像。
根据本公开的一实施例，所述装置还包括：初始图像获取模块，用于获取所述货物图像；特征提取模块，用于通过所述最终的特征提取网络提取所述货物图像的特征，获得所述货物图像的特征图；区域分类模块，用于将所述货物图像的特征图通过所述最终的类别检测分支网络进行处理，获得对所述货物图像进行检测的预测目标位置和预测目标类别。
根据本公开的再一方面，提供一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。
根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任一种方法。
本公开的实施例提供的货物图像检测方法，通过获取包括特征提取网络和分别与其连接的多个类别检测分支网络的待训练图像检测模型，迭代更新待训练图像检测模型的网络参数以获得训练后的图像检测模型，再根据训练后的图像检测模型确定待优化再训练的类别检测分支网络，迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型，然后根据训练后的图像检测模型和/或优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像，从而可实现提高多类别货物图像检测模型的检测准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。
图1示出本公开实施例中一种系统结构的示意图。
图2示出本公开实施例中一种货物图像检测方法的流程图。
图3示出本公开实施例中一种货物图像检测模型的分支优化方法的流程图。
图4A示出了本公开实施例中一种多类别货物图像检测模型训练的整体流程示意图。
图4B示出了本公开实施例中一种货物图像检测模型训练流程示意图。
图5示出了本公开实施例中一种货物图像检测模型分支优化流程示意图。
图6A示出了本公开实施例中一种应用货物图像检测模型进行货物图像检测的方法的流程图。
图6B示出了本公开实施例中一种货物图像检测模型冻结流程示意图。
图7A示出了本公开实施例中一种通过货物图像检测模型进行货物图像检测的整体流程示意图。
图7B示出了本公开实施例中一种应用货物图像检测模型进行货物图像检测的流程示意图。
图8示出本公开实施例中一种货物图像检测装置的框图。
图9示出本公开实施例中另一种货物图像检测装置的框图。
图10示出本公开实施例中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。
在本公开中，除非另有明确的规定和限定，“连接”等术语应做广义理解，例如，可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
一些相关技术中利用一个模型来实现多个类别的禁限品检测，当现场反馈某一类别的检出不佳或者返回某一类别的误检图像，进行模型优化与改进时，需要对整个模型重新训练，不仅计算成本和时间成本很大，而且会在优化一个类别的同时影响其他禁限品类别的检测效果，即很难保障使全部的禁限品类别在一次训练中达到最优，难以对模型中的少部分禁限品类别的检测效果进行单独优化训练。
在大型集装箱查验中涉及的禁限品类别非常多，另一些相关技术中为便于禁限品检测模块的维护与更新，针对每一个禁限品类别单独设计检测模型，则在进行维护与更新时，只需要优化训练检出不佳或误报高的检测模型。但针对每一个禁限品类别单独设计检测模型会造成检测模型过多，极大地增加了模型训练与进行检测的时间成本以及对于计算资源的需求；而且各个禁限品检测模型是单独进行训练的，缺少类别之间的交互，导致禁限品类别之间相互误报的情况频繁出现。为提升大型集装箱禁限品检测性能，另一些相关技术中的检测模型会级联一个分类网络，虽然在一定程度上缓解了分类性能不足的问题，但是可能会存在级联的分类网络过拟合以及需要进行多次训练的问题。
另一方面，在进行集装箱禁限品检测时，对计算资源的需求也是需要考虑的一个重要因素。一些相关技术中采用各个禁限品检测模块并行计算的方式，从而达到检测多个禁限品类别的目的，但是这种方式对计算资源的需求较高。另一些相关技术中将禁限品检测的整体架构改为串联的方法，可以减少并行计算使用的图形处理器(GraphicsProcessing Unit，GPU)数量，但是这样需要更长的算法处理时间，极大地降低了检测效率。
为解决上述大型集装箱禁限品检测中存在的问题，本公开提供了一种货物图像检测方法，利用一个货物图像检测模型来实现多个类别的禁限品检测，同时可对模型中少部分禁限品类别的检测效果进行单独优化训练，可在保障多个禁限品类别可维护性的同时，减少GPU等计算资源的使用数量，并有效地提高禁限品多类别检测的检测效率和准确率。
图1示出了可以应用本公开的货物图像检测方法或货物图像检测装置的示例性系统架构10。
如图1所示，系统架构10可以包括终端设备102，网络104、服务器106和查图工作站108。终端设备102可以是具有显示屏并且支持输入、输出的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。网络104可用以在终端设备102和服务器106之间提供通信链路的介质，也可用以在查图工作站108和服务器106之间、查图工作站108和终端设备102之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。服务器106可以是提供各种服务的服务器或服务器集群等，例如对用户利用终端设备102进行基于深度学习的货物图像分类模型构建提供支持的后台处理服务器(仅为示例)。查图工作站108可为海关、港口等货物查验业务流程中采用的查图工作站，可包括X射线集装箱检测设备、X射线物品机、探测器、与探测器相连接的计算机等等。
用户可以使用终端设备102通过网络104与服务器106交互，以发送或接收数据等。例如用户可使用终端设备102通过网络104配置在服务器106上进行处理的货物图像检测模型的网络结构。再例如用户可在终端设备102上查看服务器106处理货物图像检测模型的训练的信息，例如迭代次数、收敛情况等等。后台处理服务器106可以对接收到的货物图像数据进行分析等处理，并将如货物图像分类结果等反馈给终端设备。查图工作站108也可通过网络104与服务器106交互，以发送或接收数据等。例如服务器106通过网络104向查图工作站108发送货物图像检测结果，或查图工作站108通过网络104向服务器106发送带有标注的用于训练货物图像检测模型的货物图像。查图工作站108通过扫描货物获得辐射图像后，也可将辐射图像的数据通过网络104上传至数据库服务器106进行存储。
应该理解，图1中的终端设备、网络、服务器和查图工作站的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器和查图工作站。
图2是根据一示例性实施例示出的一种货物图像检测方法的流程图。如图2所示的方法例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
参考图2，本公开实施例提供的货物图像检测方法20可以包括以下步骤。
在步骤S202中，获取待训练图像检测模型，待训练图像检测模型包括特征提取网络和多个类别检测分支网络，特征提取网络与多个类别检测分支网络分别连接。特征提取网络也可称为基础网络(backbone)，例如可采用牛津大学视觉几何组(Visual GeometryGroup，VGG)网络作为特征提取网络，VGG网络根据卷积层、最大池化层等权重层等参数的不同设置可包含多种配置。特征提取网络后可分别连接多个类别检测分支网络，类别检测分支网络可为Faster R-CNN网络中的区域提议网络(Region Proposal Network)后接区域池化层后进行分类及区域边框回归。
在一些实施例中，例如多个类别检测分支网络中的各个类别检测分支网络可包括相互连接的区域提取网络和分类回归网络，各个类别检测分支网络可设置为检测不同类别的禁限品，例如可设置不同类别检测分支网络输出不同的禁限品分类结果，其中，每一个禁限品分支的一阶段(如区域建议阶段)中可有多个细分类别，然后对应多个二阶段(如分类及区域边框回归阶段)分支，其中某个二阶段分支也可以对应多个细分类别；也可以一个类别分支的一阶段对应一个类别，然后二阶段也对应该类别。
在步骤S204中，迭代更新待训练图像检测模型的网络参数，获得训练后的图像检测模型。可先对多个类别检测分支网络全部进行训练，即待训练的类别检测分支网络为多个类别检测分支网络，可将backbone的网络参数一同训练，即迭代更新backbone和各个类别检测分支网络的网络参数，获得训练后的特征提取网络和训练后的多个类别检测分支网络。
在一些实施例中，例如，可在步骤S204的训练前配置待训练图像检测模型的网络训练超参数，网络训练超参数可包括多个类别检测分支网络对应的多个类别检测分支权重系数、多个区域提取网络对应的多个区域提取权重系数和多个分类回归网络对应的多个分类回归权重系数，如在确定了训练的n个禁限品分支时，可设置一阶段、二阶段的损失权重系数[(w11,w12),(w21,w22),…，(wn1,wn2)]，各个类别分支的损失权重系数[k1,k2,…，kn]等等，如全部设置为0.2、0.5或1等等，也可设置为不同的损失权重系数设置不同的数值，可在每次训练前进行调节。
在一些实施例中，例如，可获取多个区域提取网络对应的多个区域提取损失函数和多个分类回归网络对应的多个分类回归损失函数，根据多个类别检测分支权重系数、多个区域提取损失函数、多个区域提取权重系数、多个分类回归损失函数和多个分类回归权重系数获得待训练图像检测模型的总损失函数，基于待训练图像检测模型的总损失函数通过反向传播过程迭代更新待训练图像检测模型的网络参数。例如，可用有标注信息的大型集装箱图像进行训练，以单独一个查验禁限品的类别分支为例，单独一个禁限品分支一阶段的损失表示为loss11，其中包括前景和后景分类的交叉熵损失表示为
Figure BDA0002756620620000101
边框位置回归的回归损失表示为
Figure BDA0002756620620000102
二阶段的损失表示为loss12，其中包括分类的交叉熵损失表示为
Figure BDA0002756620620000103
和位置回归的回归损失表示为
Figure BDA0002756620620000104
两个阶段的损失分别如下：
Figure BDA0002756620620000111
Figure BDA0002756620620000112
式中，α，β是用来平衡回归与分类损失的比例因子。
在步骤S206中，根据训练后的图像检测模型确定待优化再训练的类别检测分支网络。在通过训练对所有类别分支网络的参数进行更新后，可能会出现其中一些类别分支的训练后获得较好的检测效果，即分类准确率较高，另一些类别分支检测效果较差的情况。可选择一些类别分支检测效果较差的类别检测分支网络，作为待优化再训练的类别检测分支网络。同时可获取进行用于网络模型训练的数据集，数据集中可包括多类别的禁限品大量图像即对应标签。
在步骤S208中，迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型。优化再训练后的类别检测分支网络可为一个分支，也可为多个分支，此处不作限定。可在不改变检测效果较好类别分支的网络参数的情况下，在训练中锁住基础网络参数，即将其网络参数固定为定值，仅迭代更新需要训练的(即待训练的)类别检测分支网络的网络参数，而在训练过程中不进行加载其它的类别分支，可有针对性地提高检测效果较差的类别分支网络。可基于训练后的特征提取网络的网络参数和优化再训练的类别检测分支网络的网络参数获得优化再训练后的图像检测模型。
在步骤S210中，根据训练后的图像检测模型和/或优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。可根据实际检测需求，将通过整体模型训练后的特征提取网络与优化再训练后的类别检测分支网络、以及通过整体模型训练后未进行单独训练的效果较好的类别检测分支网络分支分别连接，组合获得最终的图像检测模型以检测货物图像。在多个不同的模型之间进行拆分组合时，需要使用backbone网络参数的相同的模型，才可以在拆分后进行backbone网络和各个类别检测分支网络的组合。
根据本公开实施例提供的货物图像检测模型的训练方法，通过获取包括特征提取网络和分别与其连接的多个类别检测分支网络的待训练图像检测模型，迭代更新待训练图像检测模型的网络参数以获得训练后的图像检测模型，再根据训练后的图像检测模型确定待优化再训练的类别检测分支网络，迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型，然后根据训练后的图像检测模型和/或优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像，从而可在不影响检测效果较好的类别分支的情况下，对检测效果较差的类别分支有针对性地进行训练，实现了提高多类别货物图像检测模型的检测准确率，提升了整体网络的可配置性和可维护性。
图3是根据一示例性实施例示出的一种货物图像检测模型的分支优化方法的流程图。如图3所示的方法例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
参考图3，本公开实施例提供的方法30可以包括以下步骤。
在步骤S302中，从多个训练后的类别检测分支网络中确定待优化再训练的类别检测分支网络，并获得无需再训练的类别检测分支网络。经过整体训练后的图像检测模型包括训练后的特征提取网络和多个训练后的类别检测分支网络。对于检测效果较好的类别分支网络，即可无需再进行训练，获得这些无需训练的类别检测分支网络，可采用对这些分支进行锁定，例如可将无需再训练的类别检测分支网络的网络参数、以及整体训练后特征提取网络的网络参数的梯度设为0，即在迭代更新参数时不对这些网络的参数进行更新。
在步骤S304中，通过组合加载一个或者多个预训练模型对待优化再训练的类别检测分支网络的网络参数进行初始化。可使用预训练模型中的网络参数作为待训练的类别检测分支网络的初始网络参数进行训练。
在一些实施例中，例如，可通过一个预训练模型为多类别检测模型加载网络参数，设定是否对网络模型中的backbone以及各个类别禁限品分支进行训练，同时分别设置backbone和整个多类别检测网络模型需要训练的次数。预训练模型可以是预先通过一个很大的数据集(如coco)训练过的一个相对通用的预训练模型，或者也可以是之前类似项目中训练得到的一个模型，使用预训练模型往往可以减小后续在新的训练模型上再训练的时间。
在另一些实施例中，例如，一个待训练模型中具有大量需要的参数，其中部分参数可以加载预训练模型A中的参数内容，其它部分可加载预训练模型B中的参数内容，剩下的加载预训练模型C中的参数内容等等。例如具有多类别分支的情况下，即货物图像检测模型中backbone连接的一、二阶段有多个分支，在模型A与模型B的backbone参数一致的情况下，可以通过预训练模型A加载对应的a类别分支的参数，预训练模型B模型加载对应的b类别分支的参数等等，在组合成一个整体模型时使用A模型作为预训练模型加载backbone的参数进行初始化。然后分别设置backbone和整个多类别检测网络模型需要训练的次数。若训练时仅训练部分类别检测分支网络，则需要对backbone和其他类别检测分支网络进行锁定。
在步骤S306中，获取待优化再训练的类别检测分支网络的总损失函数。
在一些实施例中，例如，可仅将待优化再训练的类别分支的损失计算到总损失函数中。如在确定了待训练的n个禁限品分支时，可将总损失函数Ltotal表示为：
Figure BDA0002756620620000131
式中，ki∈[k1,k2,…，kn]，(wi1,wi2)∈[(w11,w12),(w21,w22),…，(wn1,wn2)]。
在步骤S308中，基于待优化再训练的类别检测分支网络的总损失函数通过反向传播过程迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练的类别检测分支网络的网络参数，其中，训练后的特征提取网络的网络参数和无需再训练的类别检测分支网络的网络参数不进行迭代更新。当达到设定的训练次数时，多类别初始图像检测模型训练完成。
根据本公开实施例提供的货物图像检测模型的训练方法，在一次训练中实现多个禁限品类别分支的训练，同时可选取模型中效果较差的类别分支的检测效果进行有针对性地优化训练，可以有效的提高大型集装箱货物中禁限品的智能识别检测的效率和准确率，并可克服现有技术中存在的对大型集装箱禁限品检测时，检测模块维护与更新成本高的问题和缺陷，同时降低各个禁限品类别之间的误报以及对于计算资源的需求。在对某一禁限品检测识别分支进行训练时，提供了其他类别的禁限品作为负样本，存在类别之间的交互，可以显著地降低禁限品之间的误报。
图4A是根据一示例性实施例示出的一种多类别货物图像检测模型训练的整体流程示意图。如图4A所示，首先配置待训练的类别分支(S4002)，然后通过加载对应的预训练模型初始化待训练的类别分支的网络参数(S4004)，再通过有标注信息的大型集装箱图像对待训练的类别分支进行训练，计算待训练的类别分支的损失函数获得总损失函数(S4006)，然后基于总损失函数更新待训练的类别分支的网络参数(S4008)。
图4B是根据一示例性实施例示出的一种货物图像检测模型训练流程示意图。如图4B所示，首先需要获取用于货物图像检测模型训练的数据集，然后利用获取的训练数据集训练包含多个禁限品类别分支的货物图像检测深度网络模型，其中，先配置基础网络和需要训练的禁限品检测类别分支，然后在一次训练过程中，将训练图像输入基础网络，基础网络提取训练图像的特征(S402)，然后将输出的特征向量分别输入待训练的禁限品1-禁限品的类别分支。例如在禁限品1类别分支中，禁限品1区域建议网络提取禁限品1的候选区(S4042)后进行分类以及预测矩形框回归(S4062)；在禁限品2类别分支中，禁限品2区域建议网络提取禁限品1的候选区(S4044)后进行分类以及预测矩形框回归(S4064)……在禁限品n类别分支中，禁限品n区域建议网络提取禁限品n的候选区(S4046)后进行分类以及预测矩形框回归(S4066)。最后根据训练图像的标注获得各分支的分类以及区域预测的损失，计算总损失函数后反传回归(S408)，更新需要训练的禁限品检测类别分支的网络参数。
图5是根据一示例性实施例示出的一种货物图像检测模型分支优化流程示意图。Faster Rcnn方法在图像检测性能方面表现优异，但是难以保障所有类别都获得很好的检测效果。在大型集装箱禁限品检测中，检出和误报是衡量模型检测效果的两个重要指标。大型集装箱查验基于Faster Rcnn的方法来实现禁限品的识别与检测，当检出与误报不能满足使用要求时，就需要对相应的检测模块进行维护与更新。如图5所示，禁限品1类别分支为需要进行训练的分支，其余禁限品2-禁限品n为不需要训练的分支，则在配置待训练的类别分支时，对基础网络(S502)以及禁限品2-禁限品n的区域建议网络、分类网络和边框回归网络等类别检测分支网络进行锁定(S5044，S5046，S5064，S5066)，然后计算禁限品1类别分支的损失函数为总损失函数并反传回归更新禁限品1类别分支的网络参数(S508)。可在基础网络不用重新训练的情况下，只需要对相关的分支进行更新与维护，提升相应禁限品的识别检测效果，具有一定的普遍适用性，适用性、准确率和误报率都得到较好的提升。
图6A是根据一示例性实施例示出的一种应用货物图像检测模型进行货物图像检测的方法的流程图。如图6A所示的方法例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
参考图6A，本公开实施例提供的方法60可以包括以下步骤。
在步骤S602中，将训练后的图像检测模型进行拆分，获得训练后的特征提取网络和多个训练后的类别检测分支网络。可将上述实施方式中整体训练得到的货物图像检测模型进行拆分，拆分为backbone和各个类别禁限品分支等模块，便于后续进行网络参数的加载和模型的合并。可获取最终的特征提取网络为训练后的特征提取网络。
在步骤S604中，将优化再训练后的图像检测模型进行拆分，获得优化再训练后的类别检测分支网络。根据上述实施方式中优化再训练得到的货物图像检测模型，确定优化再训练后的禁限品类别检测分支网络。
在一些实施例中，例如，可将训练得到的网络模型进行拆分，主要包括backbone和各个类别禁限品分支等模块，方便后期进行网络参数的加载与模型的合并，例如将模型A拆分为backbone和禁限品分支a、b、c、d、e等模块，将模型B拆分为backbone和禁限品分支a、b、c等模块。
在步骤S606中，从多个训练后的类别检测分支网络和优化再训练后的类别检测分支网络中确定最终的多个类别检测分支网络。按照实际使用的需要，选择多个优化再训练后的禁限品类别分支作为多类别检测模型的组成部分。例如，若训练得到了模型A和模型B，两个检测模型的backbone是一致的，A模型对禁限品分支a、b、c、d、e进行了训练，而B模型只对禁限品分支a、b、c进行了训练，可认为是对A模型中的禁限品分支a、b、c进行了单独优化，因此可选取A模型的backbone连接B模型的禁限品分支a、b、c和A模型的禁限品分支d、e作为最终图像检测模型。
在步骤S608中，通过对最终的特征提取网络与最终的多个类别检测分支网络进行组合，获得最终的图像检测模型以检测货物图像。可按照各个禁限品分支的配置情况，根据配置文件加载训练完成的对应模型禁限品分支中的参数。例如选取模型A中禁限品分支d、e的参数以及模型B中禁限品分支a、b、c的参数、backbone的参数(模型A和模型B是一样的)加载到深度网络模型中。在模型参数加载时，要确保最终加载到深度网络模型中的禁限品分支不重复。然后可对加载网络参数的深度网络模型进行冻结，合并成一个模型文件，供算法进行大型集装箱禁限品识别与检测时调用。
在一些实施例中，例如，图6B示出了一种模型冻结的流程。如图6B所示，首先配置训练完成的类别分支(S6002)；然后可对训练完成模型进行分解(S6004)，以便根据训练情况以及检测需要选取待加载的模块；再选取合适的分支模块后进行参数加载(S6006)；最后加载了参数的计算图的定义和模型权重合并到同一个模型文件中(S6008)，以供后续检测算法中加载使用该模型文件，如将该网络模型冻结成一个pb文件，该pb文件即为算法模型文件，后续检测算法中可加载使用。
在步骤S610中，获取货物图像。可对待检测集装箱图像进行预处理，截取图像中车厢货物部分。
在步骤S612中，通过最终的特征提取网络提取货物图像的特征，获得货物图像的特征图。
在步骤S614中，将货物图像的特征图通过最终的类别检测分支网络进行处理，获得对货物图像进行检测的预测目标位置和预测目标类别。各个类别的禁限品分支分别进行识别与检测，每个分支只负责该类禁限品的识别与检测，然后各个禁限品分支单独进行非极大值抑制，对满足得分阈值条件的目标框进行合并，最后输出检出框，完成禁限品的识别与检测。
在一些实施例中，例如，每个类别分支可包括单类别的禁限品检测任务，也可包括多类别的禁限品检测任务。当类别分支只训练识别一个类别A时，该分支最后的结果包含A类目标的预测框位置和类别得分；当类别分支训练为识别多类时，该分支最后结果包含多类预测框位置和多类得分，将全部的类别分支结果合并后为全部类别的预测结果。
根据本公开实施例提供的货物图像检测方法，通过对禁限品类别分支网络可组合可拆分，可根据实际需要选取合适的训练后的类别检测分支并将其组合加载为单个模型，降低了对于计算资源的需求保障多个禁限品类别的可维护性，同时降低了对于计算资源的需求。可通过配置文件增删改各个类别分支，一个模型中可有多个类别分支，一个类别分支中可包含多个细分类别的训练和检测，实现大型集装箱货物中多类别禁限品的智能识别与检测，提升了适用性、准确率和误报率。
图7A是根据一示例性实施例示出的一种多类别货物图像检测整体流程的示意图。如图7A所示，首先是获取丰富的训练数据集(S7002)并训练深度网络模型(S7004)，其次是配置各类别分支并加载网络参数，实现模型的冻结(S7006)，最后是对大型集装箱货物中禁限品的智能识别与检测(S7008)，流程结束(S7010)。
图7B是根据一示例性实施例示出的一种货物图像检测流程示意图。如图7B所示，训练出深度网络网络模型后，使用基础网络(backbone)作为特征提取器，提取待检测集装箱货物图像的特征(S702)，对于每一类禁限品检测分支，都进行一阶段处理和二阶段处理等过程(S7042，S7044，S7046)，并分别得到对于该类禁限品的检测识别结果(S7062，S7064，S7066)。最后，对各个类别禁限品的检测识别结果进行合并，得到对于该集装箱货物图像的最终检测识别结果，从而实现对大型集装箱货物中多个类别禁限品的智能识别与检测。
图8是根据一示例性实施例示出的一种货物图像检测装置的框图。如图8所示的装置例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
参考图8，本公开实施例提供的装置80可以包括待训练模型获取模块802、整体模型训练模块804、分支配置模块806、分支优化模块808和模型合并模块810。
待训练模型获取模块802可用于获取待训练图像检测模型，待训练图像检测模型包括特征提取网络和多个类别检测分支网络，特征提取网络与多个类别检测分支网络分别连接。
整体模型训练模块804可用于迭代更新待训练图像检测模型的网络参数，获得训练后的图像检测模型。
分支配置模块806可用于根据训练后的图像检测模型确定待优化再训练的类别检测分支网络。
分支优化模块808可用于迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型。
模型合并模块810可用于根据训练后的图像检测模型和/或优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。
本公开实施例提供的装置中的各个模块的具体实现可以参照上述方法中的内容，此处不再赘述。
图9是根据一示例性实施例示出的另一种货物图像检测装置的框图。如图9所示的装置例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
参考图9，本公开实施例提供的装置90可以包括待训练模型获取模块902、参数配置模块903、整体模型训练模块904、分支配置模块906、网络初始化模块907、分支优化模块908、模型合并模块910、初始图像获取模块912、特征提取模块914和区域分类模块916，其中，整体模型训练模块904可以包括第一损失计算模块9042和第一训练模块9044，分支优化模块908可以包括第二损失计算模块9082和第二训练模块9084，模型合并模块910可以包括第一模型拆分模块9102、第二模型拆分模块9104和模型冻结模块9106。
待训练模型获取模块902可用于获取待训练图像检测模型，待训练图像检测模型包括特征提取网络和多个类别检测分支网络，特征提取网络与多个类别检测分支网络分别连接。多个类别检测分支网络中的各个类别检测分支网络包括相互连接的区域提取网络和分类回归网络。
参数配置模块903可用于配置待训练图像检测模型的网络训练超参数，网络训练超参数包括多个类别检测分支网络对应的多个类别检测分支权重系数、多个区域提取网络对应的多个区域提取权重系数和多个分类回归网络对应的多个分类回归权重系数。
整体模型训练模块904可用于迭代更新待训练图像检测模型的网络参数，获得训练后的图像检测模型。训练后的图像检测模型包括训练后的特征提取网络和多个训练后的类别检测分支网络。
第一损失计算模块9042可用于获取多个区域提取网络对应的多个区域提取损失函数和多个分类回归网络对应的多个分类回归损失函数；根据多个类别检测分支权重系数、多个区域提取损失函数、多个区域提取权重系数、多个分类回归损失函数和多个分类回归权重系数获得待训练图像检测模型的总损失函数。
第一训练模块9044可用于基于待训练图像检测模型的总损失函数通过反向传播过程迭代更新待训练图像检测模型的网络参数。
分支配置模块906可用于根据训练后的图像检测模型确定待优化再训练的类别检测分支网络。
分支配置模块906还可用于从多个训练后的类别检测分支网络中确定待优化再训练的类别检测分支网络，并获得无需再训练的类别检测分支网络。
网络初始化模块907可用于通过组合加载一个或者多个预训练模型对待优化再训练的类别检测分支网络的网络参数进行初始化。
分支优化模块908可用于迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型。
分支优化模块908还可用于基于训练后的特征提取网络的网络参数和优化再训练的类别检测分支网络的网络参数获得优化再训练后的图像检测模型。
第二损失计算模块9082可用于获取待优化再训练的类别检测分支网络的总损失函数。
第二训练模块9084可用于基于待优化再训练的类别检测分支网络的总损失函数通过反向传播过程迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练的类别检测分支网络的网络参数，其中，训练后的特征提取网络的网络参数和无需再训练的类别检测分支网络的网络参数不进行迭代更新。
模型合并模块910可用于根据训练后的图像检测模型和/或优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。
第一模型拆分模块9102可用于将训练后的图像检测模型进行拆分，获得训练后的特征提取网络和多个训练后的类别检测分支网络。
第二模型拆分模块9104可用于将优化再训练后的图像检测模型进行拆分，获得优化再训练后的类别检测分支网络。
模型冻结模块9106可用于获取最终的特征提取网络为训练后的特征提取网络；从多个训练后的类别检测分支网络和优化再训练后的类别检测分支网络中确定最终的多个类别检测分支网络；通过对最终的特征提取网络与最终的多个类别检测分支网络进行组合，获得最终的图像检测模型以检测货物图像。
初始图像获取模块912可用于获取货物图像。
特征提取模块914可用于通过最终的特征提取网络提取货物图像的特征，获得货物图像的特征图。
区域分类模块916可用于将货物图像的特征图通过最终的类别检测分支网络进行处理，获得对货物图像进行检测的预测目标位置和预测目标类别。
本公开实施例提供的装置中的各个模块的具体实现可以参照上述方法中的内容，此处不再赘述。
图10示出本公开实施例中一种电子设备的结构示意图。需要说明的是，图10示出的设备仅以计算机系统为示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，设备1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有设备1000操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本公开的系统中限定的上述功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括待训练模型获取模块、整体模型训练模块、分支配置模块、分支优化模块和模型合并模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，待训练模型获取模块还可以被描述为“获取待训练图像检测模型的模块”。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取待训练图像检测模型，待训练图像检测模型包括特征提取网络和多个类别检测分支网络，特征提取网络与多个类别检测分支网络分别连接；迭代更新待训练图像检测模型的网络参数，获得训练后的图像检测模型；根据训练后的图像检测模型确定待优化再训练的类别检测分支网络；迭代更新待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型；根据训练后的图像检测模型和/或优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种货物图像检测方法，其特征在于，包括：
获取待训练图像检测模型，所述待训练图像检测模型包括特征提取网络和多个类别检测分支网络，所述特征提取网络与所述多个类别检测分支网络分别连接；
迭代更新所述待训练图像检测模型的网络参数，获得训练后的图像检测模型；
根据所述训练后的图像检测模型确定待优化再训练的类别检测分支网络；
迭代更新所述待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型；
根据所述训练后的图像检测模型和/或所述优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。
2.根据权利要求1所述的方法，其特征在于，所述多个类别检测分支网络中的各个类别检测分支网络包括相互连接的区域提取网络和分类回归网络；
在所述迭代更新所述待训练图像检测模型的网络参数之前，所述方法还包括：
配置所述待训练图像检测模型的网络训练超参数，所述网络训练超参数包括所述多个类别检测分支网络对应的多个类别检测分支权重系数、多个所述区域提取网络对应的多个区域提取权重系数和多个所述分类回归网络对应的多个分类回归权重系数；
所述迭代更新所述待训练图像检测模型的网络参数包括：
获取多个所述区域提取网络对应的多个区域提取损失函数和多个所述分类回归网络对应的多个分类回归损失函数；
根据所述多个类别检测分支权重系数、所述多个区域提取损失函数、所述多个区域提取权重系数、所述多个分类回归损失函数和所述多个分类回归权重系数获得所述待训练图像检测模型的总损失函数；
基于所述待训练图像检测模型的总损失函数通过反向传播过程迭代更新所述待训练图像检测模型的网络参数。
3.根据权利要求1所述的方法，其特征在于，所述训练后的图像检测模型包括训练后的特征提取网络和多个训练后的类别检测分支网络；
所述根据所述训练后的图像检测模型确定待优化再训练的类别检测分支网络包括：
从所述多个训练后的类别检测分支网络中确定所述待优化再训练的类别检测分支网络，并获得无需再训练的类别检测分支网络；
所述迭代更新所述待优化再训练的类别检测分支网络的网络参数包括：
获取所述待优化再训练的类别检测分支网络的总损失函数；
基于所述待优化再训练的类别检测分支网络的总损失函数通过反向传播过程迭代更新所述待优化再训练的类别检测分支网络的网络参数，获得优化再训练的类别检测分支网络的网络参数，其中，所述训练后的特征提取网络的网络参数和所述无需再训练的类别检测分支网络的网络参数不进行迭代更新。
4.根据权利要求3所述的方法，其特征在于，所述获得优化再训练后的图像检测模型包括：
基于所述训练后的特征提取网络的网络参数和所述优化再训练的类别检测分支网络的网络参数获得所述优化再训练后的图像检测模型。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述训练后的图像检测模型确定待优化再训练的类别检测分支网络之后，所述迭代更新所述待优化再训练的类别检测分支网络的网络参数之前，所述方法还包括：
通过组合加载一个或者多个预训练模型对所述待优化再训练的类别检测分支网络的网络参数进行初始化。
6.根据权利要求1所述的方法，其特征在于，所述根据所述训练后的图像检测模型和/或所述优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像包括：
将所述训练后的图像检测模型进行拆分，获得训练后的特征提取网络和多个训练后的类别检测分支网络；
将所述优化再训练后的图像检测模型进行拆分，获得优化再训练后的类别检测分支网络；
获取最终的特征提取网络为所述训练后的特征提取网络；
从所述多个训练后的类别检测分支网络和所述优化再训练后的类别检测分支网络中确定最终的多个类别检测分支网络；
通过对所述最终的特征提取网络与所述最终的多个类别检测分支网络进行组合，获得所述最终的图像检测模型以检测所述货物图像。
7.根据权利要求6所述的方法，其特征在于，还包括：获取所述货物图像；
通过所述最终的特征提取网络提取所述货物图像的特征，获得所述货物图像的特征图；
将所述货物图像的特征图通过所述最终的类别检测分支网络进行处理，获得对所述货物图像进行检测的预测目标位置和预测目标类别。
8.一种货物图像检测装置，其特征在于，包括：
待训练模型获取模块，用于获取待训练图像检测模型，所述待训练图像检测模型包括特征提取网络和多个类别检测分支网络，所述特征提取网络与所述多个类别检测分支网络分别连接；
整体模型训练模块，用于迭代更新所述待训练图像检测模型的网络参数，获得训练后的图像检测模型；
分支配置模块，用于根据所述训练后的图像检测模型确定待优化再训练的类别检测分支网络；
分支优化模块，用于迭代更新所述待优化再训练的类别检测分支网络的网络参数，获得优化再训练后的图像检测模型；
模型合并模块，用于根据所述训练后的图像检测模型和/或所述优化再训练后的图像检测模型获得最终的图像检测模型以检测货物图像。
9.一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202011204728.8A 2020-11-02 2020-11-02 货物图像检测方法、装置、设备及存储介质 Pending CN112215244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011204728.8A CN112215244A (zh) 2020-11-02 2020-11-02 货物图像检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011204728.8A CN112215244A (zh) 2020-11-02 2020-11-02 货物图像检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112215244A true CN112215244A (zh) 2021-01-12

Family

ID=74057958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011204728.8A Pending CN112215244A (zh) 2020-11-02 2020-11-02 货物图像检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112215244A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065533A (zh) * 2021-06-01 2021-07-02 北京达佳互联信息技术有限公司 一种特征提取模型生成方法、装置、电子设备和存储介质
CN113095383A (zh) * 2021-03-30 2021-07-09 广州图匠数据科技有限公司 一种辅助销售物料识别方法及装置
CN113592864A (zh) * 2021-09-28 2021-11-02 广东电网有限责任公司惠州供电局 基于卷积神经网络的变压器监控方法、装置、系统及介质
CN113821674A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及系统
CN115512188A (zh) * 2022-11-24 2022-12-23 苏州挚途科技有限公司 一种多目标检测方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210463A (zh) * 2019-07-03 2019-09-06 中国人民解放军海军航空大学 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN111860259A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210463A (zh) * 2019-07-03 2019-09-06 中国人民解放军海军航空大学 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN111860259A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095383A (zh) * 2021-03-30 2021-07-09 广州图匠数据科技有限公司 一种辅助销售物料识别方法及装置
CN113065533A (zh) * 2021-06-01 2021-07-02 北京达佳互联信息技术有限公司 一种特征提取模型生成方法、装置、电子设备和存储介质
CN113592864A (zh) * 2021-09-28 2021-11-02 广东电网有限责任公司惠州供电局 基于卷积神经网络的变压器监控方法、装置、系统及介质
CN113821674A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及系统
CN115512188A (zh) * 2022-11-24 2022-12-23 苏州挚途科技有限公司 一种多目标检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112215244A (zh) 货物图像检测方法、装置、设备及存储介质
US10635979B2 (en) Category learning neural networks
EP3940591A1 (en) Image generating method, neural network compression method, and related apparatus and device
CN108229341B (zh) 分类方法和装置、电子设备、计算机存储介质
CN111539942A (zh) 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN112561082B (zh) 生成模型的方法、装置、设备以及存储介质
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN111881944B (zh) 图像鉴别的方法、电子设备和计算机可读介质
Chen et al. Seeking multi-thresholds directly from support vectors for image segmentation
CN113361593B (zh) 生成图像分类模型的方法、路侧设备及云控平台
CN108491825A (zh) 信息生成方法和装置
CN113808123B (zh) 一种基于机器视觉的药液袋动态检测方法
CN117611932B (zh) 基于双重伪标签细化和样本重加权的图像分类方法及系统
CN110827236A (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN111291715B (zh) 基于多尺度卷积神经网络的车型识别方法、电子设备及存储介质
CN116486296A (zh) 目标检测方法、装置及计算机可读存储介质
CN111461152B (zh) 货物检测方法及装置、电子设备和计算机可读介质
Mallios et al. Vehicle damage severity estimation for insurance operations using in-the-wild mobile images
CN110263779A (zh) 文本区域检测方法及装置、文本检测方法、计算机可读介质
CN110807159B (zh) 数据标记方法、装置、存储介质及电子设备
CN113762234A (zh) 一种确定文本行区域的方法和装置
CN111325050A (zh) 输出信息的方法和装置
CN108596200A (zh) 医学图像分类的方法和装置
CN118521586B (zh) 基于机器视觉的产品视觉检测装置及方法
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination