CN116310356B - 深度学习模型的训练方法、目标检测方法、装置及设备 - Google Patents

深度学习模型的训练方法、目标检测方法、装置及设备 Download PDF

Info

Publication number
CN116310356B
CN116310356B CN202310293708.XA CN202310293708A CN116310356B CN 116310356 B CN116310356 B CN 116310356B CN 202310293708 A CN202310293708 A CN 202310293708A CN 116310356 B CN116310356 B CN 116310356B
Authority
CN
China
Prior art keywords
image
model
feature map
image block
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310293708.XA
Other languages
English (en)
Other versions
CN116310356A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunlun Core Beijing Technology Co ltd
Original Assignee
Kunlun Core Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunlun Core Beijing Technology Co ltd filed Critical Kunlun Core Beijing Technology Co ltd
Priority to CN202310293708.XA priority Critical patent/CN116310356B/zh
Publication of CN116310356A publication Critical patent/CN116310356A/zh
Application granted granted Critical
Publication of CN116310356B publication Critical patent/CN116310356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了深度学习模型的训练方法、目标检测方法、装置及设备，涉及人工智能技术领域，尤其涉及深度学习、计算机视觉、数字图像处理、视频图像处理等技术领域。深度学习模型包括去噪模型和目标检测模型，具体实现方案为：将噪声图像的第一图像块输入去噪模型，得到第二图像块；将第二图像块输入目标检测模型，得到检测结果；以及基于第二图像块、检测结果、与噪声图像对应的无噪声图像和无噪声图像的标签，对去噪模型和目标检测模型进行联合训练。

Description

深度学习模型的训练方法、目标检测方法、装置及设备
技术领域
本公开涉及人工智能技术领域，尤其涉及深度学习、计算机视觉、数字图像处理、视频图像处理等技术领域。具体涉及深度学习模型的训练方法、目标检测方法、装置、电子设备、存储介质以及程序产品。
背景技术
目标检测是计算机视觉领域的核心问题之一，其任务是找出图像中所有感兴趣的目标，并确定其类别和位置。随着人工智能技术的不断发展，深度学习技术已应用于目标检测任务中，更深层级的网络模型对于图像中包含的噪声更为敏感。
发明内容
本公开提供了一种深度学习模型的训练方法、目标检测方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种深度学习模型的训练方法，上述深度学习模型包括去噪模型和目标检测模型，上述方法包括：将噪声图像的第一图像块输入上述去噪模型，得到第二图像块；将上述第二图像块输入上述目标检测模型，得到检测结果；以及基于上述第二图像块、上述检测结果、与上述噪声图像对应的无噪声图像和上述无噪声图像的标签，对上述去噪模型和上述目标检测模型进行联合训练。
根据本公开的另一方面，提供了一种目标检测方法，包括：利用深度学习模型中的去噪模型对待检测图像进行去噪操作，得到去噪图像；以及利用上述深度学习模型中的目标检测模型对上述去噪图像进行目标检测，得到目标检测结果；其中，上述深度学习模型包括利用如上上述的深度学习模型的训练方法训练得到。
根据本公开的另一方面，提供了一种深度学习模型的训练装置，上述深度学习模型包括去噪模型和目标检测模型，上述装置包括：第一输入模块，用于将噪声图像的第一图像块输入上述去噪模型，得到第二图像块；第二输入模块，用于将上述第二图像块输入上述目标检测模型，得到检测结果；以及训练模块，用于基于上述第二图像块、上述检测结果、与上述噪声图像对应的无噪声图像和上述无噪声图像的标签，对上述去噪模型和上述目标检测模型进行联合训练。
根据本公开的另一方面，提供了一种目标检测装置，包括：处理模块，用于利用深度学习模型中的去噪模型对待检测图像进行去噪操作，得到去噪图像；以及目标检测模块，用于利用上述深度学习模型中的目标检测模型对上述去噪图像进行目标检测，得到目标检测结果；其中，上述深度学习模型包括利用如上上述的深度学习模型的训练方法训练得到。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开实施例的可以应用深度学习模型的训练方法及装置的示例性系统架构；
图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图；
图3A示意性示出了根据本公开实施例的去噪模型的结构示意图；
图3B示意性示出了根据本公开实施例的多分支组的结构示意图；
图3C示意性示出了根据本公开实施例的多分支块的结构示意图；
图4示意性示出了根据本公开实施例的目标检测方法的流程图；
图5A示意性示出了根据本公开实施例的待检测图像的示意图；
图5B示意性示出了根据本公开实施例的携带有目标检测结果的去噪图像的示意图；
图6示意性示出了根据本公开实施例的深度学习模型的训练装置的框图；
图7示意性示出了根据本公开实施例的目标检测装置的框图；以及
图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在相关技术中，对噪声图像中的对象进行目标检测和识别时，图像去噪往往会作为一种预处理操作而单独、提前执行，即首先利用图像去噪方法或者利用单独训练好的图像去噪网络来滤除噪声图像中的噪声，然后对去噪后的图像进行目标检测和识别。在单独执行去噪任务时，往往会为了提高去噪后的图像的峰值信噪比和结构相似度，而去过度去除图像中的噪声点，此类方式影响了图像的边缘或者纹理结构的重建效果，进而影响了目标检测的识别精度。
有鉴于此，本公开提供了一种深度学习模型的训练方法、目标检测方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种深度学习模型的训练方法，深度学习模型包括去噪模型和目标检测模型，方法包括：将噪声图像的第一图像块输入去噪模型，得到第二图像块；将第二图像块输入目标检测模型，得到检测结果；以及基于第二图像块、检测结果、与噪声图像对应的无噪声图像和无噪声图像的标签，对去噪模型和目标检测模型进行联合训练。
在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
需要说明的是，本公开实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。
图1示意性示出了根据本公开实施例的可以应用深度学习模型的训练方法及装置的示例性系统架构。
需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用内容处理方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的内容处理方法及装置。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103进行的模型训练操作提高存储资源和计算资源的支持。
需要说明的是，本公开实施例所提供的深度学习模型的训练方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的深度学习模型的训练装置也可以设置于终端设备101、102、或103中。
或者，本公开实施例所提供的深度学习模型的训练方法一般也可以由服务器105执行。相应地，本公开实施例所提供的深度学习模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的深度学习模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的深度学习模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如，训练深度学习模型所需的训练样本集可以存储在终端设备101、102、103中。用户可以通过与终端设备101、102、103进行人机交互，发起模型训练请求。终端设备101、102、103可以响应于该请求，从服务器105中调用计算和存储资源，用于完成深度学习模型的模型训练。或者，终端设备101、1 02、103可以将该请求与训练样本集一并发送给服务器105，由服务器105利用该训练样本集对深度学习模型中的去噪模型和目标检测模型进行联合训练。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图。
如图2所示，该方法200包括操作S210～S230。
在操作S210，将噪声图像的第一图像块输入去噪模型，得到第二图像块。
在操作S220，将第二图像块输入目标检测模型，得到检测结果。
在操作S230，基于第二图像块、检测结果、与噪声图像对应的无噪声图像和无噪声图像的标签，对去噪模型和目标检测模型进行联合训练。
根据本公开的实施例，噪声图像和与噪声图像对应的无噪声图像可以是训练样本集中的一个图像对。训练样本集可以是用于训练该深度学习模型的图像集。无噪声图像可以是利用各种摄像设备拍摄得到的清晰图像，噪声图像可以基于无噪声图像来生成。例如，可以在无噪声图像中随机添加噪声点来得到噪声图像，或者，可以对无噪声图像进行模糊处理来得到噪声图像，基于无噪声图像生成噪声图像的方式在此不作限定。
根据本公开的实施例，噪声图像可以切分为多个第一图像块，其切分方式在此不作限定。例如，可以按照设定的尺寸，将噪声图像切分为多个第一图像块，每个第一图像块可以是一个规则的矩形图像。或者，可以将噪声图像随机切分为多个不同尺寸的第一图像块。
根据本公开的实施例，在深度学习模型的训练过程的每一个训练轮次中，每次可以将一个批次的第一图像块输入深度学习模型的去噪模型中，以进行模型的训练。一个批次的第一图像块可以分别来自不同的噪声图像。一个批次包括第一图像块的数量可以根据具体应用场景进行设置，在此不作限定。在将所有噪声图像的第一图像块均输入深度学习模型后，可以完成一个训练轮次的模型训练。
根据本公开的实施例，目标检测模型可以是基于任意已有模型架构且经过预训练的网络模型。已有模型架构可以包括RCNN(Re gionConvolutional Neural Network，候选区域卷积神经网络)、SPPNet(Spatial Pyramid Pooling Net，空间金字塔池化网络)、SDD(Single Shot MultiBox Detector，单发多框检测)等。基于已有模型架构生成的初始模型可以使用训练样本集中的无噪声图像进行预训练，也可以使用任意开源图像集进行预训练，在此不作限定。
根据本公开的实施例，对去噪模型和目标检测模型进行联合训练可以是在每次参数迭代过程中，同步或异步地对去噪模型的模型参数和目标检测模型的模型参数进行调整。在每次参数迭代过程中，可以仅使用一个第一图像块对深度学习模型进行训练，也可以使用一个批次的第一图像块对深度学习模型进行训练，或者，还可以使用所有噪声图像对深度学习模型进行训练，在此不作限定。
根据本公开的实施例，在深度学习模型的训练过程中，可以将噪声图像的第一图像块输入去噪模型，输出得到的第二图像块可以输入到目标检测模型，根据第二图像块、检测结果、无噪声图像和无噪声图像的标签可以计算得到损失值，并利用损失值进行去噪模型和目标检测模型的联合训练，通过联合训练的方式，可以利用目标检测模型中丰富的特征信息来引导去噪模型的训练，可以使去噪后的图像更好地适应目标检测和识别，从而提升图像去噪重建效果和目标检测的识别精度。
下面参考图3A～图3C，结合具体实施例对图2所示的方法做进一步说明。
根据本公开的另一实施例，在深度学习模型的每一个训练轮次中，输入去噪模型的第一图像块的尺寸可以不同。具体地，在操作S210之前，还可以包括如下操作：
基于当前训练轮次，确定图像块尺寸信息。以及，基于图像块尺寸信息，对噪声图像进行切分，得到第一图像块。
根据本公开的实施例，图像块尺寸信息可以指用于表示第一图像块的尺寸的信息，例如，第一图像块的尺寸为20×20，对应的图像块尺寸信息可以表示为H：20，W：20。
根据本公开的实施例，当前训练轮次与第一图像块的尺寸之间的关系可以是正相关，即在训练的初期，深度学习模型在较小的图像块上进行训练，在训练的后期，深度学习模型采用更大的图像块进行训练。基于当前训练轮次来确定图像块尺寸信息的方式在此不作限定。
根据本公开的实施例，例如，基于当前训练轮次，确定图像块尺寸信息可以是确定当前训练轮次所属的轮次范围，并基于与轮次范围对应的图像块尺寸，确定图像块尺寸信息。
根据本公开的实施例，在开始对深度学习模型的训练之前，可以根据设定的最大训练轮次，确定多个轮次范围，并设置与每个轮次范围对应的图像块尺寸。例如，可以设置最大训练轮次为100，并可以设置每20个训练轮次属于一个轮次范围，即可以确定的多个轮次范围依次为[1，20]、[21，40]、[41，60]、[61，80]和[81，100]，与多个轮次范围各自对应的图像块尺寸可以分别设置为20×20、24×24、30×30、38×38和48×48。
根据本公开的实施例，再例如，基于当前训练轮次，确定图像块尺寸信息可以是获取上一训练轮次中第一图像的初始图像块尺寸信息。以及，基于初始图像块尺寸信息和调整参数，确定图像块尺寸信息。
根据本公开的实施例，上一训练轮次中第一图像的初始图像块尺寸信息可以表示深度学习模型的上一个训练轮次中，所使用的第一图像块的尺寸。
根据本公开的实施例，调整参数可以根据具体应用场景进行设置，在此不作限定。基于初始图像块尺寸信息和调整参数来确定图像块尺寸信息可以是将初始图像块尺寸信息与调整参数相加或相乘，从而得到图像块尺寸信息。
根据本公开的实施例，作为一种可选实施方式，还可以设置一个单调递增函数，并利用该单调递增函数根据当前训练轮次来确定图像块尺寸信息。
根据本公开的实施例，通过采用多种尺寸的图像块来训练深度学习模型的方式，使得深度学习模型可以实现噪声图像的全局统计信息编码，从而提升了去噪模型和目标检测模型的性能。
根据本公开的实施例，对于具有不同结构的模型，它们的损失函数在收敛过程中的梯度大小可以是不一致的，同时对不同学习率的敏感程度也可以是不一样的。为了平衡去噪模型和目标检测模型在训练过程中的收敛程度，在对去噪模型和目标检测模型进行联合训练的过程中，可以交替地对去噪模型的模型参数和目标检测模型的模型参数进行调整，且两个模型的模型参数的调整次数可以不同。
根据本公开的实施例，具体地，基于所述第二图像块、所述无噪声图像、所述检测结果和所述无噪声图像的标签，对所述去噪模型和所述目标检测模型进行联合训练可以包括如下操作：
基于第一图像块在噪声图像中的位置，从无噪声图像中确定第三图像块。基于第二图像块和第三图像块，确定第一损失值。基于检测结果和无噪声图像的标签中与第三图像块相关的标签信息，确定第二损失值。基于第一损失值、第一系数、第二损失值和第二系数，得到总损失值。以及，基于总损失值，调整去噪模型的模型参数或目标检测模型的模型参数。
根据本公开的实施例，在对噪声图像进行切分时，可以记录切分得到的各个第一图像块在噪声图像中的位置。该位置例如可以是第一图形块的各个顶点的坐标值，该坐标值可以通过按一定规则将噪声图像置于坐标系中来确定。在基于该位置从无噪声图像中确定第三图像块时，可以将无噪声图像按相同的规则置入坐标系中，并利用第一图像块的各个顶点的坐标值，在无噪声图像中确定第三图像块的边缘信息，再基于该边缘信息，可以从无噪声图像中切分得到该第三图像块。
根据本公开的实施例，第一损失值可以利用任意的损失函数，基于第二图像块中的各个像素点的值与第三图像块中的各个像素点的值来确定。例如，该损失函数可以是均方损失函数，在计算第一损失值时，可以将第二图像块和第三图形块中每组对应的像素点作差，再求各个差值的平方和的平均值，对该平均值开方即可以得到第一损失值。
根据本公开的实施例，无噪声图像的标签可以包括多个维度的标签信息。具体地，在计算第二损失值时，无噪声图像的标签中与第三图像块相关的标签信息可以包括检测框位置标签、类别标签和置信度标签。检测框位置标签可以用于表示第三目标图像块中存在的检测框的坐标，该坐标例如可以是该检测框的对角线上的两个顶点的坐标。类别标签可以用于表示检测框中存在的对象所属的类别，例如，该对象为马、椅子、飞机等。置信度标签可以用于表示对象存在于该检测框中的可能性。置信度标签表示的数值越接近1，则表示该检测框将对象完整地框定的可能性越大。相应地，检测结果包括第一检测框位置数据、第一类别数据和第一置信度数据。
根据本公开的实施例，基于检测结果和无噪声图像的标签中与第三图像块相关的标签信息，确定第二损失值具体可以包括如下操作：
基于第一检测框位置数据和检测框位置标签，确定第一子损失值。基于第一类别数据和类别标签，确定第二子损失值。基于第一置信度数据和置信度标签，确定第三子损失值。以及，对第一子损失值、第二子损失值和第三子损失值进行加权求和，得到第二损失值。
根据本公开的实施例，计算第一子损失值、第二子损失值和第三子损失值时所采用的损失函数在此不作限定。
根据本公开的实施例，基于第一损失值、第一系数、第二损失值和第二系数，得到总损失值可以是将第一损失值与第一系数的乘积，和第二损失值与第二系数的乘积进行求和来得到总损失值，如公式(1)所示：
L(F(y)，gt)＝λL1·(FD(y)，x)+μL2·(FO(FD(y))，gt) (1)
在公式(1)中，L可以表示总损失值，L1可以表示第一损失值，L2可以表示第二损失值，F可以表示深度学习模型，FD可以表示去噪模型，FO可以表示目标检测模型，入可以表示第一系数，μ可以表示第二系数，gt可以表示检测框位置数据，y可以表示噪声图像，x可以无噪声图像。
根据本公开的实施例，第一系数和第二系数的初始值可以随机设置。
根据本公开的实施例，基于总损失值，可以交替调整去噪模型的模型参数和目标检测模型的模型参数。具体地，基于总损失值，调整去噪模型的模型参数或目标检测模型的模型参数可以包括如下操作：
在当前训练轮次处于预设轮次范围以内的情况下，利用总损失值调整去噪模型的模型参数和第一系数。以及，在当前训练轮次未处于预设轮次范围以内的情况下，利用总损失值调整目标检测模型的模型参数和第二系数。
根据本公开的实施例，预设轮次范围可以基于去噪模型和目标检测模型的梯度下降速度来确定，在此不作限定。
根据本公开的实施例，作为一种可选实施方式，预设轮次范围可以分为多个子范围，每个子范围之间的轮次差可以相等。例如，可以将深度学习模型的训练过程分为多个训练周期，以总训练轮次为100为例，每个训练周期可以包括20个训练轮次，预设轮次范围的每个子范围可以设置为该训练周期的后8个轮次，即每训练12个轮次的目标检测模型后，再训练8个轮次的去噪模型。在12个轮次的目标检测模型的训练过程中，可以使用总损失值调整目标检测模型的模型参数和第二系数，在8个轮次的去噪模型的训练过程中，可以使用总损失值调整去噪模型的模型参数和第一系数。
根据本公开的实施例，通过对去噪模型和目标检测模型进行交替训练，并设置去噪模型和目标检测模型各自的训练轮次，可以将去噪模型和目标检测模型各自的损失值统一到同一个数量级，可以避免梯度小的损失值被梯度大的损失值所影响，使得去噪模型和目标检测模型学习到的特征具有较好的泛化能力，进而可以提升深度学习模型的训练效果。
根据本公开的实施例，去噪模型可以是由多个具有长跳跃连接的多分支组构成的盲去噪网络，即去噪模型可以无需单独估计图像噪声的等级。
图3A示意性示出了根据本公开实施例的去噪模型的结构示意图。
如图3A所示，去噪模型300可以包括依次连接的第一卷积层310、N个多分支组320、第二卷积层330和第三卷积层340。N可以为正整数。
根据本公开的实施例，第一卷积层310、第二卷积层330和第三卷积层340中所使用的卷积核的大小可以根据具体应用场景进行设置，在此不作限定。
根据本公开的实施例，将第一图像块350输入第一卷积层310，可以得到第一特征图。第一卷积层310可以对任意尺寸的输入图像进行处理，以得到固定尺寸的输出图像。即对于任意尺寸的第一图像块350，得到的第一特征图的尺寸可以是一致的。通过第一卷积层310的设置，去噪模型300可以接收任意尺寸的图像块。在使用递增的第一图像块进行去噪模型300的训练时，可以避免对去噪模型300的输入端神经元数量的调整。
根据本公开的实施例，可以利用N个多分支组320处理第一特征图，得到第二特征图。利用N个多分支组320处理第一特征图可以是将第一特征图输入第1个多分支组中，第1个多分支组的输出特征可以继续输入至第2个多分支组中，以此类推，直至得到第N个多分支组的输出特征，即第二特征图。
根据本公开的实施例，可以将第二特征图输入第二卷积层330中，得到第三特征图。通过第二卷积层330的设置，在对第二特征图进行特征提取的同时，还可以将输出的特征图调整至与第一特征图一致，即第三特征图的尺寸可以与第一特征图一致。
根据本公开的实施例，可以将第一特征图和第三特征图进行融合，得到第一融合特征图。将第一特征图和第三特征图进行融合可以是将第一特征图中的各个像素点的值和第三特征图中各个对应的像素点的值相加，得到第一融合特征图中各个像素点的值。
根据本公开的实施例，可以将第一融合特征图输入第三卷积层340中，得到第四特征图。通过第三卷积层340的设置，第三卷积层340在对第一融合特征图进行特征提取的同时，还可以将输出的特征图调整至与第一图像块350一致，即第四特征图的尺寸可以与第一图像块350一致。
根据本公开的实施例，可以基于第四特征图，对第一图像块350进行残差操作，得到第二图像块360。残差操作可以是将第一图像块350中各个像素点的值与第四特征图中各个像素点的值作差，以得到第二图像块360中各个像素点的值。
根据本公开的实施例，通过利用多个具有长跳跃连接的多分支组来构建去噪模型300，在模型训练过程中，可以通过多个跳跃连接绕过丰富的低频信息，以专注于学习图像中的高频结构和细节信息，从而提升图像去噪的重建精度。
根据本公开的实施例，每个多分支组320可以包括多个多分支块和长连接结构。
图3B示意性示出了根据本公开实施例的多分支组的结构示意图。
如图3B所示，多分支组320可以包括依次连接的M个多分支块321和第四卷积层322。M为正整数。多分支组320包括的长连接结构可以将第1个多分支块321的输入端与第四卷积层322的输出端进行连接。
根据本公开的实施例，可以利用M个多分支块321处理多分支组320的第一输入特征图323，得到第五特征图。利用M个多分支块321处理第一输入特征图323可以是将第一输入特征图323输入第1个多分支块中，第1个多分支块的输出特征可以继续输入至第2个多分支块中，以此类推，直至得到第M个多分支块的输出特征，即第五特征图。
根据本公开的实施例，可以将第五特征图输入第四卷积层322中，得到第六特征图。
根据本公开的实施例，可以将第六特征图与第一输入特征图323进行融合，得到第一输出特征图324。
根据本公开的实施例，该多分支组320例如可以是N个多分支组320中的第n个多分支组。n可以是小于或等于N的正整数。相应地，该第一输入特征图323可以表示为第n个多分支组的输入特征图，也可以表示为第n-1个多分支组的输出特征图。在n等于1的情况下，第n-1个多分支组的输出特征图可以为第一特征图350，即第n个多分支组的第一输入特征图可以为第一特征图350。
根据本公开的实施例，可以利用第n个多分支组包括的M个多分支块321来处理第n-1个多分支组的输出特征图，得到第n个多分支组的第五特征图。可以将第n个多分支组的第五特征图输入第四卷积层322中，得到第n个多分支组的第六特征图。可以将第n个多分支组的第六特征图与第n-1个多分支组的输出特征图进行融合，得到第n个多分支组的输出特征图。在n等于N的情况下，第n个多分支组的输出特征图可以为第二特征图360，即第n个多分支组的第一输出特征图可以为第二特征图360。
根据本公开的实施例，每个多分支块321可以是一个多通道结构。
图3C示意性示出了根据本公开实施例的多分支块的结构示意图。
如图3C所示，多分支块321依序可以包括并联的三个通道、第一批归一化层3211和激活单元3212。并联的三个通道可以包括第一通道、第二通道和第三通道。第一通道可以包括依次连接的第五卷积层3213和第二批归一化层3214。第二通道可以包括依次连接的第六卷积层3215和第三批归一化层3216。第三通道可以包括第四批归一化层3217。第五卷积层3213和第六卷积层3215中使用的卷积核的尺寸可以不同，例如，第五卷积层3213可以使用1×1的卷积核，第六卷积层3215可以使用3×3的卷积核。
根据本公开的实施例，对于输入多分支块321的第二输入特征图321 8，可以将第二输入特征图321 8分别输入到第一通道、第二通道和第三通道中。在第一通道，第五卷积层3213和第二批归一化层3214可以依次处理第二输入特征图3218，得到第一通道特征图。在第二通道，第六卷积层3215和第三批归一化层3216可以依次处理第二输入特征图3218，得到第二通道特征图。在第三通道，第三批归一化层3217可以处理第二输入特征图3218，得到第三通道特征图。
根据本公开的实施例，可以将第一通道特征图、第二通道特征图和第三通道特征图进行融合，得到第二融合特征图。
根据本公开的实施例，可以使用第一批归一化层3211和激活单元3212依次处理第二融合特征图，得到第二输出特征图3219。激活单元3212例如可以使用加权线性激活函数来实现，或者，也可以使用其他激活函数来实现，在此不作限定。
根据本公开的实施例，该多分支块321可以是第n个多分支组包括的M个多分支块321中的第m个多分支块。m可以表示为小于或等于M的正整数。相应地，该第二输入特征图3218可以表示为第m个多分支块的输入特征图，或者，也可以表示为第m-1个多分支块的输入特征图。在m等于1的情况下，第m-1个多分支块的输出特征图为第n-1个多分支组的输出特征图。
根据本公开的实施例，可以对第m-1个多分支块的输出特征图依次作第一卷积操作和归一化操作，得到第m个多分支块的第一通道特征图。可以对第m-1个多分支块的输出特征图依次作第二卷积操作和归一化操作，得到第m个多分支块的第二通道特征图。对第m-1个多分支块的输出特征图作归一化操作，得到第m个多分支块的第三通道特征图。将第m个多分支块的第一通道特征图、第m个多分支块的第二通道特征图和第m个多分支块的第三通道特征图进行融合，可以得到第m个多分支块的第二融合特征图。对第m个多分支块的第二融合特征图进行归一化操作和加权线性操作，可以得到第m个多分支块的输出特征图。在m等于M的情况下，第m个多分支块的输出特征图可以为第五特征图。
根据本公开的实施例，通过在多分支块321中配置三个通道，在训练过程中，模型可以学习到多尺度的特征信息，从而可以增强模型的特征表达能力。同时，通过在多分支块321中设置第一批归一化层3211，可以归一化网络权重的分布，以便于对模型的量化处理，以加快模型的推理速度，减少推理内存，减少模型文件的存储空间。
图4示意性示出了根据本公开实施例的目标检测方法的流程图。
如图4所示，该方法400包括操作S410～S420。
在操作S410，利用深度学习模型中的去噪模型对待检测图像进行去噪操作，得到去噪图像。
在操作S420，利用深度学习模型中的目标检测模型对去噪图像进行目标检测，得到目标检测结果。
根据本公开的实施例，深度学习模型可以使用如上所述的深度学习模型的训练方法训练得到，在此不再赘述。
根据本公开的实施例，通过使用深度学习模型进行待检测图像的目标检测，可以有效提升待检测图像中对象的识别精度。
根据本公开的实施例，目标检测结果可以包括多个第二检测框位置数据，和分别与多个第二检测框位置数据各自对应的第二类别数据和第二置信度数据。可以基于目标检测结果，确定待检测图像中存在的对象和对象的位置及类别。
根据本公开的实施例，基于目标检测结果，确定待检测图像中存在的对象和对象的位置及类别可以包括如下操作：
基于多个第二检测框位置数据，确定多个图像区域。对于每个图像区域，在与图像区域对应的第二置信度数据大于预设阈值的情况下，确定图像区域中存在对象。基于与图像区域对应的第二检测框位置数据，确定对象的位置。以及，基于与图像区域对应的第二类别数据，确定对象的类别。
根据本公开的实施例，第二检测框位置数据可以包括两个点的坐标值，基于该两个点的坐标值，可以确定位于去噪图像上的一个检测框，该检测框所限定的区域即为该图像区域。相应地，在确定图像区域中存在对象时，该对象的位置可以表示为该检测框的位置。
根据本公开的实施例，预设阈值可以根据具体应用场景进行设置，例如可以设置为0.8、0.9等。在与图像区域对应的第二置信度数据小于或等于预设阈值的情况下，确定图像区域中不存在对象。
根据本公开的实施例，对象的类别可以通过将第二类别数据输入分类器来确定，该分类器可以与目标检测模型一并训练得到。
根据本公开的实施例，深度学习模型输出的目标检测结果可以通过渲染表示在去噪图像上。
图5A示意性示出了根据本公开实施例的待检测图像的示意图。
如图5A所示，该待检测图像中可以包含较多的噪声点。
图5B示意性示出了根据本公开实施例的携带有目标检测结果的去噪图像的示意图。
如图5B所示，该去噪图像可以是利用如上所述的深度学习模型对如图5A所示的待检测图像进行处理而得到的。该去噪图像相较于待检测图像，可以具有较少的噪声点，且具有较为清晰的纹理和边界。在该去噪图像中，目标检测结果可以包括三个检测框，及每个检测框中确定的对象的类别和置信度数据，分别为horse：1.00、horse：1.00和hores：0.99。
根据本公开的实施例，可以根据目标检测结果中包括的多个第二检测框位置数据，生成多个检测框，再将多个检测框分别渲染在去噪图像上。在检测框周围，可以生成一个文本框，在该文本框中可以填入与第二检测框位置数据对应的第二类别数据和第二置信度数据。
以下以一个具体实施例，对深度学习模型的目标检测效果进行比较说明。在该实施例中，图像去噪任务可以分别使用如上所述的去噪模型300和已有的其他去噪模型，包括CBM3D、DnCNN和FFDNet，目标检测模型选用yolov5s模型，训练样本集可以使用DIV2K数据集，测试样本集可以使用CBSD68数据集。在去噪模型300，可以设置M＝5，N＝5，即设置该去噪模型300可以包括5个多分支组320，每个多分支组320可以包括5个多分支块321。在训练过程中，可以设置初始学习率为2×10e-4，学习率采用Adam优化器进行调整，并设置Adam优化器的参数为beta1＝0.9，beta2＝0.999，并设置学习率每100000个迭代次数折半衰减，指导2×10e-5。
根据本公开的实施例，可以采用峰值信噪比(Peak Signal to Noise Radio，PSNR)对各个不同的去噪模型的去噪效果进行评价。峰值信噪比可以通过公式(2)计算得到：
在公式(2)中，PSNR可以表示峰值信噪比，MSE可以表示均方误差，其可以通过公式(3)计算得到：
在公式(3)中，m和n可以分别表示待处理的噪声图像的高度和宽度，其单位可以为像素，可以表示去噪图像在i点的像素值，X(i)可以表示无噪声图像在i点的像素值。PSNR的值越大，可以表示模型的去噪效果越好。
根据本公开的实施例，以PSNR作为评价指标的各个去噪模型的去噪效果可以如表1所示。由表1可见，在噪声等级分别为15、25、35、50和75的情况下，去噪模型300的PSNR可以均大于已有的其他去噪模型的PSNR。
表1
根据本公开的实施例，可以使用mAP(mean Average Precision，平均精度均值)来评价目标检测模型的检测精度。
根据本公开的实施例，在噪声等级为15的情况下，分别对去噪模型300和目标检测模型进行单独训练时目标检测模型的检测精度，和对去噪模型300和目标检测模型进行联合训练时目标检测模型的检测精度可以如表2所示。mAP val 50可以表示IOU(Intersection Over Union，并集上的交集)取50％时的mAP，mAP val 50-95可以表示IOU的值从50％取到95％时计算得到的mAP。由表2可见，对去噪模型300和目标检测模型进行联合训练可以有效提高噪声图像中目标检测的识别精度。
表2
训练模式 图像尺寸 mAP val 50 mAP val 50-95
分开单独训练 640x640 52.8 35.4
联合训练 640x640 56.4 37.2
图6示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。
如图6所示，深度学习模型的训练装置600可以包括第一输入模块610、第二输入模块620和训练模块630。
第一输入模块610，用于将噪声图像的第一图像块输入去噪模型，得到第二图像块。
第二输入模块620，用于将第二图像块输入目标检测模型，得到检测结果。
训练模块630，用于基于第二图像块、检测结果、与噪声图像对应的无噪声图像和无噪声图像的标签，对去噪模型和目标检测模型进行联合训练。
根据本公开的实施例，训练模块630包括第一训练单元、第二训练单元、第三训练单元、第四训练单元和第五训练单元。
第一训练单元，用于基于第一图像块在噪声图像中的位置，从无噪声图像中确定第三图像块。
第二训练单元，用于基于第二图像块和第三图像块，确定第一损失值。
第三训练单元，用于基于检测结果和无噪声图像的标签中与第三图像块相关的标签信息，确定第二损失值。
第四训练单元，用于基于第一损失值、第一系数、第二损失值和第二系数，得到总损失值。
第五训练单元，用于基于总损失值，调整去噪模型的模型参数或目标检测模型的模型参数。
根据本公开的实施例，第五训练单元包括第一训练子单元和第二训练子单元。
第一训练子单元，用于在当前训练轮次处于预设轮次范围以内的情况下，利用总损失值调整去噪模型的模型参数和第一系数。
第二训练子单元，用于在当前训练轮次未处于预设轮次范围以内的情况下，利用总损失值调整目标检测模型的模型参数和第二系数。
根据本公开的实施例，检测结果包括第一检测框位置数据、第一类别数据和第一置信度数据，无噪声图像的标签中与第三图像块相关的标签信息包括检测框位置标签、类别标签和置信度标签。
根据本公开的实施例，第三训练单元包括第三训练子单元、第四训练子单元、第五训练子单元和第六训练子单元。
第三训练子单元，用于基于第一检测框位置数据和检测框位置标签，确定第一子损失值。
第四训练子单元，用于基于第一类别数据和类别标签，确定第二子损失值。
第五训练子单元，用于基于第一置信度数据和置信度标签，确定第三子损失值。
第六训练子单元，用于对第一子损失值、第二子损失值和第三子损失值进行加权求和，得到第二损失值。
根据本公开的实施例，深度学习模型的训练装置600还包括第一确定模块和切分模块。
第一确定模块，用于基于当前训练轮次，确定图像块尺寸信息。
切分模块，用于基于图像块尺寸信息，对噪声图像进行切分，得到第一图像块。
根据本公开的实施例，第一确定模块包括第一确定单元和第二确定单元。
第一确定单元，用于确定当前训练轮次所属的轮次范围。
第二确定单元，用于基于与轮次范围对应的图像块尺寸，确定图像块尺寸信息。
根据本公开的实施例，确定模块包括第三确定单元和第四确定单元。
第三确定单元，用于获取上一训练轮次中第一图像的初始图像块尺寸信息。
第四确定单元，用于基于初始图像块尺寸信息和调整参数，确定图像块尺寸信息。
根据本公开的实施例，去噪模型包括依次连接的第一卷积层、N个多分支组、第二卷积层和第三卷积层，其中，N为正整数。
根据本公开的实施例，第一输入模块610包括第一输入子模块、第二输入子模块、第三输入子模块、第四输入子模块、第五输入子模块和第六输入子模块。
第一输入子模块，用于将第一图像块输入第一卷积层，得到第一特征图。
第二输入子模块，用于利用N个多分支组处理第一特征图，得到第二特征图。
第三输入子模块，用于将第二特征图输入第二卷积层中，得到第三特征图。
第四输入子模块，用于将第一特征图和第三特征图进行融合，得到第一融合特征图。
第五输入子模块，用于将第一融合特征图输入第三卷积层中，得到第四特征图。
第六输入子模块，用于基于第四特征图，对第一图像块进行残差操作，得到第二图像块。
根据本公开的实施例，多分支组包括依次连接的M个多分支块和第四卷积层，其中，M为正整数。
根据本公开的实施例，第二输入子模块包括第一输入单元、第二输入单元和第三输入单元。
第一输入单元，用于利用第n个多分支组包括的M个多分支块来处理第n-1个多分支组的输出特征图，得到第五特征图，其中，n为小于或等于N的正整数，在n等于1的情况下，第n-1个多分支组的输出特征图为第一特征图。
第二输入单元，用于将第五特征图输入第四卷积层中，得到第六特征图。
第三输入单元，用于将第六特征图与第n-1个多分支组的输出特征图进行融合，得到第n个多分支组的输出特征图，其中，在n等于N的情况下，第n个多分支组的输出特征图为第二特征图。
根据本公开的实施例，第一输入单元包括第一输入子单元、第二输入子单元、第三输入子单元、第四输入子单元和第五输入子单元。
第一输入子单元，用于对第m-1个多分支块的输出特征图依次作第一卷积操作和归一化操作，得到第一通道特征图，其中，m为小于或等于M的正整数，在m等于1的情况下，第m-1个多分支块的输出特征图为第n-1个多分支组的输出特征图。
第二输入子单元，用于对第m-1个多分支块的输出特征图依次作第二卷积操作和归一化操作，得到第二通道特征图。
第三输入子单元，用于对第m-1个多分支块的输出特征图作归一化操作，得到第三通道特征图。
第四输入子单元，用于将第一通道特征图、第二通道特征图和第三通道特征图进行融合，得到第二融合特征图。
第五输入子单元，用于对第二融合特征图进行归一化操作和加权线性操作，得到第m个多分支块的输出特征图，其中，在m等于M的情况下，第m个多分支块的输出特征图为第五特征图。
图7示意性示出了根据本公开实施例的目标检测装置的框图。
如图7所示，目标检测装置700可以包括处理模块710和目标检测模块720。
处理模块710，用于利用深度学习模型中的去噪模型对待检测图像进行去噪操作，得到去噪图像。
目标检测模块720，用于利用深度学习模型中的目标检测模型对去噪图像进行目标检测，得到目标检测结果。
根据本公开的实施例，深度学习模型包括利用根据如上所述的深度学习模型的训练方法训练得到。
根据本公开的实施例，目标检测装置700还包括第二确定模块。
第二确定模块，用于基于目标检测结果，确定待检测图像中存在的对象和对象的位置及类别。
根据本公开的实施例，目标检测结果包括多个第二检测框位置数据，和分别与多个第二检测框位置数据各自对应的第二类别数据和第二置信度数据。
根据本公开的实施例，第二确定模块包括第五确定单元、第六确定单元、第七确定单元和第八确定单元。
第五确定单元，用于基于多个第二检测框位置数据，确定多个图像区域。
第六确定单元，用于对于每个图像区域，在与图像区域对应的第二置信度数据大于预设阈值的情况下，确定图像区域中存在对象。
第七确定单元，用于基于与图像区域对应的第二检测框位置数据，确定对象的位置。
第八确定单元，用于基于与图像区域对应的第二类别数据，确定对象的类别。
根据本公开的实施例，第二确定模块还包括第九确定单元。
第九确定单元，用于在与图像区域对应的第二置信度数据小于或等于预设阈值的情况下，确定图像区域中不存在对象。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至输入/输出(I/O)接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如深度学习模型的训练方法。例如，在一些实施例中，深度学习模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的深度学习模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度学习模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (30)

1.一种深度学习模型的训练方法，所述深度学习模型包括去噪模型和目标检测模型，所述方法包括：
将噪声图像的第一图像块输入所述去噪模型，得到第二图像块；
将所述第二图像块输入所述目标检测模型，得到检测结果；以及
基于所述第二图像块、所述检测结果、与所述噪声图像对应的无噪声图像和所述无噪声图像的标签，对所述去噪模型和所述目标检测模型进行联合训练；
其中，所述基于所述第二图像块、所述检测结果、与所述噪声图像对应的无噪声图像和所述无噪声图像的标签，对所述去噪模型和所述目标检测模型进行联合训练，包括：
基于所述第二图像块、所述检测结果、与所述噪声图像对应的无噪声图像和所述无噪声图像的标签，得到总损失值；以及
基于所述总损失值，同步或异步地对所述去噪模型的模型参数和所述目标检测模型的模型参数进行调整。
2.根据权利要求1所述的方法，其中，所述基于所述第二图像块、所述检测结果、与所述噪声图像对应的无噪声图像和所述无噪声图像的标签，对所述去噪模型和所述目标检测模型进行联合训练，包括：
基于所述第一图像块在所述噪声图像中的位置，从所述无噪声图像中确定第三图像块；
基于所述第二图像块和所述第三图像块，确定第一损失值；
基于所述检测结果和所述无噪声图像的标签中与所述第三图像块相关的标签信息，确定第二损失值；
基于所述第一损失值、第一系数、第二损失值和第二系数，得到总损失值；以及
基于所述总损失值，调整所述去噪模型的模型参数或所述目标检测模型的模型参数。
3.根据权利要求2所述的方法，其中，所述基于所述总损失值，调整所述去噪模型的模型参数或所述目标检测模型的模型参数，包括：
在当前训练轮次处于预设轮次范围以内的情况下，利用所述总损失值调整所述去噪模型的模型参数和所述第一系数；以及
在所述当前训练轮次未处于所述预设轮次范围以内的情况下，利用所述总损失值调整所述目标检测模型的模型参数和所述第二系数。
4.根据权利要求2所述的方法，其中，所述检测结果包括第一检测框位置数据、第一类别数据和第一置信度数据，所述无噪声图像的标签中与所述第三图像块相关的标签信息包括检测框位置标签、类别标签和置信度标签；
其中，所述基于所述检测结果和所述无噪声图像的标签中与所述第三图像块相关的标签信息，确定第二损失值，包括：
基于所述第一检测框位置数据和所述检测框位置标签，确定第一子损失值；
基于所述第一类别数据和所述类别标签，确定第二子损失值；
基于所述第一置信度数据和所述置信度标签，确定第三子损失值；以及
对所述第一子损失值、所述第二子损失值和所述第三子损失值进行加权求和，得到所述第二损失值。
5.根据权利要求1所述的方法，还包括：
基于当前训练轮次，确定图像块尺寸信息；以及
基于所述图像块尺寸信息，对所述噪声图像进行切分，得到所述第一图像块。
6.根据权利要求5所述的方法，其中，所述基于当前训练轮次，确定图像块尺寸信息，包括：
确定所述当前训练轮次所属的轮次范围；以及
基于与所述轮次范围对应的图像块尺寸，确定所述图像块尺寸信息。
7.根据权利要求5所述的方法，其中，所述基于当前训练轮次，确定图像块尺寸信息，包括：
获取上一训练轮次中所述第一图像的初始图像块尺寸信息；以及
基于所述初始图像块尺寸信息和调整参数，确定所述图像块尺寸信息。
8.根据权利要求1所述的方法，其中，所述去噪模型包括依次连接的第一卷积层、N个多分支组、第二卷积层和第三卷积层，其中，所述N为正整数；
其中，所述将噪声图像的第一图像块输入所述去噪模型，得到第二图像块，包括：
将所述第一图像块输入所述第一卷积层，得到第一特征图；
利用所述N个多分支组处理所述第一特征图，得到第二特征图；
将所述第二特征图输入所述第二卷积层中，得到第三特征图；
将所述第一特征图和所述第三特征图进行融合，得到第一融合特征图；
将所述第一融合特征图输入所述第三卷积层中，得到第四特征图；
基于所述第四特征图，对所述第一图像块进行残差操作，得到所述第二图像块。
9.根据权利要求8所述的方法，其中，所述多分支组包括依次连接的M个多分支块和第四卷积层，其中，所述M为正整数；
其中，所述利用所述N个多分支组处理所述第一特征图，得到第二特征图，包括：
利用第n个所述多分支组包括的所述M个多分支块来处理第n-1个所述多分支组的输出特征图，得到第五特征图，其中，所述n为小于或等于所述N的正整数，在所述n等于1的情况下，所述第n-1个多分支组的输出特征图为所述第一特征图；
将所述第五特征图输入所述第四卷积层中，得到第六特征图；以及
将所述第六特征图与所述第n-1个多分支组的输出特征图进行融合，得到所述第n个多分支组的输出特征图，其中，在所述n等于所述N的情况下，所述第n个多分支组的输出特征图为所述第二特征图。
10.根据权利要求9所述的方法，其中，所述利用第n个所述多分支组包括的所述M个多分支块来处理第n-1个所述多分支组的输出特征图，得到第五特征图，包括：
对第m-1个所述多分支块的输出特征图依次作第一卷积操作和归一化操作，得到第一通道特征图，其中，所述m为小于或等于所述M的正整数，在所述m等于1的情况下，所述第m-1个多分支块的输出特征图为所述第n-1个多分支组的输出特征图；
对所述第m-1个多分支块的输出特征图依次作第二卷积操作和归一化操作，得到第二通道特征图；
对所述第m-1个多分支块的输出特征图作归一化操作，得到第三通道特征图；
将所述第一通道特征图、所述第二通道特征图和所述第三通道特征图进行融合，得到第二融合特征图；以及
对所述第二融合特征图进行归一化操作和加权线性操作，得到第m个所述多分支块的输出特征图，其中，在所述m等于所述M的情况下，所述第m个所述多分支块的输出特征图为所述第五特征图。
11.一种目标检测方法，包括：
利用深度学习模型中的去噪模型对待检测图像进行去噪操作，得到去噪图像；以及
利用所述深度学习模型中的目标检测模型对所述去噪图像进行目标检测，得到目标检测结果；
其中，所述深度学习模型包括利用根据权利要求1～10中任一项所述的深度学习模型的训练方法训练得到。
12.根据权利要求11所述的方法，还包括：
基于所述目标检测结果，确定所述待检测图像中存在的对象和所述对象的位置及类别。
13.根据权利要求12所述的方法，其中，所述目标检测结果包括多个第二检测框位置数据，和分别与所述多个第二检测框位置数据各自对应的第二类别数据和第二置信度数据；
其中，所述基于所述目标检测结果，确定所述待检测图像中存在的对象和所述对象的位置及类别，包括：
基于所述多个第二检测框位置数据，确定多个图像区域；
对于每个所述图像区域，在与所述图像区域对应的第二置信度数据大于预设阈值的情况下，确定所述图像区域中存在所述对象；
基于与所述图像区域对应的第二检测框位置数据，确定所述对象的位置；以及
基于与所述图像区域对应的第二类别数据，确定所述对象的类别。
14.根据权利要求13所述的方法，还包括：
在与所述图像区域对应的第二置信度数据小于或等于所述预设阈值的情况下，确定所述图像区域中不存在所述对象。
15.一种深度学习模型的训练装置，所述深度学习模型包括去噪模型和目标检测模型，所述装置包括：
第一输入模块，用于将噪声图像的第一图像块输入所述去噪模型，得到第二图像块；
第二输入模块，用于将所述第二图像块输入所述目标检测模型，得到检测结果；以及
训练模块，用于基于所述第二图像块、所述检测结果、与所述噪声图像对应的无噪声图像和所述无噪声图像的标签，对所述去噪模型和所述目标检测模型进行联合训练；
其中，所述训练模块具体用于：
基于所述第二图像块、所述检测结果、与所述噪声图像对应的无噪声图像和所述无噪声图像的标签，得到总损失值；以及
基于所述总损失值，同步或异步地对去噪模型的模型参数和目标检测模型的模型参数进行调整。
16.根据权利要求15所述的装置，其中，所述训练模块包括：
第一训练单元，用于基于所述第一图像块在所述噪声图像中的位置，从所述无噪声图像中确定第三图像块；
第二训练单元，用于基于所述第二图像块和所述第三图像块，确定第一损失值；
第三训练单元，用于基于所述检测结果和所述无噪声图像的标签中与所述第三图像块相关的标签信息，确定第二损失值；
第四训练单元，用于基于所述第一损失值、第一系数、第二损失值和第二系数，得到总损失值；以及
第五训练单元，用于基于所述总损失值，调整所述去噪模型的模型参数或所述目标检测模型的模型参数。
17.根据权利要求16所述的装置，其中，所述第五训练单元包括：
第一训练子单元，用于在当前训练轮次处于预设轮次范围以内的情况下，利用所述总损失值调整所述去噪模型的模型参数和所述第一系数；以及
第二训练子单元，用于在所述当前训练轮次未处于所述预设轮次范围以内的情况下，利用所述总损失值调整所述目标检测模型的模型参数和所述第二系数。
18.根据权利要求16所述的装置，其中，所述检测结果包括第一检测框位置数据、第一类别数据和第一置信度数据，所述无噪声图像的标签中与所述第三图像块相关的标签信息包括检测框位置标签、类别标签和置信度标签；
其中，所述第三训练单元包括：
第三训练子单元，用于基于所述第一检测框位置数据和所述检测框位置标签，确定第一子损失值；
第四训练子单元，用于基于所述第一类别数据和所述类别标签，确定第二子损失值；
第五训练子单元，用于基于所述第一置信度数据和所述置信度标签，确定第三子损失值；以及
第六训练子单元，用于对所述第一子损失值、所述第二子损失值和所述第三子损失值进行加权求和，得到所述第二损失值。
19.根据权利要求15所述的装置，还包括：
第一确定模块，用于基于当前训练轮次，确定图像块尺寸信息；以及
切分模块，用于基于所述图像块尺寸信息，对所述噪声图像进行切分，得到所述第一图像块。
20.根据权利要求19所述的装置，其中，所述第一确定模块包括：
第一确定单元，用于确定所述当前训练轮次所属的轮次范围；以及
第二确定单元，用于基于与所述轮次范围对应的图像块尺寸，确定所述图像块尺寸信息。
21.根据权利要求19所述的装置，其中，所述确定模块包括：
第三确定单元，用于获取上一训练轮次中所述第一图像的初始图像块尺寸信息；以及
第四确定单元，用于基于所述初始图像块尺寸信息和调整参数，确定所述图像块尺寸信息。
22.根据权利要求15所述的装置，其中，所述去噪模型包括依次连接的第一卷积层、N个多分支组、第二卷积层和第三卷积层，其中，所述N为正整数；
其中，所述第一输入模块包括：
第一输入子模块，用于将所述第一图像块输入所述第一卷积层，得到第一特征图；
第二输入子模块，用于利用所述N个多分支组处理所述第一特征图，得到第二特征图；
第三输入子模块，用于将所述第二特征图输入所述第二卷积层中，得到第三特征图；
第四输入子模块，用于将所述第一特征图和所述第三特征图进行融合，得到第一融合特征图；
第五输入子模块，用于将所述第一融合特征图输入所述第三卷积层中，得到第四特征图；
第六输入子模块，用于基于所述第四特征图，对所述第一图像块进行残差操作，得到所述第二图像块。
23.根据权利要求22所述的装置，其中，所述多分支组包括依次连接的M个多分支块和第四卷积层，其中，所述M为正整数；
其中，所述第二输入子模块包括：
第一输入单元，用于利用第n个所述多分支组包括的所述M个多分支块来处理第n-1个所述多分支组的输出特征图，得到第五特征图，其中，所述n为小于或等于所述N的正整数，在所述n等于1的情况下，所述第n-1个多分支组的输出特征图为所述第一特征图；
第二输入单元，用于将所述第五特征图输入所述第四卷积层中，得到第六特征图；以及
第三输入单元，用于将所述第六特征图与所述第n-1个多分支组的输出特征图进行融合，得到所述第n个多分支组的输出特征图，其中，在所述n等于所述N的情况下，所述第n个多分支组的输出特征图为所述第二特征图。
24.根据权利要求23所述的装置，其中，所述第一输入单元包括：
第一输入子单元，用于对第m-1个所述多分支块的输出特征图依次作第一卷积操作和归一化操作，得到第一通道特征图，其中，所述m为小于或等于所述M的正整数，在所述m等于1的情况下，所述第m-1个多分支块的输出特征图为所述第n-1个多分支组的输出特征图；
第二输入子单元，用于对所述第m-1个多分支块的输出特征图依次作第二卷积操作和归一化操作，得到第二通道特征图；
第三输入子单元，用于对所述第m-1个多分支块的输出特征图作归一化操作，得到第三通道特征图；
第四输入子单元，用于将所述第一通道特征图、所述第二通道特征图和所述第三通道特征图进行融合，得到第二融合特征图；以及
第五输入子单元，用于对所述第二融合特征图进行归一化操作和加权线性操作，得到第m个所述多分支块的输出特征图，其中，在所述m等于所述M的情况下，所述第m个所述多分支块的输出特征图为所述第五特征图。
25.一种目标检测装置，包括：
处理模块，用于利用深度学习模型中的去噪模型对待检测图像进行去噪操作，得到去噪图像；以及
目标检测模块，用于利用所述深度学习模型中的目标检测模型对所述去噪图像进行目标检测，得到目标检测结果；
其中，所述深度学习模型包括利用根据权利要求1～10中任一项所述的深度学习模型的训练方法训练得到。
26.根据权利要求25所述的装置，还包括：
第二确定模块，用于基于所述目标检测结果，确定所述待检测图像中存在的对象和所述对象的位置及类别。
27.根据权利要求26所述的装置，其中，所述目标检测结果包括多个第二检测框位置数据，和分别与所述多个第二检测框位置数据各自对应的第二类别数据和第二置信度数据；
其中，所述第二确定模块包括：
第五确定单元，用于基于所述多个第二检测框位置数据，确定多个图像区域；
第六确定单元，用于对于每个所述图像区域，在与所述图像区域对应的第二置信度数据大于预设阈值的情况下，确定所述图像区域中存在所述对象；
第七确定单元，用于基于与所述图像区域对应的第二检测框位置数据，确定所述对象的位置；以及
第八确定单元，用于基于与所述图像区域对应的第二类别数据，确定所述对象的类别。
28.根据权利要求27所述的装置，还包括：
第九确定单元，用于在与所述图像区域对应的第二置信度数据小于或等于所述预设阈值的情况下，确定所述图像区域中不存在所述对象。
29.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～10中任一项所述的方法或权利要求11～14中任一项所述的方法。
30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1～10中任一项所述的方法或权利要求11～14中任一项所述的方法。
CN202310293708.XA 2023-03-23 2023-03-23 深度学习模型的训练方法、目标检测方法、装置及设备 Active CN116310356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310293708.XA CN116310356B (zh) 2023-03-23 2023-03-23 深度学习模型的训练方法、目标检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310293708.XA CN116310356B (zh) 2023-03-23 2023-03-23 深度学习模型的训练方法、目标检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116310356A CN116310356A (zh) 2023-06-23
CN116310356B true CN116310356B (zh) 2024-03-29

Family

ID=86788433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310293708.XA Active CN116310356B (zh) 2023-03-23 2023-03-23 深度学习模型的训练方法、目标检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116310356B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704269B (zh) * 2023-08-04 2023-11-24 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894469A (zh) * 2016-03-31 2016-08-24 福州大学 基于外部块自编码学习和内部块聚类的去噪方法
CN108416755A (zh) * 2018-03-20 2018-08-17 南昌航空大学 一种基于深度学习的图像去噪方法及系统
CN110648289A (zh) * 2019-08-29 2020-01-03 腾讯科技（深圳）有限公司 图像的加噪处理方法及装置
CN111915603A (zh) * 2020-08-14 2020-11-10 东北大学 一种含噪声ebsd数据中无噪声相图的人工智能预测方法
CN113850725A (zh) * 2020-07-15 2021-12-28 南京航空航天大学 一种滤波增强深度学习的被动式太赫兹图像目标检测方法
CN113962968A (zh) * 2021-10-26 2022-01-21 北京临近空间飞行器系统工程研究所 面向复杂电磁环境下多源混合干扰雷达图像目标检测系统
CN114022759A (zh) * 2021-09-30 2022-02-08 北京临近空间飞行器系统工程研究所 一种融合神经网络时空特性的空域有限像素目标检测系统及方法
CN114241340A (zh) * 2021-12-16 2022-03-25 北京工业大学 一种基于双路深度残差网络的图像目标检测方法及系统
CN114299349A (zh) * 2022-03-04 2022-04-08 南京航空航天大学 一种基于多专家系统和知识蒸馏的众包图像学习方法
CN115063434A (zh) * 2022-05-12 2022-09-16 北京理工大学 一种基于特征去噪的低弱光图像实例分割方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11366985B2 (en) * 2020-05-15 2022-06-21 Retrace Labs Dental image quality prediction platform using domain specific artificial intelligence

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894469A (zh) * 2016-03-31 2016-08-24 福州大学 基于外部块自编码学习和内部块聚类的去噪方法
CN108416755A (zh) * 2018-03-20 2018-08-17 南昌航空大学 一种基于深度学习的图像去噪方法及系统
CN110648289A (zh) * 2019-08-29 2020-01-03 腾讯科技（深圳）有限公司 图像的加噪处理方法及装置
CN113850725A (zh) * 2020-07-15 2021-12-28 南京航空航天大学 一种滤波增强深度学习的被动式太赫兹图像目标检测方法
CN111915603A (zh) * 2020-08-14 2020-11-10 东北大学 一种含噪声ebsd数据中无噪声相图的人工智能预测方法
CN114022759A (zh) * 2021-09-30 2022-02-08 北京临近空间飞行器系统工程研究所 一种融合神经网络时空特性的空域有限像素目标检测系统及方法
CN113962968A (zh) * 2021-10-26 2022-01-21 北京临近空间飞行器系统工程研究所 面向复杂电磁环境下多源混合干扰雷达图像目标检测系统
CN114241340A (zh) * 2021-12-16 2022-03-25 北京工业大学 一种基于双路深度残差网络的图像目标检测方法及系统
CN114299349A (zh) * 2022-03-04 2022-04-08 南京航空航天大学 一种基于多专家系统和知识蒸馏的众包图像学习方法
CN115063434A (zh) * 2022-05-12 2022-09-16 北京理工大学 一种基于特征去噪的低弱光图像实例分割方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"DINO：DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection";Hao Zhang etal;《arXiv:2203.03605v4 [ cs.CV]》;第1-23页 *
"Image Denoising via CNNs:An Adversarial Approach";Nithish Divakar etal;《CVPR》;第80-87页 *
"从AlphaGo到BetaGo基于任务可完成性分析的定性人工智能的定量实现";苏剑波 等;《控制理论与应用》;第1572-1583页 *
"基于声呐图像的水下目标识别研究综述";檀盼龙 等;《数字海洋与水下攻防》;第342-353页 *

Also Published As

Publication number Publication date
CN116310356A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN108154222B (zh) 深度神经网络训练方法和系统、电子设备
CN113971751A (zh) 训练特征提取模型、检测相似图像的方法和装置
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
CN112561060B (zh) 神经网络训练方法及装置、图像识别方法及装置和设备
CN113705628B (zh) 预训练模型的确定方法、装置、电子设备以及存储介质
CN116310356B (zh) 深度学习模型的训练方法、目标检测方法、装置及设备
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN115147680B (zh) 目标检测模型的预训练方法、装置以及设备
CN113902696A (zh) 图像处理方法、装置、电子设备和介质
CN114821063A (zh) 语义分割模型的生成方法及装置、图像的处理方法
CN113837965B (zh) 图像清晰度识别方法、装置、电子设备及存储介质
CN115578614A (zh) 图像处理模型的训练方法、图像处理方法和装置
CN114120454A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN113902899A (zh) 训练方法、目标检测方法、装置、电子设备以及存储介质
CN114724144B (zh) 文本识别方法、模型的训练方法、装置、设备及介质
CN114973333B (zh) 人物交互检测方法、装置、设备以及存储介质
CN113792804B (zh) 图像识别模型的训练方法、图像识别方法、装置及设备
CN115496916A (zh) 图像识别模型的训练方法、图像识别方法以及相关装置
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN114120423A (zh) 人脸图像检测方法、装置、电子设备和计算机可读介质
CN113052173B (zh) 样本数据的特征增强方法和装置
CN113344199B (zh) 用于训练可分离卷积网络的方法、路侧设备及云控平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant