CN110399856B - 特征提取网络训练方法、图像处理方法、装置及其设备 - Google Patents

特征提取网络训练方法、图像处理方法、装置及其设备 Download PDF

Info

Publication number
CN110399856B
CN110399856B CN201910703071.0A CN201910703071A CN110399856B CN 110399856 B CN110399856 B CN 110399856B CN 201910703071 A CN201910703071 A CN 201910703071A CN 110399856 B CN110399856 B CN 110399856B
Authority
CN
China
Prior art keywords
domain image
image
feature
domain
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910703071.0A
Other languages
English (en)
Other versions
CN110399856A (zh
Inventor
苏鹏
王坤
曾星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lingang Jueying Intelligent Technology Co ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN201910703071.0A priority Critical patent/CN110399856B/zh
Publication of CN110399856A publication Critical patent/CN110399856A/zh
Application granted granted Critical
Publication of CN110399856B publication Critical patent/CN110399856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明实施例提供一种特征提取网络训练方法、图像处理方法、装置及其设备，该训练方法包括：获取源域图像集和目标域图像集，目标域图像集包括的目标域图像的数量小于源域图像集包括的源域图像的数量；将源域图像和目标域图像输入特征提取网络分别进行特征提取，得到源域图像的第一特征信息和目标域图像的第二特征信息；根据第一特征信息和第二特征信息，分别判定源域图像和目标域图像分别对应的域类别；至少基于源域图像和目标域图像的域类别判定结果和真实域类别之间的对抗，调整特征提取网络的网络参数。

Description

特征提取网络训练方法、图像处理方法、装置及其设备
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种特征提取网络训练方法、图像处理方法、装置及其设备。
背景技术
目前所使用的机器学习/深度学习模型都是基于一个共同的基础假设，即训练数据(training data)的分布(distribution)和测试数据(testing data)的分布是相同，或者至少是相似的。这样，机器学习/深度学习模型在训练数据上所学得的参数，才可以应用于与训练数据有区别的测试数据。
然而在现实世界中，这种基础假设很有可能会被打破，从而导致训练得到的机器学习/深度学习等网络模型，在使用与训练数据来自于不同域的测试数据的时候，机器学习/深度学习模型就会表现有不同程度的性能下降。换而言之，就是训练得到的机器学习/深度学习等网络模型对于源域数据和目标域数据的检测性能表现不一致。
发明内容
本发明实施例提供一种特征提取网络训练方法、图像处理方法、装置及其设备。
第一方面，本发明实施例提供一种特征提取网络训练方法，包括：获取源域图像集和目标域图像集，所述目标域图像集包括的目标域图像的数量小于所述源域图像集包括的源域图像的数量；将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息；根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别；至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数。
可选的，所述源域图像和所述目标域图像分别包括有对象标注信息；所述得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息之后，所述方法还包括：根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；基于所述源域图像和所述目标域图像的对象检测结果和所述对象标注信息的差异，调整所述特征提取网络的网络参数。
可选的，所述源域图像和所述目标域图像分别包括有对象标注信息；所述得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息之后，所述方法还包括：根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；所述至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数，包括：基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗以及对象检测结果和所述对象标注信息的差异，确定联合损失；基于所述联合损失，调整所述特征提取网络的网络参数。
可选的，所述第一特征信息包括第一特征图，所述第二特征信息包括第二特征图；所述特征提取网络包括N个通道，N为大于1的整数；所述将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息，包括：将所述源域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第一特征图；将所述目标域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第二特征图。
可选的，所述根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别，包括：根据所述N个第一特征图判定所述源域图像对应的域类别；根据所述N个第二特征图判定所述目标域图像对应的域类别。
可选的，所述根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别，包括：对所述N个第一特征图进行第一批量化处理，并基于第一批量化处理的结果判定所述源域图像对应的域类别；对所述N个第二特征图进行第二批量化处理，并基于第二批量化处理的结果判定所述目标域图像对应的域类别。
可选的，所述源域图像和所述目标域图像的数量比值大于或等于10:1且小于或等于100:1。
第二方面，本发明实施例提供一种图像处理方法，包括：获取待检测的图像；基于采用如第一方面所述的方法得到的特征提取网络对所述图像进行特征提取；基于提取的特征对所述图像进行预定任务的处理，所述预定任务包括以下至少之一：对象检测、语义分割。
第三方面，本发明实施例提供一种特征提取网络训练装置，包括：第一获取模块，用于分别获取源域图像集和目标域图像集，所述目标域图像集包括的目标域图像的数量小于所述源域图像集包括的源域图像的数量；第一特征提取模块，用于将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息；分类模块，用于根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别；调整模块，用于至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数。
可选的，所述源域图像和所述目标域图像分别包括有对象标注信息；所述装置还包括：检测模块，用于根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；所述调整模块，还用于基于所述源域图像和所述目标域图像的对象检测结果和所述对象标注信息的差异，调整所述特征提取网络的网络参数。
可选的，所述源域图像和所述目标域图像分别包括有对象标注信息；所述装置还包括：检测模块，用于根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；所述调整模块至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数时，具体用于：基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗以及对象检测结果和所述对象标注信息的差异，确定联合损失；基于所述联合损失，调整所述特征提取网络的网络参数。
可选的，所述第一特征信息包括第一特征图，所述第二特征信息包括第二特征图；所述特征提取网络包括N个通道，N为大于1的整数；所述第一特征提取模块在将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息时，具体用于：将所述源域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第一特征图；将所述目标域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第二特征图。
可选的，所述分类模块根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别时，具体用于：根据所述N个第一特征图判定所述源域图像对应的域类别；根据所述N个第二特征图判定所述目标域图像对应的域类别。
可选的，所述分类模块根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别时，具体用于：对所述N个第一特征图进行第一批量化处理，并基于第一批量化处理的结果判定所述源域图像对应的域类别；对所述N个第二特征图进行第二批量化处理，并基于第二批量化处理的结果判定所述目标域图像对应的域类别。
可选的，所述源域图像和所述目标域图像的数量比值大于或等于10:1且小于或等于100:1。
第四方面，本发明实施例提供一种图像处理装置，包括：第二获取模块，用于获取待检测的图像；第二特征提取模块，用于基于采用第一方面所述的方法得到的特征提取网络对所述图像进行特征提取；处理模块，用于基于提取的特征对所述图像进行预定任务的处理，所述预定任务包括以下至少之一：对象检测、语义分割。
第五方面，本发明实施例提供一种特征提取网络训练设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第一方面所述的方法。
第六方面，本发明实施例提供一种图像处理设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第二方面所述的方法。
第七方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面和第二方面所述的方法。
本发明实施例提供的特征提取网络训练方法、图像处理方法、装置及其设备，通过获取源域图像集和目标域图像集，所述目标域图像集包括的目标域图像的数量小于所述源域图像集包括的源域图像的数量；将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息；根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别；至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数。由于是基于源域图像和目标域图像的域类别判定结果和真实域类别之间的对抗，调整特征提取网络的网络参数，因此，最终训练得到的特征提取网络会减少甚至不关注域特征提取能力的学习，而关注图像中目标特征信息等非域的特征信息的学习，从而达到对不同域的图像都能够表现出很好的检测性能的效果。
附图说明
图1为本发明实施例提供的特征提取网络训练方法的流程图；
图2为本发明实施例提供的检测模型的结构示意图；
图3为本发明实施例提供的一种白天拍摄的包含车辆的源域图像；
图4为本发明实施例提供的一种夜晚拍摄的包含车辆的目标域图像；
图5是本发明实施例提供的另一种特征提取网络训练方法的流程图；
图6是本发明实施例提供的另一种特征提取网络训练方法的流程图；
图7为本发明实施例提供的一种域分类器网络的结构示意图；
图8为本发明实施例提供的另一种域分类器网络的结构示意图；
图9为本发明实施例提供的一种图像处理方法的流程示意图；
图10为本发明实施例提供的特征提取网络训练装置的结构示意图；
图11为本发明实施例提供的图像处理装置的结构示意图；
图12为本发明实施例提供的电子设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1为本发明实施例提供的特征提取网络训练方法的流程图。如图1所示，该训练方法具体包括如下步骤：
步骤101、获取源域图像集和目标域图像集，其中，目标域图像集包括的目标域图像的数量小于源域图像集包括的源域图像的数量。
本实施例中，特征提取网络可以为神经网络，如卷积神经网络等。对于源域图像集和目标域图像集的区分，首先是在特征提取网络训练过程中用到的二者在图像数量上的区别，目标域图像集包括的目标域图像的数量小于源域图像集包括的源域图像的数量。
另外，对于源域图像集和目标域图像集的区分，可以通过源域图像和目标域图像分别带有不同的域类别信息来区分，域类别是指除了图像中的目标或者对象之外的其他能够带来图像变化的因素，例如，季节变化、光照强度、不同场景、不同时间、不同空间位置、不同气象条件、不同空间环境等因素所引起的包括相同类别目标或者对象的图像的变化。举例来说，图像中的目标，也可称为对象，可以是图像中的内容，如可以包括以下至少之一：人、车、植物、动物、交通标志物、交通灯、车道线、建筑物等等，这些内容通常是外界环境的客观存在；除了图像中的目标之外，影响图像质量或者成像的其他变化因素可以称为域信息，如可以是春夏秋冬等季节变化、如光线强弱等光线变化、如晴天与雨雪天、大雾天、雾霾天、台风天或阴天、白天和夜晚等天气变化、如A地理位置和B地理位置等空间位置变化等等因素所引起的图像变化，都可以称之为域信息，可以用不同类别的域来对采集或计算机生成的该域信息的图像进行区分，如采集或计算机生成的白天对应的图像的域类别为白天，采集或计算机生成的夜晚对应的图像的域类别为夜晚，等等。
训练过程中使用的源域图像和目标域图像均包括有标注信息，标注信息可包括但不限于：图像的真实域类别，和/或，图像中对象的标注信息，等等。某图像的真实域类别的标注信息例如该图像是源域图像或目标域图像，或者某图像的真实域类别的标注信息例如该图像是来自源域图像集或来自目标域图像集等等。一种可选的实现方式中，可将容易获得的域的图像作为源域图像，而将不易获得的域的图像作为目标域图像，例如，将采集或生成的白天的图像作为源域图像，将采集或生成的夜晚的图像作为目标域图像，使用大量的源域图像和少量的目标域图像作为神经网络训练用的图像集对特征提取网络进行训练，可以降低获取目标域图像及其标注信息的成本和难度。
例如，可以选取一批白天拍摄的包含车辆的图像集作为源域图像集，选取一批夜晚拍摄的包含车辆的图像集作为目标域图像集，源域图像和目标域图像的数量比值可以在大于或等于10:1且小于或等于100:1的范围内选取，可以是10:1，也可以是20:1、30:1等其他的该数值范围内的数值。例如，选取100张源域图像和10张目标域图像分别作为源域图像集和目标域图像集。应当理解的是，100张源域图像和10张目标域图像在此处仅是举例说明，也可以选取其他数量的源域图像和目标域图像，本实施例对此不做具体限定。
可选的，源域图像集和目标域图像集中的图像均可以是物理世界的真实图像，也可以是源域图像集中的图像为物理世界的真实图像，目标域图像集基于源域图像集进行人工合成得到，还可以是目标域图像集中的图像为物理世界的真实图像，源域图像集基于目标域图像集进行人工合成得到。本发明实施例对于训练数据(包括源域图像集和目标域图像集)的获取方式更为灵活。
步骤102、将源域图像和目标域图像输入特征提取网络分别进行特征提取，得到源域图像的第一特征信息和目标域图像的第二特征信息。
本实施例提供的训练方法，可以适用于图2所示的检测模型20中的特征提取网络21的训练，也可适用于检测模型20中特征提取网络21以及检测器网络22和/或域分类器网络23的训练。该检测模型20包括特征提取网络21、检测器网络22和域分类器网络23，检测器网络22和域分类器网络23均与特征提取网络21连接。其中，特征提取网络21是神经网络，特征提取网络21可以采用已有的网络架构，例如VGG(Visual Geometry Group)网络、Resnet网络或者是其他通用的图像特征提取网络等；检测器网络22可以为SSD(Single ShotMultiBox Detector)网络、RFCN网络(Region-based Fully Convolutional Network)、Fast RCNN网络(Region-Convolution Neural Network)、Faster RCNN网络(Region-Convolution Neural Network)或Mask RCNN网络(Region-Convolution Neural Network)等。
如图2所示，将源域图像和目标域图像输入图2中的特征提取网络21分别进行特征提取，得到源域图像的第一特征信息和目标域图像的第二特征信息。
例如，图3为白天拍摄的一张图片，以下简称为第一图片，第一图片可以理解为是一张源域图像，如图3所示，其中的车辆、房屋、路灯、树木、停车指示线等可以理解为是对象，白天这一图像特征信息可以理解为是域信息。图4为夜晚拍摄的一张图片，以下简称为第二图片，第二图片可以理解为是一张目标域图像，如图4所示，其中的车辆、树木、行人、车道线等可以理解为对象，夜晚这一图像特征信息可以理解为是域信息。在将第一图片和第二图片输入特征提取网络21进行特征提取，可以得到包括车辆、房屋、路灯、树木、停车指示线等对象的目标特征信息和白天的域特征信息的第一特征信息，以及包括车辆、树木、行人、车道线等对象的目标特征信息和夜晚的域特征信息的第二特征信息。在初始训练阶段，特征提取网络21所提取的第一特征信息和第二特征信息均包括目标特征信息和域特征信息。例如，对于第一图片能够提取出来车辆、房屋、路灯、树木、停车指示线等目标特征信息和白天的域特征信息，以及对第二图片能够提取出来车辆、树木、行人、车道线等对象的目标特征信息和夜晚的域特征信息。
步骤103、根据第一特征信息和第二特征信息，分别判定源域图像和目标域图像分别对应的域类别。
例如，如图2所示，是将源域图像的第一特征信息和目标域图像的第二特征信息输入图2中的域分类器网络23中，由域分类器网络23根据第一特征信息和第二特征信息，分别判定源域图像和目标域图像分别对应的域类别，其中，域分类器网络23可以为生成对抗网络(Generative Adversarial Nets，GAN)。在初始训练阶段，由于特征提取网络21所提取的第一特征信息和第二特征信息均包括目标特征信息和域特征信息。因此，将第一特征信息和第二特征信息输入域分类器网络23中之后，域分类器网络23能够准确地识别源域图像和目标域图像分别对应的域类别。例如，如图3和图4所示，将包括车辆、房屋、路灯、树木、停车指示线等对象的目标特征信息和白天的域特征信息的第一特征信息，以及包括车辆、树木、行人、车道线等对象的目标特征信息和夜晚的域特征信息的第二特征信息输入域分类器网络23后，域分类器网络23能够分别判定第一图片和第二图片所对应的域类别分别为白天和夜晚。
步骤104、至少基于源域图像和目标域图像的域类别判定结果和真实域类别之间的对抗，调整特征提取网络的网络参数。
本发明实施例在第一次训练过程中，可以输入100个源域图像和10个目标域图像给特征提取网络，然后执行步骤102-104，此时，第一次训练结束，接下来的训练过程中，再次按照10:1的比例输入源域图像和目标域图像，例如80个源域图像和8个目标域图像给特征提取网络，循环迭代地执行步骤102至步骤104，从而使得特征提取网络21逐渐减少甚至不关注对域的特征信息的提取能力的学习，而关注于图像中目标的特征信息等非域的特征信息的学习。当特征提取网络提取的第一特征信息和第二特征信息不关注对域的特征信息或对域的特征信息的关注较小，而关注于图像中目标的特征信息等非域的特征信息时，第一特征信息和第二特征信息输入域分类器网络23中之后，域分类器网络23会无法辨别源域图像和目标域图像是来自于哪个域，从而达到使检测器网络22在源域图像集和目标域图像集上的检测性能表现一致的效果。
例如，根据域分类器网络23对包含车辆和白天的第一特征信息，以及包含车辆和夜晚的第二特征信息与白天和夜晚的真实域类别信息之间的多次迭代的对抗训练，不断调整特征提取网络的网络参数，使得最终训练得到的特征提取网络21所提取的第一特征信息和第二特征信息对白天和夜晚的域特征信息的关注较小甚至不关注，而关注车辆等目标特征信息，进而使得域分类器网络23无法辨别源域图像和目标域图像的域类别是白天还是夜晚。
本实施例中，域分类器网络23还可以采用其他的由GAN衍生出来的网络，例如，W-GAN(Wasserstein-GAN)网络，具有梯度惩罚的W-GAN网络等，本实施例不做限制。对于特征提取网络21的网络参数的调整，是将域分类器网络23的域类别判定结果回传给特征提取网络21来进行网络参数的调整，例如使对抗训练的损失函数的损失值朝着不断减小的方向来调整特征提取网络21的网络参数。对于对抗训练的损失函数，可以采用如下公式所示：
Figure BDA0002151350520000101
式(1)中，Ladv是对抗训练的损失函数，对抗训练的损失函数包括特征提取网络的损失函数和域分类器网络23的损失函数，本实施例中，域分类器网络23的损失函数采用基本的生成式对抗网络(Generative Adversarial Network，GAN)的损失函数，当然，也可以采用其他的由GAN衍生出来的损失函数，例如，W-GAN的损失函数，W-GAN的损失函数和梯度惩罚的损失函数的组合，本实施例在此不做具体限定；D代表域分类器网络所表征的函数；G代表特征提取网络表征的函数形式；X代表特征提取网络输入的图像，包括源域图像XS和XT，XS和XT的特征图分别为FS和FT；G(X)表示特征提取网络对于输入的图像X所提取的特征信息，D(G(X))表示域分类器网络对于特征提取网络所提取的特征信息的分类结果，P(FS)表示源域图像的特征信息的概率分布，P(FT)表示目标域图像的特征信息的概率分布，则步骤104的对抗训练的目标是使得P(FS)和P(FT)不断接近，理想状态下，当P(FS)＝P(FT)时，则代表域分类器网络已经无法区分特征提取网络提取的第一特征信息或第二特征信息是源域图像还是目标域图像，相当于特征提取网络能够对源域图像和目标域图像的域类别信息的关注度减少甚至不关注，而更多关注图像中的目标特征信息等非域的特征信息，以此来消除传统的监督学习方法对某一域类别的图像偏好的弊端。为了不断接近设置达到P(FS)＝P(FT)，可选的一种实施方式是不断减小P(FS)和P(FT)之间的差距，即Min Distance(P(FS)，P(FT))，例如可以采用对抗训练的损失函数Ladv来判别P(FS)和P(FT)之间的差距是否达到最小值或者小于设定阈值。在本发明实施例中，并不必严格要求P(FS)＝P(FT)，旨在减少特征提取网络对于源域图像和目标域图像域中域信息的关注，在训练过程中指导特征提取网络减少甚至不关注图像来自于源域或目标域，如此，使得特征提取网络关注对图像中如目标特征等非域的特征信息的提取能力的学习，进而通过训练使得特征提取网络能够基于其特征提取能力对来自不同域的图像进行预定任务的处理，具有域泛化性，换而言之，可对训练过程中使用数量较大的源域的图像进行预定任务的处理，可对训练过程中使用数量较小的目标域的图像进行预定任务的处理，还可对训练过程中没有使用的其他域的图像进行预定任务的处理，更好满足多样化的应用需求。
本实施例中，至少基于源域图像和目标域图像的域类别判定结果和真实域类别之间的对抗，不断调整特征提取网络的网络参数，其一方面G会朝着最小化对抗训练的损失函数Ladv的方向来调整特征提取网络的网络参数，可以理解为朝着使特征提取网络21能够准确提取源域图像和目标域图像中的特征信息的方向优化，另一方面，D会朝着最大化对抗训练的损失函数Ladv的方向来调整特征提取网络的网络参数，可以理解为朝着使域分类器网络23无法判断X是来自哪一个域的方向优化。在上述的对抗训练过程中，旨在指导特征提取网络逐渐减少甚至不关注图像是来自于源域或目标域，而关注对图像中如目标特征等非域的特征信息的提取能力的学习，使得第一特征信息和第二特征信息分别输入域分类器网络23和检测器网络22后，达到让域分类器网络23无法辨别源域图像和目标域图像是来自于哪一个域，同时检测器网络22能够准确检测出源域图像和目标域图像中所包含的对象的特征信息的效果。
图5是本发明实施例提供的另一种特征提取网络训练方法的流程图。在上述实施例的得到源域图像的第一特征信息和目标域图像的第二特征信息的步骤之后，如图5所示，本发明实施例的方法还包括如下步骤：
步骤501、根据第一特征信息和第二特征信息，对源域图像和目标域图像分别进行对象检测；其中，源域图像和目标域图像分别包括有对象标注信息。
本发明实施例中，获取的源域图像集和目标域图像集中的所有图像都是带有对象标注信息的。对象至少可以是机动车、非机动车、动物、人、植物、建筑物、障碍物、交通灯、交通标志、道路线、障碍物等等中的一种或多种。当然，本发明实施例中的对象不限于上述举例，可以是现实世界中其他对象物体。对象标注信息是由人工事先对源域图像集和目标域图像集中的所有图像中包含的对象做了标注。例如，如图3和图4所示，可以将图3和图4中包含的车辆分别进行标注以用于训练。
如图2所示，是将第一特征信息和第二特征信息输入检测器网络22中，由检测器网络22对源域图像和目标域图像分别进行对象检测。例如，如图3所示，第一特征信息包含的对象为车辆、房屋、路灯、树木、停车指示线等，第二特征信息包含的对象为车辆、树木、行人、车道线等，对象标注信息为车辆。在初始训练阶段，检测器网络22对源域图像和目标域图像分别进行对象检测时，可能对于源域图像能够检测出其中所包含的对象是车辆，而对于检测目标域图像中的车辆这一对象时，却表现出较差的检测性能，例如无法检测出目标域图像中的对象为车辆。
步骤502、基于源域图像和目标域图像的对象检测结果和对象标注信息的差异，调整特征提取网络的网络参数。
本实施例中，是基于检测器网络22对源域图像中车辆的对象检测结果与标注的车辆这一对象标注信息之间的差异，以及对目标域图像中车辆的对象检测结果与标注的车辆这一对象标注信息之间的差异，调整特征提取网络的网络参数，然后再执行步骤501和502，以此类推，不断地进行对象检测和调整特征提取网络的网络参数的步骤，最终达到使源域图像和目标域图像的对象检测结果和对象标注信息的差异达到设定的差异阈值或小于设定的差异阈值，这样，检测器网络对于源域图像和目标域图像都能够准确检测出其中所包含的车辆的对象，对源域图像和目标域图像的检测性能表现一致的效果。
本实施例中，对于特征提取网络21的网络参数的调整，是将检测器网络22的对象检测结果和对象标注信息之间的差异回传给特征提取网络21来进行网络参数的调整，可以是使对象检测的损失函数Ltask的损失值朝着不断减小的方向来调整特征提取网络21的网络参数。对于不同类型的检测器网络22，其对象检测的损失函数Ltask可以分别采用如下公式(2)和公式(3)来表示：
Ltask＝Lregression+Lclassification (2)
式(2)中，Lregression代表回归损失，Lclassification代表分类损失；回归损失的作用在于使得检测器网络能够检测出图像中包含的物体的位置和数量，分类损失的作用在于使得检测器网络能够判别出图像中包含的物体的类别。
Ltask＝LRPN+Lregression+Lclassification (3)
式(3)中，LRPN＝LRPN_regression+LRPN_classification；LRPN代表初步检测的损失，LRPN_regression代表初步检测的回归损失，LRPN_classification代表初步检测的分类损失。
上述实施例的图1和图5所提供的训练方法可以分开进行训练，不限定先后顺序，也可以将二者联合起来进行联合训练，联合训练的具体实施过程参见以下内容的介绍：
图6是本发明实施例提供的另一种特征提取网络训练方法的流程图。如图6所示，在上述实施例的得到源域图像的第一特征信息和目标域图像的第二特征信息的步骤之后，本发明实施例的方法还包括如下步骤：
步骤601、根据第一特征信息和第二特征信息，对源域图像和目标域图像分别进行对象检测；源域图像和目标域图像分别包括有对象标注信息；
对于步骤601的介绍可以参见步骤501，本实施例在此不再赘述。
相应的，至少基于源域图像和目标域图像的域类别判定结果和真实域类别之间的对抗，调整特征提取网络的网络参数，包括：
步骤602、基于源域图像和目标域图像的域类别判定结果和真实域类别之间的对抗以及对象检测结果和对象标注信息的差异，确定联合损失；
本实施例中，是根据对象检测的损失函数Ltask和对抗训练的损失函数Ladv确定联合损失，例如，可以是将对象检测的损失函数Ltask和对抗训练的损失函数Ladv的损失值之和作为联合损失。对象检测的损失函数Ltask和对抗训练的损失函数Ladv可以参见上述实施例的介绍。
步骤603、基于联合损失，调整特征提取网络的网络参数。
本实施例中，可以是依次且重复执行步骤601-步骤603，在每一次循环过程中，一方面使得对象检测的损失函数Ltask朝着损失值不断减小的方向调整特征提取网络的网络参数，另一方面使得对抗训练的损失函数Ladv朝着使特征提取网络所提取的第一特征信息和第二特征信息减少甚至不关注图像来自于源域或目标域，而关注对图像中如目标特征等非域的特征信息的提取，达到使域分类器网络无法辨别第一特征信息和第二特征信息是来自于哪一个域的方向来调整特征提取网络的网络参数。
例如，在第一次训练过程中，可以输入100个源域图像和10个目标域图像给特征提取网络，使得特征提取网络分别基于100个源域图像和10个目标域图像进行特征提取分别得到第一特征信息和第二特征信息，然后执行步骤601-603，此时，第一次训练结束，接下来的训练过程中，再次按照10:1的比例输入源域图像和目标域图像，例如80个源域图像和8个目标域图像给特征提取网络，直至对象检测和对抗训练的损失函数的损失值各自达到预定的条件，训练结束。
本发明实施例，可以大致分为两个训练过程，以下简称为第一步和第二步，其中，第一步的训练过程是指对特征提取网络21、检测器网络22和域分类器网络23进行训练，使得检测器网络22能够对源域数据和目标域数据具有基本的目标检测能力，以及使域分类器网络23具有基本的分类判别能力。在特征提取网络21具有基本的特征提取能力，检测器网络22具有基本的检测能力以及域分类器网络23具有基本的分类判别能力之后，再进行第二步对特征提取网络21和域分类器网络23的训练，使得特征提取网络21减少或不关注域特征信息，而关注于对图像中如目标特征等非域的特征信息的提取能力的学习，从而在将特征提取网络21提取出来的第一、第二特征信息输入域分类器网络23之后，使得域分类器网络23无法辨别特征提取网络21提取出来的第一、第二特征信息是来自于哪一个域。
可选的，第一特征信息包括第一特征图，第二特征信息包括第二特征图；其中，特征提取网络包括N个通道，N为大于1的整数；则将源域图像和目标域图像输入特征提取网络分别进行特征提取，得到源域图像的第一特征信息和目标域图像的第二特征信息，包括：将源域图像输入特征提取网络，分别进行N个通道的特征提取，得到N个第一特征图；将目标域图像输入特征提取网络，分别进行N个通道的特征提取，得到N个第二特征图。本实施例中，N个通道可以是包括R、G、B通道的3个颜色通道，则对于每一个源域图像，特征提取网络都可以提取得到3个特征图，同样地，对于每一个目标域图像，特征提取网络都也可以提取得到3个特征图。举例来说，若一次迭代训练，输入了100张源域图像和10张目标域图像，则可以得到300个第一特征图和30个第二特征图。
可选的，根据第一特征信息和第二特征信息，分别判定源域图像和目标域图像分别对应的域类别，包括：根据N个第一特征图判定源域图像对应的域类别；根据N个第二特征图判定目标域图像对应的域类别。例如，域分类器网络根据300个第一特征图判定源域图像对应的域类别，以及根据30个第二特征图判定目标域图像对应的域类别。
可选的，域分类器网络的结构包括依次连接的至少3层卷积层、自适应平均池化层和第一输出层。则首先将第一特征图和第二特征图进行合并，得到合并后特征图；将合并后特征图依次输入至少3层卷积层进行依次降维，得到降维结果；将降维结果输入自适应平均池化层，以进行自适应平均池化，得到池化结果；将池化结果输入第一输出层，以进行降维；将第一输出层的降维结果作为损失函数Ladv的输入，以使损失函数Ladv根据降维结果判断损失函数Ladv损失值是否达到最小值或小于设定阈值。
图7为本发明实施例提供的一种域分类器网络的结构示意图。如图7所示，该域分类器网络包括：第一合并模块71、第一卷积层72、第二卷积层73、第三卷积层74、自适应平均池化层75和第四卷积层76；第一卷积层72、第二卷积层73、第三卷积层74的通道数依次为1024、256、256，第一卷积层72、第二卷积层73、第三卷积层74的卷积核大小均为3×3；第四卷积层76的通道数为1，卷积核大小为1×1，第四卷积层76作为第一输出层。
其中，第一合并模块71用于将第一特征图和第二特征图进行合并，得到合并后特征图并依次输入第一卷积层72、第二卷积层73、第三卷积层74进行降维操作，第三卷积层74输出的结果又输入自适应平均池化层75进行自适应平均池化，得到的池化结果再输入第四卷积层76，最终得到一维的特征图，该一维的特征图作为损失函数Ladv的输入，从而根据降维结果判断损失函数Ladv损失值是否达到最小值或小于设定阈值。可选的，图2中所示的域分类器网络23的结构可以是本实施例介绍的域分类器网络的结构。
可选的，根据第一特征信息和第二特征信息，分别判定源域图像和目标域图像分别对应的域类别，包括：对N个第一特征图进行第一批量化处理，并基于第一批量化处理的结果判定源域图像对应的域类别；对N个第二特征图进行第二批量化处理，并基于第二批量化处理的结果判定目标域图像对应的域类别。
本实施例中，对N个第一特征图和N个第二特征图分别批量化处理可以理解为对N个第一特征图和N个第二特征图分别求均值或者方差。例如，对300个第一特征图求均值或者方差，以及对30个第二特征图求均值或者方差。
下面举例对均值和方差的计算进行说明：
假设有M个源域图像，每个源域图像的高度为H，宽度为W，M可以取值为每次迭代训练时，输入特征提取网络中的图像数量，源域图像的均值记为μS，方差记为σS，
Figure BDA0002151350520000161
C代表一个源域图像所具有的总通道数，i代表该源域图像的通道的编号，μi和σi代表该M个源域图像在通道i上的均值和方差，具体计算公式分别如公式(4)和公式(5)：
Figure BDA0002151350520000171
Figure BDA0002151350520000172
同样地，基于上述公式也可以计算得到目标域图像的均值μT和方差σT。
本发明实施例通过对所述N个第一特征图进行第一批量化处理，并基于第一批量化处理的结果判定所述源域图像对应的域类别；以及对所述N个第二特征图进行第二批量化处理，并基于第二批量化处理的结果判定所述目标域图像对应的域类别。由于批量化处理结果是对多个特征图进行批量化处理的结果，因此，相较于单个特征图而言能够更加准确地表示图像的特征信息，最终训练得到的检测模型对于目标域图像的检测性能更好。
举例来说，对于域分类器网络而言，输入的如果是特征图的批量化处理结果，例如第一特征图的均值或方差，以及所述第二特征图的均值或方差，则域分类器网络的结构可以为包括依次连接的至少3层卷积层和第二输出层。则首先将第一特征图的均值或方差，以及第二特征图的均值或方差进行合并，得到特征图均值或方差；将特征图均值或方差依次输入至少3层卷积层和第一输出层进行依次降维，得到降维结果；将降维结果作为损失函数Ladv的输入，从而根据降维结果判断损失函数Ladv损失值是否达到最小值或小于设定阈值。
图8为本发明实施例提供的另一种域分类器网络的结构示意图。如图8所示，该域分类器网络包括：第二合并模块81、第五卷积层82、第六卷积层83、第七卷积层84和第八卷积层85；第五卷积层82、第六卷积层83、第七卷积层84和第八卷积层85的通道数依次为1024、256和256；第五卷积层82、第六卷积层83、第七卷积层84的卷积核大小均为1×1；第八卷积层85作为第二输出层，其卷积核大小为1×1，通道数为1。其中，第二合并模块81用于将第一特征图的均值和第二特征图的均值进行合并，得到特征图均值，特征图均值进而依次输入第五卷积层82、第六卷积层83、第七卷积层84和第八卷积层85进行降维操作，最终得到一维的特征图均值，该一维的特征图均值作为损失函数Ladv的输入，以此来衡量对抗损失函数Ladv是否达到最小值或小于设定阈值。同样的，域分类器网络对于第一特征图的方差和第二特征图的方差是与第一特征图的均值和第二特征图的均值同样的处理方法，对于第一特征图的方差和第二特征图的方差的处理，具体可参见第一特征图的均值和第二特征图的均值的处理过程，本发明实施例在此不再赘述。可选的，图2中所示的域分类器网络23的结构可以是本实施例介绍的域分类器网络的结构。
图9为本发明实施例提供的一种图像处理方法的流程示意图，如图9所示，该方法包括如下步骤：
步骤901、获取待检测的图像。
步骤902、基于特征提取网络训练方法得到的特征提取网络对图像进行特征提取。
本实施例中，特征提取网络训练方法可以是上述实施例提供的方法的技术方案。具体可参见前述实施例的介绍，在此不再重复介绍。
步骤903、基于提取的特征对图像进行预定任务的处理，其中，预定任务包括以下至少之一：对象检测、语义分割。
本实施例是对训练好的检测模型的使用过程，需要说明的是，在使用过程中，图2中的域分类器网络23可以不是必须的，使用过程中并不涉及域分类器网络23。
图10为本发明实施例提供的特征提取网络训练装置的结构示意图。本发明实施例提供的特征提取网络训练装置可以执行特征提取网络训练方法实施例提供的处理流程，如图10所示，特征提取网络训练装置100包括：第一获取模块101、第一特征提取模块102、分类模块103和调整模块104；其中，第一获取模块101，用于分别获取源域图像集和目标域图像集，所述目标域图像集包括的目标域图像的数量小于所述源域图像集包括的源域图像的数量；第一特征提取模块102，用于将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息；分类模块103，用于根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别；调整模块104，用于至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数。
可选的，所述源域图像和所述目标域图像分别包括有对象标注信息；所述装置100还包括：检测模块105；其中，检测模块105，用于根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；所述调整模块104，还用于基于所述源域图像和所述目标域图像的对象检测结果和对象标注信息的差异，调整所述特征提取网络的网络参数。
可选的，所述源域图像和所述目标域图像分别包括有对象标注信息；
所述装置100还包括：检测模块105；其中，检测模块105，用于根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；所述调整模块104至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数时，具体用于：基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗以及对象检测结果和对象标注信息的差异，确定联合损失；基于所述联合损失，调整所述特征提取网络的网络参数。
可选的，所述第一特征信息包括第一特征图，所述第二特征信息包括第二特征图；所述特征提取网络包括N个通道，N为大于1的整数；所述第一特征提取模块102在将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息时，具体用于：将所述源域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第一特征图；将所述目标域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第二特征图。
可选的，所述分类模块103根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别时，具体用于：根据所述N个第一特征图判定所述源域图像对应的域类别；根据所述N个第二特征图判定所述目标域图像对应的域类别。
可选的，所述分类模块103根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别时，具体用于：对所述N个第一特征图进行第一批量化处理，并基于第一批量化处理的结果判定所述源域图像对应的域类别；对所述N个第二特征图进行第二批量化处理，并基于第二批量化处理的结果判定所述目标域图像对应的域类别。
可选的，所述源域图像和所述目标域图像的数量比值大于或等于10:1且小于或等于100:1。
图10所示实施例的特征提取网络训练装置可用于执行上述特征提取网络训练方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图11为本发明实施例提供的图像处理装置的结构示意图。本发明实施例提供的图像处理装置可以执行图像处理方法实施例提供的处理流程，如图11所示，图像处理装置110包括：第二获取模块111、第二特征提取模块112和处理模块113；其中，第二获取模块，用于获取待检测的图像；第二特征提取模块112，用于基于采用上述实施例所述的训练方法得到的特征提取网络对所述图像进行特征提取；处理模块，用于基于提取的特征对所述图像进行预定任务的处理，所述预定任务包括以下至少之一：对象检测、语义分割。
图11所示实施例的图像处理装置可用于执行上述图像处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图12为本发明实施例提供的电子设备的结构示意图。本实施例的电子设备可以是特征提取网络训练设备或图像处理设备。本发明实施例提供的电子设备可以执行特征提取网络训练方法和图像处理方法实施例提供的处理流程，如图12所示，电子设备120包括：存储器121、处理器122、计算机程序和通讯接口123；其中，计算机程序存储在存储器121中，并被配置为由处理器122执行以上特征提取网络训练方法或图像处理方法实施例的技术方案。
图12所示实施例的电子设备可用于执行上述特征提取网络训练方法和图像处理方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的特征提取网络训练和图像处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (19)

1.一种特征提取网络训练方法，其特征在于，包括：
获取源域图像集和目标域图像集，所述目标域图像集包括的目标域图像的数量小于所述源域图像集包括的源域图像的数量；
将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息，所述第一特征信息和第二特征信息均包括目标特征信息和域特征信息；
根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别；
至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数。
2.根据权利要求1所述的方法，其特征在于，所述源域图像和所述目标域图像分别包括有对象标注信息；
所述得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息之后，所述方法还包括：
根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；
基于所述源域图像和所述目标域图像的对象检测结果和所述对象标注信息的差异，调整所述特征提取网络的网络参数。
3.根据权利要求1所述的方法，其特征在于，所述源域图像和所述目标域图像分别包括有对象标注信息；
所述得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息之后，所述方法还包括：
根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；
所述至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数，包括：
基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗以及对象检测结果和所述对象标注信息的差异，确定联合损失；
基于所述联合损失，调整所述特征提取网络的网络参数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一特征信息包括第一特征图，所述第二特征信息包括第二特征图；所述特征提取网络包括N个通道，N为大于1的整数；
所述将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息，包括：
将所述源域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第一特征图；
将所述目标域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第二特征图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别，包括：
根据所述N个第一特征图判定所述源域图像对应的域类别；
根据所述N个第二特征图判定所述目标域图像对应的域类别。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别，包括：
对所述N个第一特征图进行第一批量化处理，并基于第一批量化处理的结果判定所述源域图像对应的域类别；
对所述N个第二特征图进行第二批量化处理，并基于第二批量化处理的结果判定所述目标域图像对应的域类别。
7.根据权利要求1所述的方法，其特征在于，所述源域图像和所述目标域图像的数量比值大于或等于10:1且小于或等于100:1。
8.一种图像处理方法，其特征在于，包括：
获取待检测的图像；
基于采用如权利要求1-7中任一项所述的方法得到的特征提取网络对所述图像进行特征提取；
基于提取的特征对所述图像进行预定任务的处理，所述预定任务包括以下至少之一：对象检测、语义分割。
9.一种特征提取网络训练装置，其特征在于，包括：
第一获取模块，用于分别获取源域图像集和目标域图像集，所述目标域图像集包括的目标域图像的数量小于所述源域图像集包括的源域图像的数量；
第一特征提取模块，用于将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息，所述第一特征信息和第二特征信息均包括目标特征信息和域特征信息；
分类模块，用于根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别；
调整模块，用于至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数。
10.根据权利要求9所述的装置，其特征在于，所述源域图像和所述目标域图像分别包括有对象标注信息；
所述装置还包括：
检测模块，用于根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；
所述调整模块，还用于基于所述源域图像和所述目标域图像的对象检测结果和所述对象标注信息的差异，调整所述特征提取网络的网络参数。
11.根据权利要求9所述的装置，其特征在于，所述源域图像和所述目标域图像分别包括有对象标注信息；
所述装置还包括：
检测模块，用于根据所述第一特征信息和所述第二特征信息，对所述源域图像和所述目标域图像分别进行对象检测；
所述调整模块至少基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗，调整所述特征提取网络的网络参数时，具体用于：
基于所述源域图像和所述目标域图像的域类别判定结果和真实域类别之间的对抗以及对象检测结果和所述对象标注信息的差异，确定联合损失；
基于所述联合损失，调整所述特征提取网络的网络参数。
12.根据权利要求9-11任一项所述的装置，其特征在于，所述第一特征信息包括第一特征图，所述第二特征信息包括第二特征图；所述特征提取网络包括N个通道，N为大于1的整数；
所述第一特征提取模块在将所述源域图像和所述目标域图像输入特征提取网络分别进行特征提取，得到所述源域图像的第一特征信息和所述目标域图像的第二特征信息时，具体用于：
将所述源域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第一特征图；
将所述目标域图像输入所述特征提取网络，分别进行N个通道的特征提取，得到N个第二特征图。
13.根据权利要求12所述的装置，其特征在于，所述分类模块根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别时，具体用于：
根据所述N个第一特征图判定所述源域图像对应的域类别；
根据所述N个第二特征图判定所述目标域图像对应的域类别。
14.根据权利要求12所述的装置，其特征在于，所述分类模块根据所述第一特征信息和所述第二特征信息，分别判定所述源域图像和所述目标域图像分别对应的域类别时，具体用于：
对所述N个第一特征图进行第一批量化处理，并基于第一批量化处理的结果判定所述源域图像对应的域类别；
对所述N个第二特征图进行第二批量化处理，并基于第二批量化处理的结果判定所述目标域图像对应的域类别。
15.根据权利要求9所述的装置，其特征在于，所述源域图像和所述目标域图像的数量比值大于或等于10:1且小于或等于100:1。
16.一种图像处理装置，其特征在于，包括：
第二获取模块，用于获取待检测的图像；
第二特征提取模块，用于基于采用如权利要求1-7中任一项所述的方法得到的特征提取网络对所述图像进行特征提取；
处理模块，用于基于提取的特征对所述图像进行预定任务的处理，所述预定任务包括以下至少之一：对象检测、语义分割。
17.一种特征提取网络训练设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7中任一所述的方法。
18.一种图像处理设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求8所述的方法。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法。
CN201910703071.0A 2019-07-31 2019-07-31 特征提取网络训练方法、图像处理方法、装置及其设备 Active CN110399856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910703071.0A CN110399856B (zh) 2019-07-31 2019-07-31 特征提取网络训练方法、图像处理方法、装置及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910703071.0A CN110399856B (zh) 2019-07-31 2019-07-31 特征提取网络训练方法、图像处理方法、装置及其设备

Publications (2)

Publication Number Publication Date
CN110399856A CN110399856A (zh) 2019-11-01
CN110399856B true CN110399856B (zh) 2021-09-14

Family

ID=68327019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910703071.0A Active CN110399856B (zh) 2019-07-31 2019-07-31 特征提取网络训练方法、图像处理方法、装置及其设备

Country Status (1)

Country Link
CN (1) CN110399856B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199256B (zh) * 2020-01-02 2024-03-22 东软医疗系统股份有限公司 图像优化网络的训练方法、图像处理方法及装置
CN113496237A (zh) * 2020-03-20 2021-10-12 商汤集团有限公司 域适应神经网络训练和交通环境图像处理方法及装置
CN111598144B (zh) * 2020-04-27 2023-11-07 腾讯科技（深圳）有限公司 图像识别模型的训练方法和装置
CN111860670B (zh) * 2020-07-28 2022-05-17 平安科技（深圳）有限公司 域自适应模型训练、图像检测方法、装置、设备及介质
CN112016554B (zh) * 2020-08-04 2022-09-02 杰创智能科技股份有限公司 语义分割方法、装置、电子设备与存储介质
CN112016592B (zh) * 2020-08-04 2024-01-26 杰创智能科技股份有限公司 基于交叉领域类别感知的领域适应语义分割方法及装置
CN112215255B (zh) * 2020-09-08 2023-08-18 深圳大学 一种目标检测模型的训练方法、目标检测方法及终端设备
CN112052821B (zh) * 2020-09-15 2023-07-07 浙江智慧视频安防创新中心有限公司 消防通道安全检测方法、装置、设备及存储介质
CN112270208B (zh) * 2020-09-28 2023-07-07 天津大学 一种基于特征子空间分离的交叉数据域微表情分类方法
CN112417293A (zh) * 2020-12-03 2021-02-26 京东数字科技控股股份有限公司 信息推送方法和系统、模型训练方法及相关设备
CN112990120B (zh) * 2021-04-25 2022-09-16 昆明理工大学 一种利用相机风格分离域信息的跨域行人重识别方法
CN113658285A (zh) * 2021-06-28 2021-11-16 华南师范大学 一种人脸照片到艺术素描的生成方法
CN114445670B (zh) * 2022-04-11 2022-07-12 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
WO2018200072A1 (en) * 2017-04-25 2018-11-01 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN109146061A (zh) * 2018-08-09 2019-01-04 北京航空航天大学 神经网络模型的处理方法和装置
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109299716A (zh) * 2018-08-07 2019-02-01 北京市商汤科技开发有限公司 神经网络的训练方法、图像分割方法、装置、设备及介质
WO2019102962A1 (ja) * 2017-11-22 2019-05-31 日本電気株式会社 学習装置、学習方法、及び、記録媒体
CN109948561A (zh) * 2019-03-25 2019-06-28 广东石油化工学院 基于迁移网络的无监督图像视频行人重识别的方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582813B (zh) * 2009-06-26 2011-07-20 西安电子科技大学 基于分布式迁移网络学习的入侵检测系统及其方法
CN101794396B (zh) * 2010-03-25 2012-12-26 西安电子科技大学 基于迁移网络学习的遥感图像目标识别系统及方法
US11443169B2 (en) * 2016-02-19 2022-09-13 International Business Machines Corporation Adaptation of model for recognition processing
CN110226172B (zh) * 2016-12-15 2024-02-02 谷歌有限责任公司 将源域图像变换为目标域图像
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
CN109726654A (zh) * 2018-12-19 2019-05-07 河海大学 一种基于生成对抗网络的步态识别方法
CN109815928B (zh) * 2019-01-31 2021-05-11 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN110070059B (zh) * 2019-04-25 2022-07-29 吉林大学 一种基于域迁移的非结构化道路检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018200072A1 (en) * 2017-04-25 2018-11-01 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
WO2019102962A1 (ja) * 2017-11-22 2019-05-31 日本電気株式会社 学習装置、学習方法、及び、記録媒体
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109299716A (zh) * 2018-08-07 2019-02-01 北京市商汤科技开发有限公司 神经网络的训练方法、图像分割方法、装置、设备及介质
CN109146061A (zh) * 2018-08-09 2019-01-04 北京航空航天大学 神经网络模型的处理方法和装置
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109948561A (zh) * 2019-03-25 2019-06-28 广东石油化工学院 基于迁移网络的无监督图像视频行人重识别的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Unsupervised adaptation with domain separation networks for robust speech recognition;Zhong Meng;《2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)》;20180125;214-221 *
基于域鉴别网络和域自适应的行人重识别;崔鹏;《光电子·激光》;20190630;第30卷(第6期);632-639 *

Also Published As

Publication number Publication date
CN110399856A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110399856B (zh) 特征提取网络训练方法、图像处理方法、装置及其设备
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN110619750B (zh) 面向违停车辆的智能航拍识别方法及系统
US7424175B2 (en) Video segmentation using statistical pixel modeling
WO2007126525A2 (en) Video segmentation using statistical pixel modeling
CN111666805A (zh) 用于自动驾驶的类别标记系统
CN105718872A (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
TWI497449B (zh) 非監督式調適方法與應用其之影像自動分類方法
CN112163545A (zh) 一种头部特征提取方法、装置、电子设备及存储介质
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
Maity et al. Last decade in vehicle detection and classification: a comprehensive survey
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
Mingzhou et al. Detection of highway lane lines and drivable regions based on dynamic image enhancement algorithm under unfavorable vision
Tao et al. A three-stage framework for smoky vehicle detection in traffic surveillance videos
Hautiere et al. Meteorological conditions processing for vision-based traffic monitoring
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
Qin et al. An end-to-end traffic visibility regression algorithm
CN117152513A (zh) 一种面向夜间场景的车辆边界定位方法
CN110796580B (zh) 智能交通系统管理方法及相关产品
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
CN112863194B (zh) 一种图像处理方法、装置、终端及介质
CN114565597A (zh) 一种基于YOLOv3-tiny-DB和迁移学习的夜间道路行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 200232 room 01, 2nd floor, No. 29 and 30, Lane 1775, Qiushan Road, Nicheng Town, Pudong New Area, Shanghai

Patentee after: Shanghai Lingang Jueying Intelligent Technology Co.,Ltd.

Address before: 200232 room 01, 2nd floor, No. 29 and 30, Lane 1775, Qiushan Road, Nicheng Town, Pudong New Area, Shanghai

Patentee before: Shanghai Shangtang Lingang Intelligent Technology Co.,Ltd.