CN111860670A - 域自适应模型训练、图像检测方法、装置、设备及介质 - Google Patents

域自适应模型训练、图像检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111860670A
CN111860670A CN202010737198.7A CN202010737198A CN111860670A CN 111860670 A CN111860670 A CN 111860670A CN 202010737198 A CN202010737198 A CN 202010737198A CN 111860670 A CN111860670 A CN 111860670A
Authority
CN
China
Prior art keywords
image
model
feature
domain
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010737198.7A
Other languages
English (en)
Other versions
CN111860670B (zh
Inventor
周侠
吕彬
高鹏
吕传峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010737198.7A priority Critical patent/CN111860670B/zh
Priority to PCT/CN2020/116742 priority patent/WO2021120752A1/zh
Publication of CN111860670A publication Critical patent/CN111860670A/zh
Application granted granted Critical
Publication of CN111860670B publication Critical patent/CN111860670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能的分类模型领域，提供一种域自适应模型训练、图像检测方法、装置、设备及介质，方法包括：通过获取含有多个图像样本的图像样本集；将图像样本输入含有初始参数且基于Faster‑RCNN的域自适应模型，通过预处理模型对图像样本进行图像转换得到预处理图像样本；通过特征提取模型获取特征向量图；通过区域提取模型得到区域特征向量图；通过局部特征模型得到局部特征对齐损失值；同时通过全局特征模型进行正则化及全局特征识别处理得到特征正则损失值和全局特征对齐损失值；通过检测模型得到检测损失值；获取总损失值；迭代更新初始参数直至收敛，得到训练完成的域自适应模型。本发明实现跨域的图像识别，提高了图像识别的准确性和可靠性。

Description

域自适应模型训练、图像检测方法、装置、设备及介质
技术领域
本发明涉及人工智能的分类模型领域，尤其涉及一种域自适应模型训练、图像检测方法、装置、计算机设备及存储介质。
背景技术
目前深度学习方法已经在人工智能中得到广泛使用，但是，深度学习方法对训练数据分布的依赖性非常强。若采集的训练数据的分布存在差异，将会导致深度学习方法最终训练的模型的检测精确度低。比如，OCT(Optical coherence tomography)病变检测是医学诊断中非常重要的部分。研究人员已经开始基于深度学习通过OCT进行病灶检测，但是，由于不同的OCT采集设备的采集参数和采集方式存在差异，因此，采集的不同设备的数据之间的分布存在差异，将严重影响检测结果，导致检测结果存在偏差，进而使得检测准确率低。
发明内容
本发明提供一种域自适应模型训练、图像检测方法、装置、计算机设备及存储介质，实现了无需对目标域图像进行人工标签，通过对不同域源头的图像数据的分布差异进行自适应对齐，提高了域自适应模型的训练效率，以及引入特征正则损失值，提升了域自适应模型的鲁棒性和准确性，并且通过域自适应模型自动识别出目标域图像的类别，实现了跨域图像检测，提高了识别可靠性，及节省了成本。
一种域自适应模型训练方法，包括：
获取图像样本集；所述图像样本集包括多个图像样本；所述图像样本包括源域图像样本和目标域图像样本；一个所述源域图像样本与一个类别标签及一个域标签关联；一个所述目标域图像样本与一个域标签关联；
将所述图像样本输入含有初始参数且基于Faster-RCNN的域自适应模型，通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本；所述域自适应模型包括所述预处理模型、特征提取模型、区域提取模型、检测模型、全局特征模型和局部特征模型；
通过所述特征提取模型对所述预处理图像进行图像特征提取，获取特征向量图；
通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图；通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部域分类结果，并根据所述局部域分类结果和与所述图像样本对应的域标签，得到局部特征对齐损失值；同时通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局域分类结果，并根据所述全局域分类结果和与所述特征向量图对应的域标签，得到全局特征对齐损失值；
通过所述检测模型对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，得到识别结果，并根据所述识别结果和与所述源域图像样本对应的类别标签得到检测损失值；根据所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值，得到总损失值；
在所述总损失值未达到预设的收敛条件时，迭代更新所述域自适应模型的初始参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述域自适应模型记录为训练完成的域自适应模型。
一种图像检测方法，包括：
接收到图像检测指令，获取待检测目标域图像；
将所述待检测目标域图像输入如上述域自适应模型训练方法训练完成的图像检测模型，通过所述图像检测模型提取所述待检测目标域图像中的图像特征，获取所述图像检测模型根据所述图像特征输出的源域类别结果。
一种域自适应模型训练装置，包括：
获取模块，用于获取图像样本集；所述图像样本集包括多个图像样本；所述图像样本包括源域图像样本和目标域图像样本；一个所述源域图像样本与一个类别标签及一个域标签关联；一个所述目标域图像样本与一个域标签关联；
输入模块，用于将所述图像样本输入含有初始参数且基于Faster-RCNN的域自适应模型，通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本；所述域自适应模型包括所述预处理模型、特征提取模型、区域提取模型、检测模型、全局特征模型和局部特征模型；
提取模块，用于通过所述特征提取模型对所述预处理图像进行图像特征提取，获取特征向量图；
第一损失模块，用于通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图；通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部域分类结果，并根据所述局部域分类结果和与所述图像样本对应的域标签，得到局部特征对齐损失值；同时通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局域分类结果，并根据所述全局域分类结果和与所述特征向量图对应的域标签，得到全局特征对齐损失值；
第二损失模块，用于通过所述检测模型对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，得到识别结果，并根据所述识别结果和与所述源域图像样本对应的类别标签得到检测损失值；根据所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值，得到总损失值；
训练模块，用于在所述总损失值未达到预设的收敛条件时，迭代更新所述域自适应模型的初始参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述域自适应模型记录为训练完成的域自适应模型。
一种图像检测装置，包括：
接收模块，用于接收到图像检测指令，获取待检测目标域图像；
检测模块，用于将所述待检测目标域图像输入如上述域自适应模型训练方法训练完成的图像检测模型，通过所述图像检测模型提取所述待检测目标域图像中的图像特征，获取所述图像检测模型根据所述图像特征输出的源域类别结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述域自适应模型训练方法的步骤，或者所述处理器执行所述计算机程序时实现上述图像检测方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述域自适应模型训练方法的步骤，或者所述计算机程序被处理器执行所述计算机程序时实现上述图像检测方法的步骤。
本发明提供的域自适应模型训练方法、装置、计算机设备及存储介质，通过获取含有多个图像样本的图像样本集；所述图像样本包括源域图像样本和目标域图像样本；将所述图像样本输入含有初始参数且基于Faster-RCNN的域自适应模型，通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本；通过所述特征提取模型对所述预处理图像进行图像特征提取，获取特征向量图；通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图；通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部特征对齐损失值；同时通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局特征对齐损失值；通过所述检测模型对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，得到检测损失值；根据所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值，得到总损失值；在所述总损失值未达到预设的收敛条件时，迭代更新初始参数直至收敛，得到训练完成的域自适应模型，因此，本发明提供了一种域自适应模型训练方法，通过获取源域和目标域的图像样本进行训练，无需对目标域的图像样本进行人工标签，通过全局特征对齐和局部特征对齐的方式对不同域源头的图像数据的分布差异进行自适应，提高了域自适应模型的训练效率，并引入特征正则损失值，提升了域自适应模型的鲁棒性和准确性，如此，实现了通过不同域的图像样本进行训练，并根据含有全局特征对齐损失值、检测损失值、局部特征对齐损失值和特征正则损失值的总损失值，对基于Faster-RCNN的域自适应模型进行收敛，实现了跨域的图像识别，提高了图像识别的准确性和可靠性，节省了人工成本。
本发明提供的图像检测方法、装置、计算机设备及存储介质，接收到图像检测指令，通过获取待检测目标域图像；将所述待检测目标域图像输入如上述域自适应模型训练方法训练完成的图像检测模型，通过所述图像检测模型提取所述待检测目标域图像中的图像特征，获取所述图像检测模型根据所述图像特征输出的源域类别结果，如此，本发明通过域自适应模型自动识别出目标域图像的类别，实现了跨域图像检测，提高了识别可靠性，及节省了成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中域自适应模型训练方法或图像检测方法的应用环境示意图；
图2是本发明一实施例中域自适应模型训练方法的流程图；
图3是本发明一实施例中域自适应模型训练方法的步骤S20的流程图；
图4是本发明一实施例中域自适应模型训练方法的步骤S40的流程图；
图5是本发明另一实施例中域自适应模型训练方法的步骤S40的流程图；
图6是本发明又一实施例中域自适应模型训练方法的步骤S40的流程图；
图7是本发明一实施例中图像检测方法的流程图；
图8是本发明一实施例中域自适应模型训练装置的原理框图；
图9是本发明一实施例中图像检测装置的原理框图；
图10是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的域自适应模型训练方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种域自适应模型训练方法，其技术方案主要包括以下步骤S10-S60：
S10，获取图像样本集；所述图像样本集包括多个图像样本；所述图像样本包括源域图像样本和目标域图像样本；一个所述源域图像样本与一个类别标签及一个域标签关联；一个所述目标域图像样本与一个域标签关联。
可理解地，接收到域自适应模型的训练请求，触发获取用于训练域自适应模型的所述图像样本集，所述图像样本集为收集的所述图像样本的集合，所述图像样本包含有所述源域图像样本和所述目标域图像样本，所述源域图像样本为在一已知领域或者通过一已知设备进行采集且标注有类别标签的图像，所述类别标签表明了所述源域图像样本的类别，比如，在一已知的OCT采集设备上采集了OCT图像样本，并且该OCT图像样本已经标注有该OCT图像样本中含有的区域的类别标签(脉络膜区域、黄斑裂孔区域等等)，一个所述源域图像样本与一个类别标签及一个域标签关联，所述域标签作为所述源域图像样本和所述目标域图像样本的区分标识，所述域标签包括源域标签和目标域标签，比如与标签包含一已知设备对应的型号标签(源域标签)和另一与该已知设备相似的设备对应的型号标签(目标域标签)，所述源域图像样本与所述源域标签关联，所述目标域图像样本与所述目标域标签关联，一个所述目标域图像样本与一个域标签关联，所述目标域图像样本为在一与该已知领域相关的领域或者通过另一与该已知设备相似的设备进行采集且未标注有类别标签的图像。
S20，将所述图像样本输入含有初始参数且基于Faster-RCNN的域自适应模型，通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本；所述域自适应模型包括所述预处理模型、特征提取模型、区域提取模型、检测模型、全局特征模型和局部特征模型。
可理解地，所述域自适应模型为基于Faster-RCNN进行图像目标检测的神经网络模型，所述域自适应模型包含所述初始参数，所述初始参数包括域自适应模型的网络结构和个模型的参数，所述域自适应模型的网络结构包括Faster-RCNN的网络结构，所述预处理模型为对输入的所述图像样本进行图像转换，转换成所述预处理图像样本，所述图像转换为对图像进行尺寸参数和像素增强的图像处理过程，该过程可以根据需求设定，比如图像转换包括对输入的图像进行缩放成预设的尺寸参数的图像，对缩放后的图像进行图像增强，并对转换后的图像样本进行像素增强的操作，所述域自适应模型包括预处理模型、特征提取模型、区域提取模型、检测模型、全局特征模型和局部特征模型。
在一实施例中，如图3所示，所述步骤S20中，即所述通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本，包括：
S201，根据预设的尺寸参数，通过所述预处理模型对所述图像样本进行尺寸匹配，得到匹配图像样本。
可理解地，所述图像样本的尺寸大小根据采集设备的不同而不同，需要通过所述预处理模型对所述图像样本进行图像转换，得到统一格式的图像，所述尺寸参数根据需求设定，所述尺寸参数包括图像的长、宽、通道数，所述通道数为将所述图像样本转换后的通道数量，所述预处理模型根据所述尺寸参数，将所述图像样本转换成所述匹配图像样本，所述尺寸匹配为将所述图像样本进行缩放处理、合并处理或者缩放及合并处理，以达到所述尺寸参数的要求的图像，例如图像样本的尺寸为三个通道的600×800的图像，尺寸参数为(600×600，3)，则经过尺寸匹配处理后得到的匹配图像样本的尺寸为三个通道的600×600的图像。
S202，根据伽马变换算法，通过所述预处理模型对所述匹配图像样本进行去噪及图像增强处理，得到所述预处理图像样本。
可理解地，所述预处理模型对所述匹配图像样本进行减少图像噪声，所述去噪处理可以根据需求设定，比如去噪处理可以为中值滤波去噪、高斯滤波去噪、均值滤波去噪、维纳滤波去噪或者傅里叶滤波去噪等等，通过所述预处理模型对去噪后的所述匹配图像样本进行图像增强处理，最终得到所述预处理图像样本，所述图像增强处理为运用所述伽马变换算法对去噪后的所述匹配图像样本中的每个像素进行增强的处理操作，所述伽马变换算法为对图像进行校正，将图像中灰度过高或者灰度过低的图片进行修正，增强对比度的算法。
S30，通过所述特征提取模型对所述预处理图像进行图像特征提取，得到特征向量图。
可理解地，对所述预处理图像提取所述图像特征，所述图像特征为图像中的颜色特征、纹理特征、形状特征和空间关系特征，所述特征提取模型包括Faster-RCNN的网络结构中的13个卷积层、13个激活层和4个池化层，通过所述预处理图像输入所述特征提取模型，并经过各卷积层、各激活层和各池化层的所述图像特征的提取，得到所述特征向量图，所述特征向量图为多通道(也为多维度)且含有所述图像特征的向量的矩阵。
S40，通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图；通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部域分类结果，并根据所述局部域分类结果和与所述图像样本对应的域标签，得到局部特征对齐损失值；同时通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局域分类结果，并根据所述全局域分类结果和与所述特征向量图对应的域标签，得到全局特征对齐损失值。
可理解地，所述区域提取模型也称区域生成网络(RPN，Region ProposalNetwork)，所述区域提取模型对所述特征向量图进行区域提取和均衡采样处理，所述区域提取为从所述特征向量图中提取出多个候选区域框，所述候选区域框为含有符合预设要求的锚(Anchor)的目标区域(也为感兴趣的目标区域)，所述均衡采样为对所有所述候选区域框映射至所述特征向量图中，并将所述候选区域框映射至所述特征向量图中的区域进行感兴趣区域池化(ROI Pooling)处理，得到相同大小的所述区域特征向量图，所述均衡采样的目的是将不同大小的候选区域框池化成相同大小区域特征向量图。
其中，所述局部特征模型提取所述区域特征向量图中的局部特征，所述局部特征提取处理为提取出局部区域中所隐藏的信息中相同性质的特征，比如边缘的点或线等，得到多个局部特征向量图，再通过所述局部特征模型对所有局部特征向量图进行二分类识别，即通过二分类法识别所述局部特征向量图为源域标签结果还是目标域标签结果，所述局部域分类结果包括局部源域标签结果和局部目标域标签结果，而且所述局部域分类结果还包括识别出与局部源域标签结果对应的概率值和与局部目标域标签结果对应的概率值，根据所述局部域分类结果和与所述局部域分类结果对应的输入的所述图像样本对应的域标签进行计算，得到局部特征对齐损失值，通过所述局部特征对齐损失值进行反向传播，调整所述局部特征模型中的参数，通过所述局部特征对齐损失值不断将源域图像样本中的局部特征和目标域图像样本中的局部特征之间互相对齐，缩小局部特征之间的差异，即通过从源域图像样本的中的局部特征中提取用于对目标域图像样本进行二分类识别且有效的局部特征，从目标域图像样本中的局部特征中提取用于源域图像样本进行二分类识别且有效的局部特征。
其中，所述全局特征模型对所述特征向量图进行正则化处理，并对正则化后的所述特征向量图进行全局特征识别处理，所述全局特征识别处理为对正则化后的所述特征向量图进行全局特征提取，根据提取的所述全局特征对正则化后的所述特征向量图进行分类识别，所述分类识别为二分类法识别，得到所述全局域分类结果，根据正则化后的所述特征向量图，得到特征正则损失值，所述特征正则损失值能够对提取的所述全局特征进行最小化损失处理，防止过拟合，所述全局域分类结果包括全局源域标签结果和全局目标域标签结果，所述全局域分类结果还包括识别出与全局域标签结果对应的概率值和与全局目标域标签结果对应的概率值，根据所述全局域分类结果和与所述特征向量图对应的域标签的差距，得到全局特征对齐损失值，通过所述全局特征对齐损失值进行反向传播，调整所述全局特征模型中的参数，通过所述全局特征对齐损失值不断将源域图像样本中的全局特征和目标域图像样本中的全局特征之间互相对齐，缩小全局特征之间的差异，即通过从源域图像样本的中的全局特征中提取用于对目标域图像样本进行二分类识别且有效的全局特征，从目标域图像样本中的全局特征中提取用于源域图像样本进行分类识别且有效的全局特征，所述全局特征为在正则化后的特征向量图中体现的颜色特征、纹理特征和形状特征等能代表整体物体的相关特征。
在一实施例中，如图4所示，所述步骤S40中，即所述所述通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图，包括：
S401，通过所述区域提取模型中的区域提取网络层对所述特征向量图进行区域提取，得到至少一个候选区域框。
可理解地，所述区域提取模型包括区域提取网络层和感兴趣区域池化层，所述区域提取网络层包括一个3×3的卷积层、一个激活层、两个不同维度参数的1×1的卷积层、一个softmax层和全连接层，所述区域提取为将所述特征向量图通过3×3的卷积层的卷积得到第一特征图，将所述第一特征图分别输入第一1×1的卷积层和第二1×1的卷积层，分别得到不同维度的第二特征图和第三特征图，通过所述softmax层对第二特征图进行锚(Anchor)的生成，通过所述全连接层对所述第三特征图和经过所述softmax层后的所述第二特征图进行分类处理并通过边框回归(bbox regression)进行锁定，最后输出至少一个所述候选区域框。
S402，通过所述区域提取模型中的感兴趣区域池层对所述特征向量图和所有所述候选区域框进行均衡采样处理，得到区域特征向量图。
可理解地，所述感兴趣区域池层也称为ROI pooling，所述感兴趣区域池层将所有所述候选区域框映射到所述特征向量图中的与所述候选区域框中的目标对应的位置，即从所述特征向量图中查询到与所述候选区域框的各向量值相同的区域位置，将映射后的所述特征向量图中与所述候选区域框对应的区域进行预设的固定大小的池化处理，将与各所述候选区域框对应的区域能够池化得到相同大小的所述区域特征向量图，如此，能够得到与各所述候选区域框对应的相同大小的所述区域特征向量图。
本发明实现了通过区域提取网络层对所述特征向量图进行区域提取，得到候选区域框；通过感兴趣区域池层对所述特征向量图和所有所述候选区域框进行均衡采样处理，得到区域特征向量图，如此，实现了通过区域提取网络层和感兴趣区域池层能够从所述特征向量图中自动识别出感兴趣的或有用的区域，并转换成便于后续特征提取的且相同大小的区域特征向量图，提高了识别效率和准确率，避免了不感兴趣或无用的区域对特征提取的干扰。
在一实施例中，如图5所示，所述步骤S40中，即所述通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部域分类结果，并根据所述局部域分类结果和与所述图像样本对应的域标签，得到局部特征对齐损失值，包括：
S403，通过所述局部特征模型中的特征提取器对所述区域特征向量图进行局部特征提取，得到局部特征向量图。
可理解地，所述局部特征模型包括特征提取器、域分类器、梯度反转层和域差异度量器，所述特征提取器为各所述区域特征向量图进行所述局部特征提取，提取方法可以根据需求设定，比如SIFT(Scale Invariant Feature Transform)法、SURF(Speeded UpRobust Features)法、Harris Corner法和LBP(Local Binary Pattern，局部二值模式)法，作为优选，所述局部特征的提取方法为LBP法，因为LBP法具有旋转不变性和灰度不变性的特点，能够更有效的提取所述局部特征，经过所述特征提取器处理后，得到多个所述局部特征向量图。
S404，通过所述局部特征模型中的域分类器对所述局部特征向量图进行二分类识别，得到所述局部域分类结果。
可理解地，所述域分类器的目标是最大化域分类器的损失，混淆目标域图像样本与源域图像样本的域标签识别结果，让与源域图像样本对应的所述局部特征向量图经过所述域分类器的二分类识别输出为局部目标域标签结果，如此能够让所述局部特征相互对齐。
S405，通过所述局部特征模型中的梯度反转层对所述局部域分类结果进行取反对齐，得到反向域标签。
可理解地，所述梯度反转层也称为GRL(Gradient Reversal Layer)层，所述取反对齐为在反向传播过程中梯度方向自动取反，在前向传播过程中不做处理，在进行反向传播计算局部特征对齐损失值之前时，通过所述梯度反转层将所述局部域分类结果自动取反，得到与所述局部域分类结果相反的所述反向域标签。
S406，通过所述局部特征模型中的域差异度量器所述反向域标签和与所述区域特征向量图对应的域标签进行差异对比，得到所述局部特征对齐损失值。
可理解地，所述域差异度量器包含有所述局部特征对齐损失函数，所述差异对比为经过所述局部特征对齐损失函数计算获得的损失值，将所述反向域标签和与所述区域特征向量图对应的域标签输入所述局部特征对齐损失函数，得到所述局部特征对齐损失值，所述局部特征对齐损失值为：
Figure BDA0002605527010000101
其中，n为所述图像样本集中的所述图像样本的总数量；m为与相同的所述图像样本对应的所述区域特征向量图的总数量；Di为在所述图像样本集中的第i个所述图像样本关联的域标签(例如：Di＝0表示源域标签，Di＝1表示目标域标签)；pi,为对与相同的第i个所述图像样本对应的第j个所述区域特征向量图对应的反向域标签。
本发明实现了通过所述局部特征模型中的特征提取器对所述区域特征向量图进行局部特征提取，得到局部特征向量图；通过所述域分类器对所述局部特征向量图进行二分类识别，得到所述局部域分类结果；通过所述梯度反转层对所述局部域分类结果进行取反对齐，得到反向域标签；通过所述域差异度量器中的所述局部特征对齐损失函数，计算所述反向域标签和与所述区域特征向量图对应的域标签的损失，得到所述局部特征对齐损失值，如此，实现了自动对齐源域图像样本的局部特征和目标域图像样本的所述局部特征，能够有效的提取有用的局部特征进行对源域图像样本和目标域图像样本的识别，并通过局部特征对齐损失值体现源域图像样本的局部特征和目标域图像样本的局部特征之间的差距，迭代所述初始参数的过程中不断缩小局部特征对齐损失值，能够提高模型的训练效率，提高了识别准确性和可靠性。
在一实施例中，如图6所示，所述步骤S40中，即所述通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局域分类结果，并根据所述全局域分类结果和与所述特征向量图对应的域标签，得到全局特征对齐损失值，包括：
S407，通过所述全局特征模型中的特征正则模型对所述特征向量图进行正则化处理，得到全局正则特征图，同时通过所述特征正则模型中的正则损失函数计算出所述特征正则损失值。
可理解地，所述特征正则模型对各所述特征向量图进行正则化处理，所述正则化处理为对所述特征向量图中的各像素对应的特征向量进行平方求和然后对整体进行开方的处理操作，最终得到与所述特征向量图一一对应的所述全局正则特征图，如此，能够让各所述特征向量图中的各像素对应的特征向量变成很小，接近于零，缩小了各像素之间差异，防止过拟合，并且通过所述正则损失函数计算出所述特征正则损失值，引入特征正则损失值，提升了域自适应模型的鲁棒性和准确性，所述特征正则损失值为：
Figure BDA0002605527010000111
其中，n为所述图像样本集中的所述图像样本的总数量；Ei为与第i个所述图像样本对应的所述全局正则特征图(0≤i≤n)；R为预设的距离常数。
S408，通过所述全局特征模型对所述全局正则特征图进行全局特征提取处理和分类识别，得到所述全局域分类结果。
可理解地，所述全局特征提取处理为对所述全局正则特征图中的各像素对应的特征向量进行直方图特征提取，根据提取的所述全局特征进行分类识别，所述分类识别为二分类法识别，即识别结果只有两种分类结果，所述全局域分类结果包括全局源域标签结果和全局目标域标签结果，所述全局域分类结果还包括识别出与全局域标签结果对应的概率值和与全局目标域标签结果对应的概率值。
S409，将所述全局域分类结果和与所述特征向量图对应的域标签输入全局损失模型中，通过所述全局损失模型计算出所述全局域分类结果和与所述特征向量图对应的域标签之间的差异，得出所述全局特征对齐损失值。
可理解地，所述全局损失模型包含有全局特征对齐损失函数，通过将所述全局域分类结果和与所述特征向量图对应的域标签输入所述全局特征对齐损失函数，计算得到所述全局特征对齐损失值，通过不断缩小全局特征对齐损失值，让源域图像样本的全局特征和目标域图像样本的全局特征之间的差距，能够提高模型的训练效率，所述全局特征对齐损失值为：
Figure BDA0002605527010000121
其中，n为所述图像样本集中的所述图像样本的总数量；Di为在所述图像样本集中的第i个所述图像样本关联的域标签(例如：Di＝0表示源域标签，Di＝1表示目标域标签)；pi为与第i个所述图像样本对应的所述特征向量图对应的全局域分类结果。
如此，本发明实现了通过对所述特征向量图进行正则化处理、全局特征提取处理和分类识别，得到与所述特征向量图对应的所述全局域分类结果，并得到所述特征正则损失值和所述全局特征对齐损失值，因此，引入特征正则损失值和全局特征对齐损失值，能够提升了域自适应模型的鲁棒性和准确性，并且提高了模型的训练效率。
S50，通过所述检测模型对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，得到识别结果，并根据所述识别结果和与所述源域图像样本对应的类别标签得到检测损失值；根据所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值，得到总损失值。
可理解地，所述检测模型只对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，所述边界回归为定位出与所述源域图像样本对应的区域特征向量图中的目标图像区域，所述目标图像区域为需要对该区域进行图像识别的区域，即所述目标图像区域能够体现出所述源域图像样本的类别特征，所述源域分类识别为对与所述源域图像样本对应的区域特征向量图中的目标图像区域提取所述图像特征，所述图像特征还包括与源域图像样本的类别相关的图像特征，根据提取的该图像特征进行预测识别，识别出所述源域图像样本的类别，提取与源域图像样本的类别相关的图像特征的方法可以根据需求设定，优选为VGG16的神经网络模型的提取方法，从而得到所述识别结果，所述识别结果表征了所述源域图像样本中包含的类别，通过交叉熵算法，计算出所述识别结果和与所述源域图像样本对应的类别标签之间的损失值，即所述检测损失值。
其中，将所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值输入总损失函数中，通过所述总损失函数计算得出所述总损失值；所述中损失值为：
L＝λ1Lglobal+λ2Llocal+λ3Ldetection+λ4Lnorm
其中，λ1为所述全局特征对齐损失值的权重；Lglobal为所述全局特征对齐损失值；λ2为所述局部特征对齐损失值的权重；Llocal为所述局部特征对齐损失值；λ3为所述检测损失值的权重；Ldetection为所述检测损失值；λ4为所述特征正则损失值的权重；Lnorm为所述特征正则损失值。
S60，在所述总损失值未达到预设的收敛条件时，迭代更新所述域自适应模型的初始参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述域自适应模型记录为训练完成的域自适应模型。
可理解地，所述收敛条件可以为所述总损失值经过了50000次计算后值为很小且不会再下降的条件，即在所述总损失值经过50000次计算后值为很小且不会再下降时，停止训练，将收敛之后的所述域自适应模型记录为训练完成的域自适应模型；所述收敛条件也可以为所述总损失值小于设定阈值的条件，即在所述总损失值小于设定阈值时，停止训练，并将收敛之后的所述域自适应模型记录为训练完成的域自适应模型。
如此，在所述总损失值未达到预设的收敛条件时，不断更新迭代所述域自适应模型的初始参数，可以不断靠拢，逐渐减小源域图像样本和目标域图像样本之间的数据分布差异，进而实现在源域图像样本的知识上迁移学习目标域图像样本的知识，利用已有的源域图像样本的知识通过算法来学习目标域图像样本的知识，即找到源域图像样本的知识与目标域图像样本的知识之间的相似性，从而能够实现在源域图像样本的类别基础上对目标域图像样本的识别，并让识别的准确率越来越高。
如此，本发明实现了通过获取含有多个图像样本的图像样本集；所述图像样本包括源域图像样本和目标域图像样本；将所述图像样本输入含有初始参数且基于Faster-RCNN的域自适应模型，通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本；通过所述特征提取模型对所述预处理图像进行图像特征提取，获取特征向量图；通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图；通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部特征对齐损失值；同时通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局特征对齐损失值；通过所述检测模型对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，得到检测损失值；根据所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值，得到总损失值；在所述总损失值未达到预设的收敛条件时，迭代更新初始参数直至收敛，得到训练完成的域自适应模型，因此，本发明提供了一种域自适应模型训练方法，通过获取源域和目标域的图像样本进行训练，无需对目标域的图像样本进行人工标签，通过全局特征对齐和局部特征对齐的方式对不同域源头的图像数据的分布差异进行自适应，提高了域自适应模型的训练效率，并引入特征正则损失值，提升了域自适应模型的鲁棒性和准确性，如此，实现了通过不同域的图像样本进行训练，并根据含有全局特征对齐损失值、检测损失值、局部特征对齐损失值和特征正则损失值的总损失值，对基于Faster-RCNN的域自适应模型进行收敛，实现了跨域的图像识别，提高了图像识别的准确性和可靠性，节省了人工成本。
本发明提供的图像检测方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图7示，提供一种图像检测方法，其技术方案主要包括以下步骤S100-S200：
S100，接收到图像检测指令，获取待检测目标域图像。
可理解地，在与采集所述目标域图像样本相同的设备上采集所述待检测目标域图像，所述待检测目标域图像为需要进行识别的且与采集所述目标域图像样本相同的设备上采集的图像，在对所述待检测目标域图像进行识别时触发所述图像检测指令，所述图像检测指令的触发方式可以根据需求设定，比如采集完所述待检测目标域图像后自动触发，或者在采集完所述待检测目标域图像后通过点击确定按键方式触发，其中，获取所述待检测目标域图像的方式也可以根据需求设定，比如可以通过所述图像检测指令中的存储所述待检测目标域图像的路径进行获取，也可以在还有所述待检测目标域图像的所述图像检测指令中获取等等。
S200，将所述待检测目标域图像输入如上述域自适应模型训练方法训练完成的图像检测模型，通过所述图像检测模型提取所述待检测目标域图像中的图像特征，获取所述图像检测模型根据所述图像特征输出的源域类别结果。
可理解地，只需将所述待检测目标域图像输入训练完成的图像检测模型，通过所述图像检测模型进行所述图像特征的提取，所述图像特征包括所述图像特征为图像中的颜色特征、纹理特征、形状特征和空间关系特征，以及与源域图像样本的类别相关的图像特征，所述图像检测模型为通过上述域自适应模型训练方法进行训练并训练完成，根据提取的所述图像特征输出所述源域类别结果，所述源域类别结果的类别与所述类别标签的全集相同，所述源域类别结果表征了所述待检测目标域图像的类别。
如此，本发明实现了通过获取待检测目标域图像；将所述待检测目标域图像输入如上述域自适应模型训练方法训练完成的图像检测模型，通过所述图像检测模型提取所述待检测目标域图像中的图像特征，获取所述图像检测模型根据所述图像特征输出的源域类别结果，因此，本发明通过域自适应模型自动识别出待检测目标域图像的类别，实现了跨设备或者跨域的图像检测，提高了跨域识别结果的准确性可靠性，及节省了成本。
在一实施例中，提供一种域自适应模型训练装置，该域自适应模型训练装置与上述实施例中域自适应模型训练方法一一对应。如图8所示，该域自适应模型训练装置包括获取模块11、输入模块12、提取模块13、第一损失模块14、第二损失模块15和训练模块16。
各功能模块详细说明如下：
获取模块11，用于获取图像样本集；所述图像样本集包括多个图像样本；所述图像样本包括源域图像样本和目标域图像样本；一个所述源域图像样本与一个类别标签及一个域标签关联；一个所述目标域图像样本与一个域标签关联；
输入模块12，用于将所述图像样本输入含有初始参数且基于Faster-RCNN的域自适应模型，通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本；所述域自适应模型包括所述预处理模型、特征提取模型、区域提取模型、检测模型、全局特征模型和局部特征模型；
提取模块13，用于通过所述特征提取模型对所述预处理图像进行图像特征提取，获取特征向量图；
第一损失模块14，用于通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图；通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部域分类结果，并根据所述局部域分类结果和与所述图像样本对应的域标签，得到局部特征对齐损失值；同时通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局域分类结果，并根据所述全局域分类结果和与所述特征向量图对应的域标签，得到全局特征对齐损失值；
第二损失模块15，用于通过所述检测模型对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，得到识别结果，并根据所述识别结果和与所述源域图像样本对应的类别标签得到检测损失值；根据所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值，得到总损失值；
训练模块16，用于在所述总损失值未达到预设的收敛条件时，迭代更新所述域自适应模型的初始参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述域自适应模型记录为训练完成的域自适应模型。
在一实施例中，所述输入模块12包括：
匹配子模块，用于根据预设的尺寸参数，通过所述预处理模型对所述图像样本进行尺寸匹配，得到匹配图像样本；
转换子模块，用于根据伽马变换算法，通过所述预处理模型对所述匹配图像样本进行去噪及图像增强处理，得到所述预处理图像样本。
在一实施例中，所述第一损失模块14包括：
提取子模块，用于通过所述区域提取模型中的区域提取网络层对所述特征向量图进行区域提取，得到至少一个候选区域框；
池化子模块，用于通过所述区域提取模型中的感兴趣区域池层对所述特征向量图和所有所述候选区域框进行均衡采样处理，得到区域特征向量图。
在一实施例中，所述第一损失模块14还包括：
局部提取子模块，用于通过所述局部特征模型中的特征提取器对所述区域特征向量图进行局部特征提取，得到局部特征向量图；
局部分类子模块，用于通过所述局部特征模型中的域分类器对所述局部特征向量图进行二分类识别，得到所述局部域分类结果；
局部反转子模块，用于通过所述局部特征模型中的梯度反转层对所述局部域分类结果进行取反对齐，得到反向域标签；
局部损失子模块，用于通过所述局部特征模型中的域差异度量器所述反向域标签和与所述区域特征向量图对应的域标签进行差异对比，得到所述局部特征对齐损失值。
在一实施例中，所述第一损失模块14还包括：
全局正则子模块，用于通过所述全局特征模型中的特征正则模型对所述特征向量图进行正则化处理，得到全局正则特征图，同时通过所述特征正则模型中的正则损失函数计算出所述特征正则损失值；
全局分类子模块，用于通过所述全局特征模型对所述全局正则特征图进行全局特征提取处理和分类识别，得到所述全局域分类结果；
全局损失子模块，用于将所述全局域分类结果和与所述特征向量图对应的域标签输入全局损失模型中，通过所述全局损失模型计算出所述全局域分类结果和与所述特征向量图对应的域标签之间的差异，得出所述全局特征对齐损失值。
关于域自适应模型训练装置的具体限定可以参见上文中对于域自适应模型训练方法的限定，在此不再赘述。上述域自适应模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一实施例中，提供一种图像检测装置，该图像检测装置与上述实施例中图像检测方法一一对应。如图9所示，该图像检测装置包括接收模块101和检测模块102。各功能模块详细说明如下：
接收模块101，用于接收到图像检测指令，获取待检测目标域图像；
检测模块102，用于将所述待检测目标域图像输入如权利要求1至5任一项所述域自适应模型训练方法训练完成的图像检测模型，通过所述图像检测模型提取所述待检测目标域图像中的图像特征，获取所述图像检测模型根据所述图像特征输出的源域类别结果。
关于图像检测装置的具体限定可以参见上文中对于图像检测方法的限定，在此不再赘述。上述图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种域自适应模型训练方法，或者图像检测方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中域自适应模型训练方法，或者处理器执行计算机程序时实现上述实施例中图像检测方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中域自适应模型训练方法，或者计算机程序被处理器执行时实现上述实施例中图像检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种域自适应模型训练方法，其特征在于，包括：
获取图像样本集；所述图像样本集包括多个图像样本；所述图像样本包括源域图像样本和目标域图像样本；一个所述源域图像样本与一个类别标签及一个域标签关联；一个所述目标域图像样本与一个域标签关联；
将所述图像样本输入含有初始参数且基于Faster-RCNN的域自适应模型，通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本；所述域自适应模型包括所述预处理模型、特征提取模型、区域提取模型、检测模型、全局特征模型和局部特征模型；
通过所述特征提取模型对所述预处理图像进行图像特征提取，获取特征向量图；
通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图；通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部域分类结果，并根据所述局部域分类结果和与所述图像样本对应的域标签，得到局部特征对齐损失值；同时通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局域分类结果，并根据所述全局域分类结果和与所述特征向量图对应的域标签，得到全局特征对齐损失值；
通过所述检测模型对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，得到识别结果，并根据所述识别结果和与所述源域图像样本对应的类别标签得到检测损失值；根据所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值，得到总损失值；
在所述总损失值未达到预设的收敛条件时，迭代更新所述域自适应模型的初始参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述域自适应模型记录为训练完成的域自适应模型。
2.如权利要求1所述的域自适应模型训练方法，其特征在于，所述通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本，包括：
根据预设的尺寸参数，通过所述预处理模型对所述图像样本进行尺寸匹配，得到匹配图像样本；
根据伽马变换算法，通过所述预处理模型对所述匹配图像样本进行去噪及图像增强处理，得到所述预处理图像样本。
3.如权利要求1所述的域自适应模型训练方法，其特征在于，所述通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图，包括：
通过所述区域提取模型中的区域提取网络层对所述特征向量图进行区域提取，得到至少一个候选区域框；
通过所述区域提取模型中的感兴趣区域池层对所述特征向量图和所有所述候选区域框进行均衡采样处理，得到区域特征向量图。
4.如权利要求1所述的域自适应模型训练方法，其特征在于，所述通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部域分类结果，并根据所述局部域分类结果和与所述图像样本对应的域标签，得到局部特征对齐损失值，包括：
通过所述局部特征模型中的特征提取器对所述区域特征向量图进行局部特征提取，得到局部特征向量图；
通过所述局部特征模型中的域分类器对所述局部特征向量图进行二分类识别，得到所述局部域分类结果；
通过所述局部特征模型中的梯度反转层对所述局部域分类结果进行取反对齐，得到反向域标签；
通过所述局部特征模型中的域差异度量器所述反向域标签和与所述区域特征向量图对应的域标签进行差异对比，得到所述局部特征对齐损失值。
5.如权利要求1所述的域自适应模型训练方法，其特征在于，所述通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局域分类结果，并根据所述全局域分类结果和与所述特征向量图对应的域标签，得到全局特征对齐损失值，包括：
通过所述全局特征模型中的特征正则模型对所述特征向量图进行正则化处理，得到全局正则特征图，同时通过所述特征正则模型中的正则损失函数计算出所述特征正则损失值；
通过所述全局特征模型对所述全局正则特征图进行全局特征提取处理和分类识别，得到所述全局域分类结果；
将所述全局域分类结果和与所述特征向量图对应的域标签输入全局损失模型中，通过所述全局损失模型计算出所述全局域分类结果和与所述特征向量图对应的域标签之间的差异，得出所述全局特征对齐损失值。
6.一种图像检测方法，其特征在于，包括：
接收到图像检测指令，获取待检测目标域图像；
将所述待检测目标域图像输入如权利要求1至5任一项所述域自适应模型训练方法训练完成的图像检测模型，通过所述图像检测模型提取所述待检测目标域图像中的图像特征，获取所述图像检测模型根据所述图像特征输出的源域类别结果。
7.一种域自适应模型训练装置，其特征在于，包括：
获取模块，用于获取图像样本集；所述图像样本集包括多个图像样本；所述图像样本包括源域图像样本和目标域图像样本；一个所述源域图像样本与一个类别标签及一个域标签关联；一个所述目标域图像样本与一个域标签关联；
输入模块，用于将所述图像样本输入含有初始参数且基于Faster-RCNN的域自适应模型，通过预处理模型对所述图像样本进行图像转换，得到预处理图像样本；所述域自适应模型包括所述预处理模型、特征提取模型、区域提取模型、检测模型、全局特征模型和局部特征模型；
提取模块，用于通过所述特征提取模型对所述预处理图像进行图像特征提取，获取特征向量图；
第一损失模块，用于通过所述区域提取模型对所述特征向量图进行区域提取及均衡采样，得到区域特征向量图；通过所述局部特征模型对与所述图像样本对应的区域特征向量图进行局部特征提取处理和二分类识别，得到局部域分类结果，并根据所述局部域分类结果和与所述图像样本对应的域标签，得到局部特征对齐损失值；同时通过所述全局特征模型对所述特征向量图进行正则化及全局特征识别处理，得到特征正则损失值和全局域分类结果，并根据所述全局域分类结果和与所述特征向量图对应的域标签，得到全局特征对齐损失值；
第二损失模块，用于通过所述检测模型对与所述源域图像样本对应的区域特征向量图进行边界回归及源域分类识别，得到识别结果，并根据所述识别结果和与所述源域图像样本对应的类别标签得到检测损失值；根据所述全局特征对齐损失值、所述检测损失值、所述局部特征对齐损失值和所述特征正则损失值，得到总损失值；
训练模块，用于在所述总损失值未达到预设的收敛条件时，迭代更新所述域自适应模型的初始参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述域自适应模型记录为训练完成的域自适应模型。
8.一种图像检测装置，其特征在于，包括：
接收模块，用于接收到图像检测指令，获取待检测目标域图像；
检测模块，用于将所述待检测目标域图像输入如权利要求1至5任一项所述域自适应模型训练方法训练完成的图像检测模型，通过所述图像检测模型提取所述待检测目标域图像中的图像特征，获取所述图像检测模型根据所述图像特征输出的源域类别结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述域自适应模型训练方法，或者所述处理器执行所述计算机程序时实现如权利要求6所述图像检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述域自适应模型训练方法，或者所述处理器执行所述计算机程序时实现如权利要求6所述图像检测方法。
CN202010737198.7A 2020-07-28 2020-07-28 域自适应模型训练、图像检测方法、装置、设备及介质 Active CN111860670B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010737198.7A CN111860670B (zh) 2020-07-28 2020-07-28 域自适应模型训练、图像检测方法、装置、设备及介质
PCT/CN2020/116742 WO2021120752A1 (zh) 2020-07-28 2020-09-22 域自适应模型训练、图像检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010737198.7A CN111860670B (zh) 2020-07-28 2020-07-28 域自适应模型训练、图像检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111860670A true CN111860670A (zh) 2020-10-30
CN111860670B CN111860670B (zh) 2022-05-17

Family

ID=72948336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010737198.7A Active CN111860670B (zh) 2020-07-28 2020-07-28 域自适应模型训练、图像检测方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN111860670B (zh)
WO (1) WO2021120752A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112710632A (zh) * 2021-03-23 2021-04-27 四川京炜交通工程技术有限公司 一种玻璃微珠高低折射率检测方法及系统
CN113033557A (zh) * 2021-04-16 2021-06-25 北京百度网讯科技有限公司 用于训练图像处理模型和检测图像的方法、装置
CN113177525A (zh) * 2021-05-27 2021-07-27 杭州有赞科技有限公司 一种ai电子秤系统和称量方法
CN113222997A (zh) * 2021-03-31 2021-08-06 上海商汤智能科技有限公司 神经网络的生成、图像处理方法、装置、电子设备及介质
CN113269190A (zh) * 2021-07-21 2021-08-17 中国平安人寿保险股份有限公司 基于人工智能的数据分类方法、装置、计算机设备及介质
CN113269278A (zh) * 2021-07-16 2021-08-17 广东众聚人工智能科技有限公司 基于领域翻转的机器人巡航目标识别方法及系统
CN113392886A (zh) * 2021-05-31 2021-09-14 北京达佳互联信息技术有限公司 图片识别模型的获取方法、装置、电子设备及存储介质
CN113469190A (zh) * 2021-06-10 2021-10-01 电子科技大学 基于域适应的单阶段目标检测算法
CN113554013A (zh) * 2021-09-22 2021-10-26 华南理工大学 跨场景识别模型训练方法、跨场景道路识别方法以及装置
CN113591639A (zh) * 2021-07-20 2021-11-02 北京爱笔科技有限公司 对齐框架的训练方法、装置、计算机设备以及存储介质
WO2022111219A1 (zh) * 2020-11-30 2022-06-02 华南理工大学 一种域自适应设备运检系统和方法
CN114821250A (zh) * 2022-03-23 2022-07-29 支付宝(杭州)信息技术有限公司 一种跨域的模型训练方法、装置以及设备
WO2022193628A1 (zh) * 2021-03-15 2022-09-22 华南理工大学 基于无监督迁移图片分类的结肠病变智能识别方法、系统及介质
CN115131590A (zh) * 2022-09-01 2022-09-30 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关设备
CN116028821A (zh) * 2023-03-29 2023-04-28 中电科大数据研究院有限公司 融合领域知识的预训练模型训练方法、数据处理方法
CN117078985A (zh) * 2023-10-17 2023-11-17 之江实验室 一种景象匹配方法、装置、存储介质及电子设备
WO2024104068A1 (zh) * 2022-11-15 2024-05-23 腾讯科技（深圳）有限公司 视频检测方法、装置、设备、存储介质及产品

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392933B (zh) * 2021-07-06 2022-04-15 湖南大学 一种基于不确定性引导的自适应跨域目标检测方法
CN113343989B (zh) * 2021-07-09 2022-09-27 中山大学 一种基于前景选择域自适应的目标检测方法及系统
CN113469092B (zh) * 2021-07-13 2023-09-08 深圳思谋信息科技有限公司 字符识别模型生成方法、装置、计算机设备和存储介质
CN113792576B (zh) * 2021-07-27 2023-07-18 北京邮电大学 基于有监督域适应的人体行为识别方法、电子设备
CN113705685B (zh) * 2021-08-30 2023-08-01 平安科技（深圳）有限公司 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN113807420B (zh) * 2021-09-06 2024-03-19 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统
CN114065852B (zh) * 2021-11-11 2024-04-16 合肥工业大学 基于动态权重的多源联合自适应和内聚性特征提取方法
CN113887538B (zh) * 2021-11-30 2022-03-25 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN114119585B (zh) * 2021-12-01 2022-11-29 昆明理工大学 基于Transformer的关键特征增强胃癌图像识别方法
CN114387207A (zh) * 2021-12-02 2022-04-22 浙江大学 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型
CN114494392A (zh) * 2022-02-14 2022-05-13 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及可读存储介质
CN114694146B (zh) * 2022-03-25 2024-04-02 北京世纪好未来教育科技有限公司 文本识别模型的训练方法、文本识别方法、装置及设备
CN114898111B (zh) * 2022-04-26 2023-04-07 北京百度网讯科技有限公司 预训练模型生成方法和装置、目标检测方法和装置
CN115456917B (zh) * 2022-11-11 2023-02-17 中国石油大学(华东) 有益于目标准确检测的图像增强方法、装置、设备及介质
CN115641584B (zh) * 2022-12-26 2023-04-14 武汉深图智航科技有限公司 一种雾天图像识别方法及装置
CN116883735B (zh) * 2023-07-05 2024-03-08 江南大学 基于公有特征和私有特征的域自适应小麦种子分类方法
CN116894839B (zh) * 2023-09-07 2023-12-05 深圳市谱汇智能科技有限公司 芯片晶圆缺陷检测方法、装置、终端设备以及存储介质
CN117297554A (zh) * 2023-11-16 2023-12-29 哈尔滨海鸿基业科技发展有限公司 一种淋巴成像装置控制系统及方法
CN117372791B (zh) * 2023-12-08 2024-03-22 齐鲁空天信息研究院 细粒度定向能毁伤区域检测方法、装置及存储介质
CN117648576B (zh) * 2024-01-24 2024-04-12 腾讯科技（深圳）有限公司 数据增强模型训练及数据处理方法、装置、设备、介质
CN117830882A (zh) * 2024-03-04 2024-04-05 广东泰一高新技术发展有限公司 基于深度学习的航拍图像识别方法及相关产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170329755A1 (en) * 2016-05-13 2017-11-16 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus and computer device for automatic semantic annotation for an image
US20180268222A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Action recognition system for action recognition in unlabeled videos with domain adversarial learning and knowledge distillation
CN109086437A (zh) * 2018-08-15 2018-12-25 重庆大学 一种融合Faster-RCNN和Wasserstein自编码器的图像检索方法
CN109145766A (zh) * 2018-07-27 2019-01-04 北京旷视科技有限公司 模型训练方法、装置、识别方法、电子设备及存储介质
CN110852368A (zh) * 2019-11-05 2020-02-28 南京邮电大学 全局与局部特征嵌入及图文融合的情感分析方法与系统
CN111368886A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种基于样本筛选的无标注车辆图片分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304936B (zh) * 2017-07-12 2021-11-16 腾讯科技（深圳）有限公司 机器学习模型训练方法和装置、表情图像分类方法和装置
CN109241321A (zh) * 2018-07-19 2019-01-18 杭州电子科技大学 基于深度领域适应的图像和模型联合分析方法
CN110399856B (zh) * 2019-07-31 2021-09-14 上海商汤临港智能科技有限公司 特征提取网络训练方法、图像处理方法、装置及其设备
CN110516671B (zh) * 2019-08-27 2022-06-07 腾讯科技（深圳）有限公司 神经网络模型的训练方法、图像检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170329755A1 (en) * 2016-05-13 2017-11-16 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus and computer device for automatic semantic annotation for an image
US20180268222A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Action recognition system for action recognition in unlabeled videos with domain adversarial learning and knowledge distillation
CN109145766A (zh) * 2018-07-27 2019-01-04 北京旷视科技有限公司 模型训练方法、装置、识别方法、电子设备及存储介质
CN109086437A (zh) * 2018-08-15 2018-12-25 重庆大学 一种融合Faster-RCNN和Wasserstein自编码器的图像检索方法
CN110852368A (zh) * 2019-11-05 2020-02-28 南京邮电大学 全局与局部特征嵌入及图文融合的情感分析方法与系统
CN111368886A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种基于样本筛选的无标注车辆图片分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄俊洁，: "施工场景下工程车检测与车型识别研究", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑(月刊)》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022111219A1 (zh) * 2020-11-30 2022-06-02 华南理工大学 一种域自适应设备运检系统和方法
WO2022193628A1 (zh) * 2021-03-15 2022-09-22 华南理工大学 基于无监督迁移图片分类的结肠病变智能识别方法、系统及介质
CN112710632A (zh) * 2021-03-23 2021-04-27 四川京炜交通工程技术有限公司 一种玻璃微珠高低折射率检测方法及系统
CN113222997A (zh) * 2021-03-31 2021-08-06 上海商汤智能科技有限公司 神经网络的生成、图像处理方法、装置、电子设备及介质
CN113033557A (zh) * 2021-04-16 2021-06-25 北京百度网讯科技有限公司 用于训练图像处理模型和检测图像的方法、装置
CN113177525A (zh) * 2021-05-27 2021-07-27 杭州有赞科技有限公司 一种ai电子秤系统和称量方法
CN113392886A (zh) * 2021-05-31 2021-09-14 北京达佳互联信息技术有限公司 图片识别模型的获取方法、装置、电子设备及存储介质
CN113469190B (zh) * 2021-06-10 2023-09-15 电子科技大学 基于域适应的单阶段目标检测算法
CN113469190A (zh) * 2021-06-10 2021-10-01 电子科技大学 基于域适应的单阶段目标检测算法
CN113269278A (zh) * 2021-07-16 2021-08-17 广东众聚人工智能科技有限公司 基于领域翻转的机器人巡航目标识别方法及系统
CN113591639A (zh) * 2021-07-20 2021-11-02 北京爱笔科技有限公司 对齐框架的训练方法、装置、计算机设备以及存储介质
CN113269190A (zh) * 2021-07-21 2021-08-17 中国平安人寿保险股份有限公司 基于人工智能的数据分类方法、装置、计算机设备及介质
CN113554013A (zh) * 2021-09-22 2021-10-26 华南理工大学 跨场景识别模型训练方法、跨场景道路识别方法以及装置
CN114821250A (zh) * 2022-03-23 2022-07-29 支付宝(杭州)信息技术有限公司 一种跨域的模型训练方法、装置以及设备
CN115131590A (zh) * 2022-09-01 2022-09-30 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关设备
WO2024104068A1 (zh) * 2022-11-15 2024-05-23 腾讯科技（深圳）有限公司 视频检测方法、装置、设备、存储介质及产品
CN116028821A (zh) * 2023-03-29 2023-04-28 中电科大数据研究院有限公司 融合领域知识的预训练模型训练方法、数据处理方法
CN116028821B (zh) * 2023-03-29 2023-06-13 中电科大数据研究院有限公司 融合领域知识的预训练模型训练方法、数据处理方法
CN117078985A (zh) * 2023-10-17 2023-11-17 之江实验室 一种景象匹配方法、装置、存储介质及电子设备
CN117078985B (zh) * 2023-10-17 2024-01-30 之江实验室 一种景象匹配方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111860670B (zh) 2022-05-17
WO2021120752A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
Li et al. SAR image change detection using PCANet guided by saliency detection
CN109271870B (zh) 行人重识别方法、装置、计算机设备及存储介质
US9141871B2 (en) Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space
CN110569721A (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
Jiang et al. Robust feature matching for remote sensing image registration via linear adaptive filtering
CN111080628A (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
Abdelsamea et al. A SOM-based Chan–Vese model for unsupervised image segmentation
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
Zhang et al. Polygon structure-guided hyperspectral image classification with single sample for strong geometric characteristics scenes
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
CN112668462A (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN110363103B (zh) 虫害识别方法、装置、计算机设备及存储介质
Zarbakhsh et al. Low-rank sparse coding and region of interest pooling for dynamic 3D facial expression recognition
Yang et al. Non-rigid point set registration via global and local constraints
Banharnsakun Feature point matching based on ABC-NCC algorithm
Ge et al. Active appearance models using statistical characteristics of gabor based texture representation
CN111488811A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN113591607B (zh) 一种车站智能疫情防控系统及方法
CN111462059B (zh) 胎儿超声图像智能目标检测的并行处理方法和装置
CN111768436B (zh) 一种基于Faster-RCNN改进的图像特征块配准方法
Gan et al. Automated Classification System for Tick-Bite Defect on Leather.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant