CN113326832B - 模型训练、图像处理方法、电子设备及存储介质 - Google Patents

模型训练、图像处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113326832B
CN113326832B CN202110888790.1A CN202110888790A CN113326832B CN 113326832 B CN113326832 B CN 113326832B CN 202110888790 A CN202110888790 A CN 202110888790A CN 113326832 B CN113326832 B CN 113326832B
Authority
CN
China
Prior art keywords
features
scene
triple
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110888790.1A
Other languages
English (en)
Other versions
CN113326832A (zh
Inventor
魏梦
陈智超
范阿龙
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110888790.1A priority Critical patent/CN113326832B/zh
Publication of CN113326832A publication Critical patent/CN113326832A/zh
Application granted granted Critical
Publication of CN113326832B publication Critical patent/CN113326832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及图像处理领域，公开了一种模型训练、图像处理方法、电子设备及存储介质。模型训练方法包括：通过获取新场景下的三元组图像样本；将三元组图像样本输入至跨场景下的图像处理模型中，获得第一损失值；将三元组图像样本输入至旧场景下的图像处理模型中，获得第二损失值；其中，用于获得第二损失值的部分三元组特征为用于获得第一损失值的三元组特征中对应元的特征；跨场景下的图像处理模型与旧场景下的图像处理模型的结构相同；基于第一损失值和第二损失值对跨场景下的图像处理模型中的参数进行调整，获得训练完成的跨场景下的图像处理模型，该模型能够兼顾新旧场景中图像处理的准确性，不明显增加模型处理和模型训练的复杂度。

Description

模型训练、图像处理方法、电子设备及存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种模型训练、图像处理方法、电子设备及存储介质。
背景技术
当前人脸识别技术的应用中通常需要对不同场景下的人脸进行识别。比如门禁上的人脸识别系统需要将背光、逆光、侧光条件下拍摄的人脸与注册时拍摄的人脸进行比对识别。当人脸识别系统处于新的应用场景下，获取的人脸风格较之前存在较大差异时，会导致识别准确率的下降。因此，对于跨场景应用下的人脸识别系统应该具备可快速迭代适应新场景下的识别，同时不降低其在旧场景下识别准确率的能力。
跨场景人脸识别通常有以下几类方法：一是将新场景下的数据与旧场景下的数据混合起来重新训练，此类方法不改变模型性能但大规模数据重新训练耗时较长，迭代更新速度慢；二是对于新场景下的数据用一个新的模型进行训练后，将新模型与旧模型联合使用，此类方法对于新场景下的识别准确率更高，但新增加的模型会影响系统的性能即增加识别时间，降低用户体验；三是在旧模型上新增加一个分支用于新场景下的识别，此类方法对模型性能影响较小但会影响模型在旧场景下的识别准确率。
发明内容
本发明实施方式的目的在于提供一种模型训练、图像处理方法、电子设备及存储介质，能够保证训练出的模型兼顾新旧场景中图像处理的准确性，同时不明显增加模型处理和模型训练的复杂度。
为解决上述技术问题，本发明的实施方式提供了一种模型训练方法，包括：
获取新场景下的三元组图像样本；
将所述三元组图像样本输入至跨场景下的图像处理模型中，获得第一损失值；
将所述三元组图像样本输入至旧场景下的图像处理模型中，获得第二损失值；其中，用于获得所述第二损失值的部分三元组特征被替换为用于获得所述第一损失值的三元组特征中对应元的特征；所述跨场景下的图像处理模型与所述旧场景下的图像处理模型的结构相同；
基于所述第一损失值和所述第二损失值对所述跨场景下的图像处理模型中的参数进行调整，直至所述图像处理模型满足收敛条件，获得训练完成的所述跨场景下的图像处理模型。
本发明的实施方式还提供了一种图像处理方法，包括：采用如上所述的模型训练方法训练形成的跨场景下的图像处理模型对输入的跨场景图像进行识别处理，得到图像特征数据；
将所述图像特征数据与预设的图像特征库中的图像特征数据进行比对，获得识别结果。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的模型训练方法，或者所述的图像处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的模型训练方法，或者所述的图像处理方法。
本发明实施方式相对于现有技术而言，通过获取新场景下的三元组图像样本；将三元组图像样本输入至跨场景下的图像处理模型中，获得第一损失值；将三元组图像样本输入至旧场景下的图像处理模型中，获得第二损失值；其中，用于获得第二损失值的部分三元组特征为用于获得第一损失值的三元组特征中对应元的特征；跨场景下的图像处理模型与旧场景下的图像处理模型的结构相同；基于第一损失值和第二损失值对跨场景下的图像处理模型中的参数进行调整，直至图像处理模型满足收敛条件，获得训练完成的跨场景下的图像处理模型。本方案在图像处理模型已经具备旧场景的图像处理功能的情况下，将该图像处理模型应用到新的场景中时，采用与旧场景下的模型结构相同的图像处理模型通过使用新场景的样本数据进行跨场景下图像处理模型参数的调整，该过程不增加模型的参数容量和耗时，确保了图像处理模型性能。并且，在进行跨场景下图像处理模型参数调整时，同时采用了新场景下的三元组特征计算的第一损失值，以及由新旧场景下的三元组特征部分混合形成的三元组特征计算的第二损失值，对跨场景下的图像处理模型中的参数进行调整，拉近了同一目标的图像在旧模型和新模型上目标特征的距离，使最终得到的新模型（跨场景下的图像处理模型）既能识别旧场景下的目标图像又能识别新场景下的目标图像。同时，由于本方案中避免了分类损失函数固定的类别数，直接从特征空间训练学习，更有助于模型的快速收敛。
附图说明
图1是根据本发明实施方式的模型训练方法的具体流程图一；
图2是根据本发明实施方式的模型训练方法的具体流程图二；
图3是根据本发明实施方式的图像处理方法的具体流程图；
图4是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种模型训练方法，如图1所示，本实施例提供的模型训练方法，包括如下步骤。
步骤101：获取新场景下的三元组图像样本。
其中，三元组图像样本中包括3个图像样本，其中包括锚点图像样本（Anchor）、正图像样本（Positive）和负图像样本（Negative）。随机选取的锚点图像样本，与锚点图像样本属于相同类型的正图像样本，与锚点图像样本属于不同类型的负图像样本。
具体地，本实施例中的新场景是相对于旧场景而言的不同应用场景。例如，旧场景为室外的人脸识别场景，新场景可以为室内的人脸识别场景等。在已形成旧场景下的图像处理模型的基础上，在实现将该图像处理模型应用到新的场景中，即训练跨越新旧场景的图像处理模型时，仅需要采集新场景下的三元组图像样本进行训练即可。
在一个例子中，以三元组图像样本为三元组人脸图像样本为例，本步骤可具体包括如下步骤。
步骤1：对新场景下采集的人脸图像进行检测，获取人脸区域内的关键点。
具体地，采集新场景下的人脸图像，利用人脸检测算法检测人脸图像上的人脸区域和位于人脸区域内的多个关键点。这些关键点可包括但不局限于左眼、右眼、鼻尖、左嘴角、右嘴角五个位置的关键点。
步骤2：将检测的人脸区域内的关键点与人脸模板中的关键点进行对齐，得到人脸大头照，并将人脸大头照作为三元组人脸图像样本中的人脸图像。
具体地，针对检测出的人脸区域，对人脸区域内检测的关键点与人脸模板中的关键点的位置进行对齐，得到固定尺寸的人脸大头照。将人脸大头照作为后续训练跨场景下的图像处理模型的输入图像，即基于人脸大头照构建三元组人脸图像样本。
步骤102：将三元组图像样本输入至跨场景下的图像处理模型中，获得第一损失值。
其中，图像处理模型可以是指图像识别模型。
具体地，将三元组图像样本输入至跨场景下的图像处理模型（待训练模型）中，通过图像处理模型获得该三元组图像样本对应的损失值。损失值是通过欧几里得距离实现。
例如，损失值L可表示为：
L=max(d(a,p) - d(a,n)+margin,0)……………………（1）
其中，d()表示距离，a、p、n依次表示为锚点图像样本，正图像样本，负图像样本经图像处理模型处理后输出的特征（该特征可用向量表示），margin是一个常数。
为了将该损失值与其他损失值进行区分，本实施例中将根据跨场景下的图像处理模型输出的三元组特征所计算得到的损失值称为第一损失值。
以三元组图像样本包括锚点图像样本、正图像样本和负图像样本为例，相应的三元组特征包括锚点特征、正特征和负特征。
步骤103：将三元组图像样本输入至旧场景下的图像处理模型中，获得第二损失值；其中，用于获得第二损失值的部分三元组特征为用于获得第一损失值的三元组特征中对应元的特征；跨场景下的图像处理模型与旧场景下的图像处理模型的结构相同。
其中，图像处理模型可以采用卷积神经网络作为模型结构，包括但不限于视觉几何组网络（Visual Geometry GroupNetwork，VGG-Net），残差网络(Residual Network，ResNet)，密集卷积网络（Dense Convolutional Network，DenseNet）等。
具体地，本实施例在将新场景下的三元组图像样本输入至跨场景下的图像处理模型中的同时，将该三元组图像样本也输入至旧场景下的图像处理模型中。本实施例中跨场景下的图像处理模型与旧场景下的图像处理模型在模型结构上是一样的，区别仅在于旧场景下的图像处理模型是已经完成参数训练的固化模型，而跨场景下的图像处理模型是待进行参数训练的模型。跨场景模型和旧场景模型采用同一模型结构的原因主要是为了保证模型性能，即不增加运行时间。此外，在模型结构不变的情况下可以拿旧场景模型作为跨场景模型的初始值，从而使跨场景模型在旧场景模型的基础上进行学习。正常情况下，在将三元组图像样本输入至旧场景下的图像处理模型中后，可以输出相应的三元组特征，并基于该三元组特征生成旧场景下的图像处理模型的损失值。本实施例中，将根据旧景下的图像处理模型输出的三元组特征所计算得到的损失值称为第二损失值。但是，由于该第二损失值全部基于旧场景下的图像处理模型输出的三元组特征进行计算，故不能体现与跨场景下的图像处理模型输出的三元组特征的关联性，因此，使得最终训练完成的跨场景下的图像处理模型仍无法拉近同一目标的图像在新旧场景下的目标图像特征之间的距离，从而无法兼顾新旧场景下图像处理的准确性。
为解决这一问题，本实施例提出了一种混合三元组的概念来计算旧场景下的图像处理模型的损失值。具体操作为，针对同一组三元组图像样本计算得到的损失值，将用于获得第二损失值的部分三元组特征替换为用于获得第一损失值的三元组特征中对应元的特征，从而使得通过对第二损失值的收敛条件来体现旧场景下的图像处理模型输出的图像特征与新场景下的图像处理模型的图像特征之间的关联性和约束性。
本实施例中，对获得第二损失值的三元组特征中被替换的部分三元组特征的特征数量和种类不做限定。例如可以将旧场景下图像处理模型输出的三元组特征中的锚点特征、正特征和负特征中的一种或者两种特征对应替换为跨场景下图像处理模型输出的三元组特征中的锚点特征、正特征和负特征。
步骤104：基于第一损失值和第二损失值对跨场景下的图像处理模型中的参数进行调整，直至图像处理模型满足收敛条件，获得训练完成的跨场景下的图像处理模型。
其中，收敛条件具体可以是训练次数达到预设次数、评估参数达到预设评估值等不限于此。
具体地，本步骤中，跨场景下的图像处理模型的训练阶段将旧场景下的图像处理模型作为特征提取器，与跨场景下的图像处理模型输出的图像特征进行组合训练，训练时旧场景下的图像处理模型参数固定不变，跨场景下的图像处理模型根据损失梯度反向传播更新参数。基于第一损失值和第二损失值对跨场景下的图像处理模型中的参数进行调整，直至图像处理模型满足收敛条件时，获得训练完成的图像处理模型，即跨场景下的图像处理模型。
与相关技术相比，本实施例通过获取新场景下的三元组图像样本；将三元组图像样本输入至跨场景下的图像处理模型中，获得第一损失值；将三元组图像样本输入至旧场景下的图像处理模型中，获得第二损失值；其中，用于获得第二损失值的部分三元组特征为用于获得第一损失值的三元组特征中对应元的特征；跨场景下的图像处理模型与旧场景下的图像处理模型的结构相同；基于第一损失值和第二损失值对跨场景下的图像处理模型中的参数进行调整，直至图像处理模型满足收敛条件，获得训练完成的跨场景下的图像处理模型。本方案在图像处理模型已经具备旧场景的图像处理功能的情况下，将该图像处理模型应用到新的场景中时，采用与旧场景下的模型结构相同的图像处理模型通过使用新场景的样本数据进行跨场景下图像处理模型参数的调整，该过程不增加模型的参数容量和耗时，确保了图像处理模型性能。并且，在进行跨场景下图像处理模型参数调整时，同时采用了新场景下的三元组特征计算的第一损失值，以及由新旧场景下的三元组特征部分混合形成的三元组特征计算的第二损失值，对跨场景下的图像处理模型中的参数进行调整，拉近了同一目标的图像在旧模型和新模型上目标特征的距离，使最终得到的新模型（跨场景下的图像处理模型）既能识别旧场景下的目标图像又能识别新场景下的目标图像。同时，由于本方案中避免了分类损失函数固定的类别数，直接从特征空间训练学习，更有助于模型的快速收敛。
本发明的另一实施方式涉及一种模型训练方法。在本实施方式中，通过构建混合三元组特征，拉近同一目标的图像在新旧场景下的两个图像特征之间的距离，保证最终跨场景下的图像处理模型能够兼顾新旧场景下的图像处理效果。相应的，如图2所示，上述步骤102可具体包括如下子步骤。
子步骤1021：将三元组图像样本输入至跨场景下的图像处理模型中，输出第一三元组特征。
具体地，在将三元组图像样本输入至跨场景下的图像处理模型中后，可以输出相应的三元组图像样本对应的三元组特征。例如，当三元组图像样本包括锚点图像样本、正图像样本和负图像样本时，相应的三元组特征可以为锚点特征、正特征和负特征。为了将该三元组特征与其他三元组特征进行区分，本实施例中将根据跨场景下的图像处理模型输出的三元组特征称为第一三元组特征。
子步骤1022：对第一三元组特征采用预设损失函数进行计算，获得第一损失值。
其中，该预设损失函数可以但不局限于如公式（1）所示的函数。通过该预设损失函数可以利用三元组间的距离计算相似度损失。
在此基础上，如图2中所示，步骤103可具体包括如下子步骤。
子步骤1031：将三元组图像样本输入至旧场景下的图像处理模型中，输出第二三元组特征。
具体地，在将三元组图像样本输入至旧场景下的图像处理模型中后，可以输出相应的三元组图像样本对应的三元组特征。例如，当三元组图像样本包括锚点图像样本、正图像样本和负图像样本时，相应的三元组特征可以为锚点特征、正特征和负特征。为了将该三元组特征与其他三元组特征进行区分，本实施例中将根据旧场景下的图像处理模型输出的三元组特征称为第二三元组特征。
子步骤1032：分别提取第一三元组特征和第二三元组特征中的部分元的特征进行组合，形成混合三元组特征。
在正常模型训练时，将新场景下的三元组图像样本输入同一个训练模型，即三张图像共享跨场景下的图像处理模型参数，分别得到对应的图像特征（通常为向量形式），形成第一三元组特征，然后按照公式（1）计算第一三元组特征的第一损失值。本实施例在第一三元组特征的基础上，将第一三元组特征中的部分特征与第二三元组特征中的部分元的特征进行组合，形成混合三元组特征。这样，该混合三元组特征中的原部分第一三元组特征基于跨场景下的图像处理模型可以建立其与新场景下的剩余元的特征之间的关联；同时该原部分第一三元组特征基于旧场景下的图像处理模型可以建立其与旧场景下的剩余元的特征之间的关联。如此通过该原部分第一三元组特征可以同时将新旧场景下的图像特征进行关联。
在一个例子中，上述分别提取第一三元组特征和第二三元组特征中的部分元的特征进行组合，形成混合三元组特征可包括：提取第一三元组特征中的锚点特征，以及第二三元组特征中的正特征和负特征进行组合，形成混合三元组特征。
具体地，在得到第一三元组特征后，可以对其中的每个锚点特征对应设置一组混合三元组特征，该混合三元组特征中的锚点特征基于跨场景下的图像处理模型建立其与第一三元组特征中的正特征和负特征之间的关联。同时该混合三元组特征中的锚点特征基于旧场景下的图像处理模型建立其与第二三元组特征中的正特征和负特征之间的关联。
在另一个例子中，上述分别提取第一三元组特征和第二三元组特征中的部分元的特征进行组合，形成混合三元组特征还可包括：提取第一三元组特征中的正特征和负特征，以及第二三元组特征中的锚点特征进行组合，形成混合三元组特征。
具体地，在得到第二三元组特征后，可以对其中的每个锚点特征对应设置一组混合三元组特征，该混合三元组特征中的锚点特征基于旧场景下的图像处理模型建立其与第二三元组特征中的正特征和负特征之间的关联。同时该混合三元组特征中的锚点特征基于跨场景下的图像处理模型建立其与第一三元组特征中的正特征和负特征之间的关联。
总之，通过建立混合三元组特征，可以实现同一图像样本（三元组中任一图像样本）在新旧场景下与其余图像样本之间的关联，以为后续通过上述两个损失值调整跨场景下的图像处理模型中的参数铺设基础。
在此基础上，根据混合三元组特征中所包含的具体特征的不同，训练时每一次迭代至少包含一种该混合三元组特征。
子步骤1033：对混合三元组特征采用预设损失函数进行计算，获得第二损失值。
其中，该预设损失函数可以但不局限于如公式（1）所示的函数。通过该预设损失函数可以利用三元组间的距离计算相似度损失。
利用新场景下的三元组特征和混合三元组特征分别计算损失值后，通过反向传播更新跨场景下的图像处理模型参数。采用上述模型训练方法，对于每个锚点图像样本，即可以拉近新场景下的类内距离又对新场景下的图像特征和旧场景下的图像特征的类内距离作了约束，从而达到增量学习的目标，实现学习新场景下图像处理的同时保留对旧场景图像处理的能力。
与相关技术比较，本实施例利用增量学习思想改进新场景下图像处理模型训练的Triplet三元组特征组合策略，实现跨场景下的图像处理模型。在跨场景下的图像处理模块的训练阶段只使用新场景下的三元组图像样本，提升了模型适应新场景时迭代更新的速度，同时在不改变模型性能的基础上既提升了对新场景图像处理的准确率，又保证了在旧场景下的图像处理能力。
本发明的另一实施方式涉及一种图像处理方法，如图3所示，该图像处理方法包括如下步骤。
步骤201：采用模型训练方法训练形成的跨场景下的图像处理模型对输入的跨场景图像进行识别处理，得到图像特征数据。
其中，该模型训练方法可以为上述图1至图2中任一所示的方法。基于这些方法得到的跨场景下的图像处理模型对输入的跨场景图像进行识别处理，得到图像特征数据。其中，输入的跨场景图像可以对应为前述中的锚点图像。
其中，图像处理模型具体可以是指图像识别模型。
步骤202：将图像特征数据与预设的图像特征库中的图像特征数据进行比对，获得处理结果。
其中，该图像特征库中预存的图像类似于测试集库中的图像，将经图像识别模型处理输出的图像特征数据与预设的图像特征库中的图像特征数据进行比对，可以获得相应的处理结果。例如该处理结果可以是图像识别结果。
与相关技术相比，本实施例通过上述模型训练方法得到的跨场景下的图像处理模型对输入的跨场景图像具有较好的图像处理性能，该性能体现在可以同时兼顾处理新场景下的图像以及旧场景下的图像，且均保持良好的处理效果。
本发明的另一实施方式涉及一种电子设备，如图4所示，包括至少一个处理器302；以及，与至少一个处理器302通信连接的存储器301；其中，存储器301存储有可被至少一个处理器302执行的指令，指令被至少一个处理器302执行，以使至少一个处理器302能够执行上述任一方法实施例。
其中，存储器301和处理器302采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器302。
处理器302负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种模型训练方法，其特征在于，包括：
获取新场景下的三元组图像样本；
将所述三元组图像样本输入至跨场景下的图像处理模型中，获得第一损失值；
将所述三元组图像样本输入至旧场景下的图像处理模型中，获得第二损失值；其中，用于获得所述第二损失值的部分三元组特征被替换为用于获得所述第一损失值的三元组特征中对应元的特征；所述跨场景下的图像处理模型与所述旧场景下的图像处理模型的结构相同；
基于所述第一损失值和所述第二损失值对所述跨场景下的图像处理模型中的参数进行调整，直至所述图像处理模型满足收敛条件，获得训练完成的所述跨场景下的图像处理模型；
所述将所述三元组图像样本输入至跨场景下的图像处理模型中，获得第一损失值包括：
将所述三元组图像样本输入至跨场景下的图像处理模型中，输出第一三元组特征；
对所述第一三元组特征采用预设损失函数进行计算，获得所述第一损失值；
所述将所述三元组图像样本输入至旧场景下的图像处理模型中，获得第二损失值，包括：
将所述三元组图像样本输入至旧场景下的图像处理模型中，输出第二三元组特征；
分别提取所述第一三元组特征和所述第二三元组特征中的部分元的特征进行组合，形成混合三元组特征；
对所述混合三元组特征采用预设损失函数进行计算，获得所述第二损失值。
2.根据权利要求1所述的方法，其特征在于，所述三元组图像样本包括锚点图像样本、正图像样本和负图像样本；所述三元组特征包括锚点特征、正特征和负特征。
3.根据权利要求2所述的方法，其特征在于，所述分别提取所述第一三元组特征和所述第二三元组特征中的部分元的特征进行组合，形成混合三元组特征包括：
提取所述第一三元组特征中的锚点特征，以及所述第二三元组特征中的正特征和负特征进行组合，形成所述混合三元组特征。
4.根据权利要求2所述的方法，其特征在于，所述分别提取所述第一三元组特征和所述第二三元组特征中的部分元的特征进行组合，形成混合三元组特征包括：
提取所述第一三元组特征中的正特征和负特征，以及所述第二三元组特征中的锚点特征进行组合，形成所述混合三元组特征。
5.根据权利要求1-4中任一项所述的方法，其特征在于，训练时每一次迭代至少包含一种所述混合三元组特征。
6.根据权利要求1所述的方法，其特征在于，所述三元组图像样本为三元组人脸图像样本，所述获取新场景下的三元组图像样本，包括：
对所述新场景下采集的人脸图像进行检测，获取人脸区域内的关键点；
将检测的人脸区域内的关键点与人脸模板中的关键点进行对齐，得到人脸大头照，并将所述人脸大头照作为所述三元组人脸图像样本中的人脸图像。
7.一种图像处理方法，其特征在于，包括：
采用权利要求1-6中任一项所述的模型训练方法训练形成的跨场景下的图像处理模型对输入的跨场景图像进行识别处理，得到图像特征数据；
将所述图像特征数据与预设的图像特征库中的图像特征数据进行比对，获得处理结果。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的模型训练方法，或者如权利要求7中所述的图像处理方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的模型训练方法，或者如权利要求7中所述的图像处理方法。
CN202110888790.1A 2021-08-04 2021-08-04 模型训练、图像处理方法、电子设备及存储介质 Active CN113326832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110888790.1A CN113326832B (zh) 2021-08-04 2021-08-04 模型训练、图像处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110888790.1A CN113326832B (zh) 2021-08-04 2021-08-04 模型训练、图像处理方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113326832A CN113326832A (zh) 2021-08-31
CN113326832B true CN113326832B (zh) 2021-12-17

Family

ID=77426939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110888790.1A Active CN113326832B (zh) 2021-08-04 2021-08-04 模型训练、图像处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113326832B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850243A (zh) * 2021-11-29 2021-12-28 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN112016531A (zh) * 2020-10-22 2020-12-01 成都睿沿科技有限公司 模型训练方法、对象识别方法、装置、设备及存储介质
CN113065593A (zh) * 2021-04-01 2021-07-02 深圳大学 模型训练方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902665A (zh) * 2019-03-28 2019-06-18 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN112016531A (zh) * 2020-10-22 2020-12-01 成都睿沿科技有限公司 模型训练方法、对象识别方法、装置、设备及存储介质
CN113065593A (zh) * 2021-04-01 2021-07-02 深圳大学 模型训练方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113326832A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN111950656B (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN107992807B (zh) 一种基于cnn模型的人脸识别方法及装置
CN113361710B (zh) 学生模型训练方法、图片处理方法、装置及电子设备
CN111784699B (zh) 一种对三维点云数据进行目标分割方法、装置及终端设备
CN110647916A (zh) 基于卷积神经网络的色情图片识别方法及装置
CN113326832B (zh) 模型训练、图像处理方法、电子设备及存储介质
CN113850243A (zh) 模型训练、人脸识别方法、电子设备及存储介质
CN109034279B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN107564013B (zh) 融合局部信息的场景分割修正方法与系统
CN111275128B (zh) 图像识别模型训练方法及系统和图像识别方法
CN112990009A (zh) 基于端到端的车道线检测方法、装置、设备及存储介质
CN112597979A (zh) 一种实时更新余弦夹角损失函数参数的人脸识别方法
CN115795355A (zh) 一种分类模型训练方法、装置及设备
CN111680631B (zh) 模型训练方法及装置
CN110533158B (zh) 模型建构方法、系统及非易失性电脑可读取记录介质
CN111368792B (zh) 特征点标注模型训练方法、装置、电子设备及存储介质
CN113506332B (zh) 目标对象识别的方法、电子设备及存储介质
CN114267067B (zh) 基于连续帧图像的人脸识别方法、电子设备及存储介质
CN114267068B (zh) 基于连续帧信息的人脸识别方法、电子设备及存储介质
CN117291252B (zh) 稳定视频生成模型训练方法、生成方法、设备及存储介质
CN116071625B (zh) 深度学习模型的训练方法、目标检测方法及装置
CN111881828B (zh) 一种面向移动端设备的障碍物检测方法
CN111027568B (zh) 一种迭代的神经网络批量规范化系统
CN116758373A (zh) 深度学习模型的训练方法、图像处理方法、装置和设备
CN114529964A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210831

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Denomination of invention: Model training, image processing method, electronic equipment and storage medium

Granted publication date: 20211217

License type: Exclusive License

Record date: 20220523

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Model training, image processing method, electronic equipment and storage medium

Effective date of registration: 20220525

Granted publication date: 20211217

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230719

Granted publication date: 20211217

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Date of cancellation: 20230720

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230807

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.