CN112529040A - 模型生成的方法、装置、电子设备及介质 - Google Patents

模型生成的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112529040A
CN112529040A CN202011278545.0A CN202011278545A CN112529040A CN 112529040 A CN112529040 A CN 112529040A CN 202011278545 A CN202011278545 A CN 202011278545A CN 112529040 A CN112529040 A CN 112529040A
Authority
CN
China
Prior art keywords
image
original sample
detection model
input channel
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011278545.0A
Other languages
English (en)
Inventor
丁晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202011278545.0A priority Critical patent/CN112529040A/zh
Publication of CN112529040A publication Critical patent/CN112529040A/zh
Priority to PCT/CN2021/124947 priority patent/WO2022100387A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种模型生成的方法、装置、电子设备及介质。其中，通过应用本申请的技术方案，可以根据多个对样本图像进行不同处理后得到的向量差值来训练生成新的图像检测模型。因此该模型相较于现有技术中直接利用样本图像训练得到的普通模型相比，能够适应各种类型的待识别图像，进而增加图像特征提取的精准度。

Description

模型生成的方法、装置、电子设备及介质
技术领域
本申请中涉及图像处理的技术，尤其是一种模型生成的方法、装置、电子设备及介质。
背景技术
由于通信时代和社会的兴起，图像处理技术已经随着越来越多用户在浏览图像而不断发展。
进一步的，通过计算机设备来处理各种复杂问题或者和人们进行互动已变得越来越频繁。例如，可以通过计算机设备来帮助人们整理或识别图像。其中，图片相似度对比是相似图片搜索等服务的基础，例如对以图搜图的服务来说，相关技术中通常是利用神经网络模型来对待识别图像进行特征提取，从而得到图片像素特征差异等信息，并从中找到差异最小的图片。
然而，相关技术中在对图像进行特征识别的过程中，通常会出现图像识别精度不够的问题，从而影响了用户体验。
发明内容
本申请实施例提供一种模型生成的方法、装置、电子设备及介质，本申请实施例用于解决相关技术中存在的需要人工从开发代码中获取图像参数而导致的效率慢的问题。
其中，根据本申请实施例的一个方面，提供的一种模型生成的方法，其特征在于，包括：
获取第一图像检测模型，所述第一图像检测模型包含第一输入通道以及第二输入通道，所述第一输入通道用于输入原始样本图像，所述第二输入通道用于输入经过预设处理后的所述原始样本图像；
将所述原始样本图像输入至第一输入通道，得到第一维度特征，以及，将所述经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征；
计算所述第一维度特征与所述第二维度特征的向量差值，并基于所述向量差值，得到第二图像检测模型；
利用所述第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述向量差值，得到第二图像检测模型，包括：
将所述向量差值作为损失函数，并利用该损失函数以及多张样本图像对空白的神经网络模型进行训练，直至得到训练收敛的所述第二图像检测模型。
可选地，在基于本申请上述方法的另一个实施例中，所述第一图像检测模型中的所述第一通道与所述第二通道的卷积层和池化层采用相同的卷积核参数。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征，包括：
获取所述经过预设处理后的所述原始样本图像；
对所述经过预设处理后的所述原始样本图像添加随机的噪声值后，再输入至所述第二输入通道的卷积层，得到所述第二维度特征。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述原始样本图像输入至第一输入通道，得到第一维度特征，包括：
检测所述原始样本图像的像素格式；
确定将所述原始样本图像的像素格式其压缩为256*25的格式后输入至所述第一通道中，得到所述第一维度特征。
可选地，在基于本申请上述方法的另一个实施例中，所述利用所述第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征，包括：
将多个待识别图像输入至所述第二图像检测模型的多层卷积层，得到对应于1024维度的目标特征向量；
将所述对应于1024维度的目标特征向量作为所述待识别图像对应的图像特征；
利用多个所述待识别图像对应的图像特征，确定多个所述待识别图像的图像相似度。
可选地，在基于本申请上述方法的另一个实施例中，所述预设处理包括对所述原始样本图像进行裁剪、篡改、旋转的至少一种。
其中，根据本申请实施例的一个方面，提供的一种模型生成的方法，其特征在于，包括：
获取模块，被配置为获取第一图像检测模型，所述第一图像检测模型包含第一输入通道以及第二输入通道，所述第一输入通道用于输入原始样本图像，所述第二输入通道用于输入经过预设处理后的所述原始样本图像；
所述获取模块，被配置为将所述原始样本图像输入至第一输入通道，得到第一维度特征，以及，将所述经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征；
计算模块，被配置为计算所述第一维度特征与所述第二维度特征的向量差值，并基于所述向量差值，得到第二图像检测模型；
识别模块，被配置为利用所述第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述模型生成的方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述模型生成的方法的操作。
本申请中，在获取第一图像检测模型，第一图像检测模型包含第一输入通道以及第二输入通道，第一输入通道用于输入原始样本图像，第二输入通道用于输入经过预设处理后的原始样本图像；获取第一维度特征以及第二维度特征，第一维度特征为原始样本图像经过第一输入通道后得到的特征，第二维度特征为经过预设处理后的原始样本图像经过第二输入通道后得到的特征；计算第一维度特征与第二维度特征的向量差值，并基于向量差值，得到第二图像检测模型；利用第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。通过应用本申请的技术方案，可以根据多个对样本图像进行不同处理后得到的向量差值来训练生成新的图像检测模型。因此该模型相较于现有技术中直接利用样本图像训练得到的普通模型相比，能够适应各种类型的待识别图像，进而增加图像特征提取的精准度。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种模型生成的方法示意图；
图2为本申请提出的一种模型生成的电子装置示意图；
图3为本申请一种模型生成的电子设备示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图2来描述根据本申请示例性实施方式的用于进行模型生成的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种模型生成的方法、装置、目标终端及介质。
图1示意性地示出了根据本申请实施方式的一种模型生成的方法的流程示意图。如图1所示，该方法包括：
S101，获取第一图像检测模型，第一图像检测模型包含第一输入通道以及第二输入通道，第一输入通道用于输入原始样本图像，第二输入通道用于输入经过预设处理后的原始样本图像。
一种方式中，第一图像检测模型即可以为任意的图像检测模型，但是需要注意的是，该第一图像检测模型必须为包含双通道的检测模型。也即一个通道用于对原有的样本图像进行识别特征，另外一个通道用于对将经过预设处理后的原始样本图像进行识别特征。
其中，本申请中的原始样本图像和经过预设处理后的原始样本图像就是将样本图像经过各种变形处理后的图像。例如样本图像为A时，将图像A经过放大处理(或变形处理，局部缩小处理、裁剪、篡改、旋转操作等等)生成的图像B就是经过预设处理后的原始样本图像。
进一步的，本申请设置利用包含两个通道的检测模型，并利用两个通道识别经过处理与未经过处理的同一张图像，是为了得到该图像的向量差值。这个向量差值是为了反映图像的变换程度。因为在训练模型的过程中，该模型对各种图像的变换程度掌握的越深，其识别图像特征的能力越强。
需要说明的是，本申请不对原始样本图像的数据进行具体限定，例如可以为一张，也可以为多张。
同样的，本申请也不对预设处理进行具体限定，例如可以为变形处理，局部缩小处理、裁剪、篡改、旋转操作等等的任意一种或多种。
一种方式中，第一图像检测模型可以为MobileNet(计算机视觉神经网络) 模型。其中，MobileNet模型是一种为移动设备设计的通用计算机视觉神经网络，因此其也能支持图像分类和检测等。一般在个人移动设备上运行深度网络能提升用户体验、提高访问的灵活性，以及在安全、隐私和能耗上获得额外的优势。此外，随着新应用的出现，用户可以与真实世界进行实时交互，因此可以对更高效的神经网络有着很大的需求。
又或，本申请中的第一图像检测模型也可以为卷积神经网络 (ConvolutionalNeural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类。得益于CNN模型(卷积神经网络) 对图像的强大特征表征能力，其在图像分类、目标检测、语义分割等领域都取得了令人瞩目的效果。
进一步的，本申请可以使用第一图像检测模型，提取样本图像中的待检测物体的维度特征。其中，需要将至少一张原始样本图像以及经过预设处理后的样本图像输入至预设的第一图像检测模型中，并将神经网络检测模型最后一层全连接层(FC，fullyconnected layer)的输出作为对该待检测图像对应的第一维度特征。
S102，将原始样本图像输入至第一输入通道，得到第一维度特征，以及，将经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征。
进一步的，本申请中在获取到第一图像检测模型之后，即需要实施将原始样本图像输入至检测模型的第一输入通道后得到的第一维度特征，以及，将经过预设处理后的原始样本图像输入至检测模型的第二输入通道后得到的第二维度特征。
其中，本申请中的第一维度特征以及第二维度特征就是原始样本图像(输入第一通道)和经过预设处理后的原始样本图像(输入第二通道)分别输入各自的通道所识别的对应特征。例如样本图像为A时，将图像A经过放大处理(或变形处理，局部缩小处理、裁剪、篡改、旋转操作等等)后生成的图像B就是经过预设处理后的原始样本图像。
进一步的，本申请设置利用包含两个通道的检测模型，并利用两个通道识别经过处理与未经过处理的同一张图像，是为了得到该图像的两个维度特征，以使后续根据该2个维度特征计算向量差值。
同样的，本申请不对第一维度特征以及第二维度特征的数量做具体限定，例如可以为一个，也可以为多个。
更具体而言，本申请设置利用包含两个通道的检测模型，并利用两个通道识别经过处理与未经过处理的同一张图像，是为了得到该图像的向量差值。这个向量差值是为了反映图像的变换程度。而在训练模型的过程中，对各种图像的变换程度掌握的越深，其识别图像特征的能力越强。
也就是说，本申请第二图像检测模型的生成方式由于是根据每个样本图像的向量差值(而一个样本图像的向量差值是根据将该样本图像与经过处理后的样本图像输入到双通道的第一检测模型得到的)得到的，因此该模型相较于现有技术中直接利用样本图像训练得到的普通模型相比，能够适应各种类型的待识别图像，进而增加图像特征提取的精准度。
S103，计算第一维度特征与第二维度特征的向量差值，并基于向量差值，得到第二图像检测模型。
进一步的，本申请在得到第一维度特征与第二维度特征之后，即可计算二者的向量差值，并以此用于生成最终的第二图像检测模型。
其中，利用第一维度特征以及第二维度特征计算图像对应的向量差值的目的两个通道同属于一个检测模型，并利用两个通道识别经过处理与未经过处理的同一张图像，从而得到该图像的两个维度特征的向量差值。并根据这个差值生成一个最终的第二图像检测模型。
优选的计算向量差值的方式中，可以设置第一通道以及第二通道的卷积层输入为256*256*3，经过多层卷积后输出256*256*256，然后输入池化层，经过池化和全连接，最后输出1*1024即1024维度的特征向量。其中一种方式中，向量差值的计算可以依据下述的公式计算得到：
Figure RE-GDA0002942012130000081
其中，
Figure RE-GDA0002942012130000082
表示样本标签，
Figure RE-GDA0002942012130000083
表示神经网络的实际输出。
Softmax函数σ(z)＝(σ1(z)，...，σm(z))定义如下：
Figure RE-GDA0002942012130000084
i＝1，.....，m(共有m个类别)
S104，利用第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。
其中，本申请可以通过预先训练对图像进行剪切压缩等处理后得到对应损失函数的第一图像检测模型，并利用该训练好的神经网络模型对图像进行特征提取。本申请相较于现有技术中直接利用普通的神经网络模型提取图像特征来说，能够适应各种类型的待识别图像，进而增加图像特征提取的精准度。
另外，本申请可以利用训练完毕的第二图像检测模型来识别待识别图像，可以得到图像的任意特征。例如脸部识别，物体识别等等。
本申请中，在获取第一图像检测模型，第一图像检测模型包含第一输入通道以及第二输入通道，第一输入通道用于输入原始样本图像，第二输入通道用于输入经过预设处理后的原始样本图像；获取第一维度特征以及第二维度特征，第一维度特征为原始样本图像经过第一输入通道后得到的特征，第二维度特征为经过预设处理后的原始样本图像经过第二输入通道后得到的特征；计算第一维度特征与第二维度特征的向量差值，并基于向量差值，得到第二图像检测模型；利用第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。通过应用本申请的技术方案，可以根据多个对样本图像进行不同处理后得到的向量差值来训练生成新的图像检测模型。因此该模型相较于现有技术中直接利用样本图像训练得到的普通模型相比，能够适应各种类型的待识别图像，进而增加图像特征提取的精准度。
可选的，在本申请一种可能的实施方式中，预设处理包括对原始样本图像进行裁剪、篡改、旋转的至少一种。
其中，本申请还可以第一维度特征以及第二维度特征就是原始样本图像(输入第一通道)和经过预设处理后的原始样本图像(输入第二通道)分别输入各自的通道所识别的对应特征。例如样本图像为A时，将图像A经过放大处理(或变形处理，局部缩小处理、裁剪、篡改、旋转操作等等)生成的图像B就是经过预设处理后的原始样本图像。
可选的，在本申请一种可能的实施方式中，在S103(基于向量差值，得到第二图像检测模型)中，可以通过下述步骤实现：
将向量差值作为损失函数，并利用该损失函数以及多张样本图像对空白的神经网络模型进行训练，直至得到训练收敛的第二图像检测模型。
其中，本申请中的第二图像检测模型就是最终训练得到的新的检测模型。一种方式中，可以使用tensorflow学习框架等空白模型实现此神经网络。采集多种样本图片输入空白的神经网络，并根据损失函数，利用tensorflow学习框架，自动拟合各神经网络的参数。直至训练至收敛得到训练外壁的第二图像检测模型。
一种方式中，损失函数(loss function)是用来估量模型的预测值f(x) 与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y,f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项。
另外，通常损失函数由上面公式的两部分组成，前部分就是计算算法预测的值和训练样本真实标签之间的距离，不同的距离计算方式代表了不同的计算损失函数的方法。进一步的，当训练的出函数过于复杂时，可能会导致训练的参数过拟合，这时需要引入正则化因子来控制模型的复杂度。防止过拟合的产生。并通过计算损失函数关于参数的梯度来逐步调整参数，使损失函数越来越小，直至完成模型的训练，参数达到收敛。
可选的，一种实施方式中，本申请的第一图像检测模型中的第一通道与第二通道的卷积层和池化层采用相同的卷积核参数。
其中，本申请还可以限定第一图像检测模型中的第一通道与第二通道的卷积层和池化层采用相同的卷积核参数。可以理解的，本申请采取上下通道的卷积层和池化即全连接池使用相同的卷积核参数(权值)是为了保证第一维度特征与第二维度特征的生成标准是一致的。
可选的，在本申请一种可能的实施方式中，在S102(将经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征)中，可以通过下述步骤实现：
获取经过预设处理后的原始样本图像；
对经过预设处理后的原始样本图像添加随机的噪声值后，再输入至第二输入通道的卷积层，得到第二维度特征。
其中，本申请还可以在第二通道在输入层之前增加了图片处理(例如经过裁剪、篡改、旋转操作)，多种操作随机进行，且处理的参数随机进行；另外下面的通道在输入层之后加了随机噪声，作为经过处理后的样本图像输入卷积层。
进一步的，本申请在对样本图像经过添加噪声的处理的过程中，同样是为了利用一种变形手段(对图像添加噪声也是对图像进行变形的一种手段)得到该样本图像的第二维度特征。这样得到的向量差值也可以更加全方位的反映图像的变形程度。也有利于在根据该第二维度特征训练第二图像检测模型时可以更加全面。
可选的，在本申请一种可能的实施方式中，在S102(将原始样本图像输入至第一输入通道，得到第一维度特征)中，可以通过下述步骤实现：
检测原始样本图像的像素格式；
确定将原始样本图像的像素格式其压缩为256*256的格式后输入至第一通道中，得到第一维度特征。
其中，本申请还可以限定将样本图像的像素格式压缩为256*256的格式。进一步的，这样可以确保第一通道以及第二通道的输入层均为256*256*3即一张彩色图片被压缩成256*256。从而保证第一图像检测模型的上下通道的卷积层输入为256*256*3，经过多层卷积后输出256*256*256，然后输入池化层，经过池化和全连接，最后输出1*1024即1024维度的特征向量。
可选的，在本申请一种可能的实施方式中，在S103(利用第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征)中，可以通过下述步骤实现：
将多个待识别图像输入至第二图像检测模型的多层卷积层，得到对应于 1024维度的目标特征向量；
将对应于1024维度的目标特征向量作为待识别图像对应的图像特征；
利用多个待识别图像对应的图像特征，确定多个待识别图像的图像相似度。
进一步的，在本申请得到第二图像检测模型之后，一种应用方式中即可以利用该模型去识别多张待识别图像对应的图像特征，以使后续根据该多个不同的图像特征，确定多个待识别图像的图像相似度。
可以理解的，当该多个不同的图像特征越相近时，即可确定多个待识别图像的图像相似度越高。而当该多个不同的图像特征越不相近时，即可确定多个待识别图像的图像相似度越低。
本申请中，在获取第一图像检测模型，第一图像检测模型包含第一输入通道以及第二输入通道，第一输入通道用于输入原始样本图像，第二输入通道用于输入经过预设处理后的原始样本图像；获取第一维度特征以及第二维度特征，第一维度特征为原始样本图像经过第一输入通道后得到的特征，第二维度特征为经过预设处理后的原始样本图像经过第二输入通道后得到的特征；计算第一维度特征与第二维度特征的向量差值，并基于向量差值，得到第二图像检测模型；利用第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。通过应用本申请的技术方案，可以根据多个对样本图像进行不同处理后得到的向量差值来训练生成新的图像检测模型。因此该模型相较于现有技术中直接利用样本图像训练得到的普通模型相比，能够适应各种类型的待识别图像，进而增加图像特征提取的精准度。
在本申请的另外一种实施方式中，如图2所示，本申请还提供一种模型生成的装置。其中，该装置包括获取模块201，计算模块202，识别模块203，其中，
获取模块201，被配置为获取第一图像检测模型，所述第一图像检测模型包含第一输入通道以及第二输入通道，所述第一输入通道用于输入原始样本图像，所述第二输入通道用于输入经过预设处理后的所述原始样本图像；
所述获取模块201，被配置为将所述原始样本图像输入至第一输入通道，得到第一维度特征，以及，将所述经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征；
计算模块202，被配置为计算所述第一维度特征与所述第二维度特征的向量差值，并基于所述向量差值，得到第二图像检测模型；
识别模块203，被配置为利用所述第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。
本申请中，在获取第一图像检测模型，第一图像检测模型包含第一输入通道以及第二输入通道，第一输入通道用于输入原始样本图像，第二输入通道用于输入经过预设处理后的原始样本图像；获取第一维度特征以及第二维度特征，第一维度特征为原始样本图像经过第一输入通道后得到的特征，第二维度特征为经过预设处理后的原始样本图像经过第二输入通道后得到的特征；计算第一维度特征与第二维度特征的向量差值，并基于向量差值，得到第二图像检测模型；利用第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。通过应用本申请的技术方案，可以根据多个对样本图像进行不同处理后得到的向量差值来训练生成新的图像检测模型。因此该模型相较于现有技术中直接利用样本图像训练得到的普通模型相比，能够适应各种类型的待识别图像，进而增加图像特征提取的精准度。
可选的，在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为将所述向量差值作为损失函数，并利用该损失函数以及多张样本图像对空白的神经网络模型进行训练，直至得到训练收敛的所述第二图像检测模型。
可选的，在本申请的另一种实施方式中，还包括：
获取模块201，被配置为所述第一图像检测模型中的所述第一通道与所述第二通道的卷积层和池化层采用相同的卷积核参数。
可选的，在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为获取所述经过预设处理后的所述原始样本图像；
获取模块201，被配置为对所述经过预设处理后的所述原始样本图像添加随机的噪声值后，再输入至所述第二输入通道的卷积层，得到所述第二维度特征。
可选的，在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为检测所述原始样本图像的像素格式；
获取模块201，被配置为确定将所述原始样本图像的像素格式其压缩为 256*25的格式后输入至所述第一通道中，得到所述第一维度特征。
可选的，在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为将多个待识别图像输入至所述第二图像检测模型的多层卷积层，得到对应于1024维度的目标特征向量；
获取模块201，被配置为将所述对应于1024维度的目标特征向量作为所述待识别图像对应的图像特征；
获取模块201，被配置为利用多个所述待识别图像对应的图像特征，确定多个所述待识别图像的图像相似度。
可选的，在本申请的另一种实施方式中还包括：
所述预设处理包括对所述原始样本图像进行裁剪、篡改、旋转的至少一种。
图3是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图3，电子设备300可以包括以下一个或多个组件：处理器301和存储器302。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、 FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA (Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphi csProcessing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质，所述计算机可读存储介质可以是非易失性的，也可以是易失性的。存储器302可以是半导体存储器，也可以是磁表面存储器。在一些实施例中，存储器302中的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的互动特效标定方法。
在一些实施例中，电子设备300还可选包括有：外围设备接口303和至少一个外围设备。处理器301、存储器302和外围设备接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口 303相连。具体地，外围设备包括：射频电路304、触摸显示屏305、摄像头306、音频电路307、定位组件308和电源309中的至少一种。
本领域技术人员可以理解，图3中示出的结构并不构成对电子设备300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器304，上述指令可由电子设备300的处理器320执行以完成上述图像检测的方法，该方法包括：获取第一图像检测模型，所述第一图像检测模型包含第一输入通道以及第二输入通道，所述第一输入通道用于输入原始样本图像，所述第二输入通道用于输入经过预设处理后的所述原始样本图像；获取第一维度特征以及第二维度特征，所述第一维度特征为所述原始样本图像经过第一输入通道后得到的特征，所述第二维度特征为所述经过预设处理后的原始样本图像经过第二输入通道后得到的特征；计算所述第一维度特征与所述第二维度特征的向量差值，并基于所述向量差值，得到第二图像检测模型；利用所述第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。可选地，上述指令还可以由电子设备300的处理器320执行以完成上述示例性实施例中所涉及的其他步骤。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，并不能因此而理解为对本申请专利范围的限制。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的保护范围仅由所附的权利要求来限制。

Claims (10)

1.一种模型生成的方法，其特征在于，包括：
获取第一图像检测模型，所述第一图像检测模型包含第一输入通道以及第二输入通道，所述第一输入通道用于输入原始样本图像，所述第二输入通道用于输入经过预设处理后的所述原始样本图像；
将所述原始样本图像输入至第一输入通道，得到第一维度特征，以及，将所述经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征；
计算所述第一维度特征与所述第二维度特征的向量差值，并基于所述向量差值，得到第二图像检测模型；
利用所述第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。
2.如权利要求1所述的方法，其特征在于，所述基于所述向量差值，得到第二图像检测模型，包括：
将所述向量差值作为损失函数，并利用该损失函数以及多张样本图像对空白的神经网络模型进行训练，直至得到训练收敛的所述第二图像检测模型。
3.如权利要求1所述的方法，其特征在于，所述第一图像检测模型中的所述第一通道与所述第二通道的卷积层和池化层采用相同的卷积核参数。
4.如权利要求1所述的方法，其特征在于，所述将所述经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征，包括：
获取所述经过预设处理后的所述原始样本图像；
对所述经过预设处理后的所述原始样本图像添加随机的噪声值后，再输入至所述第二输入通道的卷积层，得到所述第二维度特征。
5.如权利要求1或4所述的方法，其特征在于，所述将所述原始样本图像输入至第一输入通道，得到第一维度特征，包括：
检测所述原始样本图像的像素格式；
确定将所述原始样本图像的像素格式其压缩为256*25的格式后输入至所述第一通道中，得到所述第一维度特征。
6.如权利要求1所述的方法，其特征在于，所述利用所述第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征，包括：
将多个待识别图像输入至所述第二图像检测模型的多层卷积层，得到对应于1024维度的目标特征向量；
将所述对应于1024维度的目标特征向量作为所述待识别图像对应的图像特征；
利用多个所述待识别图像对应的图像特征，确定多个所述待识别图像的图像相似度。
7.如权利要求1所述的方法，其特征在于，所述预设处理包括对所述原始样本图像进行裁剪、篡改、旋转的至少一种。
8.一种模型生成的装置，其特征在于，应用于IOS设备端，其中包括：
获取模块，被配置为获取第一图像检测模型，所述第一图像检测模型包含第一输入通道以及第二输入通道，所述第一输入通道用于输入原始样本图像，所述第二输入通道用于输入经过预设处理后的所述原始样本图像；
所述获取模块，被配置为将所述原始样本图像输入至第一输入通道，得到第一维度特征，以及，将所述经过预设处理后的原始样本图像输入至第二输入通道，得到第二维度特征；
计算模块，被配置为计算所述第一维度特征与所述第二维度特征的向量差值，并基于所述向量差值，得到第二图像检测模型；
识别模块，被配置为利用所述第二图像检测模型对待识别图像进行特征识别，得到对应的图像特征。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-7中任一所述模型生成的方法的操作。
10.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-7中任一所述模型生成的方法的操作。
CN202011278545.0A 2020-11-16 2020-11-16 模型生成的方法、装置、电子设备及介质 Pending CN112529040A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011278545.0A CN112529040A (zh) 2020-11-16 2020-11-16 模型生成的方法、装置、电子设备及介质
PCT/CN2021/124947 WO2022100387A1 (zh) 2020-11-16 2021-10-20 模型生成的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011278545.0A CN112529040A (zh) 2020-11-16 2020-11-16 模型生成的方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN112529040A true CN112529040A (zh) 2021-03-19

Family

ID=74980924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011278545.0A Pending CN112529040A (zh) 2020-11-16 2020-11-16 模型生成的方法、装置、电子设备及介质

Country Status (2)

Country Link
CN (1) CN112529040A (zh)
WO (1) WO2022100387A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313086A (zh) * 2021-07-28 2021-08-27 长沙海信智能系统研究院有限公司 特征向量转换模型处理方法、装置、服务器及存储介质
WO2022100387A1 (zh) * 2020-11-16 2022-05-19 深圳壹账通智能科技有限公司 模型生成的方法、装置、电子设备及介质
WO2023134068A1 (zh) * 2022-01-14 2023-07-20 平安科技（深圳）有限公司 数字识别模型的训练方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050001A (zh) * 2022-07-04 2022-09-13 小米汽车科技有限公司 图像识别方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446666A (zh) * 2018-04-04 2018-08-24 平安科技（深圳）有限公司 双通道神经网络模型训练及人脸比对方法、终端及介质
CN109614989A (zh) * 2018-11-13 2019-04-12 平安科技（深圳）有限公司 快速模型的训练方法、装置、计算机设备及存储介质
CN110378254A (zh) * 2019-07-03 2019-10-25 中科软科技股份有限公司 车损图像修改痕迹的识别方法、系统、电子设备及存储介质
US20200356805A1 (en) * 2018-05-16 2020-11-12 Tencent Technology (Shenzhen)Company Limited Image recognition method, storage medium and computer device
CN111931637A (zh) * 2020-08-07 2020-11-13 华南理工大学 基于双流卷积神经网络的跨模态行人重识别方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529040A (zh) * 2020-11-16 2021-03-19 深圳壹账通智能科技有限公司 模型生成的方法、装置、电子设备及介质
CN113052295B (zh) * 2021-02-27 2024-04-12 华为技术有限公司 一种神经网络的训练方法、物体检测方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446666A (zh) * 2018-04-04 2018-08-24 平安科技（深圳）有限公司 双通道神经网络模型训练及人脸比对方法、终端及介质
US20200356805A1 (en) * 2018-05-16 2020-11-12 Tencent Technology (Shenzhen)Company Limited Image recognition method, storage medium and computer device
CN109614989A (zh) * 2018-11-13 2019-04-12 平安科技（深圳）有限公司 快速模型的训练方法、装置、计算机设备及存储介质
CN110378254A (zh) * 2019-07-03 2019-10-25 中科软科技股份有限公司 车损图像修改痕迹的识别方法、系统、电子设备及存储介质
CN111931637A (zh) * 2020-08-07 2020-11-13 华南理工大学 基于双流卷积神经网络的跨模态行人重识别方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022100387A1 (zh) * 2020-11-16 2022-05-19 深圳壹账通智能科技有限公司 模型生成的方法、装置、电子设备及介质
CN113313086A (zh) * 2021-07-28 2021-08-27 长沙海信智能系统研究院有限公司 特征向量转换模型处理方法、装置、服务器及存储介质
CN113313086B (zh) * 2021-07-28 2021-10-29 长沙海信智能系统研究院有限公司 特征向量转换模型处理方法、装置、服务器及存储介质
WO2023134068A1 (zh) * 2022-01-14 2023-07-20 平安科技（深圳）有限公司 数字识别模型的训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022100387A1 (zh) 2022-05-19

Similar Documents

Publication Publication Date Title
CN109829448B (zh) 人脸识别方法、装置及存储介质
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN112529040A (zh) 模型生成的方法、装置、电子设备及介质
Kadam et al. Detection and localization of multiple image splicing using MobileNet V1
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN108830237B (zh) 一种人脸表情的识别方法
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
Elpeltagy et al. Multi‐modality‐based Arabic sign language recognition
Zhang et al. Feature pyramid network for diffusion-based image inpainting detection
Ding et al. Real-time estimation for the parameters of Gaussian filtering via deep learning
CN111310724A (zh) 基于深度学习的活体检测方法、装置、存储介质及设备
CN112464803A (zh) 图像比较方法和装置
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及系统
Zhang et al. R2net: Residual refinement network for salient object detection
Xu et al. Multi‐pyramid image spatial structure based on coarse‐to‐fine pyramid and scale space
CN116802683A (zh) 图像的处理方法和系统
Yao et al. Double cross-modality progressively guided network for RGB-D salient object detection
CN112488054A (zh) 一种人脸识别方法、装置、终端设备及存储介质
Kumar et al. Interpretable multimodal emotion recognition using facial features and physiological signals
CN113392820B (zh) 动态手势识别方法、装置、电子设备及可读存储介质
CN115424293A (zh) 活体检测方法、活体检测模型的训练方法及装置
Kumar et al. ResUNet: an automated deep learning model for image splicing localization
CN114511877A (zh) 一种行为识别方法、装置、存储介质及终端
CN111507421A (zh) 一种基于视频的情感识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination