CN107944553A - 一种cnn模型的微调方法及装置 - Google Patents

一种cnn模型的微调方法及装置 Download PDF

Info

Publication number
CN107944553A
CN107944553A CN201711174440.9A CN201711174440A CN107944553A CN 107944553 A CN107944553 A CN 107944553A CN 201711174440 A CN201711174440 A CN 201711174440A CN 107944553 A CN107944553 A CN 107944553A
Authority
CN
China
Prior art keywords
image
cluster
mrow
cnn models
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711174440.9A
Other languages
English (en)
Inventor
程福运
郝敬松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201711174440.9A priority Critical patent/CN107944553A/zh
Priority to EP17932812.5A priority patent/EP3698268A4/en
Priority to PCT/CN2017/114140 priority patent/WO2019100436A1/en
Publication of CN107944553A publication Critical patent/CN107944553A/zh
Priority to US16/879,793 priority patent/US11651229B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种CNN模型的微调方法及装置。该方法包括：基于经过预训练的CNN模型，对输入的所有样本图像进行图像特征的提取，得到多个类别的图像特征；针对每个类别的图像特征，采用聚类算法将类内的图像特征进行分簇，得到每个簇的簇心；利用预设目标函数计算误差；其中，所述目标函数用于将各个簇内的图像特征向簇心处聚拢；将所述误差在CNN模型中反向传输，对CNN模型的参数进行更新。这样，脏样本的图像、质量较好的样本图像会分别单独聚类，减少了它们之间的相互影响，有利于质量较好的样本图像的收敛，减弱了脏样本对CNN模型的影响，且实现简单。

Description

一种CNN模型的微调方法及装置
技术领域
本发明涉及深度学习技术领域，尤其涉及一种CNN模型的微调方法及装置。
背景技术
卷积神经网络(Convolutional Neural Network，CNN)是当前深度学习领域主流的网络模型之一。一个典型的CNN模型由卷积层与池化层交替组成，如图1所示，输入层101输入图像，卷积层102对输入层的图像的各个局部区域进行图像特征提取，池化层103对卷积层的图像特征进行采样以降低维数，然后再以若干层全连接层104对图像特征进行连接，以最后一层隐藏层105的输出值为最终提取的特征，通过Softmax分类层106对提取的图像特征进行分类，输出所属类别的预测分数。在训练时，利用该预测分数与标签层预先输入的期望分数计算误差，利用误差对CNN模型的参数进行更新，使得该预测分数向期望分数收敛。其中，对输入的图像提取特征的过程为正向传输过程，利用误差对CNN模型的参数进行更新的过程为反向传输过程。经过大量训练集训练后的深层CNN模型具有很强的泛化能力，即使对未经训练过的图像也能很好地提取图像特征。
但是以上CNN模型中以最后一层隐藏层的输出值作为图像特征会忽略Softmax分类层以及分类系数的作用。对训练好的CNN模型进行微调，是一种有效地减小类内距离、增大类间距离的方法。有的方案将同一类别图像特征向该类别的特征均值处聚拢，使同一类别的图像特征聚集到该类别的特征均值处，但是，将类别中错误标签和质量较差的图像向同一点聚类会影响CNN模型的性能。
发明内容
本发明实施例的目的是提供一种CNN模型的微调方法及装置，用于提高CNN模型的收敛性以及减小脏样本的影响。
本发明实施例的目的是通过以下技术方案实现的：
一种CNN模型的微调方法，包括：
基于经过预训练的卷积神经网络CNN模型，对输入的所有样本图像进行图像特征的提取，得到多个类别的图像特征；
针对每个类别的图像特征，采用聚类算法将类内的图像特征进行分簇，得到每个簇的簇心；
利用预设目标函数计算误差；其中，所述目标函数用于将各个簇内的图像特征向簇心处聚拢；
将所述误差在CNN模型中反向传输，对CNN模型的参数进行更新。
较佳地，所述预设目标函数如下：
其中，Obj表示目标函数，min表示对目标函数求最小值，k表示簇的总个数，i表示第i个簇，1≤i≤k，ni表示簇i内的图像特征的总个数，ftij表示簇i内的第j个图像特征，1≤j≤ni，Mi为簇i的簇心。
较佳地，利用预设目标函数计算误差，包括：
基于所述目标函数对图像特征求偏导，得到所述误差如下：
δ＝ftij-Mi
其中，δ为误差。
较佳地，所述CNN模型的参数包括偏置系数和权重系数。
较佳地，所述聚类算法为C均值聚类算法、k-mediods聚类算法、SOM聚类算法或者FCM聚类算法。
一种CNN模型的微调装置，包括：
CNN特征提取模块，用于基于经过预训练的卷积神经网络CNN模型，对输入的所有样本图像进行图像特征的提取，得到多个类别的图像特征；
聚类分簇模块，用于针对每个类别的图像特征，采用聚类算法将类内的图像特征进行分簇，得到每个簇的簇心；
误差计算模块，利用预设目标函数计算误差；其中，所述目标函数用于将各个簇内的图像特征向簇心处聚拢；
CNN模型微调模块，用于将所述误差在CNN模型中反向传输，对CNN模型的参数进行更新。
较佳地，所述预设目标函数如下：
其中，Obj表示目标函数，min表示对目标函数求最小值，k表示簇的总个数，i表示第i个簇，1≤i≤k，ni表示簇i内的图像特征的总个数，ftij表示簇i内的第j个图像特征，1≤j≤ni，Mi为簇i的簇心。
较佳地，所述误差计算模块，具体用于：基于所述目标函数对图像特征求偏导，得到所述误差如下：
δ＝ftij-Mi
其中，δ为误差。
较佳地，所述CNN模型的参数包括偏置系数和权重系数。
较佳地，所述聚类算法为C均值聚类算法、k-mediods聚类算法、SOM聚类算法或者FCM聚类算法。
本发明实施例的有益效果如下：
本发明实施例提供的CNN模型的微调方法及装置中，基于经过预训练的CNN模型对输入的所有样本图像进行特征提取，得到多个类别的图像特征之后，通过聚类算法将同一类别的图像特征再进行分簇，以将该同一类别内的图像特征分布在一定范围或者多个聚类点处，基于该聚类算法的分类结果，进行误差的计算，并根据得到的误差对CNN模型进行微调，这样，脏样本的图像、质量较好的样本图像会分别单独聚类，减少了它们之间的相互影响，有利于质量较好的样本图像的收敛，减弱了脏样本对CNN模型的影响，且实现简单。
附图说明
图1为现有技术中CNN模型结构示意图；
图2为本发明实施例提供的一种CNN模型的微调方法流程图；
图3为本发明实施例提供的一种CNN模型的微调装置示意图。
具体实施方式
下面结合附图和实施例对本发明提供的一种CNN模型的微调方法及装置进行更详细地说明。
如图2所示，本发明实施例提供一种CNN模型的微调方法，其具体实现方式如下：
步骤210、基于经过预训练的CNN模型，对输入的所有样本图像进行图像特征的提取，得到多个类别的图像特征；
步骤220、针对每个类别的图像特征，采用聚类算法将类内的图像特征进行分簇，得到每个簇的簇心；
步骤230、利用预设目标函数计算误差；其中，目标函数用于将各个簇内的图像特征向簇心处聚拢；
步骤240、将误差在CNN模型中反向传输，对CNN模型的参数进行更新。
本发明实施例中，基于经过预训练的CNN模型对输入的所有样本图像进行特征提取，得到多个类别的图像特征之后，通过聚类算法将同一类别的图像特征再进行分簇，以将该同一类别内的图像特征分布在一定范围或者多个聚类点处，基于该聚类算法的分类结果，进行误差的计算，并根据得到的误差对CNN模型进行微调，这样，脏样本的图像、质量较好的样本图像会分别单独聚类，减少了它们之间的相互影响，有利于质量较好的样本图像的收敛，减弱了脏样本对CNN模型的影响，且实现简单。
较佳地，上述步骤220中，采用的聚类算法有多种，可选的可以采用C均值聚类算法、k-medoids聚类算法、自组织映射(Self-organizing Maps，SOM)聚类算法或者模糊C均值(Fuzzy C-means，FCM)聚类算法等。
较佳地，上述步骤230中，上述预设目标函数如下：
其中，Obj表示目标函数，min表示对目标函数求最小值，k表示簇的总个数，i表示第i个簇，1≤i≤k，ni表示簇i内的图像特征的总个数，ftij表示簇i内的第j个图像特征，1≤j≤ni，Mi为簇i的簇心。
本实施例中，所设计的目标函数使得图像特征与所属簇的簇心的差的平方和最小，可以达到将图像特征向簇的簇心聚拢的目的。
较佳地，利用预设目标函数计算误差，包括：
基于所述目标函数对图像特征求偏导，得到所述误差如下：
δ＝ftij-Mi (2)
其中，δ为误差。
一般，CNN模型中，层间传输的形式为xq＝f(W xq-1+b)，其中：f为激活函数，q表示第q层，xq表示第q层的输出，q-1表示第q层的上一层，xq-1表示第q-1层的输出(也是第q层的输入)，W为权重系数，b为偏置系数。
较佳地，上述步骤240中，所述CNN模型的参数包括偏置系数和权重系数。相应的，将δ在CNN模型中反向传输，对CNN模型的参数进行更新，具体的：
将δ在CNN模型中反向传输，对偏置系数b和权重系数W进行更新。
基于以上公式(2)的误差对偏置系数b和权重系数W进行更新的方式可以是：
按照公式(3)得到偏置系数的更新值Δb：
Δb＝δ (3)
按照公式(4)得到权重系数的更新值ΔW：
ΔW＝δft (4)
其中，ft为图像特征。
按照公式(5)得到更新后的偏置系数b：
b＝b+εΔb (5)
按照公式(6)得到更新后的权重系数W：
W＝W+εΔW (6)
其中，ε为学习率。
下面以C均值聚类为例，对本发明实施例提供的一种CNN模型的微调方法进行更加详细地说明。
步骤一、对CNN模型进行预训练。
本发明实施例中，所谓的CNN模型的微调是在训练好的CNN模型的基础上进行微调的，即采用常规的BP算法对CNN模型进行训练，使CNN模型具有一定的泛化能力，且在最后一层隐藏层提取的特征具有较好的类内聚类性和类间区分性。
步骤二、将所有的样本图像输入到训练好的CNN模型中，提取图像特征ft，并将图像特征ft按照公式(7)归一化：
其中，|| ||表示特征向量的2范数。
该步骤可以将特征向量统一到同一尺度。
步骤三、基于C均值聚类将类内的图像特征自动划分为若干簇，具体的：采用基于C均值聚类的算法将每个类内的图像特征自动划分为c个簇，并求出每个簇的簇心和簇内的图像特征，其算法如下：
步骤(一)：初始化c＝1；
步骤(二)：随机选取c个图像特征作为簇心；
步骤(三)：计算所有图像特征到各个簇心的欧式距离，并将图像特征划分到距离其最近的簇；
步骤(四)：重新计算每个新簇的均值，即簇心；
步骤(五)：若簇的簇心不变则执行下一步，否则转至步骤(三)；
步骤(六)：计算每个簇内的图像特征与其对应簇心的欧式距离d；
若max(d)≥dmax，且c≤cmax，则c＝c+1，转步骤(二)，否则输出c个簇的簇心和每个簇内的图像特征。其中，dmax为预先设定的阈值，cmax为允许的最大簇的个数。该步骤中，以簇心与簇内的图像特征的欧式距离最小为准进行微调。
上述步骤三对每个类别的图像特征使用C均值聚类自动划分簇，设将所有图像特征共划分成k个簇，第i个簇的簇心为Mi，簇内共有ni个图像特征，第i个簇的第j个图像特征为ftij。执行步骤四、根据公式(2)对公式(1)所示的目标函数进行求偏导得到误差δ，将误差δ在CNN模型反向传输，对CNN模型的权重系数和偏置系数进行更新，具体参见以上公式(3)～(6)。其中，公式(1)所示的目标函数可以将图像特征ftij向该图像特征所属簇的簇心处聚拢。
本实施例中，更新时，采用图像分块训练的方式对样本图像和簇心进行端到端的训练。其中，分块训练的方式，是说，比如所有的样本图像为L张，将L张样本图像分成P个样本块，每个样本块包括L/P张图像，训练时，一个样本块一个样本块进行训练。端到端是指CNN模型以样本图像为输入，以簇心为输出，输出直接为图像特征。
基于同样的发明构思，如图3所示，本发明实施例还提供一种CNN模型的微调装置，该装置包括CNN特征提取模块301、聚类分簇模块302、误差计算模块303和CNN微调模块304。其中：
CNN特征提取模块301，用于基于经过训练的CNN模型，对输入的所有样本图像进行图像特征的提取，得到多个类别的图像特征；
聚类分簇模块302，用于针对每个类别的图像特征，采用聚类算法将类内的图像特征进行分簇，得到每个簇的簇心；
误差计算模块303，利用预设目标函数计算误差；其中，目标函数用于将各个簇内的图像特征向簇心处聚拢；
CNN微调模块304，用于将误差在CNN模型中反向传输，对CNN模型的参数进行更新。
较佳地，预设目标函数如下：
其中，Obj表示目标函数，min表示对目标函数求最小值，k表示簇的总个数，i表示第i个簇，1≤i≤k，ni表示簇i内的图像特征的总个数，ftij表示簇i内的第j个图像特征，1≤j≤ni，Mi为簇i的簇心。
较佳地，误差计算模块，具体用于：基于所述目标函数对图像特征求偏导，得到所述误差如下：
δ＝ftij-Mi (9)
其中，δ为误差。
较佳地，CNN模型的参数包括偏置系数和权重系数。
较佳地，聚类算法为C均值聚类算法、k-mediods聚类算法、SOM聚类算法或者FCM聚类算法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种CNN模型的微调方法，其特征在于，包括：
基于经过预训练的卷积神经网络CNN模型，对输入的所有样本图像进行图像特征的提取，得到多个类别的图像特征；
针对每个类别的图像特征，采用聚类算法将类内的图像特征进行分簇，得到每个簇的簇心；
利用预设目标函数计算误差；其中，所述目标函数用于将各个簇内的图像特征向簇心处聚拢；
将所述误差在CNN模型中反向传输，对CNN模型的参数进行更新。
2.根据权利要求1所述的方法，其特征在于，所述预设目标函数如下：
<mrow> <msub> <mi>Obj</mi> <mi>min</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>n</mi> <mi>i</mi> </msub> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>ft</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中，Obj表示目标函数，min表示对目标函数求最小值，k表示簇的总个数，i表示第i个簇，1≤i≤k，ni表示簇i内的图像特征的总个数，ftij表示簇i内的第j个图像特征，1≤j≤ni，Mi为簇i的簇心。
3.根据权利要求2所述的方法，其特征在于，利用预设目标函数计算误差，包括：
基于所述目标函数对图像特征求偏导，得到所述误差如下：
δ＝ftij-Mi
其中，δ为误差。
4.根据权利要求3所述的方法，其特征在于，所述CNN模型的参数包括偏置系数和权重系数。
5.根据权利要求1～4所述的方法，其特征在于，所述聚类算法为C均值聚类算法、k-mediods聚类算法、自组织映射SOM聚类算法或者模糊C均值FCM聚类算法。
6.一种CNN模型的微调装置，其特征在于，包括：
CNN特征提取模块，用于基于经过预训练的卷积神经网络CNN模型，对输入的所有样本图像进行图像特征的提取，得到多个类别的图像特征；
聚类分簇模块，用于针对每个类别的图像特征，采用聚类算法将类内的图像特征进行分簇，得到每个簇的簇心；
误差计算模块，利用预设目标函数计算误差；其中，所述目标函数用于将各个簇内的图像特征向簇心处聚拢；
CNN模型微调模块，用于将所述误差在CNN模型中反向传输，对CNN模型的参数进行更新。
7.根据权利要求6所述的装置，其特征在于，所述预设目标函数如下：
<mrow> <msub> <mi>Obj</mi> <mi>min</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>n</mi> <mi>i</mi> </msub> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>ft</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中，Obj表示目标函数，min表示对目标函数求最小值，k表示簇的总个数，i表示第i个簇，1≤i≤k，ni表示簇i内的图像特征的总个数，ftij表示簇i内的第j个图像特征，1≤j≤ni，Mi为簇i的簇心。
8.根据权利要求7所述的装置，其特征在于，所述误差计算模块，具体用于：基于所述目标函数对图像特征求偏导，得到所述误差如下：
δ＝ftij-Mi
其中，δ为误差。
9.根据权利要求8所述的装置，其特征在于，所述CNN模型的参数包括偏置系数和权重系数。
10.根据权利要求6～8所述的装置，其特征在于，所述聚类算法为C均值聚类算法、k-mediods聚类算法、自组织映射SOM聚类算法或者模糊C均值FCM聚类算法。
CN201711174440.9A 2017-11-22 2017-11-22 一种cnn模型的微调方法及装置 Pending CN107944553A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711174440.9A CN107944553A (zh) 2017-11-22 2017-11-22 一种cnn模型的微调方法及装置
EP17932812.5A EP3698268A4 (en) 2017-11-22 2017-11-30 FACIAL RECOGNITION PROCESSES AND SYSTEMS
PCT/CN2017/114140 WO2019100436A1 (en) 2017-11-22 2017-11-30 Methods and systems for face recognition
US16/879,793 US11651229B2 (en) 2017-11-22 2020-05-21 Methods and systems for face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711174440.9A CN107944553A (zh) 2017-11-22 2017-11-22 一种cnn模型的微调方法及装置

Publications (1)

Publication Number Publication Date
CN107944553A true CN107944553A (zh) 2018-04-20

Family

ID=61930675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711174440.9A Pending CN107944553A (zh) 2017-11-22 2017-11-22 一种cnn模型的微调方法及装置

Country Status (1)

Country Link
CN (1) CN107944553A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143684A (zh) * 2019-12-30 2020-05-12 腾讯科技（深圳）有限公司 基于人工智能的泛化模型的训练方法及装置
CN111814448A (zh) * 2020-07-03 2020-10-23 苏州思必驰信息科技有限公司 预训练语言模型量化方法和装置
CN111814655A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 目标重识别方法及其网络训练方法、相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204267A (zh) * 2016-07-06 2016-12-07 吴本刚 一种基于改进k‑means和神经网络聚类的客户细分系统
CN106373397A (zh) * 2016-09-28 2017-02-01 哈尔滨工业大学 基于模糊神经网络的遥感图像道路通行情况分析方法
CN106485266A (zh) * 2016-09-23 2017-03-08 重庆大学 一种基于提取颜色特征的古代壁画分类识别方法
CN107153916A (zh) * 2017-04-30 2017-09-12 安徽中科美络信息技术有限公司 一种基于fcm聚类和bp神经网络的驾驶行为评价方法
CN107368887A (zh) * 2017-07-25 2017-11-21 江西理工大学 一种深度记忆卷积神经网络的结构及其构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204267A (zh) * 2016-07-06 2016-12-07 吴本刚 一种基于改进k‑means和神经网络聚类的客户细分系统
CN106485266A (zh) * 2016-09-23 2017-03-08 重庆大学 一种基于提取颜色特征的古代壁画分类识别方法
CN106373397A (zh) * 2016-09-28 2017-02-01 哈尔滨工业大学 基于模糊神经网络的遥感图像道路通行情况分析方法
CN107153916A (zh) * 2017-04-30 2017-09-12 安徽中科美络信息技术有限公司 一种基于fcm聚类和bp神经网络的驾驶行为评价方法
CN107368887A (zh) * 2017-07-25 2017-11-21 江西理工大学 一种深度记忆卷积神经网络的结构及其构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XISHUANG DONG等: "Short-Term Load Forecasting in Smart Grid: A Combined CNN and K-Means Clustering Approach", 《IEEE》 *
程福运: "基于深度学习的人脸识别", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143684A (zh) * 2019-12-30 2020-05-12 腾讯科技（深圳）有限公司 基于人工智能的泛化模型的训练方法及装置
CN111143684B (zh) * 2019-12-30 2023-03-21 腾讯科技（深圳）有限公司 基于人工智能的泛化模型的训练方法及装置
CN111814448A (zh) * 2020-07-03 2020-10-23 苏州思必驰信息科技有限公司 预训练语言模型量化方法和装置
CN111814655A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 目标重识别方法及其网络训练方法、相关装置
CN111814655B (zh) * 2020-07-03 2023-09-01 浙江大华技术股份有限公司 目标重识别方法及其网络训练方法、相关装置
CN111814448B (zh) * 2020-07-03 2024-01-16 思必驰科技股份有限公司 预训练语言模型量化方法和装置

Similar Documents

Publication Publication Date Title
CN111369563B (zh) 一种基于金字塔空洞卷积网络的语义分割方法
CN105657402B (zh) 一种深度图恢复方法
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN107679465A (zh) 一种基于生成网络的行人重识别数据生成和扩充方法
CN109785300A (zh) 一种癌症医学图像数据处理方法、系统、装置和存储介质
CN107944553A (zh) 一种cnn模型的微调方法及装置
CN106991666B (zh) 一种适用于多尺寸图片信息的病害图像识别方法
CN106228185A (zh) 一种基于神经网络的通用图像分类识别系统及方法
CN112115967B (zh) 一种基于数据保护的图像增量学习方法
CN109934792A (zh) 电子装置及其控制方法
CN106709528A (zh) 基于多目标函数深度学习的车辆重识别方法及装置
CN106647272A (zh) 基于k均值改进卷积神经网络的机器人路径规划方法
CN111680702A (zh) 一种使用检测框实现弱监督图像显著性检测的方法
CN112287990A (zh) 一种基于在线学习的边云协同支持向量机的模型优化方法
CN112560918A (zh) 一种基于改进YOLO v3的菜品识别方法
CN112163520A (zh) 一种基于改进损失函数的mdssd人脸检测方法
CN104881852A (zh) 基于免疫克隆和模糊核聚类的图像分割方法
CN109978074A (zh) 基于深度多任务学习的图像美感和情感联合分类方法及系统
CN112215268A (zh) 一种灾害天气卫星云图分类方法和装置
CN112749663A (zh) 基于物联网和ccnn模型的农业果实成熟度检测系统
CN113743474A (zh) 基于协同半监督卷积神经网络的数字图片分类方法与系统
CN111259923A (zh) 一种基于改进三维r-cnn算法的多目标检测方法
WO2022242018A1 (zh) 一种基于改进的cnn模型的室内目标定位方法
CN112967296B (zh) 一种点云动态区域图卷积方法、分类方法及分割方法
CN108470184A (zh) 食材识别方法、识别装置及家电设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420