CN110717359A - 基于数理统计的反向传播优化方法、装置及电子设备 - Google Patents

基于数理统计的反向传播优化方法、装置及电子设备 Download PDF

Info

Publication number
CN110717359A
CN110717359A CN201810763738.1A CN201810763738A CN110717359A CN 110717359 A CN110717359 A CN 110717359A CN 201810763738 A CN201810763738 A CN 201810763738A CN 110717359 A CN110717359 A CN 110717359A
Authority
CN
China
Prior art keywords
class
inter
intra
class distance
distribution curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810763738.1A
Other languages
English (en)
Other versions
CN110717359B (zh
Inventor
杨治昆
赵晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201810763738.1A priority Critical patent/CN110717359B/zh
Publication of CN110717359A publication Critical patent/CN110717359A/zh
Application granted granted Critical
Publication of CN110717359B publication Critical patent/CN110717359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种基于数理统计的反向传播优化方法、装置及电子设备，该方法包括：获取样本集，将样本集导入至建立的训练模型以对样本集进行训练；根据各样本图像的标签将多个样本图像划分为多个组别，并对各样本图像进行特征提取以计算各组别内的样本图像的类内距离以及各组别之间的类间距离；根据类内距离获得类内距离分布曲线，并根据类间距离获得类间距离分布曲线；根据设定的误识率、类内距离分布曲线以及类间距离分布曲线计算得到损失函数；根据损失函数对输入向量进行偏导计算，将得到的偏导数值作为反向传播量以调整训练模型的特征提取参数。该优化方案可在满足设定的误识率的基础上提高模型的识别率，实用性更强。

Description

基于数理统计的反向传播优化方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于数理统计的反向传播优化方法、装置及电子设备。
背景技术
目前，在人脸识别以及其他相关的分类应用中，往往采用深度学习技术以实现。但是，现有的识别方案中一般考虑的是尽可能地提高识别率，如此，学习模型的训练存在着与应用脱节的问题。因为在实际项目应用中往往对误识率有一定要求，需要限制在设定的误识率范围内。现有的识别方案无法实现对误识率、识别率的控制，难以在项目需求下进行模型训练。
发明内容
有鉴于此，本申请的目的在于，提供一种基于数理统计的反向传播优化方法、装置及电子设备以改善上述问题。
本申请实施例提供一种基于数理统计的反向传播优化方法，所述方法包括：
获取样本集，将所述样本集导入至建立的训练模型以对所述样本集中包含的多个样本图像进行训练，其中，各所述样本图像携带有标签；
根据各所述样本图像的标签将所述多个样本图像划分为多个组别，并对各所述样本图像进行特征提取以计算各所述组别内的样本图像的类内距离以及各所述组别之间的类间距离；
根据所述类内距离获得所述样本集的类内距离分布曲线，并根据所述类间距离获得所述样本集的类间距离分布曲线；
根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数；
根据所述损失函数对输入向量进行偏导计算，将得到的偏导数值作为反向传播量以调整所述训练模型的特征提取参数。
可选地，所述根据所述类内距离获得所述样本集的类内距离分布曲线，并根据所述类间距离获得所述样本集的类间距离分布曲线的步骤，包括：
根据所述类内距离以及统计到的类内距离的数目计算得到类内距离均值，并根据各所述类内距离以及所述类内距离均值计算得到类内方差值；
根据所述类内方差值得到所述样本集的类内距离分布曲线；
根据所述类间距离以及统计到的类间距离的数目计算得到类间距离均值，并根据各所述类间距离以及所述类间距离均值计算得到类间方差值；
根据所述类间方差值得到所述样本集的类间距离分布曲线。
可选地，所述根据所述类内方差值得到所述样本集的类内距离分布曲线的步骤，包括：
根据所述类内方差值以及所述类内距离均值并按以下公式计算得到所述样本集的类内距离分布曲线：
Figure BDA0001728514760000021
其中，f1(d)为类内距离分布曲线，sigma1为类内方差值，u1为类内距离均值，d为所述类内距离分布曲线的横坐标值。
可选地，所述根据所述类内方差值得到所述样本集的类内距离分布曲线的步骤，包括：
根据所述类内方差值并按以下公式得到所述样本集的类内距离分布曲线：
Figure BDA0001728514760000031
其中，f1(d)为类内距离分布曲线，sigma1为类内方差值，d为所述类内距离分布曲线的横坐标值。
可选地，所述根据所述类间方差值得到所述样本集的类间距离分布曲线的步骤，包括：
根据所述类间方差值以及所述类间距离均值并按以下公式计算得到所述样本集的类间距离分布曲线：
其中，f2(d)为类间距离分布曲线，sigma2为类间方差值，u2为类间距离均值，d’为所述类间距离分布曲线的横坐标值。
可选地，所述根据所述类间方差值得到所述样本集的类间距离分布曲线的步骤，包括：
根据所述类间方差值并按以下公式得到所述样本集的类间距离分布曲线：
Figure BDA0001728514760000033
其中，f2(d)为类间距离分布曲线，sigma2为类间方差值，u2为类间距离均值，d’为所述类间距离分布曲线的横坐标值。
可选地，所述根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数的步骤，包括：
根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数并按以下公式计算得到损失函数：
Figure BDA0001728514760000041
Figure BDA0001728514760000042
其中，f1(d)为类内距离分布曲线，f2(d)为类间距离分布曲线，λ为设定的误识率，x0为所述类间距离分布曲线中满足所述误识率的阈值，Loss为损失函数。
本申请实施例还提供一种基于数理统计的反向传播优化装置，所述装置包括：
训练模块，用于获取样本集，将所述样本集导入至建立的训练模型以对所述样本集中包含的多个样本图像进行训练，其中，各所述样本图像携带有标签；
计算模块，用于根据各所述样本图像的标签将所述多个样本图像划分为多个组别，并对各所述样本图像进行特征提取以计算各所述组别内的样本图像的类内距离以及各所述组别之间的类间距离；
曲线模型获取模块，用于根据所述类内距离获得所述样本集的类内距离分布曲线，并根据所述类间距离获得所述样本集的类间距离分布曲线；
损失函数计算模块，用于根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数；
调整模块，用于根据所述损失函数对输入向量进行偏导计算，将得到的偏导数值作为反向传播量以调整所述训练模型的特征提取参数。
可选地，所述计算模块包括：
类内方差计算单元，用于根据所述类内距离以及统计到的类内距离的数目计算得到类内距离均值，并根据各所述类内距离以及所述类内距离均值计算得到类内方差值；
类内曲线模型获取单元，用于根据所述类内方差值得到所述样本集的类内距离分布曲线；
类间方差计算单元，用于根据所述类间距离以及统计到的类间距离的数目计算得到类间距离均值，并根据各所述类间距离以及所述类间距离均值计算得到类间方差值；
类间曲线模型获取单元，用于根据所述类间方差值得到所述样本集的类间距离分布曲线。
本申请实施例还提供一种电子设备，包括处理器及和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述的方法。
本申请实施例提供的基于数理统计的反向传播优化方法、装置及电子设备，通过将导入训练模型中的样本图像划分为多个组别，并对各样本图像进行特征提取以计算各组别内部的样本图像的类内距离以及各组别之间的类间距离。并且，根据类内距离获得类内距离分布曲线，根据类间距离获得类间距离分布曲线，再结合设定的误识率计算得到的损失函数，利用损失函数对输入向量进行偏导计算，以得到的偏导数值作为反向传播量以调整训练模型的特征提取参数。该优化方案在考虑项目所要求的设定的误识率的基础上，利用数理统计的方法计算得到损失函数，利用损失函数对建立的训练模型进行优化，可在满足设定的误识率的基础上提高模型的识别率，实用性更强。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的基于数理统计的反向传播优化方法的流程图。
图3为图2中步骤S130的子步骤的流程图。
图4为本申请实施例提供的基于数理统计的反向传播优化装置的功能模块框图。
图5为本申请实施例提供的计算模块的功能模块框图。
图标：100-电子设备；110-基于数理统计的反向传播优化装置；111-训练模块；112-计算模块；1121-类内方差计算单元；1122-类内曲线模型获取单元；1123-类间方差计算单元；1124-类间曲线模型获取单元；113-曲线模型获取模块；114-损失函数计算模块；115-调整模块；120-处理器；130-存储器。
具体实施方式
在当前的人脸识别以及其他相关分类应用中，常采用具有鲁棒性好、易于移植的深度学习技术以实现。在该领域内，模型的训练过程中常见的方式是使用深度学习以对图像进行特征提取，即将一张图片浓缩为一个向量，再利用损失函数来区分向量是否提取正确，将量化后的结果传输给反向传播机制进行反向传播，利用梯度下降法以对网络内的参数进行调节。如此，多次迭代后即可获得当前样本的最佳效果。
在现有技术中，在模型训练过程中对训练样本进行了分组，例如，将三个样本分为一个组，其中，前两个是一个类，第三个与前两个不属于同一个分类。前两个样本通过深度学习提取出的特征之间的距离称为类内距离(ap)，第一个样本与第三个样本通过深度学习提取出的特征之间的距离称为类间距离(an)。定义损失函数Loss＝ap-an+magin，其中，magin为常数，可人为设定。在这种方式中，模型训练过程存在着与应用脱节的问题，因为在实际项目应用中，往往对项目的误识率具有一定要求。即项目需求往往是在满足设定的误识率的基础上尽可能提高识别率，而现有的训练方案无法实现对误识率、识别率的精确控制，难以按照项目需求进行训练。
基于上述研究发现，本申请实施例提供一种基于数理统计的反向传播优化方案，该优化方案通过预先设定误识率，利用数理统计的方式计算得到损失函数，在满足设定的误识率的基础上对模型参数进行调节，避免了现有技术中难以对误识率、识别率进行控制以满足项目需求的弊端。
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
如图1所示，本发明实施例提供了一种电子设备100，所述电子设备100包括存储器130、处理器120和基于数理统计的反向传播优化装置110。
所述存储器130和处理器120之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于数理统计的反向传播优化装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器130中的软件功能模块。所述处理器120用于执行所述存储器130中存储的可执行的计算机程序，例如，所述基于数理统计的反向传播优化装置110所包括的软件功能模块及计算机程序等，以实现基于数理统计的反向传播优化方法。
其中，所述存储器130可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器130用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。
所述处理器120可能是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器120，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规的处理器等。
可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
可选地，所述电子设备100的具体类型不受限制，例如，可以是，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)、web(网站)服务器、数据服务器等具有处理功能的设备。
结合图2，本发明实施例还提供一种可应用于上述电子设备100的基于数理统计的反向传播优化方法。其中，所述方法有关的流程所定义的方法步骤可以由所述处理器120实现。下面将对图2所示的具体流程进行详细阐述。
步骤S110，获取样本集，将所述样本集导入至建立的训练模型以对所述样本集中包含的多个样本图像进行训练，其中，各所述样本图像携带有标签。
本实施例中，可预先建立训练模型，所述训练模型可为深度神经网络模型、循环神经网络模型或者是卷积神经网络模型等，具体本实施例中不作限制。其中，卷积神经网络(Convolutional Neural Network，CNN)模型是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面是它的神经元间的连接是非全连接的，另一方面是同一层中某些神经元之间的连接的权重是共享的(即相同的)。它的非全连接和权值共享的网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。
本实施例中，可采用经典的resnet50网络结构的CNN模型以对获得的包含多个样本图像的样本集进行训练。其中，所述样本图像可为人脸图像，各所述样本图像预先标定有标签，该标签为样本图像分类的标记。
步骤S120，根据各所述样本图像的标签将所述多个样本图像划分为多个组别，并对各所述样本图像进行特征提取以计算各所述组别内的样本图像的类内距离以及各所述组别之间的类间距离。
在本实施例中，各所述样本图像携带有标签，属于同一类别的样本图像其标签相同。例如，同一个人可对应样本集中的多个样本图像，即该多个样本图像均为同一个人的图像信息，则该属于同一个人的样本图像其标签应当相同，而属于不同的人的样本图像其标签也不同。
本实施例中，利用CNN模型对样本图像进行训练以进行特征提取，根据提取出的特征信息计算样本集中各组别内的样本图像的类内距离，以及各组别之间的样本图像的类间距离。
步骤S130，根据所述类内距离获得所述样本集的类内距离分布曲线，并根据所述类间距离获得所述样本集的类间距离分布曲线。
在模型训练的过程中，希望最终得到的类内距离尽可能地小，而类间距离尽可能地大。本实施例中，基于数理统计的方式以计算得到所述样本集的类内距离分布曲线以及样本集的类间距离分布曲线，从而得到满足条件的损失函数。
可选地，请参阅图3，在本实施例中，步骤S130包括步骤S131、步骤S132、步骤S133以及步骤S134四个子步骤。
步骤S131，根据所述类内距离以及统计到的类内距离的数目计算得到类内距离均值，并根据各所述类内距离以及所述类内距离均值计算得到类内方差值。
在本实施例中，对各所述组别内的类内距离进行累加，并根据统计到的该组别内的类内距离的数目计算得到类内距离均值，计算公式如下：
其中，u1为类内距离均值，n1为所述组别内的类内距离的数目，xi为所述组别内的类内距离。
在本实施例中，根据计算得到的类内距离均值以及各所述类内距离并按以下公式计算得到类内方差值：
Figure BDA0001728514760000112
其中，sigma1为类内方差值。
步骤S132，根据所述类内方差值得到所述样本集的类内距离分布曲线。
在本实施例中，针对不同情况下的分布曲线，其类内距离分布曲线的计算方式存在差异，例如在类内距离分布曲线满足高斯分布时，可根据类内方差值以及类内距离均值并按以下公式计算得到类内距离分布曲线：
Figure BDA0001728514760000113
其中，f1(d)为类内距离分布曲线，sigma1为类内方差值，u1为类内距离均值，d为所述类内距离分布曲线的横坐标值。
而若类内距离分布曲线满足瑞利分布，则可根据类内方差值并按以下公式获得类内距离分布曲线：
Figure BDA0001728514760000121
其中，f1(d)为类内距离分布曲线，sigma1为类内方差值，d为所述类内距离分布曲线的横坐标值。
步骤S133，根据所述类间距离以及统计到的类间距离的数目计算得到类间距离均值，并根据各所述类间距离以及所述类间距离均值计算得到类间方差值。
在本实施例中，对各所述组别之间的类间距离进行累加，并根据统计到的类间距离的数目计算得到类间距离均值，计算公式如下：
Figure BDA0001728514760000122
其中，u2为类间距离均值，n2为类间距离的数目，yi为类内距离。
在本实施例中，根据计算得到的类间距离均值以及各所述类间距离并按以下公式计算得到类间方差值：
Figure BDA0001728514760000123
其中，sigma2为类间方差值。
步骤S134，根据所述类间方差值得到所述样本集的类间距离分布曲线。
在本实施例中，同样地，在不同的情况下，类间距离分布曲线的计算方式也存在差异，例如在类间距离分布曲线满足高斯分布，则可根据类间方差值以及类间距离均值并按以下公式计算得到类间距离分布曲线：
Figure BDA0001728514760000131
其中，f2(d)为类间距离分布曲线，sigma2为类间方差值，u2为类间距离均值，d’为所述类间距离分布曲线的横坐标值。
而若类间距离分布曲线满足瑞利分布，则可根据类间方差值并按以下公式获得类间距离分布曲线：
其中，f2(d)为类间距离分布曲线，sigma2为类间方差值，u2为类间距离均值，d’为所述类间距离分布曲线的横坐标值。需要说明的是，上述的类内距离分布曲线计算方式以及类间距离分布曲线计算方式并不只适用于满足高斯分布或瑞利分布的曲线。
步骤S140，根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数。
类间距离分布曲线一定程度上体现出误识率，实际项目应用场景中往往对误识率具有一定限制，要求在一定误识率的限制下尽可能提高识别率。本实施例中，按项目需求可预先设定误识率，找到所述类间距离分布曲线上满足设定的误识率的阈值，在该阈值范围内并结合类间距离分布曲线计算得到损失函数，其计算公式如下：
Figure BDA0001728514760000133
Figure BDA0001728514760000134
其中，f1(d)为类内距离分布曲线，f2(d)为类间距离分布曲线，λ为设定的误识率，x0为所述类间距离分布曲线中满足所述误识率的阈值，Loss为损失函数。
步骤S150，根据所述损失函数对输入向量进行偏导计算，将得到的偏导数值作为反向传播量以调整所述训练模型的特征提取参数。
损失函数在深度学习模型中承担着重要的作用，使用不同的损失函数可以得到不同的结果。本实施例中，利用数理统计方法并在设定的误识率的限制下计算得到的损失函数对后续的输入向量进行偏导计算。并将得到的偏导数值作为反向传播量以调整所述训练模型，例如CNN模型的特征提取参数。如此，通过多次迭代之后使最终的得到的结果无限接近于期望值，并且还能限制在设定的误识率之内。
请参阅图4，本申请实施例还提供一种基于数理统计的反向传播优化装置110，该装置应用于上述的电子设备100。所述基于数理统计的反向传播优化装置110包括训练模块111、计算模块112、曲线模型获取模块113、损失函数计算模块114以及调整模块115。
所述训练模块111用于获取多个样本图像，将所述多个样本图像导入至建立的训练模型以对所述多个样本图像进行训练，其中，各所述样本图像携带有特征集及标签。具体地，该训练模块111可用于执行图2中所示的步骤S110，具体的操作方法可参考步骤S110的详细描述。
所述计算模块112用于根据各所述样本图像的标签将所述多个样本图像划分为多个组别，并对各所述样本图像进行特征提取以计算各所述组别内的样本图像的类内距离以及各所述组别之间的类间距离。具体地，该计算模块112可用于执行图2中所示的步骤S120，具体的操作方法可参考步骤S120的详细描述。
所述曲线模型获取模块113用于根据所述类内距离获得类内距离分布曲线，并根据所述类间距离获得类间距离分布曲线。具体地，该曲线模型获取模块113可用于执行图2中所示的步骤S130，具体的操作方法可参考步骤S130的详细描述。
所述损失函数计算模块114用于根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数。具体地，该损失函数计算模块114可用于执行图2中所示的步骤S140，具体的操作方法可参考步骤S140的详细描述。
所述调整模块115用于根据所述损失函数对输入向量进行偏导计算，将得到的偏导数值作为反向传播量以调整所述训练模型的特征提取参数。具体地，该调整模块115可用于执行图2中所示的步骤S150，具体的操作方法可参考步骤S150的详细描述。
可选地，请参阅图5，在本实施例中，所述计算模块112包括类内方差计算单元1121、类内曲线模型获取单元1122、类间方差计算单元1123以及类间曲线模型获取单元1124。
所述类内方差计算单元1121用于根据所述类内距离以及样本图像的数目计算得到类内距离均值，并根据各所述类内距离以及所述类内距离均值计算得到类内方差值。具体地，该类内方差计算单元1121可用于执行图3中所示的步骤S131，具体的操作方法可参考步骤S131的详细描述。
所述类内曲线模型获取单元1122用于根据所述类内方差值得到类内距离分布曲线。具体地，该类内曲线模型获取单元1122可用于执行图3中所示的步骤S132，具体的操作方法可参考步骤S132的详细描述。
所述类间方差计算单元1123用于根据所述类间距离以及样本图像的数目计算得到类间距离均值，并根据各所述类间距离以及所述类间距离均值计算得到类间方差值。具体地，该类间方差计算单元1123可用于执行图3中所示的步骤S133，具体的操作方法可参考步骤S133的详细描述。
所述类间曲线模型获取单元1124用于根据所述类间方差值得到类间距离分布曲线。具体地，该类间曲线模型获取单元1124可用于执行图3中所示的步骤S134，具体的操作方法可参考步骤S134的详细描述。
综上所述，本申请实施例提供的基于数理统计的反向传播优化方法、装置及电子设备100，通过将导入训练模型中的样本图像划分为多个组别，并对各样本图像进行特征提取以计算各组别内部的样本图像的类内距离以及各组别之间的类间距离。并且，根据类内距离获得类内距离分布曲线，根据类间距离获得类间距离分布曲线，再结合设定的误识率计算得到的损失函数，利用损失函数对输入向量进行偏导计算，以得到的偏导数值作为反向传播量以调整训练模型的特征提取参数。该优化方案在考虑项目所要求的设定的误识率的基础上，利用数理统计的方法计算得到损失函数，利用损失函数对建立的训练模型进行优化，可在满足设定的误识率的基础上提高模型的识别率，实用性更强。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种基于数理统计的反向传播优化方法，其特征在于，所述方法包括：
获取样本集，将所述样本集导入至建立的训练模型以对所述样本集中包含的多个样本图像进行训练，其中，各所述样本图像携带有标签；
根据各所述样本图像的标签将所述多个样本图像划分为多个组别，并对各所述样本图像进行特征提取以计算各所述组别内的样本图像的类内距离以及各所述组别之间的类间距离；
根据所述类内距离获得所述样本集的类内距离分布曲线，并根据所述类间距离获得所述样本集的类间距离分布曲线；
根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数；
根据所述损失函数对输入向量进行偏导计算，将得到的偏导数值作为反向传播量以调整所述训练模型的特征提取参数。
2.根据权利要求1所述的基于数理统计的反向传播优化方法，其特征在于，所述根据所述类内距离获得所述样本集的类内距离分布曲线，并根据所述类间距离获得所述样本集的类间距离分布曲线的步骤，包括：
根据所述类内距离以及统计到的类内距离的数目计算得到类内距离均值，并根据各所述类内距离以及所述类内距离均值计算得到类内方差值；
根据所述类内方差值得到所述样本集的类内距离分布曲线；
根据所述类间距离以及统计到的类间距离的数目计算得到类间距离均值，并根据各所述类间距离以及所述类间距离均值计算得到类间方差值；
根据所述类间方差值得到所述样本集的类间距离分布曲线。
3.根据权利要求2所述的基于数理统计的反向传播优化方法，其特征在于，所述根据所述类内方差值得到所述样本集的类内距离分布曲线的步骤，包括：
根据所述类内方差值以及所述类内距离均值并按以下公式计算得到所述样本集的类内距离分布曲线：
Figure FDA0001728514750000021
其中，f1(d)为类内距离分布曲线，sigma1为类内方差值，u1为类内距离均值，d为所述类内距离分布曲线的横坐标值。
4.根据权利要求2所述的基于数理统计的反向传播优化方法，其特征在于，所述根据所述类内方差值得到所述样本集的类内距离分布曲线的步骤，包括：
根据所述类内方差值并按以下公式得到所述样本集的类内距离分布曲线：
其中，f1(d)为类内距离分布曲线，sigma1为类内方差值，d为所述类内距离分布曲线的横坐标值。
5.根据权利要求2所述的基于数理统计的反向传播优化方法，其特征在于，所述根据所述类间方差值得到所述样本集的类间距离分布曲线的步骤，包括：
根据所述类间方差值以及所述类间距离均值并按以下公式计算得到所述样本集的类间距离分布曲线：
其中，f2(d)为类间距离分布曲线，sigma2为类间方差值，u2为类间距离均值，d’为所述类间距离分布曲线的横坐标值。
6.根据权利要求2所述的基于数理统计的反向传播优化方法，其特征在于，所述根据所述类间方差值得到所述样本集的类间距离分布曲线的步骤，包括：
根据所述类间方差值并按以下公式得到所述样本集的类间距离分布曲线：
Figure FDA0001728514750000032
其中，f2(d)为类间距离分布曲线，sigma2为类间方差值，u2为类间距离均值，d’为所述类间距离分布曲线的横坐标值。
7.根据权利要求1所述的基于数理统计的反向传播优化方法，其特征在于，所述根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数的步骤，包括：
根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数并按以下公式计算得到损失函数：
Figure FDA0001728514750000033
Figure FDA0001728514750000034
其中，f1(d)为类内距离分布曲线，f2(d)为类间距离分布曲线，λ为设定的误识率，x0为所述类间距离分布曲线中满足所述误识率的阈值，Loss为损失函数。
8.一种基于数理统计的反向传播优化装置，其特征在于，所述装置包括：
训练模块，用于获取样本集，将所述样本集导入至建立的训练模型以对所述样本集中包含的多个样本图像进行训练，其中，各所述样本图像携带有标签；
计算模块，用于根据各所述样本图像的标签将所述多个样本图像划分为多个组别，并对各所述样本图像进行特征提取以计算各所述组别内的样本图像的类内距离以及各所述组别之间的类间距离；
曲线模型获取模块，用于根据所述类内距离获得所述样本集的类内距离分布曲线，并根据所述类间距离获得所述样本集的类间距离分布曲线；
损失函数计算模块，用于根据设定的误识率、所述类内距离分布曲线以及所述类间距离分布曲线计算得到损失函数；
调整模块，用于根据所述损失函数对输入向量进行偏导计算，将得到的偏导数值作为反向传播量以调整所述训练模型的特征提取参数。
9.根据权利要求8所述的基于数理统计的反向传播优化装置，其特征在于，所述计算模块包括：
类内方差计算单元，用于根据所述类内距离以及统计到的类内距离的数目计算得到类内距离均值，并根据各所述类内距离以及所述类内距离均值计算得到类内方差值；
类内曲线模型获取单元，用于根据所述类内方差值得到所述样本集的类内距离分布曲线；
类间方差计算单元，用于根据所述类间距离以及统计到的类间距离的数目计算得到类间距离均值，并根据各所述类间距离以及所述类间距离均值计算得到类间方差值；
类间曲线模型获取单元，用于根据所述类间方差值得到所述样本集的类间距离分布曲线。
10.一种电子设备，其特征在于，包括处理器及和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-7任一所述的方法。
CN201810763738.1A 2018-07-12 2018-07-12 基于数理统计的反向传播优化方法、装置及电子设备 Active CN110717359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810763738.1A CN110717359B (zh) 2018-07-12 2018-07-12 基于数理统计的反向传播优化方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810763738.1A CN110717359B (zh) 2018-07-12 2018-07-12 基于数理统计的反向传播优化方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110717359A true CN110717359A (zh) 2020-01-21
CN110717359B CN110717359B (zh) 2023-07-25

Family

ID=69208382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810763738.1A Active CN110717359B (zh) 2018-07-12 2018-07-12 基于数理统计的反向传播优化方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110717359B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553428A (zh) * 2020-04-30 2020-08-18 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850890A (zh) * 2015-04-14 2015-08-19 西安电子科技大学 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法
CN105701571A (zh) * 2016-01-13 2016-06-22 南京邮电大学 一种基于神经网络组合模型的短时交通流量预测方法
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106682734A (zh) * 2016-12-30 2017-05-17 中国科学院深圳先进技术研究院 一种提升卷积神经网络泛化能力的方法及装置
CN106897390A (zh) * 2017-01-24 2017-06-27 北京大学 基于深度度量学习的目标精确检索方法
CN107145387A (zh) * 2017-05-23 2017-09-08 南京大学 一种车载网环境下基于深度强化学习的任务调度方法
CN108197669A (zh) * 2018-01-31 2018-06-22 北京陌上花科技有限公司 卷积神经网络的特征训练方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850890A (zh) * 2015-04-14 2015-08-19 西安电子科技大学 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法
CN105701571A (zh) * 2016-01-13 2016-06-22 南京邮电大学 一种基于神经网络组合模型的短时交通流量预测方法
CN105808732A (zh) * 2016-03-10 2016-07-27 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106682734A (zh) * 2016-12-30 2017-05-17 中国科学院深圳先进技术研究院 一种提升卷积神经网络泛化能力的方法及装置
CN106897390A (zh) * 2017-01-24 2017-06-27 北京大学 基于深度度量学习的目标精确检索方法
CN107145387A (zh) * 2017-05-23 2017-09-08 南京大学 一种车载网环境下基于深度强化学习的任务调度方法
CN108197669A (zh) * 2018-01-31 2018-06-22 北京陌上花科技有限公司 卷积神经网络的特征训练方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GILBERT LIM等: "integrated optic disc and cup segmentation with deep learning", 《27TH ICTAI》 *
孙艳丰等: "基于改进Fisher准则的深度卷积神经网络识别算法", 《北京工业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553428A (zh) * 2020-04-30 2020-08-18 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质
CN111553428B (zh) * 2020-04-30 2024-01-12 北京百度网讯科技有限公司 用于训练判别模型的方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN110717359B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN107944020B (zh) 人脸图像查找方法及装置、计算机装置和存储介质
CN108235770B (zh) 图像识别方法及云端系统
CN110969250B (zh) 一种神经网络训练方法及装置
EP3982275A1 (en) Image processing method and apparatus, and computer device
CN109086654B (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
CN111523621A (zh) 图像识别方法、装置、计算机设备和存储介质
US20150242760A1 (en) Personalized Machine Learning System
CN109918498B (zh) 一种问题入库方法和装置
CN113378940B (zh) 神经网络训练方法、装置、计算机设备及存储介质
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN115082920B (zh) 深度学习模型的训练方法、图像处理方法和装置
CN108228684B (zh) 聚类模型的训练方法、装置、电子设备和计算机存储介质
CN107239532B (zh) 数据挖掘方法及装置
CN112990318B (zh) 持续学习方法、装置、终端及存储介质
CN111401339A (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
CN111061933A (zh) 图片样本库构建方法、装置、可读存储介质及终端设备
CN112348079A (zh) 数据降维处理方法、装置、计算机设备及存储介质
CN113408282B (zh) 主题模型训练和主题预测方法、装置、设备及存储介质
WO2022126917A1 (zh) 基于深度学习的人脸图像评估方法、装置、设备及介质
CN112329810B (zh) 一种基于显著性检测的图像识别模型训练方法及装置
CN114299304A (zh) 一种图像处理方法及相关设备
CN110580483A (zh) 一种室内外用户区分方法及装置
CN110717359B (zh) 基于数理统计的反向传播优化方法、装置及电子设备
CN116935057A (zh) 目标评价方法、电子设备和计算机可读存储介质
CN115758145A (zh) 模型训练方法、文本识别方法、电子设备及可读存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant