CN108133223A - 确定卷积神经网络cnn模型的装置和方法 - Google Patents

确定卷积神经网络cnn模型的装置和方法 Download PDF

Info

Publication number
CN108133223A
CN108133223A CN201611095600.6A CN201611095600A CN108133223A CN 108133223 A CN108133223 A CN 108133223A CN 201611095600 A CN201611095600 A CN 201611095600A CN 108133223 A CN108133223 A CN 108133223A
Authority
CN
China
Prior art keywords
cnn models
database
candidate
cnn
classification capacity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611095600.6A
Other languages
English (en)
Other versions
CN108133223B (zh
Inventor
孙利
王淞
范伟
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201611095600.6A priority Critical patent/CN108133223B/zh
Priority to US15/723,457 priority patent/US11049017B2/en
Priority to JP2017209284A priority patent/JP6954004B2/ja
Publication of CN108133223A publication Critical patent/CN108133223A/zh
Application granted granted Critical
Publication of CN108133223B publication Critical patent/CN108133223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及确定卷积神经网络CNN模型的装置和方法。根据本发明的确定CNN模型的装置包括：第一确定单元，用于确定包括多个样本的数据库的复杂度；第二确定单元，用于根据数据库的复杂度确定适用于数据库的CNN模型的分类能力；第三确定单元，用于获取多个候选CNN模型中的每个候选CNN模型的分类能力；以及匹配单元，用于根据每个候选CNN模型的分类能力以及适用于数据库的CNN模型的分类能力确定适用于数据库的CNN模型。使用根据本发明的确定CNN模型的装置和方法，可以简化CNN模型的设计流程，使得作为用户的普通人员也能够容易地设计和调整CNN模型，并能够根据数据库的复杂度为该数据库确定出更匹配的CNN模型。

Description

确定卷积神经网络CNN模型的装置和方法
技术领域
本发明的实施例涉及机器学习领域，具体地涉及可以确定卷积神经网络CNN模型的装置和方法。
背景技术
这个部分提供了与本发明有关的背景信息，这不一定是现有技术。
深度学习技术已经广泛应用于计算机视觉领域。作为深度学习技术之一，CNN(Convolutional Neural Network，卷积神经网络)大大提高了图像分类的准确性，给图像分类任务带来质变。针对任何一个数据库都可以设计合适的CNN模型，该CNN模型可以用于训练数据库中的样本，从而得到数据库中的样本与样本的标签之间的联系。这里，数据库中的样本可以是图像。
然而，设计和调整CNN模型需要专业的背景，对普通人员来说并不容易。此外，传统的CNN模型的设计和调整与工程师的专业技能密切相关，通常需要大量的实验才能获得最好的模型。
本发明希望提出一种方案，能够简化CNN模型的设计流程，使得作为用户的普通人员也能够容易地设计和调整CNN模型，同时希望能够针对不同的数据库设计出与该数据库更加匹配的CNN模型。
发明内容
这个部分提供了本发明的一般概要，而不是其全部范围或其全部特征的全面披露。
本发明的目的在于提供一种确定CNN模型的装置和方法，能够简化CNN模型的设计流程，使得作为用户的普通人员也能够容易地设计和调整CNN模型，并能够针对不同的数据库设计出与该数据库更加匹配的CNN模型。
根据本发明的一方面，提供了一种确定卷积神经网络CNN模型的装置，包括：第一确定单元，用于确定包括多个样本的数据库的复杂度；第二确定单元，用于根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力；第三确定单元，用于获取多个候选CNN模型中的每个候选CNN模型的分类能力；以及匹配单元，用于根据每个候选CNN模型的分类能力以及适用于所述数据库的CNN模型的分类能力确定适用于所述数据库的CNN模型。
根据本发明的另一方面，提供了一种确定卷积神经网络CNN模型的方法，包括：确定包括多个样本的数据库的复杂度；根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力；获取多个候选CNN模型中的每个候选CNN模型的分类能力；以及根据每个候选CNN模型的分类能力以及适用于所述数据库的CNN模型的分类能力确定适用于所述数据库的CNN模型。
根据本发明的另一方面，提供了一种程序产品，该程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本发明的确定卷积神经网络CNN模型的方法。
根据本发明的另一方面，提供了一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本发明的确定卷积神经网络CNN模型的方法。
使用根据本发明的确定卷积神经网络CNN模型的装置和方法，可以根据数据库的复杂度确定适用于该数据库的CNN模型的分类能力，从而从候选CNN模型中选取合适的CNN模型。这样一来，可以根据数据库的复杂度确定合适的CNN模型，使得确定的CNN模型与该数据库更加匹配。进一步，简化了CNN模型的设计流程，使得普通人员也能够针对数据库设计合适的CNN模型。
这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本发明的范围。
附图说明
在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本发明的范围。在附图中：
图1示出了根据本发明的实施例的确定CNN模型的装置的结构框图；
图2示出了根据本发明的实施例的CNN模型的结构示意图；
图3示出了根据本发明的另一个实施例的确定CNN模型的装置的结构框图；
图4示出了根据本发明的实施例的确定CNN模型的方法的流程图；以及
图5为其中可以实现根据本发明的确定CNN模型的方法的通用个人计算机的示例性结构的框图。
虽然本发明容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本发明限制到公开的具体形式，而是相反地，本发明目的是要覆盖落在本发明的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。
具体实施方式
现在参考附图来更加充分地描述本发明的示例。以下描述实质上只是示例性的，而不旨在限制本发明、应用或用途。
下面提供了示例实施例，以便本发明将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定单元、装置和方法的示例，以提供对本发明的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本发明的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。
下面结合图1来描述根据本发明的实施例的确定CNN模型的装置100。
根据本发明的确定CNN模型的装置100包括确定单元110、确定单元120、确定单元130和匹配单元140。
根据本发明的实施例，确定单元110可以确定包括多个样本的数据库的复杂度。这里，数据库可以是用户向装置100输入的特定数据库，即希望针对该数据库设计合适的CNN模型。进一步，数据库中的样本可以包括文本和图像等。确定单元110确定数据库的复杂度以后可以向确定单元120发送该数据库的复杂度。
根据本发明的实施例，确定单元120可以根据数据库的复杂度确定适用于该数据库的CNN模型的分类能力。这里，确定单元120可以从确定单元110获取数据库的复杂度，并根据该复杂度确定适用于该数据库的CNN模型的分类能力。也就是说，适用于该数据库的CNN模型的分类能力是希望CNN模型所能够达到的分类能力。进一步，确定单元120可以将确定的适用于该数据库的CNN模型的分类能力发送到匹配单元140。
根据本发明的实施例，确定单元130可以获取多个候选CNN模型中的每个候选CNN模型的分类能力。这里，多个候选CNN模型可以是用户输入的候选模型，也可以是装置100根据输入的数据库生成的候选模型。也就是说，匹配单元140将从这些候选CNN模型中选取最合适的CNN模型。其中，候选CNN模型的分类能力是该候选CNN模型的实际达到的分类能力。进一步，确定单元130可以将每个候选CNN模型的分类能力发送到匹配单元140。
根据本发明的实施例，匹配单元140可以根据每个候选CNN模型的分类能力以及适用于数据库的CNN模型的分类能力确定适用于数据库的CNN模型。这里，匹配单元140可以从确定单元120获取适用于数据库的CNN模型的分类能力，从可以从确定单元130获取候选CNN模型的分类能力，然后从候选CNN模型中选取适用于该数据库的CNN模型。进一步，匹配单元140可以将选取的适用于该数据库的CNN模型从装置100输出。
由此可见，使用根据本发明的确定CNN模型的装置100，可以根据数据库的复杂度确定适用于该数据库的CNN模型的分类能力，还可以确定候选CNN模型的实际分类能力，从而从候选CNN模型中选取合适的CNN模型。这样一来，可以根据数据库的复杂度确定合适的CNN模型，使得确定的CNN模型在分类能力方面与该数据库更加匹配。进一步，简化了CNN模型的设计流程，使得普通人员也能够针对数据库设计合适的CNN模型。
根据本发明的实施例，确定单元110对数据库的复杂度的计算可以采用多种方式，本发明对此不做限定，只要能够合理地表示出该数据库的复杂程度即可。例如，在数据库中的样本是图像的情况下，可以根据每一个样本的特征描述构成的特征矩阵的分布关系，例如特征值或者距离度量确定数据库的复杂度。再如，可以选取影响对数据库中的样本进行分类的难度的若干个指标，再根据这些指标量化数据库的复杂度。这种方式将在下文中详细介绍。
根据本发明的实施例，确定单元110从包括以下参数的参数组中选取多个参数并根据所选取的多个参数来确定数据库的复杂度：种类数目，其表示数据库中的多个样本的种类的数目；平均样本数目，其表示数据库中的每个种类的平均样本数目；样本均衡度，其表示数据库中的每个种类的样本数目的均衡程度；背景复杂度，其表示数据库中的样本的图像背景的复杂程度；以及目标清晰度，其表示从数据库中的样本中识别出目标的难易程度。在本发明中，列出了以上五种影响分类难度的参数，确定单元110可以从中选取多个参数，即选取任意两个、三个、四个或者五个参数从而确定数据库的复杂度。当然，还可以确定影响分类难度的其它参数作为计算复杂度的依据。
这里，种类数目n表示数据库中的多个样本(例如图像)的种类的数目，即数据库中的标签的数目，n为大于1的整数。
平均样本数目m表示数据库中的每个种类的平均样本数目，即m＝数据库中的样本总数目/n，这里可以规定m大于等于500。
样本均衡度bd表示数据库中的每个种类的样本数目的均衡程度，即bd＝样本数目的标准差/m，并且bd大于等于1。
背景复杂度ib表示数据库中的样本的图像背景的复杂程度，这里假定数据库中所有样本的背景的复杂程度相似。众所周知，图像包括背景部分和前景部分，ib表示的是背景部分的复杂程度。例如，数据库中的图像的背景为白色，那么可以认为该数据库的背景较为简单；数据库中的图像的背景为彩色，那么可以认为该数据库的背景较为复杂。这里，可以自定定义不同等级的ib的值，ib可以在[0,9]的范围内。下面的公式示出了一种ib值的定义方式。
目标清晰度cd表示从数据库中的样本中识别出目标的难易程度，这里假定数据库中所有样本的目标清晰度相似。cd表示的是能识别目标的难易程度，影响cd的因素不仅包括了图像的背景部分，还包括了图像的前景部分。例如，在相同背景的前提下，图像的前景部分为一个数字，那么识别出这个数字较为容易；图像的前景部分为多个交叠的数字，那么识别出这个数字较为困难。这里，可以自定定义不同等级的cd的值，cd可以在[0,9]的范围内。下面的公式示出了一种cd值的定义方式。
根据本发明的实施例，确定单元110用于确定多个参数中的每个参数的权重和分数；并且对多个参数中的每个参数的分数进行加权相加以确定数据库的复杂度。
例如，在选取了以上五个参数中的全部参数的情况下，数据库的复杂度可以通过以下公式来计算：
数据库的复杂度＝n的分数×n的权重+m的分数×m的权重+bd的分数×bd的权重+ib的分数×ib的权重+cd的分数×cd的权重。
这里，0≤n，m，bd，ib，cd的权重≤1，并且n的权重+m的权重+bd的权重+ib的权重+cd的权重＝1。
当然，在选取了部分参数的情况下，可以只对部分参数的分数进行加权相加确定数据库的复杂度。
这里，可以根据每个参数的定义来规定每个参数的分数。例如，可以定义上述五个参数的分数如下：
m的分数＝50000/m
bd的分数＝100×(1-1/bd)
cd的分数＝10×cd+10
根据本发明的实施例，确定单元110可以利用层次分析法，根据多个参数中的每两个参数之间的相对重要程度来构造比较矩阵；并且根据比较矩阵来确定多个参数中的每个参数的权重。
在选取了以上五个参数中的全部参数的情况下，构造的比较矩阵A＝[aij]为5×5的矩阵。也就是说，1≤i，j≤5。其中，当i＝j时，aij＝1；并且当i≠j时，aij表示第i个要素相对于第j个要素的重要程度，aij越大，表示第i个要素相对于第j个要素越重要，并且aij＝1/aji。
根据本发明的实施例，可以根据下述方法计算比较矩阵中的每个元素aij：使得除了第i个要素和第j个要素以外的其它要素(如果存在的话)都不变，选取若干个不同规模(即具有不同分类能力)的CNN模型，例如5个CNN模型，在第i个要素不变，第j个要素改变的情况下计算这若干个CNN模型的第一分类精度(即分类结果的正确率)，在第j个要素不变，第i个要素改变的情况下计算这若干个CNN模型的第二分类精度，然后根据第一分类精度和第二分类精度来确定aij。
根据本发明的实施例，在确定了比较矩阵之后，将比较矩阵的最大特征值进行归一化，从而确定每个参数的权重。
如上所述，确定单元110在确定了每个参数的分数和权重之后，可以计算数据库的复杂度。上述仅仅是计算数据库复杂度的一个示例，本领域技术人员还可以根据其它方法来计算数据库的复杂度。
根据本发明的实施例，数据库越复杂，那么该数据库所需要的CNN模型的分类能力应当越强。也就是说，适用于数据库的CNN模型的分类能力与数据库的复杂程度成正比。因此，根据本发明的实施例，确定单元120可以确定适用于数据库的CNN模型的分类能力，以使得数据库的复杂度表示该数据库越复杂，适用于该数据库的CNN模型的分类能力越强。
根据本发明的实施例，确定单元120确定的分类能力可以是一个数值。例如，可以根据函数χk＝f(数据库的复杂度)来计算所述数据库的CNN模型的分类能力χk。在一个示例中，可以利用如下公式计算适用于所述数据库的CNN模型的分类能力χk：
χk＝数据库的复杂度/10
根据本发明的实施例，确定单元120还可以根据数据库的复杂度确定适用于所述数据库的CNN模型的分类能力的取值范围。例如，在根据如上示出的实施例确定出适用于数据库的CNN模型的分类能力χk之后，可以确定出该分类能力的左邻域Δl和右邻域Δr，进而可以确定适用于所述数据库的CNN模型的分类能力的取值范围为：[χk-Δl,χk+Δr]。分类能力的左邻域和右邻域可以通过经验值来设定，优选地，Δl＝0.5，并且Δr＝0.5。
如上所述，确定单元120根据数据库的复杂度确定了适用于该数据库的CNN模型的分类能力或者分类能力的取值范围。接下来，确定单元120可以将适用于该数据库的CNN模型的分类能力或者分类能力的取值范围发送到匹配单元140。
下面将详细描述根据本发明的实施例的确定单元130。
根据本发明的实施例，确定单元130用于确定候选CNN模型的第一参数，第一参数用于表示候选CNN模型被训练的充分程度；并且根据候选CNN模型的第一参数来计算候选CNN模型的分类能力。
根据本发明的实施例，候选CNN模型被训练的充分程度在很大程度上影响了该候选CNN模型的分类能力。通常情况下，同一个候选CNN模型被训练的越充分，其分类能力越强。根据本发明的实施例，可以根据任何方法来评估候选CNN模型被训练的充分程度，本发明对此不做限定。候选CNN模型被训练的充分程度可能与该候选CNN模型中的卷积层的层数有关。
根据本发明的实施例，确定单元130还用于根据候选CNN模型的第一参数、第二参数和第三参数来计算候选CNN模型的分类能力，其中，第二参数表示候选CNN模型的卷积层的层数，第三参数表示候选CNN模型的特征图个数的倍乘因子。
图2示出了根据本发明的实施例的CNN模型的结构示意图。CNN模型可以包括一个或者多个卷积层以及一个或者多个池化层。这里，池化层也可以被其他类似的操作取代。卷积层用于提取数据库中的样本(例如图像)的特征量，池化层用于降低CNN模型的计算量。在卷积层和池化层中都有处理模板，当样本的特征图经过卷积层时，用卷积层的模板处理该特征图；当样本的特征图经过池化层时，用池化层的模板处理该特征图。在特征图经过池化层以后，特征图的长和宽都变为之前的一半。图2所示的CNN模型包括4个卷积层和2两个池化层。数据库中的样本分别经过卷积层1、卷积层2、池化层1、卷积层3、卷积层4和池化层2。当然，CNN模型可以包括其它数目的卷积层和其它数目的池化层，并且卷积层和池化层的放置位置也可以与图2中所示的不同。进一步，在图2中仅仅示出了CNN模型的一部分，CNN模型还可以包括其它部分。
在本发明的实施例中，CNN模型的第二参数N表示CNN模型的卷积层的层数，也可以称为CNN模型的深度参数，N为正整数。例如，图2中所示的CNN模型的第二参数N为4。
在本发明的实施例中，CNN模型的第三参数s表示CNN模型的特征图个数的倍乘因子，也可以称为CNN模型的宽度参数，s为正数。这里，数据库中的样本经过CNN模型的第一个卷积层之后的特征图的数目为第三参数s与基本特征图数目的乘积。也就是说，第三参数为数据库中的样本经过CNN模型的第一个卷积层之后的特征图的数目除以基本特征图数目。这里，样本经过CNN模型的第一个卷积层之后的特征图的数目由第一个卷积层中的模板决定，基本特征图数目可以是人为规定的数值，例如8、16、32或者64等。在图2所示的示例中，基本特征图数目为16，样本经过第一个卷积层之后特征图的数目为16×s。
根据本发明的实施例，采用第一参数、第二参数N和第三参数s来描述CNN模型，这是因为这三个参数是CNN模型中比较重要的参数，在一定程度上决定了CNN模型的分类能力。此外，根据本发明的实施例，采用第三参数s来描述CNN模型的宽度，从而可以更加简单的描述特征图的数目。
根据本发明的实施例，确定单元130可以根据候选CNN模型的第一参数、第二参数和第三参数来计算候选CNN模型的分类能力。例如，候选CNN模型的分类能力χ可以为：
χ＝g(N,s)×G
其中，N表示该候选CNN模型的第二参数，s表示该候选CNN模型的第三参数，g(N,s)表示以N和s为变量的函数，G表示该候选CNN模型的第一参数。
当然，除了第一参数、第二参数和第三参数以外，确定单元130还可以根据其它参数来计算CNN模型的分类能力，例如样本的归一化大小、卷积步长以及卷积和的大小等等。也就是说，函数g(N,s)可以不仅仅以N和s为变量。
如上所述，确定单元130可以确定每个候选CNN模型的分类能力。
根据本发明的实施例，确定单元130还可以建立候选CNN模型与分类能力之间的对应关系，并且匹配单元140可以确定与适用于数据库的CNN模型的分类能力相对应的候选CNN模型作为适用于数据库的CNN模型。
根据本发明的实施例，确定单元130在确定了每个候选CNN模型的分类能力χ之后，可以建立候选CNN模型与其分类能力χ之间的对应关系，并可以将这样的对应关系发送到匹配单元140。接下来，匹配单元140可以根据这样的对应关系来确定适用于数据库的CNN模型。例如，匹配单元140从确定单元120处获取适用于数据库的CNN模型的分类能力χk，然后确定与分类能力χk相对应的候选CNN模型作为最终的适用于该数据库的CNN模型。
根据本发明的实施例，确定单元130用于对多个候选CNN模型进行分组，以使得具有相同或相近的分类能力的候选CNN模型分为一组；并且使得属于同一组的候选CNN模型与该组的相同或相近的分类能力中的代表性分类能力具有对应关系。
确定单元130在如前文所述确定每个候选CNN模型的分类能力χ时，不同的候选CNN模型的分类能力十分发散，因此为了进一步提高运算的速度，可以按照分类能力对候选CNN模型进行分组。表1中示出了对候选CNN模型进行分组的一个示例。
表1
如表1所示，由于第二参数N和第三参数s是CNN模型中比较重要的参数，因而在表1中用这两个参数来表示候选CNN模型。例如，将候选CNN模型：N＝4,s＝1；N＝5,s＝1；N＝6,s＝1和N＝7,s＝0.7分为第一组候选CNN模型，这一组候选CNN模型具有相同或者相近的分类能力，并可以在这一组相同或相近的分类能力中选取一个代表性分类能力。例如，第一组候选CNN模型的代表性分类能力为5.4，这一组候选CNN模型的实际分类能力例如可能属于[5.25,5.55]的范围内。根据本发明的实施例，一组候选CNN模型与这一组的代表性分类能力相对应。例如，第一组候选CNN模型与代表性分类能力5.4相对应。表1中总共示出了七组候选CNN模型，每一组候选CNN模型都与这一组的代表性分类能力相对应。值得注意的是，表1中各个组的代表性分类能力并不是均匀分布的，这是因为CNN模型在分类能力上也不是均匀分布的。例如，位于[6.2,6.6]之间的CNN模型可能比较多，因而每组的间隔较小。此外，在确定一组候选CNN模型的代表性分类能力时，可以有多种的方法，例如对组中所有候选CNN模型的分类能力取中值等，本发明对此不做限定。
如上所述，确定单元130可以对多个候选CNN模型进行分组，以使得属于同一组的候选CNN模型与该组的代表性分类能力具有对应关系。进一步，确定单元130可以将这样的对应关系发送到匹配单元140。接下来，如前文所述，匹配单元140从确定单元120处获取适用于数据库的CNN模型的分类能力χk，然后确定与分类能力χk相对应的候选CNN模型作为最终的适用于该数据库的CNN模型。例如，从确定单元120处获取的适用于数据库的CNN模型的分类能力χk为5.4，那么匹配单元140可以从如表1所示的对应关系表中寻找到与分类能力5.4相对应的候选CNN模型为：N＝4,s＝1；N＝5,s＝1；N＝6,s＝1和N＝7,s＝0.7，从而确定这四个候选CNN模型为适用于该数据库的CNN模型。又如，从确定单元120处获取的适用于数据库的CNN模型的分类能力χk为6.22，6.22与如表1所示的对应关系表中的代表性分类能力6.2最为接近，那么匹配单元140寻找到与分类能力6.2相对应的候选CNN模型为：N＝6,s＝5；N＝4,s＝6；N＝7,s＝4和N＝8,s＝3，从而确定这四个候选CNN模型为适用于该数据库的CNN模型。再如，从确定单元120处获取的适用于数据库的CNN模型的分类能力χk的范围为[6.1，6.3]，那么匹配单元140从如表1所示的对应关系表中寻找代表性分类能力在该范围内的候选CNN模型组为代表性分类能力为6.2和6.3的组，并将这两组候选CNN模型作为适用于该数据库的CNN模型。
如前文所述，确定CNN模型的装置100可以根据数据库的复杂度确定适用于该数据库的CNN模型的分类能力，并能够从候选CNN模型中选取分类能力与该数据库最为匹配的候选CNN模型。进一步，为了减小计算量，还可以根据分类能力对候选CNN模型进行分组，并确定每组的代表性分类能力。这样一来，只需要找出与适用于数据库的CNN模型的分类能力χk最接近的代表性分类能力或者找出位于适用于数据库的CNN模型的分类能力的范围[χk-Δl,χk+Δr]内的代表性分类能力，并找到与这一个或者多个代表性分类能力相对应的候选CNN模型即可，大大简化了寻找过程。
图3示出了根据本发明的另一个实施例的确定CNN模型的装置的结构框图。
如图3所示，确定CNN模型的装置100包括确定单元110、确定单元120、确定单元130、匹配单元140和选取单元150。前四个单元在前文中已经详细介绍过，在此不再赘述。
根据本发明的实施例，选取单元150可以选取多个候选CNN模型。这里，选取单元150可以从已经建立好的样本CNN模型中选取合适的CNN模型作为候选CNN模型，也可以自己建立样本CNN模型并从中选取合适的CNN模型作为候选CNN模型。进一步，选取单元150可以将选取的候选CNN模型发送到确定单元130。
根据本发明的实施例，选取单元150可以建立多个样本CNN模型；并且选取第二参数和第三参数满足预定条件的多个样本CNN模型作为多个候选CNN模型。
根据本发明的实施例，选取单元150可以利用多种方式建立多个样本CNN模型。前文中提到，第二参数和第三参数是CNN模型中比较重要的参数，在一定程度上决定了CNN模型的性能好坏。因此，选取单元150可以在建立好的样本CNN模型中筛选出这两个参数满足预定条件的模型作为候选CNN模型，这样在匹配单元140确定出适用于数据库的CNN模型时才更为准确。
这里，预定条件可以规定第二参数和第三参数的取值范围。第二参数或者第三参数太大会使得该CNN模型训练数据库的时间过长，第二参数或者第三参数太小会影响CNN模型的分类精度，因此必须设定一个合理的范围，这可以通过经验来设定，也可以通过实验的方式来设定。
根据本发明的实施例，选取单元150可以以如下方式建立多个样本CNN模型中的每个样本CNN模型：当样本CNN模型的特征图的长和宽都变为之前的一半时，使得特征图的数目变为之前的特征图的数目的2倍。
前文中提到，当数据库中的样本的特征图通过CNN模型的池化层时，特征图的长和宽都变为之前的一半。实际上，在CNN模型中，还存在其它情况使得特征图的长和宽都变为之前的一半。根据本发明的实施例，只要这样的情况发生，就将特征图加倍。
根据本发明的实施例，选取单元150可以以如下方式建立多个样本CNN模型中的每个样本CNN模型：在样本CNN模型的一个或者多个池化层中的每个池化层之后的特征图的数目为池化层之前的特征图的数目的2倍。也就是说，每经过一次池化层，就将特征图的数目加倍。在如图2所示的CNN模型中，经过卷积层2的特征图数目为16×s，而经过池化层1的特征图数目变成了32×s，即对特征图的数目进行了加倍。
根据本发明的实施例，为了简化CNN模型的建立，选取单元150还可以固定CNN模型中的一些参数。固定的这些参数可以采用经验值，也可以通过测试和实验的过程来获取，以使得CNN模型在采用这些参数时性能较好。
例如，选取单元150用于以如下方式建立多个样本CNN模型中的每个样本CNN模型：固定样本CNN模型的一个或者多个卷积层中的每个卷积层的卷积模板和每个池化层的池化模板。再如，选取单元150还可以固定样本CNN模型的激活函数为ReLU函数。
根据本发明的实施例，固定卷积层的卷积模板可以包括以下中的一个或者多个：固定卷积和的大小、固定卷积步长和固定贴边大小。例如，可以固定卷积和的大小为3(单位为像素)×3(单位为像素)，可以固定卷积步长为1(单位为像素)，可以固定贴边大小为1(单位为像素)。
根据本发明的实施例，固定池化层的池化模板可以包括以下中的一个或者多个：固定池化模板的大小、固定池化步长和固定池化种类。例如，可以固定池化模板大小为3(单位为像素)×3(单位为像素)，可以固定池化步长为2(单位为像素)，可以固定池化种类为MAX(最大)。
以上仅仅示出了建立样本CNN模型的一些示例性方式。当然，为了进一步提高CNN模型的性能，选取单元150还可以用其它一些方式来优化CNN模型。例如，对一个或者多个卷积层中的每个卷积层都使用BatchNorm层或者dropout层，以提高该CNN模型的训练效果等等。
如上所述，选取单元150可以建立多个样本CNN模型，并从中选取候选CNN模型，并可以将选取的候选CNN模型发送到确定单元130，从而让确定单元130确定每个候选CNN模型的分类能力。这样一来，由于固定了CNN模型的一些参数，使得CNN模型的设计更加简单。进一步，选取单元150对样本CNN模型先进行了筛选，由此使得匹配单元140匹配出的候选CNN模型更加准确。
以上详细描述了根据本发明的实施例的确定CNN模型的装置100。接下来将详细描述根据本发明的实施例的确定CNN模型的方法。
图4为根据本发明的实施例的确定CNN模型的方法的流程图。
如图4所示，在步骤S410中，确定包括多个样本的数据库的复杂度。
接下来，在步骤S420中，根据该数据库的复杂度确定适用于该数据库的CNN模型的分类能力。
接下来，在步骤S430中，获取多个候选CNN模型中的每个候选CNN模型的分类能力。
接下来，在步骤S440中，根据每个候选CNN模型的分类能力以及适用于该数据库的CNN模型的分类能力确定适用于该数据库的CNN模型。
优选地，确定包括多个样本的数据库的复杂度包括：从包括以下参数的参数组中选取多个参数并根据所选取的多个参数来确定该数据库的复杂度：种类数目，其表示该数据库中的多个样本的种类的数目；平均样本数目，其表示该数据库中的每个种类的平均样本数目；样本均衡度，其表示该数据库中的每个种类的样本数目的均衡程度；背景复杂度，其表示该数据库中的样本的图像背景的复杂程度；以及目标清晰度，其表示从该数据库中的样本中识别出目标的难易程度。
优选地，根据多个参数来确定该数据库的复杂度包括：确定多个参数中的每个参数的权重和分数；以及对多个参数中的每个参数的分数进行加权相加以确定该数据库的复杂度。
优选地，确定多个参数中的每个参数的权重包括：利用层次分析法，根据多个参数中的每两个参数之间的相对重要程度来构造比较矩阵；以及根据比较矩阵来确定多个参数中的每个参数的权重。
优选地，根据数据库的复杂度确定适用于数据库的CNN模型的分类能力包括：根据数据库的复杂度确定适用于该数据库的CNN模型的分类能力的取值范围。
优选地，获取每个候选CNN模型的分类能力包括：确定候选CNN模型的第一参数，第一参数用于表示候选CNN模型被训练的充分程度；以及根据候选CNN模型的第一参数来计算候选CNN模型的分类能力。
优选地，获取每个候选CNN模型的分类能力包括：根据候选CNN模型的第一参数、第二参数和第三参数来计算候选CNN模型的分类能力，其中，第二参数表示候选CNN模型的卷积层的层数，第三参数表示所述候选CNN模型的宽度参数，所述宽度参数表示所述候选CNN模型的特征图个数的倍乘因子。
优选地，方法还包括建立候选CNN模型与分类能力之间的对应关系；并且确定适用于数据库的CNN模型包括确定与适用于数据库的CNN模型的分类能力相对应的候选CNN模型作为适用于数据库的CNN模型。
优选地，建立候选CNN模型与分类能力之间的对应关系包括：对多个候选CNN模型进行分组，以使得具有相同或相近的分类能力的候选CNN模型分为一组；以及使得属于同一组的候选CNN模型与该组的相同或相近的分类能力中的代表性分类能力具有对应关系。
优选地，方法还包括选取多个候选CNN模型。
优选地，选取多个候选CNN模型包括：建立多个样本CNN模型；以及选取第二参数和第三参数满足预定条件的多个样本CNN模型作为多个候选CNN模型。
优选地，建立多个样本CNN模型包括：以如下方式建立多个样本CNN模型中的每个样本CNN模型：在样本CNN模型的一个或者多个池化层中的每个池化层之后的特征图的数目为池化层之前的特征图的数目的2倍。
优选地，建立多个样本CNN模型包括：以如下方式建立多个样本CNN模型中的每个样本CNN模型：固定样本CNN模型的一个或者多个卷积层中的每个卷积层的卷积模板和每个池化层的池化模板。
优选地，建立多个样本CNN模型包括：以如下方式建立多个样本CNN模型中的每个样本CNN模型：固定样本CNN模型的激活函数为ReLU函数。
前面所描述的确定CNN模型的方法可以由根据本发明的实施例的确定CNN模型的装置100来实现，因此，前面所描述的确定CNN模型的装置100的各种实施方式都适用于此，在此不再重复说明。
由此可见，使用根据本发明的确定卷积神经网络CNN模型的装置和方法，可以根据数据库的复杂度确定适用于该数据库的CNN模型的分类能力，从而从候选CNN模型中选取合适的CNN模型。这样一来，可以根据数据库的复杂度确定合适的CNN模型，使得确定的CNN模型与该数据库更加匹配。进一步，简化了CNN模型的设计流程，使得普通人员也能够针对数据库设计合适的CNN模型。
显然，根据本发明的确定CNN模型的方法的各个操作过程可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且，本发明的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机、中央处理单元(CPU)或者图像处理单元(GPU)读出并执行上述程序代码。此时，只要该系统或者设备具有执行程序的功能，则本发明的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
另外，计算机通过连接到因特网上的相应网站，并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本发明的技术方案。
图5为其中可以实现根据本发明的确定CNN模型的方法的通用个人计算机的示例性结构的框图。
如图5所示，CPU 501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中，也根据需要存储当CPU501执行各种处理等等时所需的数据。CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口505也连接到总线504。
下述部件连接到输入/输出接口505：输入部分506(包括键盘、鼠标等等)、输出部分507(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，以及扬声器等)、存储部分508(包括硬盘等)、通信部分509(包括网络接口卡比如LAN卡、调制解调器等)。通信部分509经由网络比如因特网执行通信处理。根据需要，驱动器510也可连接到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器510上，使得从中读出的计算机程序根据需要被安装到存储部分508中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的示例包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 502、存储部分508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
在本发明的系统和方法中，显然，各单元或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。
关于包括以上实施例的实施方式，还公开下述的附记：
附记1.一种确定卷积神经网络CNN模型的装置，包括：
第一确定单元，用于确定包括多个样本的数据库的复杂度；
第二确定单元，用于根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力；
第三确定单元，用于获取多个候选CNN模型中的每个候选CNN模型的分类能力；以及
匹配单元，用于根据每个候选CNN模型的分类能力以及适用于所述数据库的CNN模型的分类能力确定适用于所述数据库的CNN模型。
附记2.根据附记1所述的装置，其中，所述第一确定单元从包括以下参数的参数组中选取多个参数并根据所选取的多个参数来确定所述数据库的复杂度：
种类数目，其表示所述数据库中的多个样本的种类的数目；
平均样本数目，其表示所述数据库中的每个种类的平均样本数目；
样本均衡度，其表示所述数据库中的每个种类的样本数目的均衡程度；
背景复杂度，其表示所述数据库中的样本的图像背景的复杂程度；以及
目标清晰度，其表示从所述数据库中的样本中识别出目标的难易程度。
附记3.根据附记2所述的装置，其中，所述第一确定单元用于确定所述多个参数中的每个参数的权重和分数；并且对所述多个参数中的每个参数的分数进行加权相加以确定所述数据库的复杂度。
附记4.根据附记3所述的装置，其中，所述第一确定单元用于利用层次分析法，根据所述多个参数中的每两个参数之间的相对重要程度来构造比较矩阵；并且根据所述比较矩阵来确定所述多个参数中的每个参数的权重。
附记5.根据附记1所述的装置，其中，所述第二确定单元用于根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力的取值范围。
附记6.根据附记1所述的装置，其中，所述第三确定单元用于确定所述候选CNN模型的第一参数，所述第一参数用于表示所述候选CNN模型被训练的充分程度；并且根据所述候选CNN模型的第一参数来计算所述候选CNN模型的分类能力。
附记7.根据附记6所述的装置，其中，所述第三确定单元还用于根据所述候选CNN模型的第一参数、第二参数和第三参数来计算所述候选CNN模型的分类能力，其中，所述第二参数表示所述候选CNN模型的卷积层的层数，所述第三参数表示所述候选CNN模型的宽度参数，所述宽度参数表示所述候选CNN模型的特征图个数的倍乘因子。
附记8.根据附记1所述的装置，其中，所述第三确定单元还用于建立候选CNN模型与分类能力之间的对应关系，并且
其中，所述匹配单元用于确定与适用于所述数据库的CNN模型的分类能力相对应的候选CNN模型作为适用于所述数据库的CNN模型。
附记9.根据附记8所述的装置，其中，所述第三确定单元用于对所述多个候选CNN模型进行分组，以使得具有相同或相近的分类能力的候选CNN模型分为一组；并且使得属于同一组的候选CNN模型与该组的相同或相近的分类能力中的代表性分类能力具有对应关系。
附记10.根据附记7所述的装置，还包括选取单元，用于选取多个候选CNN模型。
附记11.根据附记10所述的装置，其中，所述选取单元用于建立多个样本CNN模型；并且选取第二参数和第三参数满足预定条件的多个样本CNN模型作为所述多个候选CNN模型。
附记12.根据附记11所述的装置，其中，所述选取单元用于以如下方式建立所述多个样本CNN模型中的每个样本CNN模型：在所述样本CNN模型的一个或者多个池化层中的每个池化层之后的特征图的数目为所述池化层之前的特征图的数目的2倍。
附记13.根据附记10所述的装置，其中，所述选取单元用于以如下方式建立所述多个样本CNN模型中的每个样本CNN模型：固定所述样本CNN模型的一个或者多个卷积层中的每个卷积层的卷积模板和所述每个池化层的池化模板。
附记14.根据附记10所述的装置，其中，所述选取单元用于以如下方式建立所述多个样本CNN模型中的每个样本CNN模型：固定所述样本CNN模型的激活函数为ReLU函数。
附记15.一种确定卷积神经网络CNN模型的方法，包括：
确定包括多个样本的数据库的复杂度；
根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力；
获取多个候选CNN模型中的每个候选CNN模型的分类能力；以及
根据每个候选CNN模型的分类能力以及适用于所述数据库的CNN模型的分类能力确定适用于所述数据库的CNN模型。
附记16.根据附记15所述的方法，其中，确定包括多个样本的数据库的复杂度包括：从包括以下参数的参数组中选取多个参数并根据所选取的多个参数来确定所述数据库的复杂度：
种类数目，其表示所述数据库中的多个样本的种类的数目；
平均样本数目，其表示所述数据库中的每个种类的平均样本数目；
样本均衡度，其表示所述数据库中的每个种类的样本数目的均衡程度；
背景复杂度，其表示所述数据库中的样本的图像背景的复杂程度；以及
目标清晰度，其表示从所述数据库中的样本中识别出目标的难易程度。
附记17.根据附记16所述的方法，其中，根据多个参数来确定所述数据库的复杂度包括：
确定所述多个参数中的每个参数的权重和分数；以及
对所述多个参数中的每个参数的分数进行加权相加以确定所述数据库的复杂度。
附记18.根据附记17所述的方法，其中，确定所述多个参数中的每个参数的权重包括：
利用层次分析法，根据所述多个参数中的每两个参数之间的相对重要程度来构造比较矩阵；以及
根据所述比较矩阵来确定所述多个参数中的每个参数的权重。
附记19.根据附记15所述的方法，其中，根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力包括：
根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力的取值范围。
附记20.一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据附记15-19中任何一项所述的方法。

Claims (10)

1.一种确定卷积神经网络CNN模型的装置，包括：
第一确定单元，用于确定包括多个样本的数据库的复杂度；
第二确定单元，用于根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力；
第三确定单元，用于获取多个候选CNN模型中的每个候选CNN模型的分类能力；以及
匹配单元，用于根据每个候选CNN模型的分类能力以及适用于所述数据库的CNN模型的分类能力确定适用于所述数据库的CNN模型。
2.根据权利要求1所述的装置，其中，所述第二确定单元用于根据所述数据库的复杂度确定适用于所述数据库的CNN模型分类能力的取值范围。
3.根据权利要求1所述的装置，其中，所述第三确定单元用于确定所述候选CNN模型的第一参数，所述第一参数用于表示所述候选CNN模型被训练的充分程度；并且根据所述候选CNN模型的第一参数来计算所述候选CNN模型的分类能力。
4.根据权利要求3所述的装置，其中，所述第三确定单元还用于根据所述候选CNN模型的第一参数、第二参数和第三参数来计算所述候选CNN模型的分类能力，其中，所述第二参数表示所述候选CNN模型的卷积层的层数，所述第三参数为所述候选CNN模型的宽度参数，所述宽度参数表示所述候选CNN模型的特征图个数的倍乘因子。
5.根据权利要求1所述的装置，其中，所述第三确定单元还用于建立候选CNN模型与分类能力之间的对应关系，并且
其中，所述匹配单元用于确定与适用于所述数据库的CNN模型的分类能力相对应的候选CNN模型作为适用于所述数据库的CNN模型。
6.根据权利要求5所述的装置，其中，所述第三确定单元用于对所述多个候选CNN模型进行分组，以使得具有相同或相近的分类能力的候选CNN模型分为一组；并且使得属于同一组的候选CNN模型与该组的相同或相近的分类能力中的代表性分类能力具有对应关系。
7.根据权利要求4所述的装置，还包括选取单元，用于选取多个候选CNN模型。
8.根据权利要求7所述的装置，其中，所述选取单元用于建立多个样本CNN模型；并且选取第二参数和第三参数满足预定条件的多个样本CNN模型作为所述多个候选CNN模型。
9.根据权利要求8所述的装置，其中，所述选取单元用于以如下方式建立所述多个样本CNN模型中的每个样本CNN模型：在所述样本CNN模型的一个或者多个池化层中的每个池化层之后的特征图的数目为所述池化层之前的特征图的数目的2倍。
10.一种确定卷积神经网络CNN模型的方法，包括：
确定包括多个样本的数据库的复杂度；
根据所述数据库的复杂度确定适用于所述数据库的CNN模型的分类能力；
获取多个候选CNN模型中的每个候选CNN模型的分类能力；以及
根据每个候选CNN模型的分类能力以及适用于所述数据库的CNN模型的分类能力确定适用于所述数据库的CNN模型。
CN201611095600.6A 2016-12-01 2016-12-01 确定卷积神经网络cnn模型的装置和方法 Active CN108133223B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611095600.6A CN108133223B (zh) 2016-12-01 2016-12-01 确定卷积神经网络cnn模型的装置和方法
US15/723,457 US11049017B2 (en) 2016-12-01 2017-10-03 Device and method for determining convolutional neural network model
JP2017209284A JP6954004B2 (ja) 2016-12-01 2017-10-30 畳み込みニューラルネットワークモデルの決定装置及び決定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611095600.6A CN108133223B (zh) 2016-12-01 2016-12-01 确定卷积神经网络cnn模型的装置和方法

Publications (2)

Publication Number Publication Date
CN108133223A true CN108133223A (zh) 2018-06-08
CN108133223B CN108133223B (zh) 2020-06-26

Family

ID=62243977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611095600.6A Active CN108133223B (zh) 2016-12-01 2016-12-01 确定卷积神经网络cnn模型的装置和方法

Country Status (3)

Country Link
US (1) US11049017B2 (zh)
JP (1) JP6954004B2 (zh)
CN (1) CN108133223B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4030347A4 (en) * 2019-09-24 2022-11-16 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR CONSTRUCTING NEURONAL NETWORK, AND METHOD AND DEVICE FOR IMAGE PROCESSING

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11810340B2 (en) * 2017-11-29 2023-11-07 International Business Machines Corporation System and method for consensus-based representation and error checking for neural networks
JP7042210B2 (ja) * 2018-12-27 2022-03-25 Kddi株式会社 学習モデル生成装置、学習モデル生成方法、及びプログラム
EP3915048A4 (en) 2019-06-03 2022-03-30 Samsung Electronics Co., Ltd. ELECTRONIC OBJECT RECOGNITION APPARATUS AND METHOD FOR OPERATING IT
US20210064987A1 (en) * 2019-09-03 2021-03-04 Nvidia Corporation Processor and system to convert tensor operations in machine learning
US10699002B1 (en) * 2019-11-22 2020-06-30 Capital One Services, Llc Identification of database intrusion by changes in data tables

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479329A (zh) * 2010-11-22 2012-05-30 索尼公司 分类器生成装置和方法,检测图像中的对象的装置和方法
CN103177265A (zh) * 2013-03-25 2013-06-26 中山大学 基于核函数与稀疏编码的高清图像分类方法
CN104794527A (zh) * 2014-01-20 2015-07-22 富士通株式会社 基于卷积神经网络的分类模型构建方法和设备
WO2016109884A1 (en) * 2015-01-05 2016-07-14 Valorbec Limited Partnership Automated recommendation and virtualization systems and methods for e-commerce
CN105975992A (zh) * 2016-05-18 2016-09-28 天津大学 一种基于自适应升采样的不平衡数据集分类方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2798793B2 (ja) * 1990-07-12 1998-09-17 三菱電機株式会社 神経回路網装置
US20040012576A1 (en) * 2002-07-16 2004-01-22 Robert Cazier Digital image display method and system
JP2008021805A (ja) * 2006-07-12 2008-01-31 Sharp Corp テスト結果予測装置、テスト結果予測方法、半導体テスト装置、半導体テスト方法、システム、プログラム、および記録媒体
US9463334B2 (en) * 2013-03-15 2016-10-11 Varian Medical Systems International Ag Radiation therapy planing using integrated model
JP6236296B2 (ja) * 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
US20160239736A1 (en) * 2015-02-17 2016-08-18 Qualcomm Incorporated Method for dynamically updating classifier complexity
US11423311B2 (en) * 2015-06-04 2022-08-23 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
CN106228185B (zh) * 2016-07-20 2019-10-15 武汉盈力科技有限公司 一种基于神经网络的通用图像分类识别系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479329A (zh) * 2010-11-22 2012-05-30 索尼公司 分类器生成装置和方法,检测图像中的对象的装置和方法
CN103177265A (zh) * 2013-03-25 2013-06-26 中山大学 基于核函数与稀疏编码的高清图像分类方法
CN104794527A (zh) * 2014-01-20 2015-07-22 富士通株式会社 基于卷积神经网络的分类模型构建方法和设备
WO2016109884A1 (en) * 2015-01-05 2016-07-14 Valorbec Limited Partnership Automated recommendation and virtualization systems and methods for e-commerce
CN105975992A (zh) * 2016-05-18 2016-09-28 天津大学 一种基于自适应升采样的不平衡数据集分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李彦东等: "《卷积神经网络研究综述》", 《计算机应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4030347A4 (en) * 2019-09-24 2022-11-16 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR CONSTRUCTING NEURONAL NETWORK, AND METHOD AND DEVICE FOR IMAGE PROCESSING

Also Published As

Publication number Publication date
US20180157976A1 (en) 2018-06-07
CN108133223B (zh) 2020-06-26
US11049017B2 (en) 2021-06-29
JP6954004B2 (ja) 2021-10-27
JP2018092615A (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
CN108133223A (zh) 确定卷积神经网络cnn模型的装置和方法
CN107464210B (zh) 一种基于生成式对抗网络的图像风格迁移方法
CN105912500B (zh) 机器学习模型生成方法和装置
CN105184362B (zh) 基于参数量化的深度卷积神经网络的加速与压缩方法
CN105243398B (zh) 基于线性判别分析准则的改进卷积神经网络性能的方法
CN106251174A (zh) 信息推荐方法及装置
CN103605711B (zh) 支持向量机分类器的构造方法及装置、分类方法及装置
CN107644630A (zh) 基于神经网络的旋律生成方法及装置
CN103970806B (zh) 一种建立歌词感情分类模型的方法及装置
CN109522435A (zh) 一种图像检索方法及装置
CN108664658A (zh) 一种考虑用户偏好动态变化的协同过滤视频推荐方法
CN109471982B (zh) 一种基于用户和服务聚类QoS感知的Web服务推荐方法
CN105468628B (zh) 一种排序方法及装置
CN103514254A (zh) 一种挖掘用户隐性操作行为的图像集合排序方法
CN107293308A (zh) 一种音频处理方法及装置
CN109344907A (zh) 基于改进评判标准分类算法的判别方法
Tamosiunas et al. Investigating cosmological GAN emulators using latent space interpolation
CN112396428B (zh) 一种基于用户画像数据的客群分类管理方法及装置
CN107967497A (zh) 基于卷积神经网络和极限学习机的手写体识别方法
CN109285024A (zh) 在线特征确定方法、装置、电子设备及存储介质
CN106326904A (zh) 获取特征排序模型的装置和方法以及特征排序方法
CN108427756A (zh) 基于同类用户模型的个性化查询词补全推荐方法和装置
CN114494756A (zh) 一种基于Shape-GIoU改进的聚类算法
CN111398238A (zh) 一种食用油掺杂蓖麻油的激光诱导荧光光谱识别方法
CN109978406A (zh) 一种证券下行风险评估诊断的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant