CN108133222A - 为数据库确定卷积神经网络cnn 模型的装置和方法 - Google Patents

为数据库确定卷积神经网络cnn 模型的装置和方法 Download PDF

Info

Publication number
CN108133222A
CN108133222A CN201611095599.7A CN201611095599A CN108133222A CN 108133222 A CN108133222 A CN 108133222A CN 201611095599 A CN201611095599 A CN 201611095599A CN 108133222 A CN108133222 A CN 108133222A
Authority
CN
China
Prior art keywords
cnn models
parameter
cnn
model
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611095599.7A
Other languages
English (en)
Other versions
CN108133222B (zh
Inventor
孙利
王淞
范伟
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201611095599.7A priority Critical patent/CN108133222B/zh
Priority to JP2017208935A priority patent/JP6954003B2/ja
Priority to US15/799,533 priority patent/US11144817B2/en
Publication of CN108133222A publication Critical patent/CN108133222A/zh
Application granted granted Critical
Publication of CN108133222B publication Critical patent/CN108133222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及为数据库确定卷积神经网络CNN模型的装置和方法。根据本发明的为数据库确定CNN模型的装置包括：选取单元，用于从多个已知分类能力的CNN模型中选取至少两个CNN模型；拟合单元，用于根据至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，第一参数用于表征CNN模型的性能；预测单元，用于根据曲线预测其它CNN模型的第一参数；以及确定单元，用于根据每一个CNN模型的第一参数从多个CNN模型中确定适用于数据库的CNN模型。使用根据本发明的为数据库确定CNN模型的装置和方法，无需对所有CNN模型进行训练，大大降低了计算量，简化了设计CNN模型的流程。

Description

为数据库确定卷积神经网络CNN模型的装置和方法
技术领域
本发明的实施例涉及机器学习领域，具体地涉及可以为数据库确定卷积神经网络CNN模型的装置和方法。
背景技术
这个部分提供了与本发明有关的背景信息，这不一定是现有技术。
深度学习技术已经广泛应用于计算机视觉领域。作为深度学习技术之一，CNN(Convolutional Neural Network，卷积神经网络)大大提高了图像分类的准确性，给图像分类任务带来质变。针对任何一个数据库都可以设计合适的CNN模型，该CNN模型可以用于训练数据库中的样本，从而得到数据库中的样本与样本的标签之间的联系。这里，数据库中的样本可以是图像。
然而，设计和选取CNN模型需要专业的背景，对普通人员来说并不容易。此外，在确定CNN模型时，一般希望选取性能比较好的CNN模型，而CNN模型的性能参数通常需要对其进行训练才能获取。因此，在存在大量的候选CNN模型的情况下，需要逐一对每个CNN模型进行训练获取性能参数，然后根据性能参数选取合适的CNN模型。这样就增加了计算量，延长了处理的时间。
本发明希望提出一种方案，能够简化CNN模型的确定流程，降低选取CNN模型的计算量，使得作为用户的普通人员也能够容易地确定CNN模型。
发明内容
这个部分提供了本发明的一般概要，而不是其全部范围或其全部特征的全面披露。
本发明的目的在于提供一种为数据库确定CNN模型的装置和方法，能够简化CNN模型的确定流程，降低选取CNN模型的计算量，使得作为用户的普通人员也能够容易地确定CNN模型。
根据本发明的一方面，提供了一种为数据库确定卷积神经网络CNN模型的装置，包括：选取单元，用于从多个已知分类能力的CNN模型中选取至少两个CNN模型；拟合单元，用于根据所述至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，所述第一参数用于表征CNN模型的性能；预测单元，用于根据所述曲线预测所述多个CNN模型中的除所述至少两个CNN模型之外的其它CNN模型的第一参数；以及确定单元，用于根据所述多个CNN模型中的每一个CNN模型的第一参数从所述多个CNN模型中确定适用于所述数据库的CNN模型。
根据本发明的另一方面，提供了一种为数据库确定卷积神经网络CNN模型的方法，包括：从多个已知分类能力的CNN模型中选取至少两个CNN模型；根据所述至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，所述第一参数用于表征CNN模型的性能；根据所述曲线预测所述多个CNN模型中的除所述至少两个CNN模型之外的其它CNN模型的第一参数；以及根据所述多个CNN模型中的每一个CNN模型的第一参数从所述多个CNN模型中确定适用于所述数据库的CNN模型。
根据本发明的另一方面，提供了一种程序产品，该程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本发明的为数据库确定卷积神经网络CNN模型的方法。
根据本发明的另一方面，提供了一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本发明的为数据库确定卷积神经网络CNN模型的方法。
使用根据本发明的为数据库确定卷积神经网络CNN模型的装置和方法，可以根据至少两个CNN模型来拟合以分类能力和性能参数的曲线，然后根据拟合的曲线可以预测其它CNN模型的性能参数，从而根据性能参数选取合适的CNN模型。这样一来，无需对所有CNN模型进行训练，仅仅利用至少两个CNN模型就可以获取所有CNN模型的性能参数，大大降低了计算量，简化了设计CNN模型的流程，使得作为用户的普通人员也能够容易地确定CNN模型。
这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本发明的范围。
附图说明
在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本发明的范围。在附图中：
图1示出了根据本发明的实施例的为数据库确定CNN模型的装置的结构框图；
图2示出了根据本发明的实施例的以分类能力和第一参数为变量的曲线；
图3示出了根据本发明的实施例的为数据库确定CNN模型的装置中的选取单元的结构框图；
图4示出了根据本发明的另一个实施例的为数据库确定CNN模型的装置中的选取单元的结构框图；
图5示出了根据本发明的另一个实施例的为数据库确定CNN模型的装置的结构框图；
图6示出了根据本发明的实施例的为数据库确定CNN模型的方法的流程图；以及
图7为其中可以实现根据本发明的为数据库确定CNN模型的方法的通用个人计算机的示例性结构的框图。
虽然本发明容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本发明限制到公开的具体形式，而是相反地，本发明目的是要覆盖落在本发明的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。
具体实施方式
现在参考附图来更加充分地描述本发明的示例。以下描述实质上只是示例性的，而不旨在限制本发明、应用或用途。
下面提供了示例实施例，以便本发明将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定单元、装置和方法的示例，以提供对本发明的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本发明的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。
下面结合图1来描述根据本发明的实施例的为数据库确定CNN模型的装置100。
根据本发明的为数据库确定CNN模型的装置100包括选取单元110、拟合单元120、预测单元130和确定单元140。
根据本发明的实施例，选取单元110可以从多个已知分类能力的CNN模型中选取至少两个CNN模型。这里，选取单元110可以从装置100的外部获取多个已知分类能力的CNN模型，并从中选取至少两个CNN模型。进一步，选取单元110可以将选取的至少两个CNN模型发送到拟合单元120。
分类能力是CNN模型的重要参数，表征了CNN模型能够对数据库中的样本进行分类的能力。在通常情况下，一个CNN模型的分类能力越强，其能够处理越复杂的数据库。根据本发明的实施例，多个CNN模型中的每一个的分类能力都是已知的，可以采用本领域中的任何方法来获取CNN模型的分类能力，本发明对此不做限定。
进一步，这多个CNN模型可以是按照一定的规则已经筛选过的CNN模型。例如，这多个CNN模型的分类能力都处于一定的范围内等等。也就是说，多个CNN模型作为候选CNN模型提供给选取单元110，装置100最终会从这多个CNN模型中确定一个或者多个适用于特定数据库的合适的CNN模型。
根据本发明的实施例，拟合单元120可以根据至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，第一参数用于表征CNN模型的性能。这里，拟合单元120可以从选取单元110获取选取的至少两个CNN模型，获取的至少两个CNN模型的参数中包括了分类能力。进一步，拟合单元120还可以获取这至少两个CNN模型的用于表征性能的第一参数。例如，拟合单元120可以从装置100内部的其它单元或者外部的其它装置获取至少两个CNN模型的第一参数。接下来，拟合单元120可以根据这至少两个CNN模型的分类能力和第一参数来拟合曲线。进一步，拟合单元120可以将拟合的曲线发送到预测单元130，并可以将参数中包括第一参数的至少两个CNN模型发送到确定单元140。
根据本发明的实施例，预测单元130可以根据曲线预测多个CNN模型中的除至少两个CNN模型之外的其它CNN模型的第一参数。这里，预测单元130可以从拟合单元120获取拟合的曲线，并可以从装置100的外部获取多个CNN模型中的除至少两个CNN模型之外的其它CNN模型，这些其它CNN模型的分类能力是已知的，但是第一参数是未知的。接下来，预测单元130可以利用拟合的曲线预测其它CNN模型的第一参数。进一步，预测单元130可以将其它CNN模型(其它CNN模型的参数中包括了预测的第一参数)发送到确定单元140。
根据本发明的实施例，确定单元140可以根据多个CNN模型中的每一个CNN模型的第一参数从多个CNN模型中确定适用于数据库的CNN模型。这里，确定单元140可以从预测单元130获取参数中包括了预测的第一参数的其他CNN模型，并可以从拟合单元120获取参数中包括了第一参数的至少两个CNN模型。这样一来，确定单元140就获取了所有的CNN模型并知晓这些CNN模型的第一参数。接下来，确定单元140可以根据所有CNN模型的第一参数确定适用于数据库的CNN模型。根据本发明的实施例，确定单元140确定出的CNN模型可以为一个，也可以为多个，并且选取的准则可以根据实际情况来设定。进一步，确定单元140可以将确定的CNN模型从装置100输出。
如上所述，装置100的输入是多个已知分类能力的CNN模型，输出是针对某一个数据库的合适的CNN模型。
图2示出了根据本发明的实施例的以分类能力和第一参数为变量的曲线。如图2所示，横轴表示CNN模型的分类能力，纵轴表示CNN模型的第一参数。图中的曲线为拟合单元120拟合的以分类能力和第一参数为变量的曲线。值得注意的是，在图2中示出了选取单元110选取三个CNN模型(第一模型、第二模型和第三模型)的情况，实际上选取单元110也可以选取两个CNN模型或者多于三个的CNN模型。
由此可见，使用根据本发明的为数据库确定卷积神经网络CNN模型的装置100，可以根据至少两个CNN模型来拟合以分类能力和性能参数的曲线，然后根据拟合的曲线可以预测其它CNN模型的性能参数，从而根据性能参数选取合适的CNN模型。这样一来，无需对所有CNN模型进行训练，仅仅利用至少两个CNN模型就可以获取所有CNN模型的性能参数，大大降低了计算量，简化了设计CNN模型的流程，使得作为用户的普通人员也能够容易地确定CNN模型。
选取单元110
图3示出了根据本发明的实施例的为数据库确定CNN模型的装置100中的选取单元110的结构框图。
如图3所示，选取单元110包括第一模型确定单元111、第二模型确定单元112和处理单元113。
根据本发明的实施例，第一模型确定单元111可以从多个CNN模型中确定分类能力与数据库最匹配的模型作为第一模型。这里，第一模型的分类能力与数据库最匹配。也就是说，用第一模型来训练该数据库是最合适的，既不会由于分类能力过强而“大材小用”，也不会由于分类能力过差而无法处理该数据库。根据本发明的实施例，可以根据任何合适的方法来确定与特定的数据库最匹配的分类能力，例如，根据数据库本身来确定与其最匹配的分类能力，或者根据多个CNN模型中的所有CNN模型的分类能力来确定可能与特定数据库最匹配的分类能力，本发明对此不做限定。这里，第一模型确定单元111可以从装置100的外部获取多个CNN模型，并从中确定第一模型，然后可以将第一模型发送到处理单元113。
根据本发明的实施例，第二模型确定单元112可以从多个CNN模型中确定分类能力最差的模型作为第二模型。这里，第二模型确定单元112可以从装置100的外部获取多个CNN模型，并从中确定第二模型，然后可以将第二模型发送到处理单元113。
根据本发明的实施例，处理单元113可以确定至少两个CNN模型，其中，至少两个CNN模型包括第一模型和第二模型。根据本发明的实施例，处理单元113可以从第一模型确定单元111获取第一模型，并可以从第二模型确定单元112获取第二模型，从而确定至少两个CNN模型。根据本发明的实施例，当确定的至少两个CNN模型的数量为2个以上时，至少两个CNN模型可以包括第一模型和第二模型。
如图2所示，左边的第二模型可以为第二模型确定单元112确定的第二模型，中间的第一模型可以为第一模型确定单元111确定的第一模型。
图4示出了根据本发明的另一个实施例的为数据库确定CNN模型的装置100中的选取单元110的结构框图。
如图4所示，选取单元110可以包括第一模型确定单元111、第二模型确定单元112、第三模型确定单元114和处理单元113。其中，第一模型确定单元111、第二模型确定单元112和处理单元113在前面已经详细介绍过，在此不再赘述。
根据本发明的实施例，第三模型确定单元114可以从多个CNN模型中确定分类能力最优的模型作为第三模型，这里，第三模型确定单元114可以从装置100的外部获取多个CNN模型，并从中确定第三模型，然后可以将第三模型发送到处理单元113。
如图2所示，右边的第三模型可以为第三模型确定单元114确定的第三模型。
根据本发明的实施例，处理单元113确定的至少两个CNN模型还包括第三模型。也就是说，当确定的至少两个CNN模型的数量为3个以上时，至少两个CNN模型可以包括第一模型、第二模型和第三模型。更具体地，当确定的至少两个CNN模型的数量为2时，至少两个CNN模型为第一模型和第二模型；当确定的至少两个CNN模型的数量为3时，至少两个CNN模型为第一模型、第二模型和第三模型。
根据本发明的实施例，处理单元113可以根据实际的需求自行决定选取的CNN模型的数量。选取的CNN模型的数量越大，拟合单元120拟合出的曲线越精确，当然拟合时的计算量也越大。
训练单元150
图5示出了根据本发明的另一个实施例的为数据库确定CNN模型的装置100的结构框图。
如图5所示，装置100可以包括选取单元110、拟合单元120、预测单元130、确定单元140和训练单元150。其中，前四个单元可以与图1中所示的单元一致，在此不再赘述。
根据本发明的实施例，训练单元150可以训练至少两个CNN模型中的每一个CNN模型以获取每一个CNN模型的第一参数。这里，训练单元150可以从选取单元110获取选取的至少两个CNN模型，并可以通过训练的方式获取至少两个CNN模型中的每一个CNN模型的第一参数。接下来，训练单元150可以将参数中包括了第一参数的至少两个CNN模型发送到拟合单元120用于拟合曲线。进一步，训练单元150还可以将参数中包括了第一参数的至少两个CNN模型发送到确定单元140用于选取CNN模型。
根据本发明的实施例，通过对CNN模型进行训练来获取该CNN模型的性能参数有很多种方法，本发明对此不做限定。例如，利用一些已知样本标签的训练数据库训练CNN模型，将CNN模型输出的样本标签与真实的样本标签相比较，从而获取该CNN模型的性能参数等等。
拟合单元120
根据本发明的实施例，拟合单元120在获取了至少两个CNN模型的第一参数和分类能力以后，即获得了二维坐标系中的至少两个点，然后可以通过任何方式在该二维坐标系中拟合曲线。例如，拟合单元120可以通过幂指数函数y＝axb或者对数函数y＝cln(x)+d来拟合曲线，其中，a，b，c和d均为待求解的参数。
图2示出了拟合单元120拟合出的曲线。如图2所示，选取的三个模型的分类能力和第一参数在二维坐标系中反映为三个点，拟合出的曲线通过这三个点。
预测单元130
根据本发明的实施例，预测单元130可以根据拟合单元120拟合的曲线预测其它CNN模型的第一参数。即，根据拟合单元120拟合的曲线和其它CNN模型的分类能力来预测其它CNN模型的第一参数。例如，针对其它CNN模型中的每一个CNN模型，预测单元130在曲线上找到横坐标为该CNN模型的分类能力的点，并将该点的纵坐标预测为该CNN模型的第一参数。
以图2所示的示例为例，当拟合出曲线之后，针对任意一个已知分类能力的其它CNN模型，在横轴上找到该其它CNN模型的分类能力从而确定曲线上的以该分类能力为横坐标的点，该点所对应的纵坐标即为预测单元130预测的该其它CNN模型的第一参数。
根据本发明的实施例，在输入到装置100的多个CNN模型中，所有CNN模型的分类能力都是已知的，被选取单元110选取的至少两个CNN模型的第一参数是通过训练单元150训练的方式获取的，而没有被选取单元110选取的其它CNN模型的第一参数是通过预测单元130预测的，没有经过训练的过程。众所周知，训练CNN模型会占用比较长的时间。采用本发明的实施例，无需对所有的CNN模型进行训练即可获取性能参数，从而大大减小了处理的时间。
确定单元140
根据本发明的实施例，确定单元140可以根据第一参数从多个CNN模型中为数据库确定一个或者多个CNN模型。也就是说，确定单元140可以仅根据第一参数确定CNN模型，还可以根据除了第一参数以外的其它参数来确定CNN模型。根据本发明的实施例，确定单元140可以采用各种实施方式来确定CNN模型。例如，选取第一参数最优的CNN模型，或者选取第一参数在某个预定范围内的CNN模型等等，本发明对此不做限定。
根据本发明的实施例，确定单元140还可以根据多个CNN模型中的每一个CNN模型的第一参数和第二参数从多个CNN模型中确定适用于数据库的CNN模型，第二参数用于表征CNN模型的性能。
表征CNN模型的性能的参数有很多种，用于从多个角度来描述CNN模型的性能。确定单元140在确定CNN模型时，可以根据多个参数，以使得确定的CNN模型在不同的角度上的性能都比较好。
在图2所示的示例中，直方图代表了CNN模型的第二参数。其中，每一个直方图代表一个CNN模型，图2中总共示出了9个CNN模型；直方图的高度代表该CNN模型的第二参数的大小，这个高度可以是归一化的高度或者经过其它预处理过程。在图2中，第一模型、第二模型和第三模型的第一参数是通过训练的方式获取的，其它6个CNN模型的第一参数是预测单元130通过图2中的拟合曲线预测的。而第二参数可以通过任何方法来获取，本发明对此不做限定。这样一来，用户可以从图2中清楚地看出每个CNN模型的第一参数和第二参数的值，从而可以综合考虑第一参数和第二参数来确定最终的CNN模型。根据本发明的实施例，确定单元140可以根据预定的准则和算法根据第一参数和第二参数来选取CNN模型，本发明对此不做限定。
第一参数和第二参数
根据本发明的实施例，第一参数可以包括用于表征CNN模型的分类精度的参数。例如，第一参数可以为分类准确率参数和特征提取准确度参数等等，只要是能表征CNN模型的分类精度即可。这里，CNN模型的分类精度表示CNN模型分类的准确度，在一定程度上反映了CNN模型的特征表达能力的好坏。
根据本发明的实施例，第二参数可以包括用于表征CNN模型计算速度的参数或者用于表征CNN模型的内存占用率的参数。例如，用于表征CNN模型的计算速度的参数可以包括CNN模型的浮点计算次数。浮点计算次数反映了测试过程的耗时时间，浮点计算次数越多，测试耗时越久。
根据本发明的实施例，第二参数还可以包括用于表征CNN模型的模型稳定性的参数等等。用户或者CNN模型的设计者可以根据实际的需求选取合适的第二参数。
当然，在不违背本发明精神的前提下，确定单元140还可以根据除了第一参数和第二参数以外的其它参数来确定CNN模型，这样综合考虑的因素就更多了，从而使得确定的CNN模型在更多个性能角度上的性能都比较好。
如上所述，使用根据本发明的为数据库确定卷积神经网络CNN模型的装置，可以根据至少两个CNN模型来拟合以分类能力和性能参数的曲线，然后根据拟合的曲线可以预测其它CNN模型的性能参数，从而根据性能参数选取合适的CNN模型。这样一来，无需对所有CNN模型进行训练，仅仅利用至少两个CNN模型就可以获取所有CNN模型的性能参数，大大降低了计算量。
以上详细描述了根据本发明的实施例的为数据库确定CNN模型的装置100。接下来将详细描述根据本发明的实施例的为数据库确定CNN模型的方法。
图6为根据本发明的实施例的为数据库确定CNN模型的方法的流程图。
如图6所示，在步骤S610中，从多个已知分类能力的CNN模型中选取至少两个CNN模型。
接下来，在步骤S620中，根据至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，第一参数用于表征CNN模型的性能。
接下来，在步骤S630中，根据曲线预测多个CNN模型中的除至少两个CNN模型之外的其它CNN模型的第一参数。
接下来，在步骤S640中，根据多个CNN模型中的每一个CNN模型的第一参数从多个CNN模型中确定适用于数据库的CNN模型。
优选地，选取至少两个CNN模型包括：从多个CNN模型中确定分类能力与数据库最匹配的模型作为第一模型；从多个CNN模型中确定分类能力最差的模型作为第二模型；以及确定至少两个CNN模型，其中，至少两个CNN模型包括第一模型和第二模型。
优选地，选取至少两个CNN模型还包括：从多个CNN模型中确定分类能力最优的模型作为第三模型，并且至少两个CNN模型还包括第三模型。
优选地，方法还包括：训练至少两个CNN模型中的每一个CNN模型以获取每一个CNN模型的第一参数。
优选地，通过幂指数函数或者对数函数来拟合曲线。
优选地，第一参数包括用于表征CNN模型的分类精度的参数。
优选地，确定适用于数据库的CNN模型包括：根据多个CNN模型中的每一个CNN模型的第一参数和第二参数从多个CNN模型中确定适用于数据库的CNN模型，第二参数用于表征CNN模型的性能。
优选地，第二参数包括用于表征CNN模型计算速度的参数或者用于表征CNN模型的内存占用率的参数。
优选地，用于表征CNN模型的计算速度的参数包括CNN模型的浮点计算次数。
前面所描述的为数据库确定CNN模型的方法可以由根据本发明的实施例的为数据库确定CNN模型的装置100来实现，因此，前面所描述的为数据库确定CNN模型的装置100的各种实施方式都适用于此，在此不再重复说明。
由此可见，使用根据本发明的为数据库确定卷积神经网络CNN模型的装置和方法，可以根据至少两个CNN模型来拟合以分类能力和性能参数的曲线，然后根据拟合的曲线可以预测其它CNN模型的性能参数，从而根据性能参数选取合适的CNN模型。这样一来，无需对所有CNN模型进行训练，仅仅利用至少两个CNN模型就可以获取所有CNN模型的性能参数，大大降低了计算量，简化了设计CNN模型的流程，使得作为用户的普通人员也能够容易地确定CNN模型。
显然，根据本发明的为数据库确定CNN模型的方法的各个操作过程可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且，本发明的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机、中央处理单元(CPU)或者图像处理单元(GPU)读出并执行上述程序代码。此时，只要该系统或者设备具有执行程序的功能，则本发明的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
另外，计算机通过连接到因特网上的相应网站，并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本发明的技术方案。
图7为其中可以实现根据本发明的为数据库确定CNN模型的方法的通用个人计算机的示例性结构的框图。
如图7所示，CPU 701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM703中，也根据需要存储当CPU701执行各种处理等等时所需的数据。CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。
下述部件连接到输入/输出接口705：输入部分706(包括键盘、鼠标等等)、输出部分707(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，以及扬声器等)、存储部分708(包括硬盘等)、通信部分709(包括网络接口卡比如LAN卡、调制解调器等)。通信部分709经由网络比如因特网执行通信处理。根据需要，驱动器710也可连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器710上，使得从中读出的计算机程序根据需要被安装到存储部分708中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的示例包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
在本发明的系统和方法中，显然，各单元或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。
关于包括以上实施例的实施方式，还公开下述的附记：
附记1.一种为数据库确定卷积神经网络CNN模型的装置，包括：
选取单元，用于从多个已知分类能力的CNN模型中选取至少两个CNN模型；
拟合单元，用于根据所述至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，所述第一参数用于表征CNN模型的性能；
预测单元，用于根据所述曲线预测所述多个CNN模型中的除所述至少两个CNN模型之外的其它CNN模型的第一参数；以及
确定单元，用于根据所述多个CNN模型中的每一个CNN模型的第一参数从所述多个CNN模型中确定适用于所述数据库的CNN模型。
附记2.根据附记1所述的装置，其中，所述选取单元还包括：
第一模型确定单元，用于从所述多个CNN模型中确定分类能力与所述数据库最匹配的模型作为第一模型；
第二模型确定单元，用于从所述多个CNN模型中确定分类能力最差的模型作为第二模型；以及
处理单元，用于确定所述至少两个CNN模型，其中，所述至少两个CNN模型包括所述第一模型和所述第二模型。
附记3.根据附记2所述的装置，其中，所述选取单元还包括第三模型确定单元，用于从所述多个CNN模型中确定分类能力最优的模型作为第三模型，并且所述处理单元确定的所述至少两个CNN模型还包括所述第三模型。
附记4.根据附记1-3中任一项所述的装置，还包括：
训练单元，用于训练所述至少两个CNN模型中的每一个CNN模型以获取所述每一个CNN模型的第一参数。
附记5.根据附记1-3中任一项所述的装置，其中，所述拟合单元通过幂指数函数或者对数函数来拟合所述曲线。
附记6.根据附记1-3中任一项所述的装置，其中，所述第一参数包括用于表征CNN模型的分类精度的参数。
附记7.根据附记1-3中任一项所述的装置，其中，所述确定单元还用于根据所述多个CNN模型中的每一个CNN模型的第一参数和第二参数从所述多个CNN模型中确定适用于所述数据库的CNN模型，所述第二参数用于表征CNN模型的性能。
附记8.根据附记7所述的装置，其中，所述第二参数包括用于表征所述CNN模型计算速度的参数或者用于表征所述CNN模型的内存占用率的参数。
附记9.根据附记8所述的装置，其中，用于表征所述CNN模型的计算速度的参数包括所述CNN模型的浮点计算次数。
附记10.一种为数据库确定卷积神经网络CNN模型的方法，包括：
从多个已知分类能力的CNN模型中选取至少两个CNN模型；
根据所述至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，所述第一参数用于表征CNN模型的性能；
根据所述曲线预测所述多个CNN模型中的除所述至少两个CNN模型之外的其它CNN模型的第一参数；以及
根据所述多个CNN模型中的每一个CNN模型的第一参数从所述多个CNN模型中确定适用于所述数据库的CNN模型。
附记11.根据附记10所述的方法，其中，选取至少两个CNN模型包括：
从所述多个CNN模型中确定分类能力与所述数据库最匹配的模型作为第一模型；
从所述多个CNN模型中确定分类能力最差的模型作为第二模型；以及
确定所述至少两个CNN模型，其中，所述至少两个CNN模型包括所述第一模型和所述第二模型。
附记12.根据附记11所述的方法，其中，选取至少两个CNN模型还包括：从所述多个CNN模型中确定分类能力最优的模型作为第三模型，并且所述至少两个CNN模型还包括所述第三模型。
附记13.根据附记10-12中任一项所述的方法，还包括：
训练所述至少两个CNN模型中的每一个CNN模型以获取所述每一个CNN模型的第一参数。
附记14.根据附记10-12中任一项所述的方法，其中，通过幂指数函数或者对数函数来拟合所述曲线。
附记15.根据附记10-12中任一项所述的方法，其中，所述第一参数包括用于表征CNN模型的分类精度的参数。
附记16.根据附记10-12中任一项所述的方法，其中，确定适用于所述数据库的CNN模型包括：根据所述多个CNN模型中的每一个CNN模型的第一参数和第二参数从所述多个CNN模型中确定适用于所述数据库的CNN模型，所述第二参数用于表征CNN模型的性能。
附记17.根据附记16所述的方法，其中，所述第二参数包括用于表征所述CNN模型计算速度的参数或者用于表征所述CNN模型的内存占用率的参数。
附记18.根据附记17所述的方法，其中，用于表征所述CNN模型的计算速度的参数包括所述CNN模型的浮点计算次数。
附记19.一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据附记10-18中任何一项所述的方法。

Claims (10)

1.一种为数据库确定卷积神经网络CNN模型的装置，包括：
选取单元，用于从多个已知分类能力的CNN模型中选取至少两个CNN模型；
拟合单元，用于根据所述至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，所述第一参数用于表征CNN模型的性能；
预测单元，用于根据所述曲线预测所述多个CNN模型中的除所述至少两个CNN模型之外的其它CNN模型的第一参数；以及
确定单元，用于根据所述多个CNN模型中的每一个CNN模型的第一参数从所述多个CNN模型中确定适用于所述数据库的CNN模型。
2.根据权利要求1所述的装置，其中，所述选取单元还包括：
第一模型确定单元，用于从所述多个CNN模型中确定分类能力与所述数据库最匹配的模型作为第一模型；
第二模型确定单元，用于从所述多个CNN模型中确定分类能力最差的模型作为第二模型；以及
处理单元，用于确定所述至少两个CNN模型，其中，所述至少两个CNN模型包括所述第一模型和所述第二模型。
3.根据权利要求2所述的装置，其中，所述选取单元还包括第三模型确定单元，用于从所述多个CNN模型中确定分类能力最优的模型作为第三模型，并且所述处理单元确定的所述至少两个CNN模型还包括所述第三模型。
4.根据权利要求1-3中任一项所述的装置，还包括：
训练单元，用于训练所述至少两个CNN模型中的每一个CNN模型以获取所述每一个CNN模型的第一参数。
5.根据权利要求1-3中任一项所述的装置，其中，所述拟合单元通过幂指数函数或者对数函数来拟合所述曲线。
6.根据权利要求1-3中任一项所述的装置，其中，所述第一参数包括用于表征CNN模型的分类精度的参数。
7.根据权利要求1-3中任一项所述的装置，其中，所述确定单元还用于根据所述多个CNN模型中的每一个CNN模型的第一参数和第二参数从所述多个CNN模型中确定适用于所述数据库的CNN模型，所述第二参数用于表征CNN模型的性能。
8.根据权利要求7所述的装置，其中，所述第二参数包括用于表征所述CNN模型计算速度的参数或者用于表征所述CNN模型的内存占用率的参数。
9.根据权利要求8所述的装置，其中，用于表征所述CNN模型的计算速度的参数包括所述CNN模型的浮点计算次数。
10.一种为数据库确定卷积神经网络CNN模型的方法，包括：
从多个已知分类能力的CNN模型中选取至少两个CNN模型；
根据所述至少两个CNN模型的分类能力和第一参数拟合以分类能力和第一参数为变量的曲线，其中，所述第一参数用于表征CNN模型的性能；
根据所述曲线预测所述多个CNN模型中的除所述至少两个CNN模型之外的其它CNN模型的第一参数；以及
根据所述多个CNN模型中的每一个CNN模型的第一参数从所述多个CNN模型中确定适用于所述数据库的CNN模型。
CN201611095599.7A 2016-12-01 2016-12-01 为数据库确定卷积神经网络cnn模型的装置和方法 Active CN108133222B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611095599.7A CN108133222B (zh) 2016-12-01 2016-12-01 为数据库确定卷积神经网络cnn模型的装置和方法
JP2017208935A JP6954003B2 (ja) 2016-12-01 2017-10-30 データベースのための畳み込みニューラルネットワークモデルの決定装置及び決定方法
US15/799,533 US11144817B2 (en) 2016-12-01 2017-10-31 Device and method for determining convolutional neural network model for database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611095599.7A CN108133222B (zh) 2016-12-01 2016-12-01 为数据库确定卷积神经网络cnn模型的装置和方法

Publications (2)

Publication Number Publication Date
CN108133222A true CN108133222A (zh) 2018-06-08
CN108133222B CN108133222B (zh) 2021-11-02

Family

ID=62243031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611095599.7A Active CN108133222B (zh) 2016-12-01 2016-12-01 为数据库确定卷积神经网络cnn模型的装置和方法

Country Status (3)

Country Link
US (1) US11144817B2 (zh)
JP (1) JP6954003B2 (zh)
CN (1) CN108133222B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188198A (zh) * 2018-08-30 2019-01-11 武汉大学 一种基于卷积神经网络的故障数据匹配方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620610B2 (en) * 2015-07-28 2020-04-14 Autodesk, Inc. Techniques for generating motion sculpture models for three-dimensional printing
DE102018109835A1 (de) * 2018-04-24 2019-10-24 Albert-Ludwigs-Universität Freiburg Verfahren und Vorrichtung zum Ermitteln einer Netzkonfiguration eines neuronalen Netzes
US20190332848A1 (en) * 2018-04-27 2019-10-31 Honeywell International Inc. Facial enrollment and recognition system
KR102277172B1 (ko) * 2018-10-01 2021-07-14 주식회사 한글과컴퓨터 인공 신경망 선택 장치 및 방법
US11157816B2 (en) * 2018-10-17 2021-10-26 Capital One Services, Llc Systems and methods for selecting and generating log parsers using neural networks
US11010636B2 (en) * 2018-10-25 2021-05-18 L'oreal Systems and methods for providing personalized product recommendations using deep learning
CN109345028B (zh) * 2018-10-25 2021-07-13 国家电网有限公司 基于态势感知的电网数据处理方法和装置
CN109598304B (zh) * 2018-12-04 2019-11-08 北京字节跳动网络技术有限公司 分类模型校准方法、装置、设备及可读介质
KR20200142374A (ko) 2019-06-12 2020-12-22 삼성전자주식회사 입력 데이터에 근거한 ai 모델 선택 방법 및 그에 따른 방법을 수행하는 디스플레이 장치
US11301705B2 (en) 2020-02-27 2022-04-12 Western Digital Technologies, Inc. Object detection using multiple neural network configurations
US20220147801A1 (en) * 2020-11-06 2022-05-12 Samsung Electronics Co., Ltd. Hardware architecture determination based on a neural network and a network compilation process
CN112488373A (zh) * 2020-11-24 2021-03-12 国网河北省电力有限公司经济技术研究院 电容型设备在线监测数据处理方法及终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243398A (zh) * 2015-09-08 2016-01-13 西安交通大学 基于线性判别分析准则的改进卷积神经网络性能的方法
WO2016132147A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Enhancement of visual data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021805A (ja) * 2006-07-12 2008-01-31 Sharp Corp テスト結果予測装置、テスト結果予測方法、半導体テスト装置、半導体テスト方法、システム、プログラム、および記録媒体
JP2010086449A (ja) * 2008-10-02 2010-04-15 Konica Minolta Medical & Graphic Inc 情報処理装置
US8606724B2 (en) * 2008-11-06 2013-12-10 International Business Machines Corporation Policy evolution with machine learning
US9463334B2 (en) * 2013-03-15 2016-10-11 Varian Medical Systems International Ag Radiation therapy planing using integrated model
JP5841108B2 (ja) * 2013-09-24 2016-01-13 ビッグローブ株式会社 情報処理装置、記事情報生成方法およびプログラム
EP3161635B1 (en) * 2014-06-30 2023-11-01 Amazon Technologies, Inc. Machine learning service
US9786036B2 (en) * 2015-04-28 2017-10-10 Qualcomm Incorporated Reducing image resolution in deep convolutional networks
US10607150B2 (en) * 2016-02-23 2020-03-31 Splunk Inc. Machine-learning data analysis tool

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132147A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Enhancement of visual data
CN105243398A (zh) * 2015-09-08 2016-01-13 西安交通大学 基于线性判别分析准则的改进卷积神经网络性能的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRIS THORNTON等: "Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms", 《IEEE》 *
CHRISTOPHER J. BECKHAM: "CLASSIFICATION AND REGRESSION ALGORITHMS FOR WEKA IMPLEMENTED IN PYTHON", 《WORKING PAPER》 *
JAMES BERGSTRA等: "Hyperopt: a Python library for model selection and hyperparameter optimization", 《COMPUTATIONAL SCIENCE & DISCOVERY》 *
RUI LEITE等: "Predicting Relative Performance of Classifiers from Sample", 《PROCEEDINGS OF THE 22ND INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
SACHIN S. TALATHI: "HYPER-PARAMETER OPTIMIZATION OF DEEP CONVOLUTIONAL NETWORKS FOR OBJECT RECOGNITION", 《ARXIV》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188198A (zh) * 2018-08-30 2019-01-11 武汉大学 一种基于卷积神经网络的故障数据匹配方法

Also Published As

Publication number Publication date
JP6954003B2 (ja) 2021-10-27
US20180157965A1 (en) 2018-06-07
JP2018092614A (ja) 2018-06-14
CN108133222B (zh) 2021-11-02
US11144817B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
CN108133222A (zh) 为数据库确定卷积神经网络cnn 模型的装置和方法
CN105488539B (zh) 分类模型的生成方法及装置、系统容量的预估方法及装置
CN107578332A (zh) 一种推荐现金商品的方法、装置、设备及存储介质
CN110443377B (zh) 一种基于免疫算法优化的支持向量机蓄电池寿命预测方法
CN109409533A (zh) 一种机器学习模型的生成方法、装置、设备及存储介质
CN116560895B (zh) 用于机械装备的故障诊断方法
CN111008693A (zh) 一种基于数据压缩的网络模型构建方法、系统和介质
WO2024037393A1 (zh) 拓扑识别模型的压缩方法、装置、电子设备及介质
CN106405427A (zh) 基于神经网络与Maternard核函数GPR的锂电池健康状态预测方法
CN106663210A (zh) 基于感受的多媒体处理
Radiuk et al. A framework for exploring and modelling neural architecture search methods
CN112884569A (zh) 一种信用评估模型的训练方法、装置及设备
CN114493443A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN111815209A (zh) 应用于风控模型的数据降维方法及装置
CN109460474B (zh) 用户偏好趋势挖掘方法
CN115936184A (zh) 一种适应多用户类型的负荷预测匹配方法
CN114218487B (zh) 一种视频推荐方法、系统、装置及存储介质
CN113259158B (zh) 网络流量预测方法和设备、模型构建及训练方法和装置
CN113420165B (zh) 二分类模型的训练、多媒体数据的分类方法及装置
CN112419098B (zh) 基于安全信息熵的电网安全稳定仿真样本筛选扩充方法
CN114529008A (zh) 信息推荐方法、对象识别方法及装置
CN114372618A (zh) 一种学生成绩的预测方法、系统、计算机设备及存储介质
CN109657795B (zh) 一种基于属性选择的硬盘故障预测方法
CN113360845A (zh) 车源成交概率预测方法、装置、电子装置和存储介质
CN112508080A (zh) 基于经验回放的车辆型号识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant