CN109242001A - 图像数据处理方法、装置及可读存储介质 - Google Patents

图像数据处理方法、装置及可读存储介质 Download PDF

Info

Publication number
CN109242001A
CN109242001A CN201810903034.XA CN201810903034A CN109242001A CN 109242001 A CN109242001 A CN 109242001A CN 201810903034 A CN201810903034 A CN 201810903034A CN 109242001 A CN109242001 A CN 109242001A
Authority
CN
China
Prior art keywords
machine learning
learning algorithm
optimal
algorithm model
hyper parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810903034.XA
Other languages
English (en)
Inventor
杨少雄
赵晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810903034.XA priority Critical patent/CN109242001A/zh
Publication of CN109242001A publication Critical patent/CN109242001A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的图像数据处理方法、装置及可读存储介质，通过根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型；根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，建立对应的待训练的最优机器学习算法模型；根据图像数据训练集对待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型并对待识别图像进行识别，获得图像识别结果，从而有效避免现有技术中根据经验值确定超参数而导致机器学习算法模型对图像识别的识别准确率不高的问题。

Description

图像数据处理方法、装置及可读存储介质
技术领域
本发明涉及计算机技术，尤其涉及一种图像数据处理方法、装置及可读存储介质。
背景技术
在图像识别领域，利用机器学习算法模型对图像进行识别成为主流方法。在各类的机器学习算法模型中，其内的超参数能够在很大程度上决定整个机器学习算法模型的训练质量。
在现有技术中，机器学习算法模型的超参数是在构建机器学习算法模型的过程中确定和固化的，其一般依托于历史经验值。
但是，由于超参数能够在很大程度上决定整个机器学习算法模型的训练质量，一旦超参数无法与机器学习算法模型适配，将严重影响着的机器学习算法模型的收敛结果，进而影响到机器学习算法模型对图像识别的识别准确率。
发明内容
针对上述提及的现有的超参数是根据经验值预先设置的，一旦超参数无法与机器学习算法模型适配，将严重影响着的机器学习算法模型的收敛结果，进而影响到机器学习算法模型对图像识别的识别准确率的问题，本发明提供了一种图像数据处理方法、装置及可读存储介质。
一方面，本发明提供的一种图像数据处理方法，包括：
根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；
根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；
根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；
根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型。
在其中一种可选的实施方式中，所述根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型，包括：
根据各机器学习算法模型对应的收敛损失值确定收敛损失值的变化趋势；
根据所述收敛损失值的变化趋势确定各超参数集中最优的各超参数，获得包括最优的各超参数的最优超参数集；
根据所述最优超参数集建立待训练的最优机器学习算法模型。
在其中一种可选的实施方式中，所述超参数集中的各超参数包括梯度方向和学习率；所述图像数据处理方法还包括：
当所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时，梯度方向和学习率为最优。
在其中一种可选的实施方式中，所述超参数集中的各超参数包括树杈尺寸和学习率；所述图像数据处理方法还包括：
当所述收敛损失值的变化趋势为下降时，树杈尺寸和学习率为最优。
另一方面，本发明提供了一种图像数据处理方法，包括：
采集待识别图像；
采用训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果；其中，所述训练完毕的最优机器学习算法模型是利用如前任一项所述的方法获得的。
再一方面，本发明提供了一种图像数据处理装置，包括：
模型建立模块，用于根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；
模型训练模块，用于根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型。
在其中一种可选的实施方式中，所述模型训练模块，具体用于：
根据各机器学习算法模型对应的收敛损失值确定收敛损失值的变化趋势；
根据所述收敛损失值的变化趋势确定各超参数集中最优的各超参数，获得包括最优的各超参数的最优超参数集；
根据所述最优超参数集建立待训练的最优机器学习算法模型。
在其中一种可选的实施方式中，所述超参数集中的各超参数包括梯度方向和学习率；
所述模型训练模块，具体用于当所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时，梯度方向和学习率为最优。
在其中一种可选的实施方式中，所述超参数集中的各超参数包括树杈尺寸和学习率；
所述模型训练模块，具体用于当所述收敛损失值的变化趋势为下降时，树杈尺寸和学习率为最优。
再一方面，本发明提供了一种图像数据处理装置，包括：
采集模块，用于采用待识别的图像；
识别模块，用于根据训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果；其中，所述训练完毕的最优机器学习算法模型是利用如前任一项所述的方法获得的。
又一方面，本发明提供了一种图像数据处理装置，包括：存储器、与所述存储器连接的处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，
所述处理器运行所述计算机程序时执行如前任一项所述的方法。
最后一方面，本发明还提供了一种可读存储介质，其特征在于，包括程序，当其在终端上运行时，使得终端执行如前任一项所述的方法。
本发明提供的图像数据处理方法、装置及可读存储介质，通过根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型；根据所述训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果，从而有效避免现有技术中根据经验值确定超参数而导致机器学习算法模型对图像识别的识别准确率不高的问题。
附图说明
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
图1为本发明实施例一提供的一种图像数据处理方法的流程示意图；
图2为本发明实施例二提供的一种图像数据处理方法的流程示意图；
图3为本发明实施例三提供的一种图像数据处理装置的结构示意图；
图4为本发明实施例四提供的一种图像数据处理装置的硬件结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在图像识别领域，利用机器学习算法模型对图像进行识别成为主流方法。在各类的机器学习算法模型中，其内的超参数能够在很大程度上决定整个机器学习算法模型的训练质量。
在现有技术中，机器学习算法模型的超参数是在构建机器学习算法模型的过程中确定和固化的，其一般依托于历史经验值。
但是，由于超参数能够在很大程度上决定整个机器学习算法模型的训练质量，一旦超参数无法与机器学习算法模型适配，将严重影响着的机器学习算法模型的收敛结果，进而影响到机器学习算法模型对图像识别的识别准确率。
针对上述提及的现有的超参数是根据经验值预先设置的，一旦超参数无法与机器学习算法模型适配，将严重影响着的机器学习算法模型的收敛结果，进而影响到机器学习算法模型对图像识别的识别准确率的问题，本发明提供了一种图像数据处理方法、装置及可读存储介质。需要说明的是，本申请提供的图像数据处理方法、装置及可读存储介质可运用在广泛需要利用机器学习算法模型对图像进行识别的应用场景中，这些应用场景包括但不限于：医疗图像识别场景、手势识别场景、监控图像识别场景等等。
图1为本发明实施例一提供的一种图像数据处理方法的流程示意图。
如图1所示，该图像数据处理方法包括：
步骤101、根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像。
步骤102、根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值。
步骤103、根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型。
步骤104、根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型。
需要说明的是，本发明提供的图像数据处理方法的执行主体具体可为图像数据处理装置，该图像数据处理装置可通过硬件和/或软件的方式实现。一般可集成于云端服务器中，与存放有各类图像的数据服务器配合使用，此外，图像识别所基于的服务器可与数据服务器为同一服务器，或者为隶属于同一服务器集群的不同服务器，本发明对此均不进行限制。
具体来说，本发明提供了一种图像数据处理方法，首先，可根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，该两个机器学习算法模型为同一类型的机器学习算法模型，且该机器学习算法模型可用于识别图像，一般来说，该机器学习算法模型的类型包括但不限于卷积神经网络、长短期记忆神经网络、深度信念网络、生成对抗式网络、循环神经网络等等，本发明对机器学习算法模型的类型不进行限制，本领域技术人员可根据实际需求自行构建。其中需要说明的是，在构建机器学习算法时，是根据预设的不同的超参数集建立的，每个超参数集中包括有不同数值的超参数。
可根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值。具体来说，在图像数据训练集中的每一图像数据均包括相应的数据值和对该图像对应的识别结果；当利用同一图像数据训练集对每一机器学习算法模型进行迭代训练时，一旦其机器学习算法模型所输出的预测结果与识别结果之间的距离或交叉熵不再发生改变，即可称其为训练完毕，此时对应输出的距离损失值或交叉熵损失值可称之为该机器学习算法模型对应的收敛损失值。
当完成对每一机器学习算法模型进行训练之后，还需根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，建立对应的待训练的最优机器学习算法模型。具体来说，通过分析每一机器学习算法模型对应的超参数集中各超参数与对应收敛损失值，可确定各超参数集中的哪些超参数是与机器学习算法模型更为适配的超参数，这些超参数将作为与该机器学习算法模型更为适配的最优超参数构成最优超参数集。
随后，可根据该最优超参数集构建最优机器学习算法模型，并根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型。也就是说，在本实施方式中，通过采用利用同一图像数据训练集对由不同超参数构建的机器学习算法模型分别进行训练，在根据训练后获得的收敛损失值确定与机器学习算法模型最为适配的最优超参数，进而构建获得最优机器学习算法模型并获得训练完毕的最优机器学习算法模型，有效解决了现有技术中存在的现有的超参数是根据经验值预先设置的，一旦超参数无法与机器学习算法模型适配，将严重影响着的机器学习算法模型的收敛结果，进而影响到机器学习算法模型对图像识别的识别准确率的问题。
本发明实施例一提供的图像数据处理方法通过根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型；根据所述训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果，从而有效避免现有技术中根据经验值确定超参数而导致机器学习算法模型对图像识别的识别准确率不高的问题。
为了更好的描述本发明提供的图像数据处理方法，在实施例一的基础上，图2为本发明实施例二提供的一种图像数据处理方法的流程示意图。
如图2所示，该图像数据处理方法包括：
步骤201、根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像。
步骤202、根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值。
步骤203、根据各机器学习算法模型对应的收敛损失值确定收敛损失值的变化趋势；
步骤204、根据所述收敛损失值的变化趋势确定各超参数集中最优的各超参数，获得包括最优的各超参数的最优超参数集，并根据所述最优超参数集建立待训练的最优机器学习算法模型。
步骤205、根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型。
需要说明的是，本发明提供的图像数据处理方法的执行主体具体可为图像数据处理装置，该图像数据处理装置可通过硬件和/或软件的方式实现。一般可集成于云端服务器中，与存放有各类图像的数据服务器配合使用，此外，图像识别所基于的服务器可与数据服务器为同一服务器，或者为隶属于同一服务器集群的不同服务器，本发明对此均不进行限制。
具体来说，在实施例一的基础上，为了进一步描述本发明提供的图像数据处理方法，本实施例二提供了一种图像数据处理方法的具体实施方式。与实施例一类似的是，具体来说，首先，可根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，该两个机器学习算法模型为同一类型的机器学习算法模型，且该机器学习算法模型可用于识别图像，一般来说，该机器学习算法模型的类型包括但不限于卷积神经网络、长短期记忆神经网络、深度信念网络、生成对抗式网络、循环神经网络等等，本发明对机器学习算法模型的类型不进行限制，本领域技术人员可根据实际需求自行构建。其中需要说明的是，在构建机器学习算法时，是根据预设的不同的超参数集建立的，每个超参数集中包括有不同数值的超参数。
可根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值。具体来说，在图像数据训练集中的每一图像数据均包括相应的数据值和对该图像对应的识别结果；当利用同一图像数据训练集对每一机器学习算法模型进行迭代训练时，一旦其机器学习算法模型所输出的预测结果与识别结果之间的距离或交叉熵不再发生改变，即可称其为训练完毕，此时对应输出的距离损失值或交叉熵损失值可称之为该机器学习算法模型对应的收敛损失值。
当完成对每一机器学习算法模型进行训练之后，还需根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，建立对应的待训练的最优机器学习算法模型。在本实施方式中，与实施例一不同的是，在该步骤中，可根据各机器学习算法模型对应的收敛损失值确定收敛损失值的变化趋势。随后，根据所述收敛损失值的变化趋势确定各超参数集中最优的各超参数，获得包括最优的各超参数的最优超参数集，并根据所述最优超参数集建立待训练的最优机器学习算法模型。
举例来说，在超参数集中的各超参数包括梯度方向和学习率的情况下，当确定收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时，梯度方向和学习率则为最优。又例如，在超参数集中的各超参数包括树杈尺寸和学习率的情况下，当收敛损失值的变化趋势为下降时，树杈尺寸和学习率为最优。
在该实施方式中需要说明的是，为了便于快速确定最优超参数，可分析各机器学习算法模型对应的超参数集中各超参数的变化趋势后，针对每一超参数选取特定的机器学习算法模型，以确定最优超参数。以前述的梯度方向和学习率为例，在超参数集中还存在有其他的超参数，为了确定梯度方向和学习率的最优超参数值，可选取仅在梯度方向和学习率取值不同的超参数集所对应的机器学习算法模型进行分析，以确定在梯度方向和学习率上的最优超参数值。
也就是说，通过分析每一机器学习算法模型对应的超参数集中各超参数的变化趋势与对应收敛损失值的变化趋势，可确定各超参数集中的哪些超参数是与机器学习算法模型更为适配的超参数，这些超参数将作为与该机器学习算法模型更为适配的最优超参数构成最优超参数集。
随后，可根据该最优超参数集构建最优机器学习算法模型，并根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型。也就是说，在本实施方式中，通过采用利用同一图像数据训练集对由不同超参数构建的机器学习算法模型分别进行训练，在根据训练后获得的收敛损失值确定与机器学习算法模型最为适配的最优超参数，进而构建获得最优机器学习算法模型并获得训练完毕的最优机器学习算法模型，有效解决了现有技术中存在的现有的超参数是根据经验值预先设置的，一旦超参数无法与机器学习算法模型适配，将严重影响着的机器学习算法模型的收敛结果，进而影响到机器学习算法模型对图像识别的识别准确率的问题。
本发明实施例二提供的图像数据处理方法通过根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型；根据所述训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果，从而有效避免现有技术中根据经验值确定超参数而导致机器学习算法模型对图像识别的识别准确率不高的问题。
图3为本发明实施例三提供的一种图像数据处理装置的结构示意图，如图3所示，该图像数据处理装置包括：
模型训练模块10，用于根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型；
识别模块20，用于根据所述训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果。
在其中一种可选的实施方式中，所述模型训练模块10，具体用于：根据各机器学习算法模型对应的收敛损失值确定收敛损失值的变化趋势；根据所述收敛损失值的变化趋势确定各超参数集中最优的各超参数，获得包括最优的各超参数的最优超参数集；根据所述最优超参数集建立待训练的最优机器学习算法模型。
在其中一种可选的实施方式中，所述超参数集中的各超参数包括梯度方向和学习率；所述模型训练模块10，具体用于当所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时，梯度方向和学习率为最优。
在其中一种可选的实施方式中，所述超参数集中的各超参数包括树杈尺寸和学习率；所述模型训练模块10，具体用于当所述收敛损失值的变化趋势为下降时，树杈尺寸和学习率为最优。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程以及相应的有益效果，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例三提供的图像数据处理装置，通过根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型；根据所述训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果，从而有效避免现有技术中根据经验值确定超参数而导致机器学习算法模型对图像识别的识别准确率不高的问题。
图4为本发明实施例四提供的一种图像数据处理装置的硬件结构示意图。如图4所示，该图像数据处理装置包括：存储器41、处理器42及存储在存储器41上并可在处理器42上运行的计算机程序，处理器42运行计算机程序时执行上述任一实施例的方法。
本发明还提供了一种图像数据处理方法，该图像数据处理方法包括：
采集待识别图像；
采用训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果；其中，所述训练完毕的最优机器学习算法模型是利用前述任一项所述的方法获得的。
本发明还提供了一种图像数据处理装置，该图像数据处理装置包括：
采集模块，用于采用待识别的图像；
识别模块，用于根据训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果；其中，所述训练完毕的最优机器学习算法模型是利用前述任一项所述的方法获得的。
本发明还提供一种可读存储介质，包括程序，当其在终端上运行时，使得终端执行上述任一实施例的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种图像数据处理方法，其特征在于，包括：
根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；
根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；
根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；
根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型。
2.根据权利要求1所述的图像数据处理方法，其特征在于，所述根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型，包括：
根据各机器学习算法模型对应的收敛损失值确定收敛损失值的变化趋势；
根据所述收敛损失值的变化趋势确定各超参数集中最优的各超参数，获得包括最优的各超参数的最优超参数集；
根据所述最优超参数集建立待训练的最优机器学习算法模型。
3.根据权利要求2所述的图像数据处理方法，其特征在于，所述超参数集中的各超参数包括梯度方向和学习率；所述图像数据处理方法还包括：
当所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时，梯度方向和学习率为最优。
4.根据权利要求2所述的图像数据处理方法，其特征在于，所述超参数集中的各超参数包括树杈尺寸和学习率；所述图像数据处理方法还包括：
当所述收敛损失值的变化趋势为下降时，树杈尺寸和学习率为最优。
5.一种图像数据处理方法，其特征在于，包括：
采集待识别图像；
采用训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果；其中，所述训练完毕的最优机器学习算法模型是利用权利要求1-4任一项所述的方法获得的。
6.一种图像数据处理装置，其特征在于，包括：
模型建立模块，用于根据预设的至少两个超参数集建立用于待训练的至少两个机器学习算法模型，其中，所述机器学习算法模型用于识别图像；
模型训练模块，用于根据获取的同一图像数据训练集，对各待训练的机器学习算法模型进行训练，获得训练完毕的各机器学习算法模型并确定对应的收敛损失值；根据各机器学习算法模型的超参数集和对应的收敛损失值，确定最优超参数集，并建立对应的待训练的最优机器学习算法模型；根据所述图像数据训练集对所述待训练的最优机器学习算法模型进行训练，获得训练完毕的最优机器学习算法模型。
7.根据权利要求6所述的图像数据处理装置，其特征在于，所述模型训练模块，具体用于：
根据各机器学习算法模型对应的收敛损失值确定收敛损失值的变化趋势；
根据所述收敛损失值的变化趋势确定各超参数集中最优的各超参数，获得包括最优的各超参数的最优超参数集；
根据所述最优超参数集建立待训练的最优机器学习算法模型。
8.根据权利要求7所述的图像数据处理装置，其特征在于，所述超参数集中的各超参数包括梯度方向和学习率；
所述模型训练模块，具体用于当所述收敛损失值的变化趋势为下降且降幅超过预设降幅阈值时，梯度方向和学习率为最优。
9.根据权利要求7所述的图像数据处理装置，其特征在于，所述超参数集中的各超参数包括树杈尺寸和学习率；
所述模型训练模块，具体用于当所述收敛损失值的变化趋势为下降时，树杈尺寸和学习率为最优。
10.一种图像数据处理装置，其特征在于，包括：
采集模块，用于采用待识别的图像；
识别模块，用于根据训练完毕的最优机器学习算法模型对待识别图像进行识别，获得图像识别结果；其中，所述训练完毕的最优机器学习算法模型是利用权利要求1-4任一项所述的方法获得的。
11.一种图像数据处理装置，其特征在于，包括：存储器、与所述存储器连接的处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，
所述处理器运行所述计算机程序时执行权利要求1-5任一项所述的方法。
12.一种可读存储介质，其特征在于，包括程序，当其在终端上运行时，使得终端执行权利要求1-5任一项所述的方法。
CN201810903034.XA 2018-08-09 2018-08-09 图像数据处理方法、装置及可读存储介质 Pending CN109242001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810903034.XA CN109242001A (zh) 2018-08-09 2018-08-09 图像数据处理方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810903034.XA CN109242001A (zh) 2018-08-09 2018-08-09 图像数据处理方法、装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN109242001A true CN109242001A (zh) 2019-01-18

Family

ID=65070567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810903034.XA Pending CN109242001A (zh) 2018-08-09 2018-08-09 图像数据处理方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN109242001A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260073A (zh) * 2020-01-09 2020-06-09 京东数字科技控股有限公司 数据处理方法、装置和计算机可读存储介质
CN111368931A (zh) * 2020-03-09 2020-07-03 第四范式（北京）技术有限公司 训练图像分类模型的方法及装置、计算机装置及存储介质
CN111507388A (zh) * 2020-04-10 2020-08-07 上海眼控科技股份有限公司 一种天气图像分类方法及设备
CN111598139A (zh) * 2020-04-24 2020-08-28 北京奇艺世纪科技有限公司 数据处理方法及系统
CN112734106A (zh) * 2021-01-08 2021-04-30 深圳市国电科技通信有限公司 用于预测能源负荷的方法及装置
CN116369941A (zh) * 2023-04-20 2023-07-04 南方医科大学南方医院 基于脑电eeg生理信息的睡眠质量判断方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893637A (zh) * 2016-06-24 2016-08-24 四川大学 大规模微博异构信息网络中的链接预测方法
CN107729923A (zh) * 2017-09-19 2018-02-23 浙江师范大学 一种基于TensorFlow的商品计算机视觉识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893637A (zh) * 2016-06-24 2016-08-24 四川大学 大规模微博异构信息网络中的链接预测方法
CN107729923A (zh) * 2017-09-19 2018-02-23 浙江师范大学 一种基于TensorFlow的商品计算机视觉识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHRIS THORNTON 等，: "Auto-WEKA: combined selection and hyperparameter optimization of classification algorithms", 《KDD "13: PROCEEDINGS OF THE 19TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING》 *
DOUGAL MACLAURIN 等，: "Gradient-based hyperparameter optimization through reversible learning", 《ICML"15: PROCEEDINGS OF THE 32ND INTERNATIONAL CONFERENCE ON INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
万智 等，: "基于正交设计下的SVM滑坡变形时序回归预测的超参数选择", 《岩土力学》 *
熊俊涛 等，: "自然环境下绿色柑橘视觉检测技术研究", 《农业机械学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260073A (zh) * 2020-01-09 2020-06-09 京东数字科技控股有限公司 数据处理方法、装置和计算机可读存储介质
CN111368931A (zh) * 2020-03-09 2020-07-03 第四范式（北京）技术有限公司 训练图像分类模型的方法及装置、计算机装置及存储介质
CN111368931B (zh) * 2020-03-09 2023-11-17 第四范式（北京）技术有限公司 确定图像分类模型的学习率的方法
CN111507388A (zh) * 2020-04-10 2020-08-07 上海眼控科技股份有限公司 一种天气图像分类方法及设备
CN111598139A (zh) * 2020-04-24 2020-08-28 北京奇艺世纪科技有限公司 数据处理方法及系统
CN112734106A (zh) * 2021-01-08 2021-04-30 深圳市国电科技通信有限公司 用于预测能源负荷的方法及装置
CN116369941A (zh) * 2023-04-20 2023-07-04 南方医科大学南方医院 基于脑电eeg生理信息的睡眠质量判断方法

Similar Documents

Publication Publication Date Title
CN109242001A (zh) 图像数据处理方法、装置及可读存储介质
CN107784294B (zh) 一种基于深度学习的人脸检测与跟踪方法
CN109685097B (zh) 一种基于gan的图像检测方法及装置
EP3675035A1 (en) Active tracking method, device and system
Paine et al. Gpu asynchronous stochastic gradient descent to speed up neural network training
CN109376696B (zh) 视频动作分类的方法、装置、计算机设备和存储介质
US11703824B2 (en) Assembly error correction for assembly lines
CN110135582B (zh) 神经网络训练、图像处理方法及装置、存储介质
CN109120936A (zh) 一种视频图像的解码方法和装置
WO2022127740A1 (en) Identity recognition method and apparatus, computer apparatus, readable non-transitory storage medium
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
CN110308658A (zh) 一种pid参数整定方法、装置、系统及可读存储介质
CN111062494A (zh) 具有终身学习能力的机器人自组织-反思认知发育方法及系统
An et al. Colo: A contrastive learning based re-ranking framework for one-stage summarization
CN112434789A (zh) 一种用于边缘视频分析的分布式神经网络模型划分方法
CN110533184B (zh) 一种网络模型的训练方法及装置
CN108875506A (zh) 人脸形状点跟踪方法、装置和系统及存储介质
CN109635749B (zh) 基于视频流的图像处理方法及装置
CN109190757B (zh) 任务处理方法、装置、设备及计算机可读存储介质
CN110674928A (zh) 一种融合人工神经网络和神经形态计算的在线学习方法
CN114021464A (zh) 数据处理方法、装置和存储介质
CN111160170B (zh) 一种自学习的人体行为识别与异常检测方法
CN113469113A (zh) 动作计数方法、装置、电子设备和存储介质
WO2020176908A1 (en) Assembly error correction for assembly lines
CN105654506A (zh) 用于分析运动的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118

RJ01 Rejection of invention patent application after publication