CN110222816A - 深度学习模型的建立方法、图像处理方法及装置 - Google Patents

深度学习模型的建立方法、图像处理方法及装置 Download PDF

Info

Publication number
CN110222816A
CN110222816A CN201910356937.5A CN201910356937A CN110222816A CN 110222816 A CN110222816 A CN 110222816A CN 201910356937 A CN201910356937 A CN 201910356937A CN 110222816 A CN110222816 A CN 110222816A
Authority
CN
China
Prior art keywords
deep learning
learning model
model
channel number
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910356937.5A
Other languages
English (en)
Other versions
CN110222816B (zh
Inventor
郭梓超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910356937.5A priority Critical patent/CN110222816B/zh
Publication of CN110222816A publication Critical patent/CN110222816A/zh
Application granted granted Critical
Publication of CN110222816B publication Critical patent/CN110222816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种深度学习模型的建立方法、图像处理方法及装置，在第一深度学习模型中，将卷积层的最大输入通道数及最大输出通道数，设置为卷积层的权重池的体积参数；将多个比例参数依次与权重池的体积参数相乘，得到多个子权重池；针对子权重池依次进行卷积计算，并根据计算得到的每个子权重池的输出通道数，建立多个第二深度学习模型，将第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。本发明通过划分多个具有不同宽度组合的第二深度学习模型，并利用启发式算法模型，从第二深度学习模型中筛选出具有优选宽度组合的第三深度学习模型，达到了模型宽度设定的自动化的目的，减少了模型训练所需的资源。

Description

深度学习模型的建立方法、图像处理方法及装置
技术领域
本发明属于计算机技术领域，特别是涉及一种深度学习模型的建立方法、图像处理方法及装置。
背景技术
深度学习模型源于对人工神经网络的研究，关于深度学习模型的模型宽度(即各卷积层的通道数)参数的设置过程，关系到深度学习模型的性能，以及深度学习模型与业务或作业之间的匹配度。
在目前，深度学习模型的模型宽度设计千变万化，宽度是指模型卷积层的输出通道数，不同卷积层往往需要设计不同的输出通道数，即以不同特征图的数量来进行特征表示，现有常用的设计思路是通过对模型的测试，不断的人工调整模型宽度参数，越往后面的卷积层，往往需要设计更多的通道数，比如会在步幅为2的下采样卷积层，直接对通道数进行翻倍。
但是，目前主流的模型宽度设置方法，并不能保证经过人工测试后直接设置的模型宽度，能够符合业务或作业所需求的速度限制或内存限制，因此需要进一步根据模型的运行情况，对模型宽度进行多次调节，导致一个与业务或作业匹配的深度学习模型的建立，需要花费过多时间进行模型宽度调整，降低了模型的建立效率。
发明内容
本发明提供一种深度学习模型的建立方法、图像处理方法及装置，以便解决现有技术中需要花费过多时间进行模型宽度调整，降低了模型的建立效率的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种深度学习模型的建立方法，该方法可以包括：
在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为所述卷积层对应的权重池的体积参数；
将多个比例参数依次与所述权重池的体积参数相乘，得到多个子权重池；
针对所述卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个所述子权重池的输出通道数，建立多个第二深度学习模型，所述第二深度学习模型的每一层卷积层设置有相应的目标输出通道数；
将所述第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。
第二方面，本发明实施例提供了一种图像处理方法，该方法可以包括：
获取待处理图像；
将所述待处理图像输入第三深度学习模型进行处理，输出针对所述待处理图像的处理结果。
第三方面，本发明实施例提供了一种深度学习模型的建立装置，该深度学习模型的建立装置可以包括：
初始化模块，用于在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为所述卷积层对应的权重池的体积参数；
划分模块，用于将多个比例参数依次与所述权重池的体积参数相乘，得到多个子权重池；
卷积计算模块，用于针对所述卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个所述子权重池的输出通道数，建立多个第二深度学习模型，所述第二深度学习模型的每一层卷积层设置有相应的目标输出通道数；
优化模块，用于将所述第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。
第四方面，本发明实施例提供了一种图像处理装置，该装置可以包括：
获取模块，用于获取待处理图像；
处理模块，用于将所述待处理图像输入第三深度学习模型进行处理，输出针对所述待处理图像的处理结果。
本发明实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述所述的深度学习模型的建立方法的步骤。
本发明实施例的第六方面，提供了一种装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述的深度学习模型的建立方法的步骤。
本发明实施例的第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述所述的图像处理方法的步骤。
本发明实施例的第八方面，提供了一种装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述的图像处理方法的步骤。
在本发明实施例中，本发明通过初始化建立一个每层卷积层具有足够大权重池的第一深度模型，并按照比例参数将第一深度模型的各层卷积层进行划分，从而在对第一深度模型进行训练时，能够得到多个具有不同宽度组合的第二深度模型，并按照启发式算法，在满足一定的测试指标的情况下，自动从第二深度模型中选出第三深度模型，本发明不需要通过对深度学习模型进行多次测试来调整宽度参数至最优，而是通过划分多个具有不同宽度组合的第二深度学习模型，并利用启发式算法模型，从第二深度学习模型中筛选出具有优选宽度组合的第三深度学习模型，达到了模型宽度设定的自动化的目的，大大减少了模型训练所需的资源和训练时间。
附图说明
图1是本发明实施例提供的一种深度学习模型的建立方法的步骤流程图；
图2是本发明实施例提供的一种权重池示意图
图3是本发明实施例提供的一种图像处理方法的步骤流程图；
图4是本发明实施例提供的一种深度学习模型的建立方法的具体步骤流程图；
图5是本发明实施例提供的一种深度学习模型的建立装置的框图；
图6是本发明实施例提供的一种图像处理装置的框图；
图7是本发明实施例提供的一种装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种深度学习模型的建立方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为所述卷积层对应的权重池的体积参数。
在本发明实施例中，深度学习模型可以包括多层卷积层，卷积层用于执行卷积(Convolution)操作，卷积层可以在通道与通道之间进行交互，之后在下一层生成新的通道。具体的，深度学习模型的模型宽度，可以为深度学习模型中每层卷积层的输出通道数，即该卷积层计算一个作业时所采用的卷积核的数量。在图片中，通道就是某种意义上的特征图(featuremap)，一个通道是对某个特征的检测，通道中某一处数值的强弱就是对当前特征强弱的反应，于是深度学习模型中的特征图，也能够很直接地理解为通道了。
具体的，在本发明实施例中，为了达到深度模型的模型宽度的无监督自动设置，可以初始化建立一个第一深度学习模型，将第一深度学习模型中每一层卷积层的参数设置为最大，即为每一层卷积层初始化建立了一个足够大的权重池(weight pool)。
进一步的，卷积层中卷积核的各个参数我们称为权重，权重池包括该层卷积层中卷积核的参数。假设卷积层的输入通道数为inp，输出为oup，则卷积层的参数可以表示为权重池：(oup,inp,Kh,Kw)，Kh和Kw分别是卷积核的高和宽。若某层卷积层的最大输入通道数和最大输出通道数分别为maxinp，maxoup，则初始化一个足够大的权重池，大小为(maxoup,maxinp,Kh,Kw)，当需要对该层卷积层设置较小的宽度(即该层卷积层输出较小的通道数)时，便可以从权重池中截取部分子权重池来进行卷积，针对每一层卷积层，都可以对应初始化建立足够大的权重池，并且每一层卷积层的权重池大小可以是不相同的，需要说明的是，最大输入通道数及最大输出通道数一般可以由深度学习模型的应用环境决定，通常，所设定的最大输入通道数及最大输出通道数能够满足应用环境中的作业或业务需求即可。
步骤102、将多个比例参数依次与所述权重池的体积参数相乘，得到多个子权重池。
在本发明实施例中，由于第一深度学习模型的宽度是根据每一层卷积层的最大输入通道数及最大输出通道数建立的，实际业务或作业所需求的模型性能一般低于第一深度学习模型的性能，本发明实施例可以按照一定的比例，将每层卷积层的权重池划分为多个子权重池，每个子权重池可以代表该层卷积层的部分或全部处理性能。
参照图2，其示出了本发明实施例提供的一种权重池示意图，其中，假设针对一层卷积层，初始化建立了权重池ABCD，权重池ABCD的体积参数包括：长BC(最大输入通道)和宽AB(最大输出通道)，进一步的，在建立权重池ABCD之后，可以进行对权重池ABCD的训练，具体为将多个比例参数依次与权重池的体积参数相乘，得到多个子权重池，例如，在针对图2的示例中，可以将权重池ABCD按照(30％、60％、100％)的比例进行切分，对应得到子权重池AFME、子权重池AHNG及子权重池ABCD。
具体的，在本发明实施例中，子权重池AFME、子权重池AHNG及子权重池ABCD都来自于同一个权重池ABCD，即达到了该层卷积层的权重共享的目的，并且子权重池所属于同一权重池的方法相当于对不同宽度的权重进行权重共享，可以大大减少各个子权重池对应的模型训练时所需的资源和训练时间。
步骤103，针对所述卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个所述子权重池的输出通道数，建立多个第二深度学习模型，所述第二深度学习模型的每一层卷积层设置有相应的目标输出通道数。
在本发明实施例中，处于第一层的卷积层，其输入通道数取决于输入数据的类型，如，输入RGB格式(3通道)的图片文件，则第一层卷积层的输入通道数可以为3，而第一层卷积层卷积计算产生的输出通道数则可以作为第二层卷积层的输入通道数，依次类推，直至所有卷积层都完成卷积计算操作后，得到了每层卷积层的输出通道数，即得到了深度学习模型每层的模型宽度。
具体的，针对按照多个比例参数对权重池划分得到的子权重池，对每个子权重池依次进行卷积计算，并根据计算得到的每个子权重池的输出通道数，建立多个第二深度学习模型。
在该卷积计算过程中，每次迭代时只随机选择某个比例的子权重池进行卷积和更新，比如将权重池按照比例参数分成n份子权重池(均等或不均等皆可)，每个训练迭代过程，只随机选择前k份来进行卷积，产生不同大小的输出通道数，因此每个训练我们只更新被选中的子权重池。
例如，将权重池按照(20％，40％，60％，80％，100％)的比例进行切分，第一次迭代选择前60％比例的卷积核进行训练和更新，那么经过这部分卷积核卷积后也只产生60％比例对应的输出通道数，第二次迭代选择前40％的卷积核进行训练和更新，第三次迭代选择前80％的卷积核进行训练和更新等。这样做的目的是，保证训练过程中，卷积层可以输出不同大小的通道数，这样就可以训练到不同宽度组合的模型。假如每一层的权重池都切分为n种比例，整个模型包含m层卷积层的话，则可以训练到不同宽度组合的模型为nm个。
并且，如果要求设计的第二深度学习模型满足某些条件限制，如速度或内存大小限制，则可以只训练得到符合要求的第二深度学习模型。比如，在训练过程中，我们先随机确定每层卷积层的权重池的比例，这样在所有卷积层的宽度组合确定后，就可以确定一个第二深度学习模型，根据对第二深度学习模型的进一步测试，从而可以计算出该第二深度学习模型的运行速度和占用内存大小，如果运行速度和占用内存大小不满足要求则不训练该第二深度学习模型，重新随机选择各层宽度，只训练满足条件的第二深度学习模型，这样可以使训练过程中更专注于满足要求的模型，忽略不满足要求的模型。
步骤104，将所述第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。
启发式算法(heuristic algorithm)是相对于最优化算法提出的，实现通过一个问题的最优算法来求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费(指计算时间和空间)下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。现阶段，启发式算法以仿自然体算法为主，主要有蚁群算法、模拟退火法、神经网络等。
在本发明实施例中，可以将步骤103生成的数量较多的第二深度学习模型导入启发式算法模型，在满足一定的测试指标的前提下，通过启发式算法求得至少一个优选解，优选解即为第三深度学习模型，通过启发式算法模型，大大减少对第二深度学习模型的测试次数，避免对每一个第二深度模型都进行测试，大大提高了筛选效率。其中，测试指标一般是值模型输出数据的准确度，第三深度学习模型若满足测试准确率，则说明第三深度学习模型中各个卷积层的宽度组合会产生性能最好的效果。
综上，本发明实施例提供的一种深度学习模型的建立方法，通过在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为卷积层对应的权重池的体积参数；将多个比例参数依次与权重池的体积参数相乘，得到多个子权重池；针对卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个子权重池的输出通道数，建立多个第二深度学习模型，第二深度学习模型的每一层卷积层设置有相应的目标输出通道数；将第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。本发明通过初始化建立一个每层卷积层具有足够大权重池的第一深度模型，并按照比例参数将第一深度模型的各层卷积层进行划分，从而在对第一深度模型进行训练时，能够得到多个具有不同宽度组合的第二深度模型，并按照启发式算法，在满足一定的测试指标的情况下，自动从第二深度模型中选出第三深度模型，本发明不需要通过对深度学习模型进行多次测试来调整宽度参数至最优，而是通过划分多个具有不同宽度组合的第二深度学习模型，并利用启发式算法模型，从第二深度学习模型中筛选出具有优选宽度组合的第三深度学习模型，达到了模型宽度设定的自动化的目的，大大减少了模型训练所需的资源和训练时间。
图3是本发明实施例提供的一种图像处理方法的具体步骤流程图，如图3所示，该方法可以包括：
步骤201、获取待处理图像。
步骤202、将所述待处理图像输入第三深度学习模型进行处理，输出针对所述待处理图像的处理结果。
在本发明实施例中，第三深度模型的获取方法可以参照上述步骤101至步骤104。第三深度学习模型是从第二深度学习模型中筛选出具有优选宽度组合的模型，因此第三深度模型在进行待处理图像的处理时，处理速度更快，响应更及时。
综上，本发明实施例提供的一种图像处理方法，通过获取待处理图像。将所述待处理图像输入第三深度学习模型进行处理，输出针对待处理图像的处理结果。本发明通过初始化建立一个每层卷积层具有足够大权重池的第一深度模型，并按照比例参数将第一深度模型的各层卷积层进行划分，从而在对第一深度模型进行训练时，能够得到多个具有不同宽度组合的第二深度模型，并按照启发式算法，在满足一定的测试指标的情况下，自动从第二深度模型中选出第三深度模型，由于第三深度学习模型是从第二深度学习模型中筛选出具有优选宽度组合的模型，因此第三深度模型在进行待处理图像的处理时，处理速度更快，响应更及时。
图4是本发明实施例提供的一种深度学习模型的建立方法的具体步骤流程图，如图4所示，该方法可以包括：
步骤301、在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为所述卷积层对应的权重池的体积参数。
该步骤具体可以参照上述步骤101，此处不再赘述。
步骤302、将多个比例参数依次与所述权重池的体积参数相乘，得到多个子权重池。
该步骤具体可以参照上述步骤102，此处不再赘述。
步骤303、针对所述卷积层包括的子权重池依次进行卷积计算，得到每个所述子权重池的输出通道数。
在该卷积计算过程中，每次迭代时只随机选择某个比例的子权重池进行卷积和更新，比如将权重池按照比例参数分成n份子权重池(均等或不均等皆可)，每个训练迭代过程，只随机选择前k份来进行卷积，产生不同大小的输出通道数，因此每个训练我们只更新被选中的子权重池。
例如，将权重池按照(20％，40％，60％，80％，100％)的比例进行切分，第一次迭代选择前60％比例的卷积核进行训练和更新，那么经过这部分卷积核卷积后也只产生60％比例对应的输出通道数，第二次迭代选择前40％的卷积核进行训练和更新，第三次迭代选择前80％的卷积核进行训练和更新等。这样做的目的是，保证训练过程中，卷积层可以输出不同大小的通道数。
步骤304、从所述输出通道数中选择一个所述目标输出通道数。
在该步骤中，假设第一深度学习模型具有三层卷积层，第一层卷积层通过卷积计算产生2、3的输出通道数，第二层卷积层通过卷积计算产生3、5的输出通道数，第三层卷积层通过卷积计算产生6、7的输出通道数，则从每一层卷积层随机选取一个目标输出通道数进行组合，得到不同的宽度组合。
步骤305、将所述目标输出通道数设置为下一层卷积层的输入通道参数，以供所述下一层卷积层根据所述目标输出通道数进行卷积计算。
在本发明实施例中，处于第一层的卷积层，其输入通道数取决于输入数据的类型，如，输入RGB格式(3通道)的图片文件，则第一层卷积层的输入通道数可以为3，而第一层卷积层卷积计算产生的输出通道数则可以作为第二层卷积层的输入通道数，依次类推，直至所有卷积层都完成卷积计算操作后，得到了每层卷积层的输出通道数，即得到了深度学习模型每层的模型宽度。
步骤306、在所有卷积层完成卷积计算后，得到多个第二深度学习模型。
在该步骤中，假设第一深度学习模型具有三层卷积层，第一层卷积层通过卷积计算产生2、3的输出通道数，第二层卷积层通过卷积计算产生3、5的输出通道数，第三层卷积层通过卷积计算产生6、7的输出通道数，则从每一层卷积层随机选取一个目标输出通道数进行组合，得到23个不同的宽度组合，即得到了23个第二深度学习模型。
步骤307、将所述第二深度学习模型导入遗传算法模型，输出满足所述预设测试指标的至少一组第三深度学习模型。
在本发明实施例中，经过训练后，可以得到多个不同宽度组合的第二深度学习模型，将对不同宽度组合第二深度学习模型进行测试，并选择出符合条件并且性能较优的第二深度学习模型作为最终模型。当第二深度学习模型的数量较少的时候，可以对所有第二深度学习模型都进行测试并选择出最优第二深度学习模型。但第二深度学习模型数量很多的时候，需要借助一些启发式算法模型来进行筛选。目前成熟的启发式搜索算法有很多，如有：蚁群算法，遗传算法、模拟退火算法等。以下以遗传算法和退火算法为例，对筛选过程进行一个简单的介绍。
可选的，在本发明实施例的一种具体实现方式中，步骤307具体可以包括：
子步骤3071，将所述第二深度学习模型转换为编码向量，所述编码向量中的每一个向量包括所述第二深度学习模型的卷积层数与目标输出通道数的对应关系。
在本发明实施例中，为了便于遗传算法的数据处理，可以将第二深度学习模型的宽度组合转换为编码向量表达。
例如，假设第二深度学习模型的每层卷积层存在3种比例参数，以(a,b,c)表示，假设第二深度学习模型共有6层，以(1，2，3，4，5，6)表示，则一个六维向量则可以表示第二深度学习模型的一个宽度组合结构，如(1a,2b,3a,4b,5b,6c)。如采用穷举法进行筛选时，需要测试的结构共有36种(从(1a,2a,3a,4a,5a,6a)到(1c,2c,3c,4c,5c,6c))。
子步骤3072，从所有的所述编码向量中，随机选取第一预设数量的编码向量进行测试，得到第一测试结果。
在步骤中，针对子步骤3071提供的示例，随机从36种编码向量中选取20组编码，该20组编码可以看作20个深度学习模型，对这20个深度学习模型进行测试，得到20组第一测试结果，具体的，第一预设数量的具体数值可以根据实际需求进行选择。
子步骤3073，从所述第一测试结果中，选取第二预设数量的目标第一测试结果，并从所述编码向量中确定所述目标第一测试结果对应的第一编码向量。
在该步骤中，针对子步骤3072提供的示例，可以从20组第一测试结果中，挑选出性能最优的第二预设数量(如10组)的目标第一测试结果，并确定目标第一测试结果对应的第一编码向量，将第一编码向量进行存储，第二预设数量可以根据实际需求进行选择，一般第二预设数量小于第一预设数量。
需要说明的是，从第一测试结果中，选取第二预设数量的目标第一测试结果，其选取逻辑与业务或作业的需求强相关，即要满足相关的测试指标，在本发明实施例中，可以从20组第一测试结果中，选取与预设测试结果最相似的前10组目标第一测试结果，该过程的目的是挑选出精度最高的前10组测试结果，从而确定这些测试结果对应的向量编码。
子步骤3074，基于所述第一编码向量进行交叉变异处理，得到第三预设数量的第二编码向量，所述第三预设数量大于所述第二预设数量。
在该步骤中，针对子步骤3073提供的示例，可以基于第二预设数量(如10组)的第一编码向量进行交叉变异，产生另外第三预设数量(如20组)第二编码向量，交叉变异的具体过程可以如下：
交叉：从第二预设数量(如10组)的第一编码向量中随机选择2组编码向量来交叉产生一个第二编码向量，如选择了(1a,2a,3a,4c,5c,6c)和(1b,2b,3a,4a,5c,6b)，第二编码向量的每一位都随机来自这两组编码向量，如(1a,2b,3a,4c,5c,6b)。重复进行此步骤10次可得到10组第二编码向量。
变异：从第二预设数量(如10组)的第一编码向量中随机选择1组编码来变异产生一个第二编码向量，如选择了(1a,2a,3a,4c,5c,6c)，将此编码向量随机选择一位进行变异，如将第一位1a变为1c，可得到第二编码向量(1c,2a,3a,4c,5c,6c)。重复此步骤10次可得到10组第二编码向量。
交叉变异过程类似于遗传学中的优胜劣汰法则，所以每次交叉变异都能够产生较上次交叉变异更优的结果，且该次交叉变异产生的结果作为下一次交叉变异过程的输入，也在不断提升之后交叉变异过程的输入精度，因此，在多次交叉变异之后，能够筛选出至少一个优选解。
子步骤3075，对所述第二编码向量进行测试，从测试得到的第二测试结果中，选取第四预设数量的目标第二测试结果，并从所述第二编码向量中确定所述目标第二测试结果对应的第三编码向量。
在该步骤中，针对子步骤3074提供的示例，从第二测试结果中，选取第四预设数量的目标二第测试结果，其选取逻辑与业务或作业的需求强相关，即要满足相关的测试指标，在本发明实施例中，可以从20组第二测试结果中，选取与预设测试结果最相似的前10组目标第二测试结果，该过程的目的是挑选出精度最高的前10组测试结果，从而确定这些测试结果对应的向量编码。
子步骤3076，在确定了所述目标第二测试结果对应的第三编码向量之后，进入子步骤3072。
子步骤3077，在重复进行了预设次数的子步骤3076之后，从最新的第三编码向量中，选取至少一个与所述预设测试指标的相似度大于或等于预设相似度预值的目标第三编码向量。
在本发明实施例中，针对上述步骤的示例，假设在整个交叉变异的过程重复了10次之后，则可以从最新产生的第三编码向量中，选取至少一个与预设测试指标的相似度大于或等于预设相似度预值的目标第三编码向量作为最优解。
子步骤3078，将所述目标第三编码向量对应的第二深度学习模型，确定为所述第三深度学习模型。
在本发明实施例中，针对上述步骤提供的示例，遗传算法模型每次测试20个第二深度学习模型，重复10次，则最终测试了200个第二深度学习模型，远远小于采用穷举法时36次测试次数。而且上述遗传算法每次产生的新结构都基于当前较优的结构进行变化，因此经过一次迭代，输出的结果的性能会不断往好的方面去变化，因此大大减少了很多性能较差的模型的测试步骤。
步骤308、在出现多组所述第三深度学习模型时，将所述第三深度学习模型导入退火算法模型，输出满足所述预设测试指标且最优的一组第三深度学习模型。
在本申请实施例中，遗传算法模型可能会输出多组第三深度学习模型，在出现多组第三深度学习模型时，可以将多组第三深度学习模型导入退火算法模型，在遗传算法中重复步骤交叉变异过程。
模拟退火算法提供了一种接受准则函数在该函数中，T0为预设的初始阈值，x为当前迭代次数与最大迭代次数的比值，α为半衰期，迭代次数越大，即意味着子代被接收为父母体的几率越小，迭代次数越小，即意味着子代被接收为父母体的几率越大，通过接受准则函数，可以让每次迭代产生的解，更有机会跳出局部最优，进一步优化了父母体的选取，使得在多轮迭代后，得到最终产生的最优解，即输出满足预设测试指标且最优的一组第三深度学习模型。
综上所述，本发明实施例提供的深度学习模型的建立方法，通过在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为卷积层对应的权重池的体积参数；将多个比例参数依次与权重池的体积参数相乘，得到多个子权重池；针对卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个子权重池的输出通道数，建立多个第二深度学习模型，第二深度学习模型的每一层卷积层设置有相应的目标输出通道数；将第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。本发明通过初始化建立一个每层卷积层具有足够大权重池的第一深度模型，并按照比例参数将第一深度模型的各层卷积层进行划分，从而在对第一深度模型进行训练时，能够得到多个具有不同宽度组合的第二深度模型，并按照启发式算法，在满足一定的测试指标的情况下，自动从第二深度模型中选出第三深度模型，本发明不需要通过对深度学习模型进行多次测试来调整宽度参数至最优，而是通过划分多个具有不同宽度组合的第二深度学习模型，并利用启发式算法模型，从第二深度学习模型中筛选出具有优选宽度组合的第三深度学习模型，达到了模型宽度设定的自动化的目的，大大减少了模型训练所需的资源和训练时间。
图5是本发明实施例提供的一种深度学习模型的建立装置的框图，如图5所示，该装置可以包括：
初始化模块401，用于在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为所述卷积层对应的权重池的体积参数；
划分模块402，用于将多个比例参数依次与所述权重池的体积参数相乘，得到多个子权重池；
卷积计算模块403，用于针对所述卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个所述子权重池的输出通道数，建立多个第二深度学习模型，所述第二深度学习模型的每一层卷积层设置有相应的目标输出通道数；
可选的，卷积计算模块403，包括：
卷积计算子模块，用于针对所述卷积层包括的子权重池依次进行卷积计算，得到每个所述子权重池的输出通道数；
选择子模块，用于从所述输出通道数中选择一个所述目标输出通道数；
参数输出子模块，用于将所述目标输出通道数设置为下一层卷积层的输入通道参数，以供所述下一层卷积层根据所述目标输出通道数进行卷积计算；
生成子模块，用于在所有卷积层完成卷积计算后，得到多个第二深度学习模型。
优化模块404，用于将所述第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。
可选的，优化模块404，包括：
遗传算法子模块，用于将所述第二深度学习模型导入遗传算法模型，输出满足所述预设测试指标的至少一组第三深度学习模型。
可选的，遗传算法子模块，包括：
转换单元，用于将所述第二深度学习模型转换为编码向量，所述编码向量中的每一个向量包括所述第二深度学习模型的卷积层数与目标输出通道数的对应关系；
第一选取单元，用于从所有的所述编码向量中，随机选取第一预设数量的编码向量进行测试，得到第一测试结果；
第二选取单元，用于从所述第一测试结果中，选取第二预设数量的目标第一测试结果，并从所述编码向量中确定所述目标第一测试结果对应的第一编码向量；
交叉变异单元，用于基于所述第一编码向量进行交叉变异处理，得到第三预设数量的第二编码向量，所述第三预设数量大于所述第二预设数量；
第三选取单元，用于对所述第二编码向量进行测试，从测试得到的第二测试结果中，选取第四预设数量的目标第二测试结果，并从所述第二编码向量中确定所述目标第二测试结果对应的第三编码向量；
切换步骤单元，用于在确定了所述目标第二测试结果对应的第三编码向量之后，进入所述从所有的所述编码向量中，随机选取第一预设数量的编码向量进行测试，得到第一测试结果的步骤；
第四选取单元，用于在重复进行了预设次数的所述在确定了所述目标第二测试结果对应的第三编码向量之后，进入所述从所有的所述编码向量中，随机选取第一预设数量的编码向量进行测试，得到第一测试结果步骤的步骤之后，从最新的第三编码向量中，选取至少一个与所述预设测试指标的相似度大于或等于预设相似度预值的目标第三编码向量；
确定单元，用于将所述目标第三编码向量对应的第二深度学习模型，确定为所述第三深度学习模型。退火算法子模块，用于在出现多组所述第三深度学习模型时，将所述第三深度学习模型导入退火算法模型，输出满足所述预设测试指标且最优的一组第三深度学习模型。
综上，本发明实施例提供的深度学习模型的建立装置，通过在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为卷积层对应的权重池的体积参数；将多个比例参数依次与权重池的体积参数相乘，得到多个子权重池；针对卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个子权重池的输出通道数，建立多个第二深度学习模型，第二深度学习模型的每一层卷积层设置有相应的目标输出通道数；将第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。本发明通过初始化建立一个每层卷积层具有足够大权重池的第一深度模型，并按照比例参数将第一深度模型的各层卷积层进行划分，从而在对第一深度模型进行训练时，能够得到多个具有不同宽度组合的第二深度模型，并按照启发式算法，在满足一定的测试指标的情况下，自动从第二深度模型中选出第三深度模型，本发明不需要通过对深度学习模型进行多次测试来调整宽度参数至最优，而是通过划分多个具有不同宽度组合的第二深度学习模型，并利用启发式算法模型，从第二深度学习模型中筛选出具有优选宽度组合的第三深度学习模型，达到了模型宽度设定的自动化的目的，大大减少了模型训练所需的资源和训练时间。
图6是本发明实施例提供的一种图像处理装置的框图，如图6所示，该装置可以包括：
获取模块501，用于获取待处理图像；
处理模块502，用于将所述待处理图像输入第三深度学习模型进行处理，输出针对所述待处理图像的处理结果。
综上，本发明实施例提供的图像处理装置，通过获取待处理图像。将所述待处理图像输入第三深度学习模型进行处理，输出针对待处理图像的处理结果。本发明通过初始化建立一个每层卷积层具有足够大权重池的第一深度模型，并按照比例参数将第一深度模型的各层卷积层进行划分，从而在对第一深度模型进行训练时，能够得到多个具有不同宽度组合的第二深度模型，并按照启发式算法，在满足一定的测试指标的情况下，自动从第二深度模型中选出第三深度模型，由于第三深度学习模型是从第二深度学习模型中筛选出具有优选宽度组合的模型，因此第三深度模型在进行待处理图像的处理时，处理速度更快，响应更及时。
另外，本发明实施例还提供一种装置，具体可以参照图7，该装置600包括处理器610，存储器620以及存储在存储器620上并可在处理器610上运行的计算机程序，该计算机程序被处理器610执行时实现上述实施例的深度学习模型的建立方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的深度学习模型的建立方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。
本发明实施例还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的深度学习模型的建立方法的相应步骤，并且用于实现根据本发明实施例的深度学习模型的建立装置中的相应模块。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种深度学习模型的建立方法，其特征在于，所述方法包括：
在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为所述卷积层对应的权重池的体积参数；
将多个比例参数依次与所述权重池的体积参数相乘，得到多个子权重池；
针对所述卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个所述子权重池的输出通道数，建立多个第二深度学习模型，所述第二深度学习模型的每一层卷积层设置有相应的目标输出通道数；
将所述第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。
2.根据权利要求1所述的方法，其特征在于，所述针对所述卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个所述子权重池的输出通道数，建立多个第二深度学习模型的步骤，包括：
针对所述卷积层包括的子权重池依次进行卷积计算，得到每个所述子权重池的输出通道数；
从所述输出通道数中选择一个所述目标输出通道数；
将所述目标输出通道数设置为下一层卷积层的输入通道参数，以供所述下一层卷积层根据所述目标输出通道数进行卷积计算；
在所有卷积层完成卷积计算后，得到多个第二深度学习模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型的步骤，包括：
将所述第二深度学习模型导入遗传算法模型，输出满足所述预设测试指标的至少一组第三深度学习模型。
4.根据权利要求3所述的方法，其特征在于，在所述将所述第二深度学习模型导入遗传算法模型，输出满足所述预设测试指标的至少一组第三深度学习模型的步骤之后，还包括：
在出现多组所述第三深度学习模型时，将所述第三深度学习模型导入退火算法模型，输出满足所述预设测试指标且最优的一组第三深度学习模型。
5.根据权利要求3所述的方法，其特征在于，所述将所述第二深度学习模型导入遗传算法模型，输出满足预设测试指标的第三深度学习模型的步骤，包括：
将所述第二深度学习模型转换为编码向量，所述编码向量中的每一个向量包括所述第二深度学习模型的卷积层数与目标输出通道数的对应关系；
从所有的所述编码向量中，随机选取第一预设数量的编码向量进行测试，得到第一测试结果；
从所述第一测试结果中，选取第二预设数量的目标第一测试结果，并从所述编码向量中确定所述目标第一测试结果对应的第一编码向量；
基于所述第一编码向量进行交叉变异处理，得到第三预设数量的第二编码向量，所述第三预设数量大于所述第二预设数量；
对所述第二编码向量进行测试，从测试得到的第二测试结果中，选取第四预设数量的目标第二测试结果，并从所述第二编码向量中确定所述目标第二测试结果对应的第三编码向量；
在确定了所述目标第二测试结果对应的第三编码向量之后，进入所述从所有的所述编码向量中，随机选取第一预设数量的编码向量进行测试，得到第一测试结果的步骤；
在重复进行了预设次数的所述在确定了所述目标第二测试结果对应的第三编码向量之后，进入所述从所有的所述编码向量中，随机选取第一预设数量的编码向量进行测试，得到第一测试结果步骤的步骤之后，从最新的第三编码向量中，选取至少一个与所述预设测试指标的相似度大于或等于预设相似度预值的目标第三编码向量；
将所述目标第三编码向量对应的第二深度学习模型，确定为所述第三深度学习模型。
6.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入第三深度学习模型进行处理，输出针对所述待处理图像的处理结果；
其中，所述第三深度学习模型是根据权利要求1至权利要求5中任意一项深度学习模型的建立方法所得到的。
7.一种深度学习模型的建立装置，其特征在于，所述装置包括：
初始化模块，用于在第一深度学习模型中，将每一层卷积层的最大输入通道数及最大输出通道数，设置为所述卷积层对应的权重池的体积参数；
划分模块，用于将多个比例参数依次与所述权重池的体积参数相乘，得到多个子权重池；
卷积计算模块，用于针对所述卷积层包括的子权重池依次进行卷积计算，并根据计算得到的每个所述子权重池的输出通道数，建立多个第二深度学习模型，所述第二深度学习模型的每一层卷积层设置有相应的目标输出通道数；
优化模块，用于将所述第二深度学习模型导入启发式算法模型，输出满足预设测试指标的第三深度学习模型。
8.根据权利要求7所述的装置，其特征在于，所述卷积计算模块，包括：
卷积计算子模块，用于针对所述卷积层包括的子权重池依次进行卷积计算，得到每个所述子权重池的输出通道数；
选择子模块，用于从所述输出通道数中选择一个所述目标输出通道数；
参数输出子模块，用于将所述目标输出通道数设置为下一层卷积层的输入通道参数，以供所述下一层卷积层根据所述目标输出通道数进行卷积计算；
生成子模块，用于在所有卷积层完成卷积计算后，得到多个第二深度学习模型。
9.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像；
处理模块，用于将所述待处理图像输入第三深度学习模型进行处理，输出针对所述待处理图像的处理结果；
其中，所述第三深度学习模型是根据权利要求1至权利要求5中任意一项深度学习模型的建立方法所得到的。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的深度学习模型的建立方法的步骤，或者实现如权利要求6所述的图像处理方法的步骤。
11.一种装置，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的深度学习模型的建立方法的步骤，或者实现如权利要求6所述的图像处理方法的步骤。
CN201910356937.5A 2019-04-29 2019-04-29 深度学习模型的建立方法、图像处理方法及装置 Active CN110222816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910356937.5A CN110222816B (zh) 2019-04-29 2019-04-29 深度学习模型的建立方法、图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910356937.5A CN110222816B (zh) 2019-04-29 2019-04-29 深度学习模型的建立方法、图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110222816A true CN110222816A (zh) 2019-09-10
CN110222816B CN110222816B (zh) 2022-08-12

Family

ID=67820297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910356937.5A Active CN110222816B (zh) 2019-04-29 2019-04-29 深度学习模型的建立方法、图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN110222816B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027635A (zh) * 2019-12-12 2020-04-17 深圳前海微众银行股份有限公司 图像处理模型的构建方法、装置、终端及可读存储介质
CN111127185A (zh) * 2019-11-25 2020-05-08 北京明略软件系统有限公司 信贷欺诈识别模型构建方法及装置
CN115640835A (zh) * 2022-12-22 2023-01-24 阿里巴巴（中国）有限公司 深度学习网络结构的生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779051A (zh) * 2016-11-24 2017-05-31 厦门中控生物识别信息技术有限公司 一种卷积神经网络模型参数处理方法及系统
CN108985457A (zh) * 2018-08-22 2018-12-11 北京大学 一种受优化算法启发的深度神经网络结构设计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779051A (zh) * 2016-11-24 2017-05-31 厦门中控生物识别信息技术有限公司 一种卷积神经网络模型参数处理方法及系统
CN108985457A (zh) * 2018-08-22 2018-12-11 北京大学 一种受优化算法启发的深度神经网络结构设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATT HARVEY: "Let’s evolve a neural network with a genetic algorithm—code included", 《COASTLINE AUTOMATION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127185A (zh) * 2019-11-25 2020-05-08 北京明略软件系统有限公司 信贷欺诈识别模型构建方法及装置
CN111027635A (zh) * 2019-12-12 2020-04-17 深圳前海微众银行股份有限公司 图像处理模型的构建方法、装置、终端及可读存储介质
CN111027635B (zh) * 2019-12-12 2023-10-31 深圳前海微众银行股份有限公司 图像处理模型的构建方法、装置、终端及可读存储介质
CN115640835A (zh) * 2022-12-22 2023-01-24 阿里巴巴（中国）有限公司 深度学习网络结构的生成方法及装置
CN115640835B (zh) * 2022-12-22 2023-03-31 阿里巴巴（中国）有限公司 深度学习网络结构的生成方法及装置

Also Published As

Publication number Publication date
CN110222816B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110222816A (zh) 深度学习模型的建立方法、图像处理方法及装置
CN109255498A (zh) 基于神经网络的负荷预测方法及装置
CN106897821A (zh) 一种暂态评估特征选择方法及装置
CN105978732A (zh) 一种基于粒子群优化最简回声状态网络参数的方法和系统
CN108776461A (zh) 一种柔性作业车间调度方法及系统
CN106959937A (zh) 一种面向gpdsp的反卷积矩阵的向量化实现方法
CN103473465B (zh) 基于多目标人工免疫系统的土地资源空间布局优化方法
CN110069805A (zh) 基于hpso和ga-bp算法的螺旋电感优化方法
CN105024645B (zh) 一种基于矩阵进化的光伏阵列故障定位方法
CN107609648A (zh) 一种结合堆叠降噪稀疏自动编码器的遗传算法
CN109299163A (zh) 一种基于卷积神经网络的降水数据的插值方法及装置
CN111275186A (zh) 一种基于分组分层机制的可微结构搜索方法
CN108549607A (zh) 消息传递并行程序多路径覆盖测试数据协同进化生成方法
CN114662678B (zh) 一种基于变激活函数卷积神经网络的图像识别方法
CN114004065A (zh) 基于智能算法和环境约束下的变电站工程多目标优化方法
CN115169235A (zh) 一种基于改进生成对抗网络的超表面单元结构逆设计方法
CN116935226A (zh) 一种基于HRNet的改进型遥感图像道路提取方法、系统、设备及介质
CN108197075A (zh) 一种Inception结构的多核实现方法
CN104281917A (zh) 基于自适应遗传和克隆选择算法的模糊作业车间调度方法
CN103105775B (zh) 基于序优化与在线核极限学习机的分层迭代优化调度方法
CN108416474A (zh) 基于虚拟适应度和Pareto解集分层的改进优化算法
CN115169754B (zh) 能源调度方法、装置、电子设备及存储介质
CN109784286A (zh) 基于多目标模因优化算法的遥感影像空谱非监督分类方法
CN110009749A (zh) 一种虚拟对象定位方法、装置、计算设备及存储介质
CN106780722B (zh) 一种同种异态森林场景构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method for establishing deep learning models, image processing methods, and devices

Effective date of registration: 20230404

Granted publication date: 20220812

Pledgee: Shanghai Yunxin Venture Capital Co.,Ltd.

Pledgor: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

Registration number: Y2023990000192

PE01 Entry into force of the registration of the contract for pledge of patent right