CN111383357A - 一种适应目标数据集的网络模型微调方法、系统、终端和存储介质 - Google Patents
一种适应目标数据集的网络模型微调方法、系统、终端和存储介质 Download PDFInfo
- Publication number
- CN111383357A CN111383357A CN202010392066.5A CN202010392066A CN111383357A CN 111383357 A CN111383357 A CN 111383357A CN 202010392066 A CN202010392066 A CN 202010392066A CN 111383357 A CN111383357 A CN 111383357A
- Authority
- CN
- China
- Prior art keywords
- data set
- neural network
- target
- layer
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
- G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
- G07B15/02—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points taking into account a variable factor such as distance or time, e.g. for passenger transport, parking systems or car rental systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种适应目标数据集的网络模型微调方法、系统、终端和存储介质，原神经网络，所述原神经网络包括统一神经网络和输出层，所述原神经网络的作用是先使用原数据集预训练原神经网络，获得预训练后原神经网络各个层的参数，标记这些参数；目标神经网络，所述目标神经网络包括与原神经网络相互匹配的网络层数，目标神经网络也包括输出层和统一神经网络层，所述目标神经网络中统一神经网络层的各个参数沿用原神经网络中统一神经网络层的各个参数；微调模块，所述微调模块用于微调目标神经网络中除输出层之外的各个层特征参数以适应识别目标。
Description
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种适应目标数据集的网络模型微调方法、系统、终端和存储介质。
背景技术
立体停车库，是用来最大量存取储放车辆的机械或机械设备系统。针对专业车场管理公司，立体车库是提高停车场容量、增加停车费收入的有效手段。立体停车库在建筑形式分为独立的类型和内置两个，独立停车建筑适合地下广场和现有建筑补建停车设施、规划和建设应该留意一下周围的环境。
内置式立体车库适用于与新建筑同步规划和建设，停车设备附在建筑物内，对区域环境规划和建筑观瞻没有影响。现代停车产业的发展已具有一定规模，并积极拓展停车设施的辅助功能，为社区提供多种服务。在有些停车设施的规划建设中，以建筑机械停车设施为中心，充分考虑周边环境、地形地貌、服务群体的多种需求，把停车设施建成区域服务中心，开发其综合效益。
自主代客泊车(autonomous valet parking)作为一项高级辅助驾驶系统的重要功能，已经基本能够实现停车场、园区等场景的泊车功能，但是仍然存在较多局限性，例如同一停车位识别网络模型只能对训练集相同类型的作用明显，但针对区别类型车位例如草地车位、砖地车位、立体车位识别效果差。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种适应目标数据集的网络模型微调方法、系统、终端和存储介质，避免重头开始训练，需要大量的数据，计算时间和计算资源。另外，避免存在模型不收敛，参数不够优化，准确率低，模型泛化能力低，容易过拟合等风险。
一种适应目标数据集的网络模型微调方法，包括：
S01：以原数据集为基础，预训练原网络模型，创建目标网络模型，沿用原网络模型上除了输出层外的所有模型层数架构及其统一神经网络各个层的参数；
S02：为目标网络模型设置输出层，输出层个数与目标数据集匹配；目标网络模型参数初始化随机设置；
S03：除了输出层之外的统一神经网络各个层的参数都均是基于原模型的参数微调获得，以设置好的目标数据集二次训练输出层至目标网络模型。
优选地，对于目标数据集的数据量少的情况下：如果数据相似度非常高的话，只修改最后几层或最终的softmax图层的输出类别，但若数据相似度低的话，可以冻结预训练模型的初始层(比如k层)，并再次训练剩余的(n-k)层。由于新数据集的相似度较低，因此根据新数据集对较高层进行重新训练具有重要意义。
优选地，对于目标数据集的数据量大的情况下：如果数据相似度低的话，我们的神经网络训练将会很有效。但是，由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。使用预训练模型进行的预测不会有效。因此，最好根据你的数据从头开始训练神经网络。但是如果数据相似度高的话，预训练模型应该是最有效的。使用模型的最好方法是保留模型的体系结构和模型的初始权重。然后，我们可以使用在预先训练的模型中的权重来重新训练该模型。
优选地，步骤S01还包括原数据集准备步骤S011：准备两个图像文档文件，放成清单的形式，在每一个图像文档文件之后标记该文档文件的类别ID编码，原数据集中图像文档文件的ID编码应当连续。
例如，原数据集准备步骤S011可以参考caffe下的example，图像路径之后一个空格之后跟着类别的ID，如下，这里记住ID必须从0开始，要连续，否则会出错，loss不下降，按照要求写就OK。
这个是训练的图像label，测试的也同理
微调网络，是指我们在训练好目标网络模型参数的基础上，根据我们的分类识别任务进行特定的微调。
进一步地，所述微调的具体步骤是：
S031：在原网络模型上运行预先训练的参数值，使用比初始化学习率比用于从头开始训练，以数值低于额定值的学习率来确保执行交叉验证；检测目标数据集的数据量，当监测到目标数据集的数据量大于额定值时，截断预先训练好神经网络的最后一层(softmax层)，并用微调的softmax层替换；
S032：当检测到目标数据集的数据量小于额定值时，只训练最后一层，如果数据集数量中等，冻结预训练网络的前一层或几层的权重，仅调整数据集高维层的权重。
例如，ImageNet上预先训练好的网络带有1000个类别的softmax图层。如果我们的任务是对10个类别的分类，则网络的新softmax层将由10个类别组成，而不是1000个类别。然后，我们在网络上运行预先训练的权重。确保执行交叉验证，以便网络能够很好地推广。
所述步骤S032中冻结预训练网络的前一层或几层的权重，仅调整数据集高维层权重这是因为前几个图层捕捉了与我们的新问题相关的通用特征，如曲线和边。我们希望保持这些权重不变。相反，我们会让网络专注于学习后续深层中特定于数据集的特征。
进一步地，所述步骤S02中为目标网络模型设置输出层，输出层个数与目标数据集匹配；在运行环境CaffeNet下，首先在输入层data层，修改我们的source和meanfile，根据之前生成的lmdb和mean.binaryproto修改与输入data层匹配，生成输出层，这样输出层个数与目标数据集匹配。
在步骤S02中应该注意：为目标网络模型设置输出层时，
S021：首先修改原网络模型的名称，这样预训练的原网络模型赋值的时候这里就会因为名字不匹配从而重新训练，也就达成了适应新任务的目的；
S022：调整学习速率，仅仅输出层重新学习，输出层以外的统一神经网络层因此需要有更快的学习速率，因此weight和bias的学习速率加快3～15倍，加快学习率的同时将跟输出层的名字都要修改成适应学习速率的表达。
其中，步骤S02实际操作时，其他的调整包括对测试集数据量的调整、基本学习速率的调整、步长的调整和最大的迭代次数的调整，对于动量和权重衰减项都没有修改，网络模型文件和快照的路径做自适应修改。
一种立体停车库的泊车系统，包括：
原数据集，所述原数据集包括训练集、测试集和验证集；所述原数据集用于训练整个原神经网络；
目标数据集，所述目标数据集包括目标训练集、目标测试集和目标验证集；所述目标数据集用于训练目标神经网络的输出层；
原神经网络，所述原神经网络包括统一神经网络和输出层，所述原神经网络的作用是先使用原数据集预训练原神经网络，获得预训练后原神经网络各个层的参数，标记这些参数；
目标神经网络，所述目标神经网络包括与原神经网络相互匹配的网络层数，目标神经网络也包括输出层和统一神经网络层，所述目标神经网络中统一神经网络层的各个参数沿用原神经网络中统一神经网络层的各个参数；
微调模块，所述微调模块用于微调目标神经网络中除输出层之外的各个层特征参数以适应识别目标。
进一步地，当所述目标数据集的数据量少于额定数据量时：
若目标数据集的数据相似度高，只修改最后几层或最终的softmax图层的输出类别；若目标数据集的数据相似度低，可以冻结预训练模型的初始层，并再次训练除初始层之外剩余的层。
进一步地，当所述目标数据集的数据量大于额定数据量时：
如果目标数据集的数据相似度低于额定相似度，则需考虑从头开始训练目标神经网络中统一神经网络，获得与目标数据集数据特征对应的参数。
例如，在从头开始训练目标神经网络中统一神经网络时，优选地，应保留目标神经网络模型的体系结构和目标神经网络模型的初始权重。然后，我们可以使用在预先训练的模型中的权重来重新训练该目标网络模型。
一种立体停车库的泊车终端，如可以执行上述立体停车库的泊车方法的智能手机或可以执行上述立体停车库的泊车系统的车载终端控制设备。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行立体停车库的泊车方法中的步骤。
如上所述，本发明的具有以下有益效果：
避免重头开始训练，需要大量的数据，计算时间和计算资源。另外，避免存在模型不收敛，参数不够优化，准确率低，模型泛化能力低，容易过拟合等风险。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的框图。
图2显示为本发明的流程图。
图3显示为本发明另一实施例的流程图。
图4显示为本发明另一实施例的流程图。
图5显示为本发明另一实施例的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图5，
一种适应目标数据集的网络模型微调方法，包括：
S01：以原数据集为基础，预训练原网络模型，创建目标网络模型，沿用原网络模型上除了输出层外的所有模型层数架构及其统一神经网络各个层的参数；
S02：为目标网络模型设置输出层，输出层个数与目标数据集匹配；目标网络模型参数初始化随机设置；
S03：除了输出层之外的统一神经网络各个层的参数都均是基于原模型的参数微调获得，以设置好的目标数据集二次训练输出层至目标网络模型。
优选地，对于目标数据集的数据量少的情况下：如果数据相似度非常高的话，只修改最后几层或最终的softmax图层的输出类别，但若数据相似度低的话，可以冻结预训练模型的初始层(比如k层)，并再次训练剩余的(n-k)层。由于新数据集的相似度较低，因此根据新数据集对较高层进行重新训练具有重要意义。
优选地，对于目标数据集的数据量大的情况下：如果数据相似度低的话，我们的神经网络训练将会很有效。但是，由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。使用预训练模型进行的预测不会有效。因此，最好根据你的数据从头开始训练神经网络。但是如果数据相似度高的话，预训练模型应该是最有效的。使用模型的最好方法是保留模型的体系结构和模型的初始权重。然后，我们可以使用在预先训练的模型中的权重来重新训练该模型。
优选地，步骤S01还包括原数据集准备步骤S011：准备两个图像文档文件，放成清单的形式，在每一个图像文档文件之后标记该文档文件的类别ID编码，原数据集中图像文档文件的ID编码应当连续。
例如，原数据集准备步骤S011可以参考caffe下的example，图像路径之后一个空格之后跟着类别的ID，如下，这里记住ID必须从0开始，要连续，否则会出错，loss不下降，按照要求写就OK。
这个是训练的图像label，测试的也同理
微调网络，是指我们在训练好目标网络模型参数的基础上，根据我们的分类识别任务进行特定的微调。
作为优选实施例，所述微调的具体步骤是：
S031：在原网络模型上运行预先训练的参数值，使用比初始化学习率比用于从头开始训练，以数值低于额定值的学习率来确保执行交叉验证；检测目标数据集的数据量，当监测到目标数据集的数据量大于额定值时，截断预先训练好神经网络的最后一层(softmax层)，并用微调的softmax层替换；
S032：当检测到目标数据集的数据量小于额定值时，只训练最后一层，如果数据集数量中等，冻结预训练网络的前一层或几层的权重，仅调整数据集高维层的权重。
例如，ImageNet上预先训练好的网络带有1000个类别的softmax图层。如果我们的任务是对10个类别的分类，则网络的新softmax层将由10个类别组成，而不是1000个类别。然后，我们在网络上运行预先训练的权重。确保执行交叉验证，以便网络能够很好地推广。
所述步骤S032中冻结预训练网络的前一层或几层的权重，仅调整数据集高维层权重这是因为前几个图层捕捉了与我们的新问题相关的通用特征，如曲线和边。我们希望保持这些权重不变。相反，我们会让网络专注于学习后续深层中特定于数据集的特征。
作为优选实施例，所述步骤S02中为目标网络模型设置输出层，输出层个数与目标数据集匹配；在运行环境CaffeNet下，首先在输入层data层，修改我们的source和meanfile，根据之前生成的lmdb和mean.binaryproto修改与输入data层匹配，生成输出层，这样输出层个数与目标数据集匹配。
在步骤S02中应该注意：为目标网络模型设置输出层时，
S021：首先修改原网络模型的名称，这样预训练的原网络模型赋值的时候这里就会因为名字不匹配从而重新训练，也就达成了适应新任务的目的；
S022：调整学习速率，仅仅输出层重新学习，输出层以外的统一神经网络层因此需要有更快的学习速率，因此weight和bias的学习速率加快3～15倍，加快学习率的同时将跟输出层的名字都要修改成适应学习速率的表达。
其中，步骤S02实际操作时，其他的调整包括对测试集数据量的调整、基本学习速率的调整、步长的调整和最大的迭代次数的调整，对于动量和权重衰减项都没有修改，网络模型文件和快照的路径做自适应修改。
一种立体停车库的泊车系统，包括：
原数据集，所述原数据集包括训练集、测试集和验证集；所述原数据集用于训练整个原神经网络；
目标数据集，所述目标数据集包括目标训练集、目标测试集和目标验证集；所述目标数据集用于训练目标神经网络的输出层；
原神经网络，所述原神经网络包括统一神经网络和输出层，所述原神经网络的作用是先使用原数据集预训练原神经网络，获得预训练后原神经网络各个层的参数，标记这些参数；
目标神经网络，所述目标神经网络包括与原神经网络相互匹配的网络层数，目标神经网络也包括输出层和统一神经网络层，所述目标神经网络中统一神经网络层的各个参数沿用原神经网络中统一神经网络层的各个参数；
微调模块，所述微调模块用于微调目标神经网络中除输出层之外的各个层特征参数以适应识别目标。
作为优选实施例，当所述目标数据集的数据量少于额定数据量时：
若目标数据集的数据相似度高，只修改最后几层或最终的softmax图层的输出类别；若目标数据集的数据相似度低，可以冻结预训练模型的初始层，并再次训练除初始层之外剩余的层。
作为优选实施例，当所述目标数据集的数据量大于额定数据量时：
如果目标数据集的数据相似度低于额定相似度，则需考虑从头开始训练目标神经网络中统一神经网络，获得与目标数据集数据特征对应的参数。
例如，在从头开始训练目标神经网络中统一神经网络时，优选地，应保留目标神经网络模型的体系结构和目标神经网络模型的初始权重。然后，我们可以使用在预先训练的模型中的权重来重新训练该目标网络模型。
一种立体停车库的泊车终端，如可以执行上述立体停车库的泊车方法的智能手机或可以执行上述立体停车库的泊车系统的车载终端控制设备。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行立体停车库的泊车方法中的步骤。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式云端、刀片式云端、塔式云端或机柜式云端(包括独立的云端，或者多个云端所组成的云端集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的立体停车库的泊车方法实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的立体停车库的泊车方法程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、云端、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于立体停车库的泊车的更新程序，被处理器执行时实现立体停车库的泊车程序实施例中的立体停车库的泊车方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (13)
1.一种适应目标数据集的网络模型微调方法，其特征在于，包括：
S01：以原数据集为基础，预训练原网络模型，创建目标网络模型，沿用原网络模型上除了输出层外的所有模型层数架构及其统一神经网络各个层的参数；
S02：为目标网络模型设置输出层，输出层个数与目标数据集匹配；目标网络模型参数初始化随机设置；
S03：除了输出层之外的统一神经网络各个层的参数都均是基于原模型的参数微调获得，以设置好的目标数据集二次训练输出层至目标网络模型。
2.根据权利要求1所述的适应目标数据集的网络模型微调方法，其特征在于，对于目标数据集的数据量少的情况下：如果数据相似度非常高的话，只修改最后几层或最终的softmax函数图层的输出类别，但若目标数据集的数据相似度低的话，可以冻结预训练模型的初始层数目，并再次训练除初始层之外剩余的层。
3.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，对于目标数据集的数据量大的情况下：如果数据相似度低的话，我们的神经网络训练将会很有效。
4.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，步骤S01还包括原数据集准备步骤S011：准备两个图像文档文件，放成清单的形式，在每一个图像文档文件之后标记该文档文件的类别ID编码，原数据集中图像文档文件的ID编码应当连续。
5.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，所述微调的具体步骤是：
S031：在原网络模型上运行预先训练的参数值，使用比初始化学习率比用于从头开始训练，以数值低于额定值的学习率来确保执行交叉验证；检测目标数据集的数据量，当监测到目标数据集的数据量大于额定值时，截断预先训练好神经网络的最后一层(softmax层)，并用微调的softmax层替换；
S032：当检测到目标数据集的数据量小于额定值时，只训练最后一层，如果数据集数量中等，冻结预训练网络的前一层或几层的权重，仅调整数据集高维层的权重。
6.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，所述步骤S032中冻结预训练原神经网络的前一层或几层的权重，仅调整数据集高维层的权重。
7.根据权利要求6所述的适应目标数据集的网络模型微调方法，其特征在于，在步骤S02中应该注意：为目标网络模型设置输出层时，
S021：首先修改原网络模型的名称，这样预训练的原网络模型赋值的时候这里就会因为名字不匹配从而重新训练，也就达成了适应新任务的目的；
S022：调整学习速率，仅仅输出层重新学习，输出层以外的统一神经网络层因此需要有更快的学习速率，因此weight和bias的学习速率加快3～15倍，加快学习率的同时将跟输出层的名字都要修改成适应学习速率的表达。
8.根据权利要求1所述的适应目标数据集的网络模型微调方法，其特征在于，步骤S02实际操作时，其他的调整包括对测试集数据量的调整、基本学习速率的调整、步长的调整和最大的迭代次数的调整，对于动量和权重衰减项都没有修改，网络模型文件和快照的路径做自适应修改。
9.一种适应目标数据集的网络模型微调系统，其特征在于，包括：
原数据集，所述原数据集包括训练集、测试集和验证集；所述原数据集用于训练整个原神经网络；
目标数据集，所述目标数据集包括目标训练集、目标测试集和目标验证集；所述目标数据集用于训练目标神经网络的输出层；
原神经网络，所述原神经网络包括统一神经网络和输出层，所述原神经网络的作用是先使用原数据集预训练原神经网络，获得预训练后原神经网络各个层的参数，标记这些参数；
目标神经网络，所述目标神经网络包括与原神经网络相互匹配的网络层数，目标神经网络也包括输出层和统一神经网络层，所述目标神经网络中统一神经网络层的各个参数沿用原神经网络中统一神经网络层的各个参数；
微调模块，所述微调模块用于微调目标神经网络中除输出层之外的各个层特征参数以适应识别目标。
10.根据权利要求9所述的适应目标数据集的网络模型微调系统，其特征在于，当所述目标数据集的数据量少于额定数据量时：
若目标数据集的数据相似度高，只修改最后几层或最终的softmax图层的输出类别；若目标数据集的数据相似度低，可以冻结预训练模型的初始层，并再次训练除初始层之外剩余的层。
11.根据权利要求10所述的适应目标数据集的网络模型微调系统，其特征在于，当所述目标数据集的数据量大于额定数据量时：
如果目标数据集的数据相似度低于额定相似度，则需考虑从头开始训练目标神经网络中统一神经网络，获得与目标数据集数据特征对应的参数。
12.一种终端设备，其特征在于：如可以执行上述权利要求1-8所述的适应目标数据集的网络模型微调的泊车方法的智能手机或可以执行上述9-11所述的适应目标数据集的网络模型微调系统的车载终端控制设备。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至8任一权利要求所述的方法中的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019104668819 | 2019-05-31 | ||
| CN201910466881 | 2019-05-31 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111383357A true CN111383357A (zh) | 2020-07-07 |
Family
ID=71217690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010392066.5A Pending CN111383357A (zh) | 2019-05-31 | 2020-05-11 | 一种适应目标数据集的网络模型微调方法、系统、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383357A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298278A (zh) * | 2021-12-28 | 2022-04-08 | 河北工业大学 | 一种基于预训练模型的电工装备性能预测方法 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112370A (zh) * | 2014-07-30 | 2014-10-22 | 哈尔滨工业大学深圳研究生院 | 基于监控图像的停车场智能车位识别方法及系统 |
| CN105844331A (zh) * | 2015-01-15 | 2016-08-10 | 富士通株式会社 | 神经网络系统及该神经网络系统的训练方法 |
| CN106295584A (zh) * | 2016-08-16 | 2017-01-04 | 深圳云天励飞技术有限公司 | 深度迁移学习在人群属性的识别方法 |
| US20170083792A1 (en) * | 2015-09-22 | 2017-03-23 | Xerox Corporation | Similarity-based detection of prominent objects using deep cnn pooling layers as features |
| CN108108689A (zh) * | 2017-12-18 | 2018-06-01 | 北京工业大学 | 一种智能停车车位检测方法 |
| CN109086723A (zh) * | 2018-08-07 | 2018-12-25 | 广东工业大学 | 一种基于迁移学习的人脸检测的方法、装置以及设备 |
| CN109190666A (zh) * | 2018-07-30 | 2019-01-11 | 北京信息科技大学 | 基于改进的深度神经网络的花卉图像分类方法 |
| CN109635768A (zh) * | 2018-12-20 | 2019-04-16 | 深圳市捷顺科技实业股份有限公司 | 一种图像帧中停车位状态检测方法、系统及相关设备 |
| CN109766775A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于深度卷积神经网络的车辆检测系统 |
-
2020
- 2020-05-11 CN CN202010392066.5A patent/CN111383357A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112370A (zh) * | 2014-07-30 | 2014-10-22 | 哈尔滨工业大学深圳研究生院 | 基于监控图像的停车场智能车位识别方法及系统 |
| CN105844331A (zh) * | 2015-01-15 | 2016-08-10 | 富士通株式会社 | 神经网络系统及该神经网络系统的训练方法 |
| US20170083792A1 (en) * | 2015-09-22 | 2017-03-23 | Xerox Corporation | Similarity-based detection of prominent objects using deep cnn pooling layers as features |
| CN106295584A (zh) * | 2016-08-16 | 2017-01-04 | 深圳云天励飞技术有限公司 | 深度迁移学习在人群属性的识别方法 |
| CN108108689A (zh) * | 2017-12-18 | 2018-06-01 | 北京工业大学 | 一种智能停车车位检测方法 |
| CN109190666A (zh) * | 2018-07-30 | 2019-01-11 | 北京信息科技大学 | 基于改进的深度神经网络的花卉图像分类方法 |
| CN109086723A (zh) * | 2018-08-07 | 2018-12-25 | 广东工业大学 | 一种基于迁移学习的人脸检测的方法、装置以及设备 |
| CN109766775A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于深度卷积神经网络的车辆检测系统 |
| CN109635768A (zh) * | 2018-12-20 | 2019-04-16 | 深圳市捷顺科技实业股份有限公司 | 一种图像帧中停车位状态检测方法、系统及相关设备 |
Non-Patent Citations (1)
| Title |
|---|
| 王晓权: "基于迁移学习和 SVM 的糖网图像分类", 《信息通信》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298278A (zh) * | 2021-12-28 | 2022-04-08 | 河北工业大学 | 一种基于预训练模型的电工装备性能预测方法 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7046181B2 (ja) | マルチ・タスク学習を用いた特徴抽出方法、コンピュータ・システム、およびコンピュータ・プログラム製品（マルチ・タスク学習を用いた特徴抽出） | |
| CN110366734B (zh) | 优化神经网络架构 | |
| US10074054B2 (en) | Systems and methods for Bayesian optimization using non-linear mapping of input | |
| US11983647B2 (en) | Method and apparatus for operating an electronic device based on a decision-making data structure using a machine learning data structure | |
| CN110647920A (zh) | 机器学习中的迁移学习方法及装置、设备与可读介质 | |
| CN104899579A (zh) | 人脸识别方法和装置 | |
| US11663486B2 (en) | Intelligent learning system with noisy label data | |
| CN111428874A (zh) | 风控方法、电子装置及计算机可读存储介质 | |
| CN110263152A (zh) | 基于神经网络的文本分类方法、系统及计算机设备 | |
| CN109993298B (zh) | 用于压缩神经网络的方法和装置 | |
| CN114503108A (zh) | 向经过训练的机器学习模型添加对抗鲁棒性 | |
| CN111383357A (zh) | 一种适应目标数据集的网络模型微调方法、系统、终端和存储介质 | |
| CN111178039B (zh) | 一种模型训练方法、装置、实现文本处理的方法及装置 | |
| KR20210088656A (ko) | 이미지 생성 및 신경망 트레이닝 방법, 장치, 기기 및 매체 | |
| CN114261400A (zh) | 一种自动驾驶决策方法、装置、设备和存储介质 | |
| CN112231416A (zh) | 知识图谱本体更新方法、装置、计算机设备及存储介质 | |
| CN110717582B (zh) | 使用鉴别器神经网络从生成器神经网络采样 | |
| CN112257751A (zh) | 神经网络剪枝方法 | |
| CN108475346B (zh) | 神经随机访问机器 | |
| CN112819157B (zh) | 神经网络训练的方法及装置、智能行驶控制的方法及装置 | |
| US11496775B2 (en) | Neural network model compression with selective structured weight unification | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN117009539A (zh) | 知识图谱的实体对齐方法、装置、设备及存储介质 | |
| US20230186107A1 (en) | Boosting classification and regression tree performance with dimension reduction | |
| CN114118411A (zh) | 图像识别网络的训练方法、图像识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |