CN110209857A - 基于神经网络结构搜索的车辆多属性识别方法、装置、介质 - Google Patents

基于神经网络结构搜索的车辆多属性识别方法、装置、介质 Download PDF

Info

Publication number
CN110209857A
CN110209857A CN201910436423.0A CN201910436423A CN110209857A CN 110209857 A CN110209857 A CN 110209857A CN 201910436423 A CN201910436423 A CN 201910436423A CN 110209857 A CN110209857 A CN 110209857A
Authority
CN
China
Prior art keywords
vehicle
attribute
network
recognition
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910436423.0A
Other languages
English (en)
Other versions
CN110209857B (zh
Inventor
林修明
周成祖
王海滨
林淑强
张永光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN201910436423.0A priority Critical patent/CN110209857B/zh
Priority to PCT/CN2019/100027 priority patent/WO2020232840A1/zh
Publication of CN110209857A publication Critical patent/CN110209857A/zh
Application granted granted Critical
Publication of CN110209857B publication Critical patent/CN110209857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供了一种基于神经网络结构搜索的车辆多属性识别方法、装置及存储介质，该方法先基于难以识别的车辆属性选择基准神经网络模型，然后在该基准神经网络模型的基础上，选择前半个网络(包含N/2个单元)作为整个车辆多属性识别网络模型的低层特征提取器，然后，其末端作为分支点，为其他的属性构建识别分支，且采用类似二分法的方法确定网络的结构，通过上述结合神经网络结构搜索技术构建的多分支的车辆多属性识别网络，可以一次识别车辆的多个属性，如型号、颜色等等，提高了识别效率。本发明提出了的两种网络更正机制可以使得生成的多分支的车辆多属性识别网络性能更佳，且在网络构建时效率更高。

Description

基于神经网络结构搜索的车辆多属性识别方法、装置、介质
技术领域
本发明涉及人工智能技术领域，特别是一种基于神经网络结构搜索的车辆多属性识别方法、装置及存储介质。
背景技术
在现实生活中，人们所看到的某一景物往往具有多种标签属性，如一辆车会有不同的颜色、车型、车系以及车牌类型等等。传统的机器学习模型往往需要对单个的标签属性人工设计不同的特征以达到分类识别的目的。而随着近年来深度学习的兴起，神经网络逐渐替代传统的特征工程成为一种主流的图像分类方法。得益于其设计上的得天独厚的分层架构，使得使用多分支结构同时识别图片的多种属性标签成为可能，而这种并行的结构无疑可以有效提高效率，故使得多标签分类成为图像分类应用中一种重要的技术方向。
对于现有的借助于神经网络的多标签分类技术而言，如何去确定其分支结构成为了其瓶颈所在。工程师往往需要历时长久的网络工程才能得到一种符合应用场景的网络架构。而网络结构搜索技术被认为是解决这一问题的关键，然而现有的方法耗时良久，如谷歌公司所发布的NASNet网络需耗时1800个GPU日(即单个GPU需要运行1800天)以及基于进化算法所得的AmobaNet需耗时3150个GPU日。这些网络结构还仅仅只是应用于单任务的分类识别，显然这无法满足企业应用的需求。与此同时，对于多标签分类应用而言，不同的属性标签的分类难度不一，这种单分类任务的网络结构搜索方法不具有通用性。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种基于神经网络结构搜索的车辆多属性识别方法，该方法包括：
确定步骤，确定M个神经网络模型的基本网络结构作为网络搜索空间的基本单元Ci，其中，1≤i≤M，M为大于0的整数；
基准模型选择步骤，对所述车辆的多属性中的第一属性预训练所述M个神经网络模型，并根据训练后的所述M个神经网络模型的识别结果进行比较，选择识别性能最佳的神经网络模型作为基准神经网络模型Base，其单元数目为N，其中，N为大于0的整数；
分支确定步骤，取基准神经网络模型Base的前半个网络作为车辆多属性识别模型的低层特征提取器，前半个网络的末端作为整个车辆多属性识别网络的起始分支点，其中，所述前半个网络包含N/2个单元；
车辆多属性识别网络构建步骤，针对所述车辆的多属性中的第二属性，分别应用N/4个不同的基本单元Ci作为起始分支点后的分支神经网络的基本结构对不同的第二属性进行识别，并比较识别结果，为第二属性选择一个识别性能最佳的基本单元作为分支点后N/4个单元的网络结构，重复上述操作，为车辆多属性的其他属性选择最佳的基本单元，以构建多分支的车辆多属性识别网络；
识别步骤，使用所述车辆多属性识别网络对车辆的属性进行识别。
更进一步地，所述车辆多属性为图片中车辆的车系型号、车身颜色、车型以及车牌类型，其中第一属性为车系型号，第二属性为车身颜色。
更进一步地，所述M＝5，所述神经网络模型分别为：googlenet、resnet、resneXt、SENet和SKNet。
更进一步地，所述车辆多属性识别网络构建步骤中使用回溯更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支增加网络深度但无法提高识别精度，则将该属性分支在下一次的搜索过程中反向减少其网络层数。
更进一步地，所述车辆多属性识别网络构建步骤中使用基本单元选取更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支中，若在一次搜索中，特定的基本单元对其识别准确率有较大影响时，则在下一次搜索对该单元做特殊处理。
本发明还提出了一种基于神经网络结构搜索的车辆多属性识别装置，该装置包括：
确定模块，确定M个神经网络模型的基本网络结构作为网络搜索空间的基本单元Ci，其中，1≤i≤M，M为大于0的整数；
基准模型选择模块，对所述车辆的多属性中的第一属性预训练所述M个神经网络模型，并根据训练后的所述M个神经网络模型的识别结果进行比较，选择识别性能最佳的神经网络模型作为基准神经网络模型Base，其单元数目为N，其中，N为大于0的整数；
分支确定模块，取基准神经网络模型Base的前半个网络作为车辆多属性识别模型的低层特征提取器，前半个网络的末端作为整个车辆多属性识别网络的起始分支点，其中，所述前半个网络包含N/2个单元；
车辆多属性识别网络构建模块，针对所述车辆的多属性中的第二属性，分别应用N/4个不同的基本单元Ci作为起始分支点后的分支神经网络的基本结构对不同的第二属性进行识别，并比较识别结果，为第二属性选择一个识别性能最佳的基本单元作为分支点后N/4个单元的网络结构，重复上述操作，为车辆多属性的其他属性选择最佳的基本单元，以构建多分支的车辆多属性识别网络；
识别模块，使用所述车辆多属性识别网络对车辆的属性进行识别。
更进一步地，所述车辆多属性为图片中车辆的车系型号、车身颜色、车型以及车牌类型，其中第一属性为车系型号，第二属性为车身颜色。
更进一步地，所述M＝5，所述神经网络模型分别为：googlenet、resnet、resneXt、SENet和SKNet。
更进一步地，所述车辆多属性识别网络构建模块中使用回溯更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支增加网络深度但无法提高识别精度，则将该属性分支在下一次的搜索过程中反向减少其网络层数。
更进一步地，所述车辆多属性识别网络构建模块中使用基本单元选取更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支中，若在一次搜索中，特定的基本单元对其识别准确率有较大影响时，则在下一次搜索对该单元做特殊处理。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的技术效果为：先基于难以识别的车辆属性选择基准神经网络模型，然后在该基准神经网络模型的基础上，选择前半个网络(包含N/2个单元)作为整个车辆多属性识别网络模型的低层特征提取器，然后，其末端作为分支点，为其他的属性构建识别分支，且采用类似二分法的方法确定各个分支网络剩余的结构，即，使用第一次迭代选择出的N/4个基本网络单元、使用第二次选择出来的N/8个基本网络单元，依次类推。通过上述结合神经网络结构搜索技术的构建多分支网络的方法进而构建出的多分支车辆多属性识别网络，可以一次识别车辆的多个属性，如型号、颜色等等，提高了识别效率，这是本发明的重要发明点之一。本发明提出了的两种网络更正机制可以使得生成的多分支的车辆多属性识别网络性能更佳，且在网络构建时效率更高，这是本发明的另一个重要发明点。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种基于神经网络结构搜索的车辆多属性识别方法的流程图。
图2是googlenet的一个inception结构示意图。
图3是根据本发明的实施例的一种基于神经网络结构搜索的车辆多属性识别装置的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种基于神经网络结构搜索的车辆多属性识别方法，该方法包括：
确定步骤S101，确定M个神经网络模型的基本网络结构作为网络搜索空间的基本单元Ci，其中，1≤i≤M，M为大于0的整数。通过对现有的网络模型，如VGG，googlenet，resnet等进行分析发现，其网络重复性较高，通常为单一网络结构的多次叠加，如googlenet由用多个inception结构叠加而来，图2示出了googlenet的一个inception。
基准模型选择步骤S102，对所述车辆的多属性中的第一属性预训练所述M个神经网络模型，并根据训练后的所述M个神经网络模型的识别结果进行比较，选择识别性能最佳的神经网络模型作为基准神经网络模型Base，其单元数目为N，其中，N为大于0的整数。
在一个实施例中，车辆属性识别中，相比于颜色等，车系型号的识别是最具挑战性的。即在构建车辆多属性识别网络时，先从最难以识别的车辆属性进行入手，通过对这一单一属性预训练多种神经网络模型(googlenet，resnet，resneXt，SENet，SKNet等)并对其识别结果进行比较，将最好的模型作为基准神经网络模型Base，记录其单元数目N。
分支确定步骤S103，取基准神经网络模型Base的前半个网络作为车辆多属性识别模型的低层特征提取器，前半个网络的末端作为整个车辆多属性识别网络的起始分支点，其中，所述前半个网络包含N/2个单元。
在一个实施例中，对于神经网络而言，不同的标签分类对应着不同的高层语义特征，整个网络可以视为低层特征向高层语义特征转化映射的过程。故取Base模型的前半个网络(包含N/2个单元)作为整个车辆多属性识别网络模型的低层特征提取器，其末端作为整个车辆多属性识别多标签分类网络的起始分支点。
车辆多属性识别网络构建步骤S104，针对所述车辆的多属性中的第二属性，分别应用N/4个不同的基本单元Ci作为起始分支点后的分支神经网络的基本结构对不同的第二属性进行识别，并比较识别结果，为第二属性选择一个识别性能最佳的基本单元作为分支点后N/4个单元的网络结构，重复上述操作，为车辆多属性的其他属性选择最佳的基本单元，以构建多分支的车辆多属性识别网络。
在一个实施例中，得到Base模型及网络不同分支的起始点后，对于剩余分支网络(即刨除车系型号属性分支)使用二分法在确定的网络搜索空间进行折半搜索，即首先分别应用N/4个不同的基本单元Ci作为分支网络的基本结构对另外的属性进行识别，并比较其结果，以此确定分支点后N/4个单元的网络结构；以颜色属性分支为例，在第一次迭代中，在Base网络的起始分支点后接续N/4个预定义的基本单元(共有M个)，故在本次迭代中可得到M个不同的颜色属性候选分支网络，比较各个候选分支网络对车辆颜色的识别率，从中选取识别率最高的作为颜色分支的基本单元。
在一个实施例中，所述车辆多属性为图片中车辆的车系型号、车身颜色、车型以及车牌类型，其中第一属性为车系型号，第二属性为车身颜色。M＝5，所述神经网络模型分别为：googlenet、resnet、resneXt、SENet和SKNet。
本发明中先基于难以识别的车辆属性选择基准神经网络模型，然后在该基准神经网络模型的基础上，选择前半个网络(包含N/2个单元)作为整个车辆多属性识别网络模型的低层特征提取器，然后，其末端作为分支点，为其他的属性构建识别分支，且采用类似二分法的方法确定网络的结构，即，使用第一次迭代选择出的N/4个基本网络单元、使用第二次选择出来的N/8个基本网络单元，依次类推。如N＝8时，在不考虑回溯更正机制情况下，以颜色属性分支为例，第二次迭代过程所需接续的基本单元个数为N/8＝1，故其需要重复上述操作的次数为2。通过上述结合神经网络结构搜索技术的构建多分支网络的方法进而构建出多分支的车辆多属性识别网络，可以一次识别车辆的多个属性，如型号、颜色等等，提高了识别效率，这是本发明的重要发明点之一。
识别步骤S105，使用所述车辆多属性识别网络对车辆的属性进行识别。使用车辆多属性识别网络对输入的车辆图片进行识别，一次可以识别出来车辆的多个属性，如型号、颜色等等，提高了识别效率。
在一个实施例中，设计了网络的更正机制，所述车辆多属性识别网络构建步骤S104中使用回溯更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支增加网络深度但无法提高识别精度，则将该属性分支在下一次的搜索过程中反向减少其网络层数。以颜色属性分支为例，使用类似二叉树搜索中的宽度优先算法，若在第二次迭代过程中(此时这一分支网络的深度应为N/2+N/4+N/8)所得的候选网络的识别率均小于第一次迭代过程中所得的候选网络(其网络深度为N/2+N/4)的识别率，则在第三次搜索迭代过程中其候选网络的深度应为N/2+N/4-N/8＝N/2+N/8。
在一个实施例中，设计了网络的另一种更正机制，所述车辆多属性识别网络构建步骤S104中使用基本单元选取更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支中，若在一次搜索中，特定的基本单元对其识别准确率有较大影响时，则在下一次搜索对该单元做特殊处理。即通过候选网络的识别率来对不同的Ci做不同的加权处理，如最差候选网络的基本单元不参与下一次迭代过程，以减少搜索时间。以颜色属性分支为例，若在第一次迭代搜索过程中，若使用了inception v1基本单元的候选网络的识别率最差，则在第二次迭代搜索过程中在候选基本单元中剔除inception v1基本单元。
本发明提出了的两种网络更正机制可以使得生成的多分支的车辆多属性识别网络性能更佳，且在网络构建时效率更高，这是本发明的另一个重要发明点。
进一步参考图3，作为对上述图1所示方法的实现，本申请提供了一种基于神经网络结构搜索的车辆多属性识别装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以包含于各种电子设备或通过网络连接的多个电子设备中。
图3示出了本发明的图1示出了本发明的一种基于神经网络结构搜索的车辆多属性识别装置，该装置包括：
确定模块301，确定M个神经网络模型的基本网络结构作为网络搜索空间的基本单元Ci，其中，1≤i≤M，M为大于0的整数。通过对现有的网络模型，如VGG，googlenet，resnet等进行分析发现，其网络重复性较高，通常为单一网络结构的多次叠加，如googlenet由用多个inception结构叠加而来，图2示出了googlenet的一个inception。
基准模型选择模块302，对所述车辆的多属性中的第一属性预训练所述M个神经网络模型，并根据训练后的所述M个神经网络模型的识别结果进行比较，选择识别性能最佳的神经网络模型作为基准神经网络模型Base，其单元数目为N，其中，N为大于0的整数。
在一个实施例中，车辆属性识别中，相比于颜色等，车系型号的识别是最具挑战性的。即在构建车辆多属性识别网络时，先从最难以识别的车辆属性进行入手，通过对这一单一属性预训练多种神经网络模型(googlenet，resnet，resneXt，SENet，SKNet等)并对其识别结果进行比较，将最好的模型作为基准神经网络模型Base，记录其单元数目N。
分支确定模块303，取基准神经网络模型Base的前半个网络作为车辆多属性识别模型的低层特征提取器，前半个网络的末端作为整个车辆多属性识别网络的起始分支点，其中，所述前半个网络包含N/2个单元。
在一个实施例中，对于神经网络而言，不同的标签分类对应着不同的高层语义特征，整个网络可以视为低层特征向高层语义特征转化映射的过程。故取Base模型的前半个网络(包含N/2个单元)作为整个车辆多属性识别网络模型的低层特征提取器，其末端作为整个车辆多属性识别多标签分类网络的起始分支点。
车辆多属性识别网络构建模块304，针对所述车辆的多属性中的第二属性，分别应用N/4个不同的基本单元Ci作为起始分支点后的分支神经网络的基本结构对不同的第二属性进行识别，并比较识别结果，为第二属性选择一个识别性能最佳的基本单元作为分支点后N/4个单元的网络结构，重复上述操作，为车辆多属性的其他属性选择最佳的基本单元，以构建多分支的车辆多属性识别网络。
在一个实施例中，得到Base模型及网络不同分支的起始点后，对于剩余分支网络(即刨除车系型号属性分支)使用二分法在确定的网络搜索空间进行折半搜索，即首先分别应用N/4个不同的基本单元Ci作为分支网络的基本结构对另外的属性进行识别，并比较其结果，以此确定分支点后N/4个单元的网络结构；以颜色属性分支为例，在第一次迭代中，在Base网络的起始分支点后接续N/4个预定义的基本单元(共有M个)，故在本次迭代中可得到M个不同的颜色属性候选分支网络，比较各个候选分支网络对车辆颜色的识别率，从中选取识别率最高的作为颜色分支的基本单元。
在一个实施例中，所述车辆多属性为图片中车辆的车系型号、车身颜色、车型以及车牌类型，其中第一属性为车系型号，第二属性为车身颜色。M＝5，所述神经网络模型分别为：googlenet、resnet、resneXt、SENet和SKNet。
本发明中先基于难以识别的车辆属性选择基准神经网络模型，然后在该基准神经网络模型的基础上，选择前半个网络(包含N/2个单元)作为整个车辆多属性识别网络模型的低层特征提取器，然后，其末端作为分支点，为其他的属性构建识别分支，且采用类似二分法的方法确定网络的结构，即，使用第一次迭代选择出的N/4个基本网络单元、使用第二次选择出来的N/8个基本网络单元依次类推。如N＝8时，在不考虑回溯更正机制情况下，以颜色属性分支为例，第二次迭代过程所需接续的基本单元个数为N/8＝1，故其需要重复上述操作的次数为2。通过上述结合神经网络结构搜索技术的构建多分支网络的方法进而构建出多分支的车辆多属性识别网络，可以一次识别车辆的多个属性，如型号、颜色等等，提高了识别效率，这是本发明的重要发明点之一。
识别模块305，使用所述车辆多属性识别网络对车辆的属性进行识别。使用车辆多属性识别网络对输入的车辆图片进行识别，一次可以识别出来车辆的多个属性，如型号、颜色等等，提高了识别效率。
在一个实施例中，设计了网络的更正机制，所述车辆多属性识别网络构建模块304中使用回溯更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支增加网络深度但无法提高识别精度，则将该属性分支在下一次的搜索过程中反向减少其网络层数。以颜色属性分支为例，使用类似二叉树搜索中的宽度优先算法，若在第二次迭代过程中(此时这一分支网络的深度应为N/2+N/4+N/8)所得的候选网络的识别率均小于第一次迭代过程中所得的候选网络(其网络深度为N/2+N/4)的识别率，则在第三次搜索迭代过程中其候选网络的深度应为N/2+N/4-N/8＝N/2+N/8。
在一个实施例中，设计了网络的另一种更正机制，所述车辆多属性识别网络构建模块304中使用基本单元选取更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支中，若在一次搜索中，特定的基本单元对其识别准确率有较大影响时，则在下一次搜索对该单元做特殊处理。即通过候选网络的识别率来对不同的Ci做不同的加权处理，如最差候选网络的基本单元不参与下一次迭代过程，以减少搜索时间。以颜色属性分支为例，若在第一次迭代搜索过程中，若使用了inception v1基本单元的候选网络的识别率最差，则在第二次迭代搜索过程中在候选基本单元中剔除inception v1基本单元。
本发明提出了的两种网络更正机制可以使得生成的多分支的车辆多属性识别网络性能更佳，且在网络构建时效率更高，这是本发明的另一个重要发明点。
本发明将网络结构搜索技术应用于多标签分类车辆多属性识别任务中，通过引入人工先验知识，固化网络搜索空间及路径，可有限降低网络结构搜索的时间复杂度。同样的方法也可推广到其他的多标签分类任务中。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (11)

1.一种基于神经网络结构搜索的车辆多属性识别方法，其特征在于，该方法包括：
确定步骤，确定M个神经网络模型的基本网络结构作为网络搜索空间的基本单元Ci，其中，1≤i≤M，M为大于0的整数；
基准模型选择步骤，对所述车辆的多属性中的第一属性预训练所述M个神经网络模型，并根据训练后的所述M个神经网络模型的识别结果进行比较，选择识别性能最佳的神经网络模型作为基准神经网络模型Base，其单元数目为N，其中，N为大于0的整数；
分支确定步骤，取基准神经网络模型Base的前半个网络作为车辆多属性识别模型的低层特征提取器，前半个网络的末端作为整个车辆多属性识别网络的起始分支点，其中，所述前半个网络包含N/2个单元；
车辆多属性识别网络构建步骤，针对所述车辆的多属性中的第二属性，分别应用N/4个不同的基本单元Ci作为起始分支点后的分支神经网络的基本结构对不同的第二属性进行识别，并比较识别结果，为第二属性选择一个识别性能最佳的基本单元作为分支点后N/4个单元的网络结构，重复上述操作，为车辆多属性的其他属性选择最佳的基本单元，以构建多分支的车辆多属性识别网络；
识别步骤，使用所述车辆多属性识别网络对车辆的属性进行识别。
2.根据权利要求1所述的方法，其特征在于，所述车辆多属性为图片中车辆的车系型号、车身颜色、车型以及车牌类型，其中第一属性为车系型号，第二属性为车身颜色。
3.根据权利要求2所述的方法，其特征在于，所述M＝5，所述神经网络模型分别为：googlenet、resnet、resneXt、SENet和SKNet。
4.根据权利要求3所述的方法，其特征在于，所述车辆多属性识别网络构建步骤中使用回溯更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支增加网络深度但无法提高识别精度，则将该属性分支在下一次的搜索过程中反向减少其网络层数。
5.根据权利要求3任一项所述的方法，其特征在于，所述车辆多属性识别网络构建步骤中使用基本单元选取更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支中，若在一次搜索中，特定的基本单元对其识别准确率有较大影响时，则在下一次搜索对该单元做特殊处理。
6.一种基于神经网络结构搜索的车辆多属性识别装置，其特征在于，该装置包括：
确定模块，确定M个神经网络模型的基本网络结构作为网络搜索空间的基本单元Ci，其中，1≤i≤M，M为大于0的整数；
基准模型选择模块，对所述车辆的多属性中的第一属性预训练所述M个神经网络模型，并根据训练后的所述M个神经网络模型的识别结果进行比较，选择识别性能最佳的神经网络模型作为基准神经网络模型Base，其单元数目为N，其中，N为大于0的整数；
分支确定模块，取基准神经网络模型Base的前半个网络作为车辆多属性识别模型的低层特征提取器，前半个网络的末端作为整个车辆多属性识别网络的起始分支点，其中，所述前半个网络包含N/2个单元；
车辆多属性识别网络构建模块，针对所述车辆的多属性中的第二属性，分别应用N/4个不同的基本单元Ci作为起始分支点后的分支神经网络的基本结构对不同的第二属性进行识别，并比较识别结果，为第二属性选择一个识别性能最佳的基本单元作为分支点后N/4个单元的网络结构，重复上述操作，为车辆多属性的其他属性选择最佳的基本单元，以构建多分支的车辆多属性识别网络；
识别模块，使用所述车辆多属性识别网络对车辆的属性进行识别。
7.根据权利要求6所述的装置，其特征在于，所述车辆多属性为图片中车辆的车系型号、车身颜色、车型以及车牌类型，其中第一属性为车系型号，第二属性为车身颜色。
8.根据权利要求7所述的装置，其特征在于，所述M＝5，所述神经网络模型分别为：googlenet、resnet、resneXt、SENet和SKNet。
9.根据权利要求8所述的装置，其特征在于，所述车辆多属性识别网络构建模块中使用回溯更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支增加网络深度但无法提高识别精度，则将该属性分支在下一次的搜索过程中反向减少其网络层数。
10.根据权利要求3任一项所述的装置，其特征在于，所述车辆多属性识别网络构建模块中使用基本单元选取更正机制对车辆多属性识别网络进行校正，在对车辆多属性识别网络的一属性分支中，若在一次搜索中，特定的基本单元对其识别准确率有较大影响时，则在下一次搜索对该单元做特殊处理。
11.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-5之任一的方法。
CN201910436423.0A 2019-05-23 2019-05-23 基于神经网络结构搜索的车辆多属性识别方法、装置、介质 Active CN110209857B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910436423.0A CN110209857B (zh) 2019-05-23 2019-05-23 基于神经网络结构搜索的车辆多属性识别方法、装置、介质
PCT/CN2019/100027 WO2020232840A1 (zh) 2019-05-23 2019-08-09 基于神经网络结构搜索的车辆多属性识别方法、装置、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910436423.0A CN110209857B (zh) 2019-05-23 2019-05-23 基于神经网络结构搜索的车辆多属性识别方法、装置、介质

Publications (2)

Publication Number Publication Date
CN110209857A true CN110209857A (zh) 2019-09-06
CN110209857B CN110209857B (zh) 2022-04-22

Family

ID=67788451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910436423.0A Active CN110209857B (zh) 2019-05-23 2019-05-23 基于神经网络结构搜索的车辆多属性识别方法、装置、介质

Country Status (2)

Country Link
CN (1) CN110209857B (zh)
WO (1) WO2020232840A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580794A (zh) * 2019-09-29 2021-03-30 佳能株式会社 属性识别装置、方法和系统及识别对象属性的神经网络
WO2021057690A1 (zh) * 2019-09-24 2021-04-01 华为技术有限公司 构建神经网络的方法与装置、及图像处理方法与装置
CN112598076A (zh) * 2020-12-29 2021-04-02 北京易华录信息技术股份有限公司 一种机动车属性识别方法及系统
CN113313079A (zh) * 2021-07-16 2021-08-27 深圳市安软科技股份有限公司 一种车辆属性识别模型的训练方法、系统及相关设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378984B (zh) * 2021-07-05 2023-05-02 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102478668A (zh) * 2010-11-30 2012-05-30 中国石油天然气集团公司 一种应用地震多属性参数预测煤层厚度的方法
CN105740906A (zh) * 2016-01-29 2016-07-06 中国科学院重庆绿色智能技术研究院 一种基于深度学习的车辆多属性联合分析方法
CN105809251A (zh) * 2016-03-01 2016-07-27 北京交通大学 一种多属性融合的动车组系统关键部件辨识方法
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN108268946A (zh) * 2016-12-31 2018-07-10 上海兆芯集成电路有限公司 具有阵列宽度可分段之旋转器之神经网络单元
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108898060A (zh) * 2018-05-30 2018-11-27 珠海亿智电子科技有限公司 车载环境下基于卷积神经网络的车型识别方法
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068171B2 (en) * 2015-11-12 2018-09-04 Conduent Business Services, Llc Multi-layer fusion in a convolutional neural network for image classification
CN106203330A (zh) * 2016-07-08 2016-12-07 西安理工大学 一种基于卷积神经网络的车辆分类方法
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102478668A (zh) * 2010-11-30 2012-05-30 中国石油天然气集团公司 一种应用地震多属性参数预测煤层厚度的方法
CN105740906A (zh) * 2016-01-29 2016-07-06 中国科学院重庆绿色智能技术研究院 一种基于深度学习的车辆多属性联合分析方法
CN105809251A (zh) * 2016-03-01 2016-07-27 北京交通大学 一种多属性融合的动车组系统关键部件辨识方法
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN108268946A (zh) * 2016-12-31 2018-07-10 上海兆芯集成电路有限公司 具有阵列宽度可分段之旋转器之神经网络单元
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108898060A (zh) * 2018-05-30 2018-11-27 珠海亿智电子科技有限公司 车载环境下基于卷积神经网络的车型识别方法
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG YU ET AL.: "A New Vehicle Recognition Approach Based on Graph Spectral Theory and BP Neural Network", 《2012 INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND ELECTRONICS ENGINEERING》 *
王耀玮 等: "基于多任务卷积神经网络的车辆多属性识别", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057690A1 (zh) * 2019-09-24 2021-04-01 华为技术有限公司 构建神经网络的方法与装置、及图像处理方法与装置
CN112580794A (zh) * 2019-09-29 2021-03-30 佳能株式会社 属性识别装置、方法和系统及识别对象属性的神经网络
CN112598076A (zh) * 2020-12-29 2021-04-02 北京易华录信息技术股份有限公司 一种机动车属性识别方法及系统
CN112598076B (zh) * 2020-12-29 2023-09-19 北京易华录信息技术股份有限公司 一种机动车属性识别方法及系统
CN113313079A (zh) * 2021-07-16 2021-08-27 深圳市安软科技股份有限公司 一种车辆属性识别模型的训练方法、系统及相关设备

Also Published As

Publication number Publication date
CN110209857B (zh) 2022-04-22
WO2020232840A1 (zh) 2020-11-26

Similar Documents

Publication Publication Date Title
CN110209857A (zh) 基于神经网络结构搜索的车辆多属性识别方法、装置、介质
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN111275172B (zh) 一种基于搜索空间优化的前馈神经网络结构搜索方法
CN109871891B (zh) 一种物体识别方法、装置和存储介质
CN109409504A (zh) 一种数据处理方法、装置、计算机及存储介质
CN112528031A (zh) 一种工单智能派发方法和系统
CN108197660A (zh) 多模型特征融合方法/系统、计算机可读存储介质及设备
Ning et al. Yolov4-object: An efficient model and method for Object Discovery
CN116776157B (zh) 支持模态增加的模型学习方法及其装置
CN116151319A (zh) 搜索神经网络集成模型的方法、装置和电子设备
US20230350880A1 (en) Using multiple trained models to reduce data labeling efforts
CN113628077B (zh) 生成不重复考题的方法、终端及可读存储介质
CN111177388B (zh) 一种处理方法及计算机设备
CN108830302A (zh) 一种图像分类方法、训练方法、分类预测方法及相关装置
CN114003707A (zh) 问题检索模型的训练方法及装置、问题检索方法及装置
CN116090538A (zh) 一种模型权重获取方法以及相关系统
CN116266273A (zh) 神经网络生成、图像处理的方法及装置、设备及存储介质
CN115796228B (zh) 算子融合方法、装置、设备以及存储介质
CN114548325B (zh) 基于对偶对比学习的零样本关系抽取方法和系统
CN116527411B (zh) 数据安全智能防护模型构建方法、装置及协作平台
CN117609870B (zh) 结构识别模型训练、模型结构识别方法、设备及介质
Yarovenko et al. Re-thinking pitfalls of premodel building for adaptive CNNs model selection on imagenet
EP4300361A1 (en) Methods and systems for optimizing a peak memory usage of an artificial neural network graph
US20230376735A1 (en) Neural topological ordering
CN114968798A (zh) 项目处理规则的测试方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant