CN112861926A - 耦合的多任务特征提取方法、装置、电子设备及存储介质 - Google Patents
耦合的多任务特征提取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112861926A CN112861926A CN202110065929.2A CN202110065929A CN112861926A CN 112861926 A CN112861926 A CN 112861926A CN 202110065929 A CN202110065929 A CN 202110065929A CN 112861926 A CN112861926 A CN 112861926A
- Authority
- CN
- China
- Prior art keywords
- network
- picture set
- inputting
- training
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 71
- 238000013135 deep learning Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 17
- 230000003321 amplification Effects 0.000 claims description 14
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000220487 Bauhinia Species 0.000 description 1
- 241000246150 Cercis Species 0.000 description 1
- 235000018893 Cercis canadensis var canadensis Nutrition 0.000 description 1
- 241000334161 Cercis chinensis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000018907 Tylosema fassoglense Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种耦合的多任务特征提取方法、装置、电子设备及存储介质，所述方法包括：初始训练：采用混合图片对第一网络和第三网络及性能初始训练；再次训练：将混合图片集、有标签的图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至第三网络LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至第二网络LOSS收敛；采集待识别图片，输入再次训练后第一网络和第二网络构成的深度学习网络，输出对应的分类标签，完成识别。本发明解决现有技术中人工标注图片数量不足，引起深度学习时难以关注到重点关注的物品，影响最终识别准确性的技术问题。
Description
技术领域
本发明属于深度学习网络技术领域，特别涉及一种耦合的多任务特征提取方法、装置、电子设备及存储介质。
背景技术
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对图像等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别图像等数据。
传统的深度学习受限于标注数据的数量，丰富的输入图片可以提高任务的准确度。分类任务是一个经典的深度学习任务，但是分类任务本身会忽略物体的某些空间结构，或者对于空间结构的学习比较困难。基础的骨干网络如果能够掌握更多的空间结构信息，局部纹理信息，这样对特征的准确提取更有利。同时抽取的特征应该能够通过网络完全还原重点关注的物品，这样针对物品的信息抽取才是完备的，当前训练网络没有从算法上保证这一点的实现。
请参阅图1所示，为传统的深度学习网络结构；传统的深度学习网络结构需要人工对数据进行标注，然后使用样本标注对针对图片进行训练。
例如：对于imagenet 1000分类任务，根据物品的种类进行分类。
例如：对于人脸识别问题，根据每个人的个体进行分类。
这样，针对网络训练的数据仅仅是标记过的数据，数量较少，图片类型单一，图片标注难度大。
现有技术的问题：传统的深度学习所使用输入图片均需要进行人工标注，受限于标注数量，会忽略物体的某些空间结构，且难以关注到重点关注的物品，影响最终识别的准确性。
发明内容
本发明的目的在于提供一种耦合的多任务特征提取方法、装置、电子设备及存储介质，以解决现有技术中人工标注图片数量不足，引起深度学习时难以关注到重点关注的物品，影响最终识别准确性的技术问题。
为了实现上述目的，本发明采用如下技术方案：
本发明第一发明提供一种耦合的多任务特征提取方法，包括下述步骤：
获取有标签的图片集和无标签的图片集；
将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集；
初始训练：将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
再次训练：将第一种图片集、第二种图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；完成第一网络、第二网络、第三网络的训练，获得第一网络、第二网络、第三网络各层的权重系数；所述第一种图片集为混合图片集，第二种图片集为有标签的图片集；
采集待识别图片，输入再次训练后第一网络和第二网络构成的深度学习网络，输出对应的分类标签，完成识别。
本发明进一步的改进在于：无标签的图片集通过爬虫软件爬取获得。
本发明进一步的改进在于：无标签的图片集中图片数量为有标签的图片集中图片数量的十倍以上。
本发明进一步的改进在于：第一网络为深度学习网络的浅层特征提取网络，第二网络、第三网络结构相同，权重系数不同，为深度学习网络的其余部分。
本发明进一步的改进在于：所述增扩预处理具体为：裁剪、缩放或翻转。
本发明进一步的改进在于：所述再次训练的步骤具体包括：
将第一种图片集、第二种图片集、第三种图片集、第四种图片集、第五种图片集同时输入第一网络，对第一网络再次进行训练；第三种图片集为有标签和无标签图片组成的原始混合图片集；第四种图片集为有标签和无标签图片组成的原始混合图片集；第五种图片集为第四网络复原的图片集；
第一网络输出的特征量进行分流：
对第一种图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；
对第二种图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；
对第三种图片集提取的特征量输入第四网络对第四网络进行训练，直至LOSS收敛；
对第四种图片集和第五种图片提取的特征量输入第五网络对第五网络进行训练，直至LOSS收敛；
完成第一网络、第二网络、第三网络、第四网络、第五网络的训练；获得第一网络、第二网络、第三网络、第四网络、第五网络各层的权重系数。
本发明进一步的改进在于：第一网络为深度学习网络的浅层特征提取网络，第二网络、第三网络、第五网络结构相同，权重系数不同，为深度学习网络的其余部分；第四网络为上采样网络。
本发明进一步的改进在于：所述深度学习网络为VGG16。
本发明第二方面提供一种耦合的多任务特征提取装置，包括：
采集数据单元，用于采集有标签的图片集和无标签的图片集；
数据预处理单元，用于将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集；
初始训练单元，用于将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
再次训练单元，用于将第一种图片集、第二种图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；完成第一网络、第二网络、第三网络的训练，获得第一网络、第二网络、第三网络各层的权重系数；所述第一种图片集为混合图片集，第二种图片集为有标签的图片集；
识别单元，用于采集待识别图片，输入第一网络和第二网络构成的深度学习网络，输出对应的分类标签，完成识别。
本发明进一步的改进在于：所述再次训练单元具体的，用于将第一种图片集、第二种图片集、第三种图片集、第四种图片集、第五种图片集同时输入第一网络，对第一网络再次进行训练；第三种图片集为有标签和无标签图片组成的原始混合图片集；第四种图片集为有标签和无标签图片组成的原始混合图片集；第五种图片集为第四网络复原的图片集；
第一网络输出的特征量进行分流：
对第一种图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；
对第二种图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；
对第三种图片集提取的特征量输入第四网络对第四网络进行训练，直至LOSS收敛；
对第四种图片集和第五种图片提取的特征量输入第五网络对第五网络进行训练，直至LOSS收敛；
完成第一网络、第二网络、第三网络、第四网络、第五网络的训练；获得第一网络、第二网络、第三网络、第四网络、第五网络各层的权重系数。
本提案通过多任务再额外的引入生成任务，从而达到上述的目标。整体来讲，通过上述的方案，扩大的训练样本，减少了标注数量，提高的模型的准确度。
本发明第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现所述的耦合的多任务特征提取方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的耦合的多任务特征提取方法。
相对于现有技术，本发明具有以下有益效果：
本发明并不需要额外的标注数据，大量的非标注数据可以使用爬虫软件进行爬取；当前训练方法为分类网络增加了空间位置语义信息，为定位网络增加了多样的识别分类信息。这两个信息的耦合提高了整个网络的泛化性，在标注数据以外的数据上也能有较好的效果。网络隐含层输出能够抽取更多的特征，同时在特征点定位问题上，例如人脸关键点，网络学习到了空间结构信息，而不是仅仅学到特征点的固定位置上进行微调。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为传统的深度学习网络结构；
图2为本发明实施例1一种耦合的多任务特征提取方法所用深度学习网络结构；
图3为本发明实施例1一种耦合的多任务特征提取方法的流程图；
图4为本发明实施例2一种耦合的多任务特征提取方法所用深度学习网络结构；
图5为本发明实施例2一种耦合的多任务特征提取方法的流程图；
图6为应用本发明方法对香港身份证上的紫荆花图区域进行识别的示意图；
图7为实施例3一种耦合的多任务特征提取装置的结构框图；
图8为实施例4一种耦合的多任务特征提取装置的结构框图；
图9为实现耦合的多任务特征提取方法的电子设备的结构框图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
实施例1
请参阅图2和图3所示，本发明提供一种耦合的多任务特征提取方法，包括以下步骤：
S1、采集数据
数据包括有标签的图片集和无标签的图片集；无标签数据的采集成本很低，数量一般能在有标签的数据的10倍以上；大量的无标签的图片可以使用爬虫软件进行爬取。
S2、数据预处理
将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集。
所述增扩预处理包括但不限于：裁剪、缩放、翻转等。
S3、采用混合图片集对深度学习网络进行初始训练
将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至第三网络LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
S4、对深度学习网络再次训练
将混合图片集和有标签的图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至第三网络LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至第二网络LOSS收敛；完成第一网络、第二网络、第三网络的训练。训练完成获得第一网络、第二网络、第三网络各层的权重系数；
其中，第一网络为深度学习网络(例如VGG16)的浅层特征提取网络，第二网络、第三网络结构相同，权重系数不同，为深度学习网络(例如VGG16)的其余部分。
共同用的第一网络不仅学习到图像的纹理特征，还能进一步保留图像的几何相关特征。
S5、对待识别图片进行识别
采集待识别图片，输入第一网络+第二网络构成的深度学习网络(例如VGG16)，输出对应的分类标签，完成识别。
实施例2
请参阅图4和图5所示，本发明提供还提供另一种耦合的多任务特征提取方法，包括以下步骤：
S10、采集数据
数据包括有标签的图片集和无标签的图片集；无标签数据的采集成本很低，数量一般能在有标签的数据的10倍以上；大量的无标签的图片可以使用爬虫软件进行爬取。
S20、数据预处理
将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集。
所述增扩预处理包括但不限于：裁剪、缩放、翻转等。优选的，针对原始图片进行增扩预处理，预处理可以为裁取部分区域，例如：针对原始图片，裁剪九宫格，这样这九张图片就形成一个任务组，相应的训练任务为当前块为九宫格的哪一块，既图像的相关拓扑关系。裁剪的九宫格不限于边是紧密相邻的，也不限于是九宫格可以是物体某些局部的关键位置，例如人脸的鼻子，嘴，眼睛等。
S30、采用混合图片集对深度学习网络进行初始训练
将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至第三网络LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
S40、对深度学习网络再次训练
将5种图片集同时输入第一网络，对第一网络再次进行训练；5种图片集包括：第一种：预处理后的混合图片集；第二种：有标签的图片集；第三种：有标签和无标签图片组成的原始混合图片集；第四种：有标签和无标签图片组成的原始混合图片集；第五种：第四网络复原的图片集。
第一网络输出的特征量进行分流：
对第一种图片集提取的特征量输入第三网络对第三网络进行训练，直至第三网络LOSS收敛；
对第二种图片集提取的特征量输入第二网络对第二网络进行训练，直至第二网络LOSS收敛；
对第三种图片集提取的特征量输入第四网络对第四网络进行训练，直至第四网络LOSS收敛；
对第四种图片集和第五种图片提取的特征量输入第五网络对第五网络进行训练，直至第五网络LOSS收敛；
完成第一网络、第二网络、第三网络、第四网络、第五网络的训练。训练完成获得第一网络、第二网络、第三网络、第四网络、第五网络各层的权重系数；
其中，第一网络为深度学习网络(例如VGG16)的浅层特征提取网络，第二网络、第三网络、第五网络结构相同，权重系数不同，为深度学习网络(例如VGG16)的其余部分；第四网络为上采样网络。
S50、对待识别图片进行识别
采集待识别图片，输入第一网络+第二网络构成的深度学习网络(例如VGG16)，输出对应的分类标签，完成识别。
本实施例2针对实施例1的网络结构进一步改进，新加了对抗生成结构，针对原有的任务新增第四网络，输入为有/无标签的原始图像抽取的特征，针对特征训练第四网络进行图像还原，还原得到的图像和原始图像进行比较，他们之间的差距即为loss，这个任务为提取得到的原始图像的特征的完整程度，因为一旦提取的特征丢失了部分信息，那么必然会导致还原失真，从而导致loss值较大。
另一方面，第四网络还原得到的图片和原始图片再经过特征提取网络，然后完成对图片是否是生成的进行判断，这个任务的主要目的是提高了还原的真实程度。
总之，原始的训练和改进之后的训练之间的主要差异是，有更多的loss函数作用于特征提取网络，由于新增的任务是完全不需要标签的，这样这部分训练图片可以很容易的获取得到。同时要保证无标签的图片和有标签的图片为相同或者相近域的。例如带标签的图片为大量的亚洲人，无标签图片可以为白人及黑人。又例如，带标签的图片为具有中心物品的图片，比如图片中为猫，狗等动物，无标签图片可以是不同种类的额外的各种角度各种品种的猫和狗。
请参阅图6所示，在香港身份证，紫荆花全息图像鉴伪问题上，通过使用本发明方法，性能指标具有以下提高。
99％通过率下，误识率从59％降低到39％；
95％通过率下，误识率从16％降低到11％；
90％通过率下，误识率从8％降低到4％；
图6为香港身份证上的紫荆花图区域。
实施例3
请参阅图7所示，本发明还提供一种耦合的多任务特征提取装置，包括：
采集数据单元11，用于采集有标签的图片集和无标签的图片集；
数据预处理单元12，用于将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集；
初始训练单元13，用于将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至第三网络LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
再次训练单元14，用于将第一种图片集、第二种图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至第三网络LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至第二网络LOSS收敛；完成第一网络、第二网络、第三网络的训练，获得第一网络、第二网络、第三网络各层的权重系数；所述第一种图片集为混合图片集，第二种图片集为有标签的图片集；
识别单元15，用于采集待识别图片，输入第一网络+第二网络构成的深度学习网络(例如VGG16)，输出对应的分类标签，完成识别。
实施例4
请参阅图8所示，本发明还提供另一种耦合的多任务特征提取装置，包括：
采集数据单元101，用于采集有标签的图片集和无标签的图片集；无标签数据的采集成本很低，数量一般能在有标签的数据的10倍以上；
数据预处理单元102，用于将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集。
初始训练单元103，用于将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至第三网络LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
再次训练单元104，用于将第一种图片集、第二种图片集、第三种图片集、第四种图片集、第五种图片集同时输入第一网络，对第一网络再次进行训练；第三种图片集为有标签和无标签图片组成的原始混合图片集；第四种图片集为有标签和无标签图片组成的原始混合图片集；第五种图片集为第四网络复原的图片集；
第一网络输出的特征量进行分流：
对第一种图片集提取的特征量输入第三网络对第三网络进行训练，直至第三网络LOSS收敛；
对第二种图片集提取的特征量输入第二网络对第二网络进行训练，直至第ER网络LOSS收敛；
对第三种图片集提取的特征量输入第四网络对第四网络进行训练，直至第四网络LOSS收敛；
对第四种图片集和第五种图片提取的特征量输入第五网络对第五网络进行训练，直至第五网络LOSS收敛；
完成第一网络、第二网络、第三网络、第四网络、第五网络的训练。训练完成获得第一网络、第二网络、第三网络、第四网络、第五网络各层的权重系数；
其中，第一网络为深度学习网络(例如VGG16)的浅层特征提取网络，第二网络、第三网络、第五网络结构相同，权重系数不同，为深度学习网络(例如VGG16)的其余部分；第四网络为上采样网络。
进行识别单元，用于采集待识别图片，输入第一网络+第二网络构成的深度学习网络(例如VGG16)，输出对应的分类标签，完成识别。
实施例5
请参阅图9所示，本发明还提供一种实现耦合的多任务特征提取方法的电子设备100；所述电子设备100包括存储器101、至少一个处理器102、存储在所述存储器101中并可在所述至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。
存储器101可用于存储所述计算机程序103，所述处理器102通过运行或执行存储在所述存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现所述电子设备100的各种功能。所述存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述至少一个处理器102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，所述处理器102是所述电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。
所述电子设备100中的所述存储器101存储多个指令以实现一种耦合的多任务特征提取方法，所述处理器102可执行所述多个指令从而实现：
获取有标签的图片集和无标签的图片集；
将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集；
初始训练：将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
再次训练：将第一种图片集、第二种图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；完成第一网络、第二网络、第三网络的训练，获得第一网络、第二网络、第三网络各层的权重系数；所述第一种图片集为混合图片集，第二种图片集为有标签的图片集；
采集待识别图片，输入再次训练后第一网络和第二网络构成的深度学习网络，输出对应的分类标签，完成识别。
具体地，所述处理器102对上述指令的具体实现方法可参考图3、5对应实施例中相关步骤的描述，在此不赘述。
在图9所描述的电子设备100中，可以获取有标签的图片集和无标签的图片集；将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集；初始训练：将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；再次训练：将第一种图片集、第二种图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；完成第一网络、第二网络、第三网络的训练，获得第一网络、第二网络、第三网络各层的权重系数；所述第一种图片集为混合图片集，第二种图片集为有标签的图片集；采集待识别图片，输入再次训练后第一网络和第二网络构成的深度学习网络，输出对应的分类标签，完成识别。可见，本发明并不需要额外的标注数据，大量的非标注数据可以使用爬虫软件进行爬取；当前训练方法为分类网络增加了空间位置语义信息，为定位网络增加了多样的识别分类信息。这两个信息的耦合提高了整个网络的泛化性，在标注数据以外的数据上也能有较好的效果。网络隐含层输出能够抽取更多的特征，同时在特征点定位问题上，例如人脸关键点，网络学习到了空间结构信息，而不是仅仅学到特征点的固定位置上进行微调。
所述电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(ROM，Read-Only Memory)。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.耦合的多任务特征提取方法，其特征在于，包括下述步骤：
获取有标签的图片集和无标签的图片集；
将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集；
初始训练：将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
再次训练：将第一种图片集、第二种图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；完成第一网络、第二网络、第三网络的训练，获得第一网络、第二网络、第三网络各层的权重系数；所述第一种图片集为混合图片集，第二种图片集为有标签的图片集；
采集待识别图片，输入再次训练后第一网络和第二网络构成的深度学习网络，输出对应的分类标签，完成识别。
2.根据权利要求1所属的耦合的多任务特征提取方法，其特征在于，无标签的图片集通过爬虫软件爬取获得。
3.根据权利要求1所属的耦合的多任务特征提取方法，其特征在于，无标签的图片集中图片数量为有标签的图片集中图片数量的十倍以上。
4.根据权利要求1所属的耦合的多任务特征提取方法，其特征在于，第一网络为深度学习网络的浅层特征提取网络，第二网络、第三网络结构相同，权重系数不同，为深度学习网络的其余部分。
5.根据权利要求1所属的耦合的多任务特征提取方法，其特征在于，所述再次训练的步骤具体包括：
将第一种图片集、第二种图片集、第三种图片集、第四种图片集、第五种图片集同时输入第一网络，对第一网络再次进行训练；第三种图片集为有标签和无标签图片组成的原始混合图片集；第四种图片集为有标签和无标签图片组成的原始混合图片集；第五种图片集为第四网络复原的图片集；
第一网络输出的特征量进行分流：
对第一种图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；
对第二种图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；
对第三种图片集提取的特征量输入第四网络对第四网络进行训练，直至LOSS收敛；
对第四种图片集和第五种图片提取的特征量输入第五网络对第五网络进行训练，直至LOSS收敛；
完成第一网络、第二网络、第三网络、第四网络、第五网络的训练；获得第一网络、第二网络、第三网络、第四网络、第五网络各层的权重系数。
6.根据权利要求5所述的耦合的多任务特征提取方法，其特征在于，第一网络为深度学习网络的浅层特征提取网络，第二网络、第三网络、第五网络结构相同，权重系数不同，为深度学习网络的其余部分；第四网络为上采样网络。
7.根据权利要求1所述的耦合的多任务特征提取方法，其特征在于，所述深度学习网络为VGG16。
8.耦合的多任务特征提取装置，其特征在于，包括：
采集数据单元，用于采集有标签的图片集和无标签的图片集；
数据预处理单元，用于将有标签的图片集和无标签的图片集的图片混合并进行增扩预处理，获得混合图片集；
初始训练单元，用于将混合图片集输入第一网络，对第一网络进行训练；第一网络输出的特征量作为输入进入第三网络，对第三网络进行训练，直至LOSS收敛；训练完成获得第一网络和第三网络各层的权重系数；
再次训练单元，用于将第一种图片集、第二种图片集同时输入第一网络，对第一网络再次进行训练；第一网络输出的特征量进行分流：对混合图片集提取的特征量输入第三网络对第三网络进行训练，直至LOSS收敛；对有标签的图片集提取的特征量输入第二网络对第二网络进行训练，直至LOSS收敛；完成第一网络、第二网络、第三网络的训练，获得第一网络、第二网络、第三网络各层的权重系数；所述第一种图片集为混合图片集，第二种图片集为有标签的图片集；
识别单元，用于采集待识别图片，输入第一网络和第二网络构成的深度学习网络，输出对应的分类标签，完成识别。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的耦合的多任务特征提取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的耦合的多任务特征提取方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110065929.2A CN112861926B (zh) | 2021-01-18 | 2021-01-18 | 耦合的多任务特征提取方法、装置、电子设备及存储介质 |
| PCT/CN2021/084284 WO2022151591A1 (zh) | 2021-01-18 | 2021-03-31 | 耦合的多任务特征提取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110065929.2A CN112861926B (zh) | 2021-01-18 | 2021-01-18 | 耦合的多任务特征提取方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861926A true CN112861926A (zh) | 2021-05-28 |
| CN112861926B CN112861926B (zh) | 2023-10-31 |
Family
ID=76006810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110065929.2A Active CN112861926B (zh) | 2021-01-18 | 2021-01-18 | 耦合的多任务特征提取方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112861926B (zh) |
| WO (1) | WO2022151591A1 (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845549A (zh) * | 2017-01-22 | 2017-06-13 | 珠海习悦信息技术有限公司 | 一种基于多任务学习的场景与目标识别的方法及装置 |
| CN108416370A (zh) * | 2018-02-07 | 2018-08-17 | 深圳大学 | 基于半监督深度学习的图像分类方法、装置和存储介质 |
| WO2018184187A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Methods and systems for advanced and augmented training of deep neural networks using synthetic data and innovative generative networks |
| US20190180188A1 (en) * | 2017-12-13 | 2019-06-13 | Cognizant Technology Solutions U.S. Corporation | Evolution of Architectures For Multitask Neural Networks |
| WO2019200748A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 迁移学习方法、装置、计算机设备和存储介质 |
| CN110728255A (zh) * | 2019-10-22 | 2020-01-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110866564A (zh) * | 2019-11-22 | 2020-03-06 | 上海携程国际旅行社有限公司 | 多重半监督图像的季节分类方法、系统、电子设备和介质 |
| CN110889325A (zh) * | 2019-10-12 | 2020-03-17 | 平安科技（深圳）有限公司 | 多任务面部动作识别模型训练和多任务面部动作识别方法 |
| CN111353577A (zh) * | 2018-12-24 | 2020-06-30 | Tcl集团股份有限公司 | 基于多任务的级联组合模型的优化方法、装置及终端设备 |
| CN111881968A (zh) * | 2020-07-22 | 2020-11-03 | 平安科技（深圳）有限公司 | 多任务分类方法、装置及相关设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958263A (zh) * | 2017-11-13 | 2018-04-24 | 浙江工业大学 | 一种半监督的图像分类器训练方法 |
| CN112215248A (zh) * | 2019-07-11 | 2021-01-12 | 深圳先进技术研究院 | 深度学习模型训练方法、装置、电子设备及存储介质 |
| CN110866140B (zh) * | 2019-11-26 | 2024-02-02 | 腾讯科技（深圳）有限公司 | 图像特征提取模型训练方法、图像搜索方法及计算机设备 |
-
2021
- 2021-01-18 CN CN202110065929.2A patent/CN112861926B/zh active Active
- 2021-03-31 WO PCT/CN2021/084284 patent/WO2022151591A1/zh active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845549A (zh) * | 2017-01-22 | 2017-06-13 | 珠海习悦信息技术有限公司 | 一种基于多任务学习的场景与目标识别的方法及装置 |
| WO2018184187A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Methods and systems for advanced and augmented training of deep neural networks using synthetic data and innovative generative networks |
| US20190180188A1 (en) * | 2017-12-13 | 2019-06-13 | Cognizant Technology Solutions U.S. Corporation | Evolution of Architectures For Multitask Neural Networks |
| CN108416370A (zh) * | 2018-02-07 | 2018-08-17 | 深圳大学 | 基于半监督深度学习的图像分类方法、装置和存储介质 |
| WO2019200748A1 (zh) * | 2018-04-17 | 2019-10-24 | 平安科技（深圳）有限公司 | 迁移学习方法、装置、计算机设备和存储介质 |
| CN111353577A (zh) * | 2018-12-24 | 2020-06-30 | Tcl集团股份有限公司 | 基于多任务的级联组合模型的优化方法、装置及终端设备 |
| CN110889325A (zh) * | 2019-10-12 | 2020-03-17 | 平安科技（深圳）有限公司 | 多任务面部动作识别模型训练和多任务面部动作识别方法 |
| CN110728255A (zh) * | 2019-10-22 | 2020-01-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110866564A (zh) * | 2019-11-22 | 2020-03-06 | 上海携程国际旅行社有限公司 | 多重半监督图像的季节分类方法、系统、电子设备和介质 |
| CN111881968A (zh) * | 2020-07-22 | 2020-11-03 | 平安科技（深圳）有限公司 | 多任务分类方法、装置及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861926B (zh) | 2023-10-31 |
| WO2022151591A1 (zh) | 2022-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sixt et al. | Rendergan: Generating realistic labeled data | |
| CN110111236B (zh) | 基于渐进式对抗生成网络的多目标草图生成图像的方法 | |
| Angelova et al. | Image segmentation for large-scale subcategory flower recognition | |
| CN111739027B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| Liu et al. | A 3 GAN: an attribute-aware attentive generative adversarial network for face aging | |
| CN109859095B (zh) | 一种漫画自动生成系统及方法 | |
| CN109670491A (zh) | 鉴别人脸图像的方法、装置、设备和存储介质 | |
| US11062455B2 (en) | Data filtering of image stacks and video streams | |
| CN112712005B (zh) | 识别模型的训练方法、目标识别方法及终端设备 | |
| CN106777336A (zh) | 一种基于深度学习的公司名成分抽取系统和方法 | |
| CN115565238A (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| WO2022247403A1 (zh) | 关键点检测方法、电子设备、程序及存储介质 | |
| CN116486109A (zh) | 模态自适应的描绘性查询行人重识别方法及系统 | |
| CN117635771A (zh) | 一种基于半监督对比学习的场景文本编辑方法和装置 | |
| CN114202723A (zh) | 一种通过画面识别的智能剪辑应用方法、装置、设备及介质 | |
| CN105069767B (zh) | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 | |
| CN114639152A (zh) | 基于人脸识别的多模态语音交互方法、装置、设备及介质 | |
| CN116824274B (zh) | 小样本细粒度图像分类方法及系统 | |
| CN112070181A (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
| CN112861926B (zh) | 耦合的多任务特征提取方法、装置、电子设备及存储介质 | |
| CN110765917A (zh) | 适用于人脸识别模型训练的主动学习方法、装置、终端、介质 | |
| CN112312205B (zh) | 一种视频处理方法、装置、电子设备和计算机存储介质 | |
| CN113936147A (zh) | 一种社群图像的显著区域提取方法及系统 | |
| Bruch et al. | Evaluation of semi-supervised learning using sparse labeling to segment cell nuclei | |
| CN106202338A (zh) | 基于多特征多关系的图像检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |