CN111222454A - 训练多任务目标检测模型、多任务目标检测的方法及系统 - Google Patents

训练多任务目标检测模型、多任务目标检测的方法及系统 Download PDF

Info

Publication number
CN111222454A
CN111222454A CN202010005916.1A CN202010005916A CN111222454A CN 111222454 A CN111222454 A CN 111222454A CN 202010005916 A CN202010005916 A CN 202010005916A CN 111222454 A CN111222454 A CN 111222454A
Authority
CN
China
Prior art keywords
target
training
task
detection
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010005916.1A
Other languages
English (en)
Other versions
CN111222454B (zh
Inventor
郑文勇
叶佳全
陈添水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMAI Guangzhou Co Ltd
Original Assignee
DMAI Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMAI Guangzhou Co Ltd filed Critical DMAI Guangzhou Co Ltd
Priority to CN202010005916.1A priority Critical patent/CN111222454B/zh
Publication of CN111222454A publication Critical patent/CN111222454A/zh
Application granted granted Critical
Publication of CN111222454B publication Critical patent/CN111222454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种训练多任务目标检测模型、多任务目标检测的方法及系统，训练方法包括：利用标注好边框和类型标签的训练集训练主干网络；将该主干网络作为检测模型的基础网络，利用多尺度特征图、标注边界框及类型标签对检测模型进行训练得到训练好的检测枝干，同时微调主干网络；利用微调后的主干网络提取全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标特征图；利用对象特征图及分类标签训练不同任务模块。本发明利用同任务的主干网络提取出的全图特征，避免重复特征抽取，提高运算效率；利用不同子任务的数据训练主干网络提高特征的表达能力，在不损失精度的同时减少总参数量和计算量有助于子任务准确率的提升。

Description

训练多任务目标检测模型、多任务目标检测的方法及系统
技术领域
本发明涉及目标检测领域，具体涉及一种训练多任务目标检测模型、多任务目标检测的方法及系统。
背景技术
目标检测作为计算机视觉领域的基本任务之一，拥有广大的应用前景。其中，最经典的网络模型当属R-CNN。R-CNN将目标检测任务分为两个阶段，预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行分类判断。随后的Fast R-CNN和Faster R-CNN在其基础上进行了多方面优化，检测速度显著提升。然而这种两阶段检测算法在速度上仍然不能满足实时性的要求，由此以YOLO和SSD为代表的单阶段检测算法诞生。YOLO首次将物体检测当作回归问题求解，基于一个端到端的网络，经过一次推理便能得到所有物体的位置和类别信息。SSD结合了YOLO中的回归思想和Faster R-CNN的区域生成网络中锚定框机制，使用多尺度特征进行回归，解决了YOLO中小物体检测效果不好的问题，保证了窗口预测的准确性，同时维持了YOLO速度快的特性。
现有的多任务深度学习方法，多为对每个任务单独设计一个深度卷积网络结构，输入图片，输出对应标签或关键点位置信息。然而现有的方法具有以下问题：每个任务独立一个深度卷积网络，网络间没有共享的参数，总参数量和计算量大，模型推理耗时长。
发明内容
因此，本发明提供的一种训练多任务目标检测模型、多任务目标检测的方法及系统，克服了现有技术中的目标检测模型总参数量和计算量大，模型推理耗时长缺陷。
第一方面，本发明实施例提供训练多任务目标检测模型的方法，包括如下步骤：利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络；利用训练好的主干网络作为检测模型的基础网络，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行训练，得到训练好的检测枝干，同时微调主干网络；利用微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图；针对不同检测任务，分别设置轻量化的深度卷积网络作为任务模块，利用所述目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，得到训练好的任务模块；将所述训练好的主干网络、检测枝干及任务模块组成所述多任务目标检测模型。
在一实施例中，若图片中出现多个不同目标对象，则对图片进行拷贝，拷贝次数等于图片中出现的目标类型个数，拷贝后的每张图片分别标注不同目标类型标签，全部用于主干网络的训练。
在一实施例中，根据训练数据集标注的边界框与图片大小的关系设置不同尺度特征图使用的锚框，将标注好边界框和对应目标类型标签的训练数据集输入到训练好的主干网络中得到图片的多尺度特征图。
在一实施例中，所述利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络的步骤之前，还包括：获取多任务目标检测任务中需要进行检测的目标对象，针对不同的检测对象标注不同的目标类别标签，并定义标注规则；在图片集上使用边界框标注所有任务关注的目标对象，标记对应的目标类型标签。
在一实施例中，检测的目标对象包括：人物头部和手部，检测任务包括：人物的表情、头部朝向以及手势姿态。
在一实施例中，表情识别任务的分类标签包括平静、开心、生气、伤心；头部朝向识别任务的分类标签包含正对、抬头、低头、左转、右转；手势姿态的分类标签包含五指张开、握拳及其他。
第二方面，本发明实施例提供一种多任务目标检测的方法，包括：获取待进行目标检测的图片；将所述待进行目标检测的图片输入根据本发明实施例第一方面所述的训练多任务目标检测模型的方法得到的多任务目标检测模型中，检测并识别图片中的目标对象。
在一实施例中，检测的目标对象包括人物头部和手部，检测任务包括人物的表情、头部朝向以及手势姿态。
在一实施例中，将待进行多任务目标检测的图片输入主干网络提取图片的多尺度特征图，并选择对分类结果贡献最高的特征图作为全图特征；利用检测干支对所述多尺度特征图进行回归，预测目标对象的位置；根据预测目标对象的位置信息，在全图特征上将目标对象的特征图截取出来，并缩放到预设尺寸；利用任务模块对目标对象特征图进行分类，识别人物的表情、头部朝向以及手势姿态。
第三方面，本发明实施例提供训练多任务目标检测模型的系统，包括：主干网络训练模块，用于利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络；检测枝干训练模块，用于利用训练好的主干网络作为检测模型的基础网络，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行训练，得到训练好的检测枝干，同时微调主干网络；目标对象特征图提取模块，用于利用微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图；任务模块训练模块，用于针对不同检测任务，分别设置轻量化的深度卷积网络作为任务模块，利用所述目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，得到训练好的任务模块；多任务目标检测模型生成模块，用于将所述训练好的主干网络、检测枝干及任务模块组成所述多任务目标检测模型。
第四方面，本发明实施例多任务目标检测模型的系统，包括：目标检测的图片获取模块，用于获取待进行目标检测的图片；目标识别模块，用于将所述待进行目标检测的图片输入根据本发明实施例第一方面所述的训练多任务目标检测模型的方法得到的多任务目标检测模型中，检测并识别图片中的目标对象。
第五方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的训练多任务目标检测模型的方法，以及本发明实施例第二方面所述的多任务目标检测的方法。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，以使所述至少一个处理器执行本发明实施例第一方面所述的训练多任务目标检测模型的方法，以及本发明实施例第二方面所述的多任务目标检测的方法。
本发明技术方案，具有如下优点：
1、本发明实施例提供提供的训练多任务目标检测模型的方法及系统，利用同任务的深度卷积网络复用主干网络提取出的全图特征，避免重复特征抽取过程，大幅度降低网络复杂度，提高运算效率；有效利用不同子任务的数据训练主干网络，提高特征的表达能力，在不损失精度的同时，能够极大减少总参数量和计算量，加快整个框架的推理速度，有效减少计算资源的消耗，同时有助于子任务准确率的提升。
2、本发明实施例提供的多任务目标检测的方法及系统，基于不同任务的深度卷积网络复用主干网络提取出的全图特征，不需要重复抽取图片的低层特征，不损失精度的同时，能够极大减少总参数量和计算量。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的训练多任务目标检测模型的方法的一个具体示例的流程图；
图2为本发明实施例提供的轻量化网络MobileNetV1作为主干网络提起特征图输出至检测枝干的示意图；
图3为本发明实施例提供的不同尺度的特征图数据列表；
图4为本发明实施例提供的任务模块的结构示意图；
图5为本发明实施例提供的多任务目标检测的方法的一个具体示例的流程图；
图6为本发明实施例提供的根据主干网络提取图片的多尺度特征图进行多任务提取的流程图；
图7为本发明实施例提供的根据预测目标对象的位置信息，在全图特征上将目标对象的特征图截取出来，并缩放到预设尺寸的流程示意图；
图8为本发明实施例提供的训练多任务目标检测模型的系统的一个具体示例的模块组成图；
图9为本发明实施例提供的多任务目标检测模型的系统的一个具体示例的模块组成图；
图10为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种训练多任务目标检测模型的方法，可应用于训练课识别多个任务的目标检测模型，本发明实施例以同时识别出图片中人物的表情、头部朝向以及手势姿态为例进行说明，但是不以此为限，如图1所示，该模型的训练方法，包括如下步骤：
步骤S1：利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络。
在实际应用中，依照检测任务的实际需求，统计所有任务关注的目标对象，不同任务可关注相同的目标对象，处理器获取多任务目标检测任务中需要进行检测的目标对象，针对不同的检测对象标注不同的目标类别标签，并定义标注规则，在图片集上使用边界框标注所有任务关注的目标对象，标记对应的目标类型标签。
本发明实施例中，首先定义好需要检测的目标对象为人物头部和手部，并依次定义不同任务关注对象不同姿态的分类标签。其中，表情识别任务的分类标签包含平静、开心、生气、伤心；头部朝向识别任务的分类标签包含正对、抬头、低头、左转、右转；手势姿态的分类标签包含五指张开、握拳、其他；在数据定义结束后开始对已有数据集进行标注。若图片中出现多个不同目标对象，则对图片进行拷贝，拷贝次数等于图片中出现的目标类型个数，拷贝后的每张图片分别标注不同目标类型标签，全部用于主干网络的训练。
步骤S2:利用训练好的主干网络作为检测模型的基础网络，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行训练，得到训练好的检测枝干，同时微调主干网络。
本发明实施例训练好的主干网络替换检测模型的基础网络，根据训练数据集标注的边界框与图片大小的关系，设置不同尺度特征图使用的锚框(Anchor)，将标注好边界框和对应目标类型标签的训练数据集输入到主干网络中得到图片的多尺度特征图，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行微调，同时进一步微调主干网络。
步骤S3:利用微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图。
本实施例中，微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图并保存，若图片中有多个目标对象，则依次分别提取所有目标对象的特征图，并分别保存。
步骤S4:针对不同检测任务，分别设置轻量化的深度卷积网络作为任务模块，利用所述目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，得到训练好的任务模块。
本发明实施例分别设计轻量化的深度卷积网络，利用上述保存的目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，可选地，在训练前对目标对象特征图做进一步的预处理操作，例如是数据清洗、数据增强、数据重采样、数据归一化等，可以提高模型的泛化性能和加速模型的收敛。
步骤S5:将训练好的主干网络、检测枝干及任务模块组成多任务目标检测模型。
本发明实施例提供的训练多任务目标检测模型的方法，利用同任务的深度卷积网络复用主干网络提取出的全图特征，避免重复特征抽取过程，大幅度降低网络复杂度，提高运算效率；有效利用不同子任务的数据训练主干网络，提高特征的表达能力，在不损失精度的同时，能够极大减少总参数量和计算量，加快整个框架的推理速度，有效减少计算资源的消耗，同时有助于子任务准确率的提升。
在一具体实施例中，如图2所示，基于目标检测算法SSD(Single Shot MultiBoxDetector)，使用轻量化网络MobileNetV1作为主干网络替代SSD的基础网络，检测枝干包括检测模块及非极大值抑制模块，用于在主干网络提取出的多尺度特征图上进行回归，预测目标对象的位置，其检测输入图片大小统一为300×300。如图3所示，本实施例对MobileNetV1进行了部分修改，移除了最后的1×1卷积层、平均池化层、全连接层和Softmax层，并在剩余卷积层的最后面额外添加4组卷积层用于提取额外4个不同尺度的特征图，总共选取了6个不同尺度的特征图，分别对应于图4中编号6、9、12、15、18、21的卷积层输出，并选择编号6对应的卷积层输出作为全图特征。
对标注好的训练数据集进行处理，每张图片赋值一个目标对象的类型标签，作为图片的分类标签。若图片中出现多个不同目标对象，则对图片进行拷贝，拷贝次数等于图片中出现的目标类型个数，拷贝后的每张图片分别打上不同目标类型标签。
本发明实施例，加载在COCO数据集上预训练的SSD_MobileNetV1模型，将检测头部分移除，仅保留基础网络部分(即主干网络)。在主干网络后添加全连接层，用图片与对应的分类标签对其进行微调。然后移除全连接层，在主干网络后拼接回在COCO数据集上预训练的检测头部分，使用已标注好的训练数据集进行主干网络与检测枝干的微调。
将训练数据集输入到微调好的主干网络中，提取出图片的全图特征，利用RoIAlign作为目标对象特征提取模块，结合标注好的目标对象真实边界框，从全图特征中将目标对象特征图截取出来并保存，同时保存的还有对应任务的分类标签。其中，RoIAlign的输出大小统一设为12×12。
如图4所示，每个任务模块均采用相同的简单网络结构，堆叠两个3×3卷积层，紧跟着一个全连接层和Softmax层。利用已截取出的目标对象特征图和对应任务的分类标签，依次对表情、头部朝向以及手势姿态识别网络进行训练。
实施例2
本发明实施例提供一种多任务目标检测的方法，如图5所示，包括如下步骤：
步骤S21:获取待进行目标检测的图片。
在实际应用中，待进行目标检测的图片可以为通过图像采集设备直接获取的图像，也可以为在图像数据库中获取的人脸图像，根据实际需求进行合理选取，在此不做限制。本发明实施例中检测的目标对象包括人物头部和手部，检测任务包括人物的表情、头部朝向以及手势姿态。
步骤S22:将待进行目标检测的图片输入根据实施例1中训练多任务目标检测模型的方法得到的多任务目标检测模型中，检测并识别图片中的目标对象。
本发明实施例，如图6所示，将待进行多任务目标检测的图片输入主干网络提取图片的多尺度特征图，并选择对分类结果贡献最高的特征图作为全图特征；利用检测干支对多尺度特征图进行回归，预测目标对象的位置；和图7所示，根据预测目标对象的位置信息，在全图特征上将目标对象的特征图截取出来，并缩放到预设尺寸；利用任务模块对目标对象特征图进行分类，识别人物的表情、头部朝向以及手势姿态。
本发明实施例提供的多任务目标检测的方法，基于不同任务的深度卷积网络复用主干网络提取出的全图特征，不需要重复抽取图片的低层特征，不损失精度的同时，能够极大减少总参数量和计算量。
实施例3
本发明实施例提供一种训练多任务目标检测模型的系统，如图8所示，包括：
主干网络训练模块1，用于利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
检测枝干训练模块2，用于利用训练好的主干网络作为检测模型的基础网络，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行训练，得到训练好的检测枝干，同时微调主干网络；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
目标对象特征图提取模块3，用于利用微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
任务模块训练模块4，用于针对不同检测任务，分别设置轻量化的深度卷积网络作为任务模块，利用所述目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，得到训练好的任务模块。此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
多任务目标检测模型生成模块5，用于将所述训练好的主干网络、检测枝干及任务模块组成所述多任务目标检测模型。此模块执行实施例1中的步骤S5所描述的方法，在此不再赘述。
本发明实施例提供的训练多任务目标检测模型的系统，利用同任务的深度卷积网络复用主干网络提取出的全图特征，避免重复特征抽取过程，大幅度降低网络复杂度，提高运算效率；有效利用不同子任务的数据训练主干网络，提高特征的表达能力，在不损失精度的同时，能够极大减少总参数量和计算量，加快整个框架的推理速度，有效减少计算资源的消耗，同时有助于子任务准确率的提升。
实施例4
本发明实施例提供一种多任务目标检测模型的系统，如图9所示，包括：
目标检测的图片获取模块21，用于获取待进行目标检测的图片；此模块执行实施例2中的步骤S21所描述的方法，在此不再赘述。
目标识别模块22，用于将待进行目标检测的图片输入根据是实施例1中的训练多任务目标检测模型的方法得到的多任务目标检测模型中，检测并识别图片中的目标对象。此模块执行实施例2中的步骤S22所描述的方法，在此不再赘述。
本发明实施例提供的本发明实施例提供的多任务目标检测的系统，基于不同任务的深度卷积网络复用主干网络提取出的全图特征，不需要重复抽取图片的低层特征，不损失精度的同时，能够极大减少总参数量和计算量。
实施例5
本发明实施例提供一种计算机设备，如图10所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的训练多任务目标检测模型的方法或实施例2中所述的多任务目标检测的方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的训练多任务目标检测模型的方法或实施例2中所述的多任务目标检测的方法。其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的训练多任务目标检测模型的方法或实施例2中所述的多任务目标检测的方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的训练多任务目标检测模型的方法或实施例2中所述的多任务目标检测的方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (13)

1.一种训练多任务目标检测模型的方法，其特征在于，包括如下步骤：
利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络；
利用训练好的主干网络作为检测模型的基础网络，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行训练，得到训练好的检测枝干，同时微调主干网络；
利用微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图；
针对不同检测任务，分别设置轻量化的深度卷积网络作为任务模块，利用所述目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，得到训练好的任务模块；
将所述训练好的主干网络、检测枝干及任务模块组成所述多任务目标检测模型。
2.根据权利要求1所述的训练多任务目标检测模型的方法，其特征在于，若图片中出现多个不同目标对象，则对图片进行拷贝，拷贝次数等于图片中出现的目标类型个数，拷贝后的每张图片分别标注不同目标类型标签，全部用于主干网络的训练。
3.根据权利要求1所述的训练多任务目标检测模型的方法，其特征在于，根据训练数据集标注的边界框与图片大小的关系设置不同尺度特征图使用的锚框，将标注好边界框和对应目标类型标签的训练数据集输入到训练好的主干网络中得到图片的多尺度特征图。
4.根据权利要求1所述的训练多任务目标检测模型的方法，其特征在于，所述利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络的步骤之前，还包括：
获取多任务目标检测任务中需要进行检测的目标对象，针对不同的检测对象标注不同的目标类别标签，并定义标注规则；
在图片集上使用边界框标注所有任务关注的目标对象，标记对应的目标类型标签。
5.根据权利要求1所述的训练多任务目标检测模型的方法，其特征在于，检测的目标对象包括：人物头部和手部，检测任务包括：人物的表情、头部朝向以及手势姿态。
6.根据权利要求5所述的训练多任务目标检测模型的方法，其特征在于，
表情识别任务的分类标签包括平静、开心、生气、伤心；头部朝向识别任务的分类标签包含正对、抬头、低头、左转、右转；手势姿态的分类标签包含五指张开、握拳及其他。
7.一种多任务目标检测的方法，其特征在于，包括：
获取待进行目标检测的图片；
将所述待进行目标检测的图片输入根据权利要求1-6任一所述训练多任务目标检测模型的方法得到的多任务目标检测模型中，检测并识别图片中的目标对象。
8.根据权利要求7所述多任务目标检测的方法，其特征在于，
检测的目标对象包括人物头部和手部，检测任务包括人物的表情、头部朝向以及手势姿态。
9.根据权利要求8所述多任务目标检测的方法，其特征在于，
将待进行多任务目标检测的图片输入主干网络提取图片的多尺度特征图，并选择对分类结果贡献最高的特征图作为全图特征；
利用检测干支对所述多尺度特征图进行回归，预测目标对象的位置；
根据预测目标对象的位置信息，在全图特征上将目标对象的特征图截取出来，并缩放到预设尺寸；
利用任务模块对目标对象特征图进行分类，识别人物的表情、头部朝向以及手势姿态。
10.一种训练多任务目标检测模型的系统，其特征在于，包括：
主干网络训练模块，用于利用标注好边框和对应目标类型标签的训练数据集及对主干网络进行训练，得到训练好的主干网络；
检测枝干训练模块，用于利用训练好的主干网络作为检测模型的基础网络，利用图片的多尺度特征图、标注边界框以及对应目标类型标签对检测模型进行训练，得到训练好的检测枝干，同时微调主干网络；
目标对象特征图提取模块，用于利用微调后的主干网络提取训练数据集的全图特征，使用目标对象特征提取模块结合标注的真实边界框在全图特征上提取目标对象特征图；
任务模块训练模块，用于针对不同检测任务，分别设置轻量化的深度卷积网络作为任务模块，利用所述目标对象特征图以及标注好的对应不同任务不同目标的分类标签，依次训练不同任务模块，得到训练好的任务模块；
多任务目标检测模型生成模块，用于将所述训练好的主干网络、检测枝干及任务模块组成所述多任务目标检测模型。
11.一种多任务目标检测模型的系统，其特征在于，包括：
目标检测的图片获取模块，用于获取待进行目标检测的图片；
目标识别模块，用于将所述待进行目标检测的图片输入根据权利要求1-6任一所述的训练多任务目标检测模型的方法得到的多任务目标检测模型中，检测并识别图片中的目标对象。
12.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6任一所述的训练多任务目标检测模型的方法，以及权利要求7-9任一所述的多任务目标检测的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任一所述的训练多任务目标检测模型的方法，以及权利要求7-9任一所述的多任务目标检测的方法。
CN202010005916.1A 2020-01-03 2020-01-03 训练多任务目标检测模型、多任务目标检测的方法及系统 Active CN111222454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010005916.1A CN111222454B (zh) 2020-01-03 2020-01-03 训练多任务目标检测模型、多任务目标检测的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010005916.1A CN111222454B (zh) 2020-01-03 2020-01-03 训练多任务目标检测模型、多任务目标检测的方法及系统

Publications (2)

Publication Number Publication Date
CN111222454A true CN111222454A (zh) 2020-06-02
CN111222454B CN111222454B (zh) 2023-04-07

Family

ID=70806334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010005916.1A Active CN111222454B (zh) 2020-01-03 2020-01-03 训练多任务目标检测模型、多任务目标检测的方法及系统

Country Status (1)

Country Link
CN (1) CN111222454B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347896A (zh) * 2020-11-02 2021-02-09 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的头部数据处理方法及装置
CN112818853A (zh) * 2021-02-01 2021-05-18 中国第一汽车股份有限公司 一种交通要素识别方法、装置、设备及储存介质
CN113177432A (zh) * 2021-03-16 2021-07-27 重庆兆光科技股份有限公司 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
CN115984827A (zh) * 2023-03-06 2023-04-18 安徽蔚来智驾科技有限公司 点云感知方法、计算机设备及计算机可读存储介质
WO2024012234A1 (zh) * 2022-07-14 2024-01-18 安徽蔚来智驾科技有限公司 目标检测方法、计算机设备、计算机可读存储介质及车辆

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN107886117A (zh) * 2017-10-30 2018-04-06 国家新闻出版广电总局广播科学研究院 基于多特征提取和多任务融合的目标检测算法
CN108133233A (zh) * 2017-12-18 2018-06-08 中山大学 一种多标签图像识别方法及装置
CN108416394A (zh) * 2018-03-22 2018-08-17 河南工业大学 基于卷积神经网络的多目标检测模型构建方法
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN109101932A (zh) * 2018-08-17 2018-12-28 佛山市顺德区中山大学研究院 基于目标检测的多任务及临近信息融合的深度学习算法
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN109359683A (zh) * 2018-10-15 2019-02-19 百度在线网络技术（北京）有限公司 目标检测方法、装置、终端和计算机可读存储介质
CN109472274A (zh) * 2017-09-07 2019-03-15 富士通株式会社 深度学习分类模型的训练装置和方法
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN110069985A (zh) * 2019-03-12 2019-07-30 北京三快在线科技有限公司 基于图像的目标点位置检测方法、装置、电子设备
CN110321999A (zh) * 2018-03-30 2019-10-11 北京深鉴智能科技有限公司 神经网络计算图优化方法
US20190347828A1 (en) * 2018-05-09 2019-11-14 Beijing Kuangshi Technology Co., Ltd. Target detection method, system, and non-volatile storage medium

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN109472274A (zh) * 2017-09-07 2019-03-15 富士通株式会社 深度学习分类模型的训练装置和方法
CN107886117A (zh) * 2017-10-30 2018-04-06 国家新闻出版广电总局广播科学研究院 基于多特征提取和多任务融合的目标检测算法
CN108133233A (zh) * 2017-12-18 2018-06-08 中山大学 一种多标签图像识别方法及装置
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN108416394A (zh) * 2018-03-22 2018-08-17 河南工业大学 基于卷积神经网络的多目标检测模型构建方法
CN110321999A (zh) * 2018-03-30 2019-10-11 北京深鉴智能科技有限公司 神经网络计算图优化方法
US20190347828A1 (en) * 2018-05-09 2019-11-14 Beijing Kuangshi Technology Co., Ltd. Target detection method, system, and non-volatile storage medium
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN109101932A (zh) * 2018-08-17 2018-12-28 佛山市顺德区中山大学研究院 基于目标检测的多任务及临近信息融合的深度学习算法
CN109359683A (zh) * 2018-10-15 2019-02-19 百度在线网络技术（北京）有限公司 目标检测方法、装置、终端和计算机可读存储介质
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN110069985A (zh) * 2019-03-12 2019-07-30 北京三快在线科技有限公司 基于图像的目标点位置检测方法、装置、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王嘉欣: "《基于深度学习的人脸检测与人脸识别》" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347896A (zh) * 2020-11-02 2021-02-09 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的头部数据处理方法及装置
CN112818853A (zh) * 2021-02-01 2021-05-18 中国第一汽车股份有限公司 一种交通要素识别方法、装置、设备及储存介质
CN112818853B (zh) * 2021-02-01 2022-07-19 中国第一汽车股份有限公司 一种交通要素识别方法、装置、设备及储存介质
CN113177432A (zh) * 2021-03-16 2021-07-27 重庆兆光科技股份有限公司 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
CN113177432B (zh) * 2021-03-16 2023-08-29 重庆兆光科技股份有限公司 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
WO2024012234A1 (zh) * 2022-07-14 2024-01-18 安徽蔚来智驾科技有限公司 目标检测方法、计算机设备、计算机可读存储介质及车辆
CN115984827A (zh) * 2023-03-06 2023-04-18 安徽蔚来智驾科技有限公司 点云感知方法、计算机设备及计算机可读存储介质
CN115984827B (zh) * 2023-03-06 2024-02-02 安徽蔚来智驾科技有限公司 点云感知方法、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111222454B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111222454B (zh) 训练多任务目标检测模型、多任务目标检测的方法及系统
CN111210443B (zh) 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
JP6843086B2 (ja) 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体
WO2021022521A1 (zh) 数据处理的方法、训练神经网络模型的方法及设备
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111353544B (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
US20220406090A1 (en) Face parsing method and related devices
CN112862005B (zh) 视频的分类方法、装置、电子设备和存储介质
CN110738102A (zh) 一种人脸识别方法及系统
CN110598788A (zh) 目标检测方法、装置、电子设备及存储介质
CN110349167A (zh) 一种图像实例分割方法及装置
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN113850324B (zh) 一种基于Yolov4的多光谱目标检测方法
CN108363962B (zh) 一种基于多层次特征深度学习的人脸检测方法及系统
CN115147648A (zh) 一种基于改进YOLOv5目标检测的茶叶嫩梢识别方法
CN114821408A (zh) 基于旋转目标检测的包裹位置实时检测方法、装置、设备和介质
CN111461211B (zh) 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN115423796A (zh) 一种基于TensorRT加速推理的芯片缺陷检测方法及系统
CN115344805A (zh) 素材审核方法、计算设备及存储介质
CN111160368A (zh) 图像中目标检测方法、装置、设备及存储介质
CN113177956A (zh) 一种面向无人机遥感影像的语义分割方法
CN112132145B (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN114842482B (zh) 一种图像分类方法、装置、设备和存储介质
CN109543545B (zh) 快速人脸检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant