CN112183395A - 基于多任务学习神经网络的道路场景识别方法和系统 - Google Patents

基于多任务学习神经网络的道路场景识别方法和系统 Download PDF

Info

Publication number
CN112183395A
CN112183395A CN202011060853.6A CN202011060853A CN112183395A CN 112183395 A CN112183395 A CN 112183395A CN 202011060853 A CN202011060853 A CN 202011060853A CN 112183395 A CN112183395 A CN 112183395A
Authority
CN
China
Prior art keywords
neural network
learning neural
road scene
layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011060853.6A
Other languages
English (en)
Inventor
陈海波
武玉琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Shenzhen Co Ltd
Original Assignee
Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Artificial Intelligence Shenzhen Co Ltd filed Critical Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority to CN202011060853.6A priority Critical patent/CN112183395A/zh
Publication of CN112183395A publication Critical patent/CN112183395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多任务学习神经网络的道路场景识别方法和系统，其中，所述方法包括以下步骤：获取道路场景的图像信息；对图像信息分别进行语义分割和目标检测标注以得到训练数据集；对训练数据集进行数据增强处理；构建多任务学习神经网络；根据增强处理后的训练数据集对多任务学习神经网络进行训练；根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割。本发明能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。

Description

基于多任务学习神经网络的道路场景识别方法和系统
技术领域
本发明涉及道路场景识别技术领域，具体涉及一种基于多任务学习神经网络的道路场景识别方法和一种基于多任务学习神经网络的道路场景识别系统。
背景技术
目前常用于道路场景识别的网络，往往只能单独进行语义分割或着目标检测，因此在实际执行道路场景识别任务时，需要分别执行语义分割和目标检测，并且在进行网络训练时也需要分别训练语义分割网络和目标检测网络，由此，容易导致识别过程和训练过程均占用较多的显存资源，并且耗时较长。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于多任务学习神经网络的道路场景识别方法，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。
本发明的第二个目的在于提出一种基于多任务学习神经网络的道路场景识别系统。
本发明的第三个目的在于提出一种计算机设备。
为达到上述目的，本发明第一方面实施例提出了一种基于多任务学习神经网络的道路场景识别方法，包括以下步骤：获取所述道路场景的图像信息；对所述图像信息分别进行语义分割和目标检测标注以得到训练数据集；对所述训练数据集进行数据增强处理；构建所述多任务学习神经网络；根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练；根据训练后的所述多任务学习神经网络对所述道路场景图像进行目标检测和语义分割。
根据本发明实施例提出的基于多任务学习神经网络的道路场景识别方法，通过获取道路场景的图像信息，并对图像信息分别进行语义分割和目标检测标注以得到训练数据集，以及对训练数据集进行数据增强处理，然后构建多任务学习神经网络，并根据增强处理后的训练数据集对多任务学习神经网络进行训练，然后根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割，由此，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。
另外，根据本发明上述实施例提出的基于多任务学习神经网络的道路场景识别方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述多任务学习神经网络包括主干网络、语义分割网络和目标检测网络，其中，所述语义分割网络和所述目标检测网络分别与所述主干网络相连。
根据本发明的一个实施例，所述语义分割网络包括第一卷积层、第二卷积层、第一激活层、归一化层和上采样层，其中，所述第一卷积层分别与所述主干网络和所述第一激活层相连，所述第一激活层通过所述归一化层连接到所述上采样层，所述上采样层与所述第二卷积层相连。
根据本发明的一个实施例，所述目标检测网络包括第三卷积层、第四卷积层、第五卷积层、第六卷积层、第二激活层、第三激活层和解码层，其中，所述第三卷积层和所述第四卷积层分别与所述主干网络相连，所述第五卷积层和所述第六卷积层分别与所述解码层相连，所述第二激活层分别与所述第三卷积层和所述第五卷积层相连，所述第三激活层分别与所述第四卷积层和所述第六卷积层相连。
根据本发明的一个实施例，所述主干网络为CenterNet-DLA34。
根据本发明的一个实施例，所述第一激活层、所述第二激活层和所述第三激活层均为非线性响应单元。
根据本发明的一个实施例，对所述训练数据集进行数据增强处理，包括以下步骤：设定多种数据增强处理方法，所述方法包括中值滤波、图像锐化、旋转、镜像、亮度调整；对所述中值滤波、所述图像锐化、所述旋转、所述镜像、所述亮度调整进行随机组合；根据随机组合后的方法对所述训练数据集进行数据增强处理。
根据本发明的一个实施例，根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练，包括采用随机梯度下降法对所述多任务学习神经网络进行训练。
为达到上述目的，本发明第二方面实施例提出了一种基于多任务学习神经网络的道路场景识别系统，包括：获取模块，所述获取模块用于获取所述道路场景的图像信息；标注模块，所述标注模块用于对所述图像信息分别进行语义分割和目标检测标注以得到训练数据集；数据增强模块，所述数据增强模块用于对所述训练数据集进行数据增强处理；网络构建模块，所述网络构建模块用于构建所述多任务学习神经网络；网络训练模块，所述网络训练模块用于根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练；识别模块，所述识别模块用于根据训练后的所述多任务学习神经网络对所述道路场景图像进行目标检测和语义分割。
根据本发明实施例提出的基于多任务学习神经网络的道路场景识别系统，通过设置获取模块、标注模块、数据增强模块、网络构建模块、网络训练模块和识别模块，其中，通过获取模块获取道路场景的图像信息，并通过标注模块对图像信息分别进行语义分割和目标检测标注以得到训练数据集，以及通过数据增强模块对训练数据集进行数据增强处理，然后通过网络构建模块构建多任务学习神经网络，并通过网络训练模块根据增强处理后的训练数据集对多任务学习神经网络进行训练，然后通过识别模块根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割，由此，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。
为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于多任务学习神经网络的道路场景识别方法。
根据本发明实施例提出的计算机设备，通过实现上述的基于多任务学习神经网络的道路场景识别方法，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。
附图说明
图1为本发明实施例的基于多任务学习神经网络的道路场景识别方法的流程图；
图2为本发明一个实施例的多任务学习神经网络的结构示意图；
图3为本发明一个实施例的语义分割网络和目标检测网络的结构示意图；
图4为本发明一个实施例的主干网络的结构示意图；
图5(a)本发明一个具体实施例的道路场景图像；
图5(b)本发明一个具体实施例的道路场景图像的目标检测结果图；
图5(c)本发明一个具体实施例的道路场景图像的语义分割结果图；
图6为本发明实施例的基于多任务学习神经网络的道路场景识别系统的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的基于多任务学习神经网络的道路场景识别方法的流程图。
如图1所示，本发明实施例的基于多任务学习神经网络的道路场景识别方法，包括以下步骤：
S1，获取道路场景的图像信息。
具体地，可通过车载摄像装置实时获取道路场景的图像信息。
S2，对图像信息分别进行语义分割和目标检测标注以得到训练数据集。
具体地，可对图像信息进行手工标注以得到训练数据集。
S3，对训练数据集进行数据增强处理。
具体地，上述步骤S3包括以下步骤：设定多种数据增强处理方法，方法包括中值滤波、图像锐化、旋转、镜像、亮度调整；对中值滤波、图像锐化、旋转、镜像、亮度调整进行随机组合；根据随机组合后的方法对训练数据集进行数据增强处理。
S4，构建多任务学习神经网络。
具体地，如图2所示，上述步骤S4构建的多任务学习神经网络可包括主干网络10、语义分割网络20和目标检测网络30，其中，语义分割网络20和目标检测网络30分别与主干网络10相连。
其中，如图3所示，语义分割网络20包括第一卷积层201、第二卷积层202、第一激活层203、归一化层204和上采样层205，其中，第一卷积层201分别与主干网络10和第一激活层203相连，第一激活层203通过归一化层204连接到上采样层205，上采样层205与第二卷积层202相连。
其中，如图3所示，目标检测网络30包括第三卷积层301、第四卷积层302、第五卷积层303、第六卷积层304、第二激活层305、第三激活层306和解码层307，其中，第三卷积层301和第四卷积层302分别与主干网络10相连，第五卷积层303和第六卷积层304分别与解码层307相连，第二激活层305分别与第三卷积层301和第五卷积层303相连，第三激活层306分别与第四卷积层302和第六卷积层304相连。其中，第一激活层203、第二激活层305、第三激活层306均可为非线性响应单元，具体可为纠正线性单元。
进一步地，如图3所示，主干网络10可为CenterNet-DLA34骨干网络，并且该CenterNet-DLA34骨干网络的结构可具体如图4所示。
如图4所示，CenterNet-DLA34骨干网络可包括模块2-1、模块2-2、模块2-3、模块2-4、模块2-5、模块4-1、模块4-2、模块4-3、模块4-4、模块8-1、模块8-2、模块8-3、模块16-1、模块16-2和模块32-1，其中，模块2-1、模块2-2、模块2-3、模块2-4、模块2-5中特征图的尺寸可为输入图像尺寸的二分之一，模块4-1、模块4-2、模块4-3、模块4-4中特征图的尺寸可为输入图像尺寸的的四分之一，模块8-1、模块8-2、模块8-3中特征图的尺寸可为输入图像尺寸的八分之一，模块16-1、模块16-2中特征图的尺寸可为输入图像尺寸的十六分之一，模块32-1中特征图的尺寸可为输入图像尺寸的三十二分之一。
进一步地，如图4所示，输入图像可进行下采样、卷积和上采样操作，其中，实线箭头表示的是下采样步骤，虚线表示的是卷积步骤，叉形虚线表示的是特征图上采样一倍并进行相加步骤，由此，得到的检测结果的特征图尺寸为输入图像尺寸的四分之一，分割结果的特征图尺寸与输入图像尺寸相同。
S5，根据增强处理后的训练数据集对多任务学习神经网络进行训练。
具体地，可采用随机梯度下降法对多任务学习神经网络进行训练。
S6，根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割。
举例而言，当得到道路场景图像，例如图5(a)所示的图像，可根据训练后的多任务学习神经网络对其进行目标检测和语义分割，具体地，可将得到道路场景图像，即图5(a)所示的道路场景图像输入训练后的多任务学习神经网络中，然后可通过主干网络10，例如CenterNet-DLA34骨干网络对其其进行下采样、卷积和上采样处理，最后可通过语义分割网络20和目标检测网络30将处理后的道路场景图像分别进行语义分割和目标检测处理，从而可得到相应的目标检测结果和语义分割结果，例如图5(b)所示的目标检测结果和图5(c)所示的语义分割结果。
根据本发明实施例提出的基于多任务学习神经网络的道路场景识别方法，通过获取道路场景的图像信息，并对图像信息分别进行语义分割和目标检测标注以得到训练数据集，以及对训练数据集进行数据增强处理，然后构建多任务学习神经网络，并根据增强处理后的训练数据集对多任务学习神经网络进行训练，然后根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割，由此，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。
对应上述实施例提出的基于多任务学习神经网络的道路场景识别方法，本发明还提出了一种基于多任务学习神经网络的道路场景识别系统。
如图6所示，本发明实施例的基于多任务学习神经网络的道路场景识别系统包括获取模块10、标注模块20、数据增强模块30、网络构建模块40、网络训练模块50和识别模块60。
其中，获取模块10用于获取道路场景的图像信息；标注模块20用于对图像信息分别进行语义分割和目标检测标注以得到训练数据集；数据增强模块30用于对训练数据集进行数据增强处理；网络构建模块40用于构建多任务学习神经网络；网络训练模块50用于根据增强处理后的训练数据集对多任务学习神经网络进行训练；识别模块60用于根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割。
需要说明的是，本发明实施例提出的基于多任务学习神经网络的道路场景识别系统，可实现上述实施例提出的基于多任务学习神经网络的道路场景识别方法，其具体实施方式可参照上述实施例。
根据本发明实施例提出的基于多任务学习神经网络的道路场景识别系统，通过设置获取模块、标注模块、数据增强模块、网络构建模块、网络训练模块和识别模块，其中，通过获取模块获取道路场景的图像信息，并通过标注模块对图像信息分别进行语义分割和目标检测标注以得到训练数据集，以及通过数据增强模块对训练数据集进行数据增强处理，然后通过网络构建模块构建多任务学习神经网络，并通过网络训练模块根据增强处理后的训练数据集对多任务学习神经网络进行训练，然后通过识别模块根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割，由此，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述实施例的基于多任务学习神经网络的道路场景识别方法。
根据本发明实施例提出的计算机设备，通过实现上述实施例的基于多任务学习神经网络的道路场景识别方法，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多任务学习神经网络的道路场景识别方法，其特征在于，包括以下步骤：
获取所述道路场景的图像信息；
对所述图像信息分别进行语义分割和目标检测标注以得到训练数据集；
对所述训练数据集进行数据增强处理；
构建所述多任务学习神经网络；
根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练；
根据训练后的所述多任务学习神经网络对所述道路场景图像进行目标检测和语义分割。
2.根据权利要求1所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述多任务学习神经网络包括主干网络、语义分割网络和目标检测网络，其中，所述语义分割网络和所述目标检测网络分别与所述主干网络相连。
3.根据权利要求2所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述语义分割网络包括第一卷积层、第二卷积层、第一激活层、归一化层和上采样层，其中，所述第一卷积层分别与所述主干网络和所述第一激活层相连，所述第一激活层通过所述归一化层连接到所述上采样层，所述上采样层与所述第二卷积层相连。
4.根据权利要求3所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述目标检测网络包括第三卷积层、第四卷积层、第五卷积层、第六卷积层、第二激活层、第三激活层和解码层，其中，所述第三卷积层和所述第四卷积层分别与所述主干网络相连，所述第五卷积层和所述第六卷积层分别与所述解码层相连，所述第二激活层分别与所述第三卷积层和所述第五卷积层相连，所述第三激活层分别与所述第四卷积层和所述第六卷积层相连。
5.根据权利要求4所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述主干网络为CenterNet-DLA34。
6.根据权利要求5所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述第一激活层、所述第二激活层和所述第三激活层均为非线性响应单元。
7.根据权利要求2所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，对所述训练数据集进行数据增强处理，包括以下步骤：
设定多种数据增强处理方法，所述方法包括中值滤波、图像锐化、旋转、镜像、亮度调整；
对所述中值滤波、所述图像锐化、所述旋转、所述镜像、所述亮度调整进行随机组合；
根据随机组合后的方法对所述训练数据集进行数据增强处理。
8.根据权利要求2所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练，包括采用随机梯度下降法对所述多任务学习神经网络进行训练。
9.一种基于多任务学习神经网络的道路场景识别系统，其特征在于，包括：
获取模块，所述获取模块用于获取所述道路场景的图像信息；
标注模块，所述标注模块用于对所述图像信息分别进行语义分割和目标检测标注以得到训练数据集；
数据增强模块，所述数据增强模块用于对所述训练数据集进行数据增强处理；
网络构建模块，所述网络构建模块用于构建所述多任务学习神经网络；
网络训练模块，所述网络训练模块用于根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练；
识别模块，所述识别模块用于根据训练后的所述多任务学习神经网络对所述道路场景图像进行目标检测和语义分割。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-8中任一项所述的基于多任务学习神经网络的道路场景识别方法。
CN202011060853.6A 2020-09-30 2020-09-30 基于多任务学习神经网络的道路场景识别方法和系统 Pending CN112183395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011060853.6A CN112183395A (zh) 2020-09-30 2020-09-30 基于多任务学习神经网络的道路场景识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011060853.6A CN112183395A (zh) 2020-09-30 2020-09-30 基于多任务学习神经网络的道路场景识别方法和系统

Publications (1)

Publication Number Publication Date
CN112183395A true CN112183395A (zh) 2021-01-05

Family

ID=73947426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011060853.6A Pending CN112183395A (zh) 2020-09-30 2020-09-30 基于多任务学习神经网络的道路场景识别方法和系统

Country Status (1)

Country Link
CN (1) CN112183395A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700444A (zh) * 2021-02-19 2021-04-23 中国铁道科学研究院集团有限公司铁道建筑研究所 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN112801203A (zh) * 2021-02-07 2021-05-14 新疆爱华盈通信息技术有限公司 基于多任务学习的数据分流训练方法及系统
CN113468963A (zh) * 2021-05-31 2021-10-01 山东信通电子股份有限公司 一种道路扬尘识别方法及设备
CN113505759A (zh) * 2021-09-08 2021-10-15 北京科技大学 多任务处理的方法、装置及存储介质
CN113591573A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 多任务学习深度网络模型的训练及目标检测方法、装置
CN113587935A (zh) * 2021-08-04 2021-11-02 燕山大学 一种基于射频信号多任务学习网络的室内场景理解方法
CN113609323A (zh) * 2021-07-20 2021-11-05 上海德衡数据科技有限公司 基于神经网络的图像降维方法及系统
CN114048536A (zh) * 2021-11-18 2022-02-15 重庆邮电大学 一种基于多任务神经网络的道路结构预测与目标检测方法
CN114663706A (zh) * 2022-03-25 2022-06-24 北京易华录信息技术股份有限公司 一种道路资产检测模型构建和道路资产检测方法
CN115311458A (zh) * 2022-10-10 2022-11-08 南京信息工程大学 基于多任务学习的实时高速公路行人闯入事件检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN108985250A (zh) * 2018-07-27 2018-12-11 大连理工大学 一种基于多任务网络的交通场景解析方法
CN110941995A (zh) * 2019-11-01 2020-03-31 中山大学 基于轻量级网络的实时目标检测与语义分割的多任务学习方法
CN111259779A (zh) * 2020-01-13 2020-06-09 南京大学 一种基于中心点轨迹预测的视频动作检测方法
CN111680739A (zh) * 2020-06-04 2020-09-18 通号通信信息集团有限公司 一种目标检测和语义分割的多任务并行方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985250A (zh) * 2018-07-27 2018-12-11 大连理工大学 一种基于多任务网络的交通场景解析方法
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN110941995A (zh) * 2019-11-01 2020-03-31 中山大学 基于轻量级网络的实时目标检测与语义分割的多任务学习方法
CN111259779A (zh) * 2020-01-13 2020-06-09 南京大学 一种基于中心点轨迹预测的视频动作检测方法
CN111680739A (zh) * 2020-06-04 2020-09-18 通号通信信息集团有限公司 一种目标检测和语义分割的多任务并行方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KAIWEN DUAN ET AL: "CenterNet: Keypoint Triplets for Object Detection", 《ARXIV》 *
XIAOHAN LIU T AL: "AdvNet: Multi-Task Fusion of Object Detection and Semantic Segmentation", 《2019 CHINESE AUTOMATION CONGRESS》 *
XINGYI ZHOU ET AL: "Objects as Points", 《ARXIV》 *
刘树春 等: "《深度实践OCR 基于深度学习的文字识别》", 31 May 2020, 机械工业出版社, pages: 123 *
夏征农 等: "《大辞海 信息科学卷》", 31 December 2015, 上海辞书出版社, pages: 151 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801203A (zh) * 2021-02-07 2021-05-14 新疆爱华盈通信息技术有限公司 基于多任务学习的数据分流训练方法及系统
CN112700444B (zh) * 2021-02-19 2023-06-23 中国铁道科学研究院集团有限公司铁道建筑研究所 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN112700444A (zh) * 2021-02-19 2021-04-23 中国铁道科学研究院集团有限公司铁道建筑研究所 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN113468963A (zh) * 2021-05-31 2021-10-01 山东信通电子股份有限公司 一种道路扬尘识别方法及设备
CN113591573A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 多任务学习深度网络模型的训练及目标检测方法、装置
CN113609323A (zh) * 2021-07-20 2021-11-05 上海德衡数据科技有限公司 基于神经网络的图像降维方法及系统
CN113609323B (zh) * 2021-07-20 2024-04-23 上海德衡数据科技有限公司 基于神经网络的图像降维方法及系统
CN113587935A (zh) * 2021-08-04 2021-11-02 燕山大学 一种基于射频信号多任务学习网络的室内场景理解方法
CN113587935B (zh) * 2021-08-04 2023-12-01 燕山大学 一种基于射频信号多任务学习网络的室内场景理解方法
CN113505759A (zh) * 2021-09-08 2021-10-15 北京科技大学 多任务处理的方法、装置及存储介质
CN114048536A (zh) * 2021-11-18 2022-02-15 重庆邮电大学 一种基于多任务神经网络的道路结构预测与目标检测方法
CN114663706A (zh) * 2022-03-25 2022-06-24 北京易华录信息技术股份有限公司 一种道路资产检测模型构建和道路资产检测方法
CN115311458B (zh) * 2022-10-10 2023-02-14 南京信息工程大学 基于多任务学习的实时高速公路行人闯入事件检测方法
CN115311458A (zh) * 2022-10-10 2022-11-08 南京信息工程大学 基于多任务学习的实时高速公路行人闯入事件检测方法

Similar Documents

Publication Publication Date Title
CN112183395A (zh) 基于多任务学习神经网络的道路场景识别方法和系统
CN110120024B (zh) 图像处理的方法、装置、设备和存储介质
CN108172213B (zh) 娇喘音频识别方法、装置、设备及计算机可读介质
CN108764039B (zh) 神经网络、遥感影像的建筑物提取方法、介质及计算设备
CN106530320B (zh) 一种端到端的图像分割处理方法及系统
CN111368790A (zh) 细粒度人脸识别模型的构建方法、识别方法以及构建装置
CN110490203B (zh) 图像分割方法及装置、电子设备和计算机可读存储介质
CN109242771B (zh) 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备
CN111142402B (zh) 仿真场景构建方法、装置和终端
CN112749578A (zh) 一种基于深度卷积神经网络的遥感图像自动道路提取方法
CN115311466A (zh) 图像识别方法、电子设备及存储介质
CN112700460A (zh) 图像分割方法及系统
CN113428177B (zh) 一种车辆控制方法、装置、设备及存储介质
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
Xiao et al. Joint convolutional neural pyramid for depth map super-resolution
CN115829980B (zh) 一种眼底照片的图像识别方法、装置、设备及存储介质
CN110222652B (zh) 行人检测方法、装置及电子设备
CN116503239A (zh) 车载视频数据异常化处理及仿真方法
US20240135679A1 (en) Method for classifying images and electronic device
CN116883362A (zh) 一种基于图像识别的裂缝检测方法、系统及图像处理设备
CN110555344B (zh) 车道线识别方法、装置、电子设备、存储介质
CN116580230A (zh) 一种目标检测方法及一种分类模型的训练方法
CN110544256B (zh) 基于稀疏特征的深度学习图像分割方法及装置
CN114359069B (zh) 一种图像恢复方法、系统、装置和存储介质
CN112132031B (zh) 车款识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination