CN109801297B - 一种基于卷积实现的图像全景分割预测优化方法 - Google Patents

一种基于卷积实现的图像全景分割预测优化方法 Download PDF

Info

Publication number
CN109801297B
CN109801297B CN201910033540.2A CN201910033540A CN109801297B CN 109801297 B CN109801297 B CN 109801297B CN 201910033540 A CN201910033540 A CN 201910033540A CN 109801297 B CN109801297 B CN 109801297B
Authority
CN
China
Prior art keywords
prediction
segmentation
convolution
pixel point
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910033540.2A
Other languages
English (en)
Other versions
CN109801297A (zh
Inventor
姜伟
刘环宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910033540.2A priority Critical patent/CN109801297B/zh
Publication of CN109801297A publication Critical patent/CN109801297A/zh
Application granted granted Critical
Publication of CN109801297B publication Critical patent/CN109801297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于卷积实现的图像全景分割优化方法，该方法使用卷积网络为每一个检测出的实例物体预测遮挡优先级排序得分值，并以该遮挡优先级排序得分值为判断依据，优化全景分割中的预测过程，以处理在全景分割中存在的不同实例物体的遮挡问题。本发明使用了卷积层作为特征提取方法，实现了可自主学习的、与预测网络一体化的优化方法，其实现方法简单，可与原有预测网络在同一框架内实现，并且能够显著提高预测结果。

Description

一种基于卷积实现的图像全景分割预测优化方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于卷积实现的遮挡优先级排序得分值预测的图像全景分割预测优化方法。
背景技术
全景分割任务是近期提出的新视觉任务，在场景理解、无人驾驶中有着广泛的应用。其任务目标是对摄像机拍摄到的图像每个像素点，预测类别信息和实例ID信息。它相对于语义分割视觉任务，增加实例信息的预测；相对于实例分割视觉任务，增加了无定形区域(具有相似纹理或物质的区域，如草地，天空，道路)的预测。
全景分割任务需要融合语义分割和实例分割的预测结果，目前现有方法中采用的是最简单的基于先验逻辑判断的方法，该方法虽然能够将语义分割和实例分割的预测结果融合成全景分割，但是存在较多误判的情况。而卷积神经网络具有较强的网络学习能力，如何通过卷积神经网络实现融合算法，目前缺少具体的实现方法。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于卷积实现的图像全景分割预测优化方法，本发明优化了现有的融合方法，提高预测准确度。
本发明的目的是通过以下技术方案来实现的：一种基于卷积实现的图像全景分割预测优化方法，包括以下步骤：
(1)使用语义分割网络预测stuff填充区域；
(2)使用实例分割网络预测object实例区域；
(3)使用基于卷积实现的遮挡优先级排序得分值预测算法，对不同实例的遮挡优先级排序得分值进行预测；
(4)对实例分割网络预测的实例物体，以步骤3预测得到的遮挡优先级排序得分值为依据，从大到小进行排序，依次将每个实例物体对应的前景区域赋值到相应的全景分割的结果中，如果排序靠后的实例物体像素点位置已经被排序靠前的实例物体占用，则丢弃此类像素点；(5)将语义分割得到的stuff预测赋值到相应的全景分割的结果中，若有像素点被步骤4的实例物体占用，则丢弃此类像素点。最终得到全景分割的结果。
进一步地，所述步骤3通过以下子步骤来实现：
(3.1)将实例分割的结果投影到原图大小的特征图中，该特征图的维度是物体的类别数目，不同类别的实例预测结果会被映射到不同通道中。特征图初始化时取值为0，被映射的像素点取值为1。然后使用2层卷积核大小为3的卷积层对特征图进行变换，最后输出层级得分预测结果图。
(3.2)对得到的类别排序预测得分结果，使用softmax函数进行归一化，即每个像素点的所有通道得分值相加为1；每个实例物体的排序得分由该实例物体所有像素点在对应的类别排序预测结果图上的得分平均计算得到。
本发明的有益效果是，本发明使用卷积网络，实现了可学习的遮挡优先级排序得分预测算法，能够通过卷积神经网络实现遮挡关系的判断预测，其具有较高的准确度，显著提高预测结果。
附图说明
图1是基于卷积实现的全景分割优化方法流程图；
图2是遮挡优先级排序得分预测算法流程图。
具体实施方式
下面根据附图和实施例详细说明本发明。
本发明基于遮挡优先级排序得分预测算法的图像全景分割预测优化方法，包括以下步骤：
步骤一：使用语义分割网络预测stuff填充区域
如图1所示，使用公开的语义分割网络DeepLab，训练网络时，输入原始图像，监督信号是stuff的真实标注，其中非stuff区域设为背景类；在预测网络时，输入原始图像，输出每个像素点的stuff类别预测结果；
步骤二：使用实例分割网络预测object实例区域
如图1所示，使用公开的实例分割网络Mask RCNN，训练网络时，输入原始图像，监督信号是object实例框与实例分割区域；在预测网络时，输入原始图像，输出检测出的每个object实例检测框，及相应的实例分割区域；
步骤三：使用基于卷积实现的遮挡优先级排序得分预测算法对不同实例的遮挡优先级得分值进行预测，方法流程如图2所示：
将实例分割的结果投影到原图大小的特征图中，该特征图的维度是物体的类别数目，不同类别的实例预测结果会被映射到不同通道中。特征图初始化时取值为0，被映射的像素点取值为1。然后使用2层卷积核大小为3的卷积层对特征图进行变换，并使用softmax函数对其输出进行归一化，最后得到像素点层级得分预测结果图。
在算法训练阶段，使用object语义分割标注作为监督信号；在算法预测阶段，每个实例物体的排序得分由该实例物体所有像素点在对应的遮挡优先级排序得分预测结果图上的得分平均计算得到，公式如下所示：
Figure BDA0001945089290000031
其中，Si,j,cls表示在像素点(i,j)、类别为cls的排序得分，这里Si,j,cls是使用softmax函数进行归一化的，即每个像素点的所有通道得分值相加为1；i,j表示图像像素点的横轴、纵轴坐标，cls表示像素点类别。如果像素点属于实例物体的前景，则其取值为1，表示该像素点属于这一实例。这个实例物体的排序得分由该实例物体所有像素点的得分平均计算得到。
步骤四：对实例分割网络预测的实例物体，以步骤三得到的优先级得分值为依据，从大到小进行排序，依次将每个实例物体对应的前景区域赋值到相应的全景分割的结果中，如果排序靠后的实例物体像素点位置已经被排序靠前的实例物体占用，则丢弃此类像素点；
步骤五：将语义分割得到的stuff预测赋值到相应的全景分割的结果中，若有像素点被步骤四的实例物体占用，则丢弃此类像素点。最终得到全景分割的结果。

Claims (1)

1.一种基于卷积实现的遮挡优先级排序得分预测的图像全景分割预测优化方法，其特征在于，包括以下步骤：
(1)使用语义分割网络预测stuff填充区域，得到原始图像每个像素点的stuff类别预测结果；
(2)使用实例分割网络预测object实例区域，得到原始图像检测出的每个object实例检测框及相应的实例分割区域；
(3)使用基于卷积实现的遮挡优先级排序得分值预测算法，对不同实例的遮挡优先级排序得分值进行预测；
(4)对实例分割网络预测的实例物体，以步骤(3)预测得到的遮挡优先级排序得分值为依据，从大到小进行排序，依次将每个实例物体对应的前景区域赋值到相应的全景分割的结果中，如果排序靠后的实例物体像素点位置已经被排序靠前的实例物体占用，则丢弃此类像素点；
(5)将语义分割得到的stuff预测赋值到相应的全景分割的结果中，若有像素点被步骤(4)的实例物体占用，则丢弃此类像素点；最终得到全景分割的结果；
所述步骤(3)通过以下子步骤来实现：
(3.1)将实例分割的结果投影到原图大小的特征图中，该特征图的维度是物体的类别数目，不同类别的实例预测结果会被映射到不同通道中；特征图初始化时取值为0，被映射的像素点取值为1；然后使用2层卷积核大小为3的卷积层对特征图进行变换，最后输出层级得分预测结果图；
(3.2)对得到的类别排序预测得分结果，使用softmax函数进行归一化，即每个像素点的所有通道得分值相加为1；每个实例物体的排序得分是该实例物体所有像素点在对应的类别排序预测结果图上的得分平均值。
CN201910033540.2A 2019-01-14 2019-01-14 一种基于卷积实现的图像全景分割预测优化方法 Active CN109801297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910033540.2A CN109801297B (zh) 2019-01-14 2019-01-14 一种基于卷积实现的图像全景分割预测优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910033540.2A CN109801297B (zh) 2019-01-14 2019-01-14 一种基于卷积实现的图像全景分割预测优化方法

Publications (2)

Publication Number Publication Date
CN109801297A CN109801297A (zh) 2019-05-24
CN109801297B true CN109801297B (zh) 2020-12-11

Family

ID=66558776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910033540.2A Active CN109801297B (zh) 2019-01-14 2019-01-14 一种基于卷积实现的图像全景分割预测优化方法

Country Status (1)

Country Link
CN (1) CN109801297B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276765B (zh) * 2019-06-21 2021-04-23 北京交通大学 基于多任务学习深度神经网络的图像全景分割方法
CN111242954B (zh) * 2020-01-20 2022-05-13 浙江大学 一种带有双向连接和遮挡处理的全景分割方法
CN111428726B (zh) * 2020-06-10 2020-09-11 中山大学 基于图神经网络的全景分割方法、系统、设备及存储介质
CN112053358A (zh) * 2020-09-28 2020-12-08 腾讯科技（深圳）有限公司 图像中像素的实例类别确定方法、装置、设备及存储介质
CN113052858B (zh) * 2021-03-23 2023-02-14 电子科技大学 一种基于语义流的全景分割方法
CN113139549B (zh) * 2021-03-25 2024-03-15 北京化工大学 一种基于多任务学习的参数自适应全景分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145747A (zh) * 2018-07-20 2019-01-04 华中科技大学 一种水面全景图像语义分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof
CN107403430B (zh) * 2017-06-15 2020-08-07 中山大学 一种rgbd图像语义分割方法
CN107944443A (zh) * 2017-11-16 2018-04-20 深圳市唯特视科技有限公司 一种基于端到端深度学习进行对象一致性检测方法
CN108734713A (zh) * 2018-05-18 2018-11-02 大连理工大学 一种基于多特征图的交通图像语义分割方法
CN109086770B (zh) * 2018-07-25 2021-12-17 成都快眼科技有限公司 一种基于精准尺度预测的图像语义分割方法及模型

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145747A (zh) * 2018-07-20 2019-01-04 华中科技大学 一种水面全景图像语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
panoptic segmentation with a joint semantic and instance segmentation network;Daan de Geus et al;《arxiv:1809.02110v1[cs.CV]》;20180906;第1-5页 *
panoptic segmentation with an end-to-end cell r-cnn for pathology image analysis;donghao zhang et al;《spring nature switzerland AG 2018》;20181231;第237-244页 *
稀疏图像空间全周场景图像化和三维重建;姜伟等;《南京理工大学学报》;20121231(第5期);第854-860页 *

Also Published As

Publication number Publication date
CN109801297A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN111145174B (zh) 基于图像语义特征进行点云筛选的3d目标检测方法
CN108304798B (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN111626128A (zh) 一种基于改进YOLOv3的果园环境下行人检测方法
CN112329658A (zh) 一种对于yolov3网络的检测算法改进方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN111626200A (zh) 一种基于Libra R-CNN的多尺度目标检测网络和交通标识检测方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN114037938B (zh) 一种基于NFL-Net的低照度目标检测方法
Xie et al. A binocular vision application in IoT: Realtime trustworthy road condition detection system in passable area
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN115512251A (zh) 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN112395961A (zh) 一种洒水车的视觉主动行人避让及水压自适应控制方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN114581486A (zh) 基于全卷积孪生网络多层特征的模板更新目标跟踪算法
CN115019340A (zh) 一种基于深度学习的夜间行人检测算法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN111126303A (zh) 一种面向智能停车的多车位检测方法
Fan et al. Covered vehicle detection in autonomous driving based on faster rcnn
CN114648549A (zh) 一种融合视觉和激光雷达的交通场景目标检测及定位方法
CN114332754A (zh) 基于多度量检测器的Cascade R-CNN行人检测方法
CN112347962A (zh) 一种基于感受野的卷积神经网络目标检测系统与方法
Li et al. Advanced multiple linear regression based dark channel prior applied on dehazing image and generating synthetic haze
CN112597875A (zh) 一种多分支网络的抗漏检航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant