CN107066916B - 基于反卷积神经网络的场景语义分割方法 - Google Patents
基于反卷积神经网络的场景语义分割方法 Download PDFInfo
- Publication number
- CN107066916B CN107066916B CN201610947960.8A CN201610947960A CN107066916B CN 107066916 B CN107066916 B CN 107066916B CN 201610947960 A CN201610947960 A CN 201610947960A CN 107066916 B CN107066916 B CN 107066916B
- Authority
- CN
- China
- Prior art keywords
- layer
- local
- picture
- neural network
- deconvolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 230000035945 sensitivity Effects 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 230000002744 anti-aggregatory effect Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000005054 agglomeration Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于反卷积神经网络的场景语义分割方法，所述方法包括下述步骤：步骤S1，对场景图片用全卷积神经网络提取密集特征表达；步骤S2，利用局部敏感的反卷积神经网络并借助所述图片的局部亲和度矩阵，对步骤S1中得到的密集特征表达进行上采样学习以及物体边沿优化，得到所述图片的分数图，从而实现精细的场景语义分割。通过局部敏感的反卷积神经网络，利用局部底层信息来加强全卷积神经网络对局部边沿的敏感性，从而得到更高精度的场景分割。
Description
技术领域
本发明涉及模式识别、机器学习、计算机视觉领域，特别涉及一种基于反卷积神经网络的场景语义分割方法。
背景技术
随着计算机运算能力的飞速提升，计算机视觉、人工智能、机器感知等领域也迅猛发展。场景语义分割作为计算机视觉中一个基本问题之一，也得到了长足的发展。场景语义分割就是利用计算机对图像进行智能分析，进而判断图像中每个像素点所属的物体类别，如地板、墙壁、人、椅子等等。传统的场景语义分割算法一般仅仅依靠RGB(红绿蓝三原色)图片来进行分割，很容易受到光线变化、物体颜色变化以及背景嘈杂的干扰，在实际运用中很不鲁棒，精度也很难到用户需求。
深度传感技术的发展，像微软的Kinect，能够捕捉到高精度的深度图片，很好的弥补了传统的RGB图片的上述缺陷，为鲁棒性好、精度高的物体识别提供了可能性。在计算机视觉和机器人领域，有大量的研究探索如何有效的利用RGB和深度信息来提高场景分割的精度。这些算法基本上都是利用现在最先进的全卷积神经网络来进行场景分割，但是全卷积神经网络每个神经单元都有很大的感受野，很容易造成分割的物体边沿非常粗糙。其次在RGB和深度信息融合时也采用最简单的叠加策略，并不考虑这两种模态的数据在区分不同场景下的不同物体时所起的作用截然不同的情况，造成在语义分割时候许多物体分类错误。
发明内容
本发明针对现有技术存在的上述问题，提出一种基于反卷积神经网络的场景语义分割方法，以提高场景语义分割的精度。
本发明的基于反卷积神经网络的场景语义分割方法，包括下述步骤：
步骤S1，对场景图片用全卷积神经网络提取密集特征表达；
步骤S2，利用局部敏感的反卷积神经网络并借助所述图片的局部亲和度矩阵，对步骤S1中得到的密集特征表达进行上采样和优化，得到所述图片的分数图，从而实现精细的场景语义分割。
进一步地，所述局部亲和度矩阵通过提取所述图片的SIFT(Scale-invariantfeature transform：尺度不变特征变换)特征、SPIN(Using Spin Images for EfficientObject Recognition in Cluttered 3D Scenes：在复杂三维场景中利用旋转图像进行有效的目标识别)特征以及梯度特征，然后利用ucm-gPb(Contour Detection andHierarchical Image Segmentation：轮廓检测和多级图像分割)算法求得。
进一步地，所述局部敏感的反卷积神经网络由三个模块多次拼接而成，该三个模块分别是局部敏感的反聚集层、反卷积层和局部敏感的均值聚集层；所述局部敏感的反聚集层的输入是上一层的特征图响应，以及局部亲和度矩阵，输出是两倍分辨率的特征图响应；所述反卷积层的输入是上一层反聚集层的输出，输出是等分辨率的特征图响应；所述局部敏感的均值聚集层的输入是上一层反卷积层的输出，以及局部亲和度矩阵，输出是等分辨率的特征图响应。
进一步地，所述多次拼接的拼接次数为2或3次。
进一步地，通过以下公式得到所述局部敏感的反聚集层的输出结果：
其中x代表特征图中某个像素点的特征向量，A＝{Ai,j}是x为中心得到的一个s×s大小的局部亲和度矩阵，表征周围领域的像素点和中间像素点是否相似，(i,j)和(o,o)分别代表亲和度矩阵中的任意位置及中心位置，Y＝{Yi,j}是反聚集输出的特征图。
进一步地，通过以下公式实现所述局部敏感的均值聚集层：
其中，y是输出的特征向量，A＝{Ai,j}是以x为中心像素点，计算图片中所述中心像素点x与其邻近像素的相似度关系得到的一个s×s大小的局部亲和度矩阵，其表征中间像素点x和其周围领域的像素点是否相似，(i,j)和(o,o)分别代表亲和度矩阵中的任意位置及中心位置，X＝{Xi,j}是输入特征图。
进一步地，在所述步骤S1中，所述场景图片包括RGB图片和深度图片，所述方法还包括步骤S3：将得到的RGB分数图和深度分数图通过开关门融合层进行最优化融合，从而实现更精细的场景语义分割；所述开关门融合层用于衡量RGB和深度信息对于识别不同场景下的不同物体的重要性程度。
进一步地，所述开关门融合层包括拼接层、卷积层以及归一化层。
进一步地，所述卷积层通过如下函数实现：
其中
为基于RGB数据预测的分数图，
为基于深度数据预测的分数图，W∈Rc×2c×1×1为开关门融合层学习的滤波子，是卷积输出的贡献系数矩阵；Ck,i,j为RGB和深度信息的权重矩阵；n为特征图的通道总个数；h、w分别为特征图的总高度和总宽度；c为滤波子的总个数。
进一步地，所述归一化层通过sigmoid函数(S型的函数，也称为S型生长曲线)实现。
本发明中，通过局部敏感的反卷积神经网络，利用局部底层信息来加强全卷积神经网络对局部边沿的敏感性，从而得到更高精度的场景分割，能够有效的克服全卷积神经网络的固有缺陷，即聚合了非常大的上下文信息来进行场景分割，造成边沿的模糊效应。
进一步地，通过设计开关门融合层，能够有效的自动学习到语义分割中，对于不同场景下不同物体中RGB和深度两个模态所起的不同作用。这种动态自适应的贡献系数要优于传统算法所使用的无差别对待方法，能进一步提高场景分割精度。
附图说明
图1为本发明方法的一个实施例的流程图；
图2为本发明中全卷积神经网络用于密集特征提取的原理图；
图3a为本发明的一个实施例的局部敏感反卷积神经网络原理图；
图3b为本发明的一个实施例的局部敏感的反聚集层和局部敏感的均值聚集层的原理图；
图4为本发明的一个实施例的开关门融合层。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
如图1所示，本发明的一个实施方式的基于反卷积神经网络的场景语义分割方法包括下述步骤：
步骤S1，对场景图片用全卷积神经网络提取低分辨率的密集特征表达；
步骤S2，利用局部敏感的反卷积神经网络并借助所述图片的局部亲和度矩阵，对步骤S1中得到的密集特征表达进行上采样和优化，得到所述图片的分数图，从而实现精细的场景语义分割。
场景语义分割是一种典型的密集预测问题，需要预测图片中每个像素点的语义类别，因而要求对图片中的每个像素点都能够提取到一个鲁棒的特征表达。本发明采用全卷积神经网络来有效的提取图片的密集特征，所述图片可以是RGB图片，和/或深度图片。如图2所示，全卷积神经网络通过多次卷积、降采样和最大值聚集过程，能够聚合丰富的上下文信息来对图片中每个像素点进行特征表达，得到RGB特征图S1和/或深度特征图S1。但是由于存在多次降采样操作以及最大值聚集，全卷积神经网络得到的是一个低分辨率特征图，并且物体边沿非常的模糊。
为此，本发明将底层的像素级别的信息嵌入到反卷积神经网络中进行指导网络的训练。利用局部敏感的反卷积神经网络对得到的密集特征表达进行上采样学习以及物体边沿优化，得到RGB分数图S2和/或深度分数图S2，从而实现更精细的场景语义分割。
具体地，在步骤S2中，首先计算图片中每个像素点与邻近像素的相似度关系，并得到一个二值化的局部亲和度矩阵。本发明中可提取RGB和深度图片的SIFT，SPIN以及梯度特征，利用ucm-gPb算法来得到该局部亲和度矩阵。然后将该局部亲和度矩阵与所得到的RGB特征图S1和/或深度特征图S1输入局部敏感的反卷积神经网络，对密集特征表达进行上采样学习以及物体边沿优化，从而得到更精细的场景语义分割。
局部敏感的反卷积神经网络的目的在于将全卷积神经网络得到的粗糙的特征图进行上采样和优化得到更加精确的场景分割。如图3a所示，该网络结构可包含三个模块：局部敏感的反聚集层(unpooling)，反卷积层，以及局部敏感的均值聚集层(averagepooling)。
如图3b上部分所示，局部敏感的反聚集层的输入是上一层的特征图响应，以及局部亲和度矩阵，输出是两倍分辨率的特征图响应。该网络层的主要功能是学习恢复原始图片中的更丰富的细节信息，得到物体边沿更加清晰的分割的结果。
本发明中可通过以下公式得到局部敏感的反聚集层的输出结果：
其中x代表特征图中某个像素点的特征向量，A＝{Ai,j}是x为中心得到的一个s×s大小的二值化局部亲和度矩阵，Ai,j表征周围领域的像素点和中间像素点是否相似，(i,j)和(o,o)分别代表亲和度矩阵中的任意位置及中心位置，Y＝{Yi,j}是反聚集输出的特征图。通过反聚集操作，能够得到一个分辨率更好，细节更多的分割图。
反卷积层的输入是上一层反聚集层的输出，输出是等分辨率的特征图响应。该网络层主要是用来平滑特征图，因为反聚集层容易产生很多断裂的物体边沿，可利用反卷积过程来学习拼接这些断裂的边沿。反卷积采用的是卷积的逆过程，将每个激励响应值映射得到多个激励响应输出。经过反卷积之后的响应图会变得相对更平滑一些。
如图3b下部分所示，局部敏感的均值聚集层的输入是上一层反卷积层的输出，以及局部亲和度矩阵，输出是等分辨率的特征图响应。该网络层主要是用来得到每个像素点更加鲁棒的特征表达，同时能够保持对物体边沿的敏感性。
本发明中可通过以下公式得到局部敏感的反聚集层的输出结果：
其中y是输出的特征向量，B＝{Bi,j}是y为中心得到的一个s×s大小的二值化局部亲和度矩阵，Bi,j表征周围领域的像素点和中间像素点是否相似，(i,j)和(o,o)分别代表亲和度矩阵中的任意位置及中心位置，X＝{Xi,j}是该操作的输入特征图。通过局部敏感的均值聚集之后，既能够得到非常鲁棒的特征表达，同时能够保持对物体边沿的敏感性。
本发明将局部敏感的反聚集层、反卷积层以及局部敏感的均值聚集层多次拼接组合在一起，逐渐的上采样和优化场景分割的细节信息，得到更精细、更准确的场景分割效果。优选地，所述拼接次数为2或3次。拼接次数越多，得到的场景分割越精细、准确，但是计算量也越大。
RGB色彩信息和深度信息描述了场景中物体的不同模态的信息，比如RGB图片能够描述物体的表观、颜色以及纹理特征，而深度数据提供了物体的空间几何、形状以及尺寸信息。有效的融合这两种互补的信息能够提升场景语义分割的精度。现有的方法基本都是将两种模态的数据等价的看待，无法区分这两种模态在识别不同场景下不同物体时的不同贡献。基于此，本发明的一个优选的实施方式中提出，将通过上述步骤S1和S2得到的RGB分数图和深度分数图通过开关门融合(gate fusion)进行最优化融合，得到融合分数图，从而实现更精细的场景语义分割，如图4所示。开关门融合层能够有效地衡量RGB(表观)和深度(形状)信息对于识别不同场景下的不同物体的重要性程度。
优选地，本发明的开关门融合层主要由拼接层、卷积层以及归一化层组合而成，其能够自动的学习两种模态的权重，从而更好的融合这两种模态的互补信息用于场景语义分割中。
首先通过拼接层将RGB和深度网络得到的特征进行拼接。其次是卷积操作，通过卷积层学习得到RGB和深度信息的权重矩阵，卷积过程可如下实现：
其中
(n个通道的特征图，每个特征图高为h，宽为w)为基于RGB数据预测的分数图，
(参数意义同上)为基于深度数据预测的分数图，W∈Rc×2c×1×1(c个滤波子，每个滤波子为2c×1×1的三维矩阵)为开关门融合层学习的滤波子，
是卷积输出的贡献系数矩阵。最后是归一化处理，优选地，通过sigmoid函数操作将Ck,i,j归一化到[0,1]区间内。最后我们记Crgb＝C，Cdepth＝1-C，并且将贡献系数矩阵作用原来的分数输出，得到：
其中⊙为矩阵点乘操作。将RGB和深度的分数相加作为最后的融合分数，即为基于最终的分数图，就能够得到语义分割结果。
在归一化处理中，替代sigmoid函数可以用L1范数，L1范数就是x1＝x1/(x1+x2+...+xn),保证概率和为1。还可以用tanh函数(双曲正切函数)。优选使用sigmoid,因为在神经网络中实现更简单,优化结果更好，收敛更快。
本发明提出的新的基于局部敏感的反卷积神经网络可用于RGB-D室内场景语义分割。该发明能够很好的适应室内场景的光线变化、背景嘈杂、小物体多以及遮挡等困难，并且能更加有效的利用RGB和深度的互补性，得到更加鲁棒、精度更高、物体边沿保持更好的场景语义分割效果。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种基于反卷积神经网络的场景语义分割方法，其特征在于，所述方法包括下述步骤：
步骤S1，对场景图片用全卷积神经网络提取密集特征表达；
步骤S2，利用局部敏感的反卷积神经网络并借助所述图片的局部亲和度矩阵，对步骤S1中得到的密集特征表达进行上采样和优化，得到所述图片的分数图，从而实现精细的场景语义分割；
所述局部亲和度矩阵通过提取所述图片的SIFT特征、SPIN特征以及梯度特征，然后利用ucm-gPb算法求得。
2.根据权利要求1所述的方法，其特征在于，所述局部敏感的反卷积神经网络由三个模块多次拼接而成，该三个模块分别是局部敏感的反聚集层、反卷积层和局部敏感的均值聚集层；
其中，所述局部敏感的反聚集层的输入是上一层的特征图响应以及局部亲和度矩阵，输出是两倍分辨率的特征图响应；
所述反卷积层的输入是上一层反聚集层的输出，输出是等分辨率的特征图响应；
所述局部敏感的均值聚集层的输入是上一层反卷积层的输出以及局部亲和度矩阵，输出是等分辨率的特征图响应。
3.根据权利要求2所述的方法，其特征在于，所述多次拼接的拼接次数为2或3次。
4.根据权利要求2所述的方法，其特征在于，通过以下公式得到所述局部敏感的反聚集层的输出结果：
其中x代表特征图中某个像素点的特征向量，A＝{Ai,j}是以x为中心像素点，计算图片中所述中心像素点x与其邻近像素的相似度关系得到的一个s×s大小的局部亲和度矩阵，Ai,j表征中间像素点x和其周围领域的像素点是否相似，(i,j)和(o,o)分别代表亲和度矩阵中的任意位置及中心位置，Y＝{Yi,j}是反聚集输出的特征图。
5.根据权利要求2所述的方法，其特征在于，通过以下公式实现所述局部敏感的均值聚集层：
其中，y是输出的特征向量，B＝{Bi,j}是以y为中心像素点，计算图片中所述中心像素点y与其邻近像素的相似度关系得到的一个s×s大小的局部亲和度矩阵，Bi,j表征中间像素点y和其周围领域的像素点是否相似，(i,j)和(o,o)分别代表亲和度矩阵中的任意位置及中心位置，X＝{Xi,j}是输入特征图。
6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述步骤S1中，所述场景图片包括RGB图片和深度图片，所述方法还包括步骤S3：将得到的RGB分数图和深度分数图通过开关门融合层进行最优化融合，从而实现更精细的场景语义分割；
所述开关门融合层用于衡量RGB和深度信息对于识别不同场景下的不同物体的重要性程度。
7.根据权利要求6所述的方法，其特征在于，所述开关门融合层包括拼接层、卷积层以及归一化层。
8.根据权利要求7所述的方法，其特征在于，所述卷积层通过如下函数实现：
其中，
为基于RGB数据预测的分数图，
为基于深度数据预测的分数图，W∈Rc×2c×1×1为开关门融合层学习的滤波子，
是卷积输出的贡献系数矩阵；
Ck,i,j为RGB和深度信息的权重矩阵；n为特征图的通道总个数；h、w分别为特征图的总高度和总宽度；c为滤波子的总个数。
9.根据权利要求7所述的方法，其特征在于，所述归一化层通过sigmoid函数实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610947960.8A CN107066916B (zh) | 2016-10-26 | 2016-10-26 | 基于反卷积神经网络的场景语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610947960.8A CN107066916B (zh) | 2016-10-26 | 2016-10-26 | 基于反卷积神经网络的场景语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107066916A CN107066916A (zh) | 2017-08-18 |
| CN107066916B true CN107066916B (zh) | 2020-02-07 |
Family
ID=59617237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610947960.8A Active CN107066916B (zh) | 2016-10-26 | 2016-10-26 | 基于反卷积神经网络的场景语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066916B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10762425B2 (en) | 2017-09-26 | 2020-09-01 | Nvidia Corporation | Learning affinity via a spatial propagation neural network |
| CN107563357B (zh) * | 2017-09-29 | 2021-06-04 | 北京奇虎科技有限公司 | 基于场景分割的直播服饰装扮推荐方法、装置及计算设备 |
| CN107808131B (zh) * | 2017-10-23 | 2019-12-10 | 华南理工大学 | 基于双通路深度卷积神经网络的动态手势识别方法 |
| CN108510451B (zh) * | 2018-02-09 | 2021-02-12 | 杭州雄迈集成电路技术股份有限公司 | 一种基于双层卷积神经网络的重建车牌的方法 |
| CN108664974A (zh) * | 2018-04-03 | 2018-10-16 | 华南理工大学 | 一种基于rgbd图像与全残差网络的语义分割方法 |
| CN109934153B (zh) * | 2019-03-07 | 2023-06-20 | 张新长 | 基于门控深度残差优化网络的建筑物提取方法 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和系统 |
| CN111753835B (zh) * | 2019-08-19 | 2021-08-31 | 湖南大学 | 基于局部图匹配和卷积神经网络的细胞追踪方法 |
| CN111242027B (zh) * | 2020-01-13 | 2023-04-14 | 北京工业大学 | 一种融合语义信息的无监督学习场景特征快速提取方法 |
| CN112036408B (zh) * | 2020-07-31 | 2022-04-12 | 北京航空航天大学 | 一种复杂场景底层视觉信息提取方法 |
| CN113505860B (zh) * | 2021-09-07 | 2021-12-31 | 天津所托瑞安汽车科技有限公司 | 盲区检测训练集的筛选方法、装置、服务器及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
| CN105488809A (zh) * | 2016-01-14 | 2016-04-13 | 电子科技大学 | 基于rgbd描述符的室内场景语义分割方法 |
| CN105631413A (zh) * | 2015-12-23 | 2016-06-01 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的跨场景行人搜索方法 |
| CN105956878A (zh) * | 2016-04-25 | 2016-09-21 | 广州出益信息科技有限公司 | 一种网络广告推送的方法及装置 |
| CN106022384A (zh) * | 2016-05-27 | 2016-10-12 | 中国人民解放军信息工程大学 | 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法 |
-
2016
- 2016-10-26 CN CN201610947960.8A patent/CN107066916B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
| CN105631413A (zh) * | 2015-12-23 | 2016-06-01 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的跨场景行人搜索方法 |
| CN105488809A (zh) * | 2016-01-14 | 2016-04-13 | 电子科技大学 | 基于rgbd描述符的室内场景语义分割方法 |
| CN105956878A (zh) * | 2016-04-25 | 2016-09-21 | 广州出益信息科技有限公司 | 一种网络广告推送的方法及装置 |
| CN106022384A (zh) * | 2016-05-27 | 2016-10-12 | 中国人民解放军信息工程大学 | 基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法 |
Non-Patent Citations (5)
| Title |
|---|
| Fully Convolutional Networks for Semantic Segmentation;Long J 等;《IEEE Transaction on Pattern Analysis & Machine Intelligence》;20141231;第39卷(第4期);第1-10页 * |
| 基于DCNN的图像语义分割综述;魏云超 等;《北京交通大学学报》;20160831;第40卷(第4期);第82-91页 * |
| 基于卷积神经网络的图像语义分割;陈鸿翔;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160715;第2016年卷(第7期);第4.1节 * |
| 基于纹理基元块识别与合并的图像语义分割;杨雪 等;《计算机工程》;20150331;第41卷(第3期);第253-357页 * |
| 实时语义图像分割模型研究;刘尚旺 等;《河南师范大学学报（自然科学版）》;20160331;第44卷(第2期);第139-147页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107066916A (zh) | 2017-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066916B (zh) | 基于反卷积神经网络的场景语义分割方法 | |
| WO2018076212A1 (zh) | 基于反卷积神经网络的场景语义分割方法 | |
| CN107578418B (zh) | 一种融合色彩和深度信息的室内场景轮廓检测方法 | |
| CN107622244B (zh) | 一种基于深度图的室内场景精细化解析方法 | |
| WO2020108358A1 (zh) | 图像修复方法、装置、计算机设备和存储介质 | |
| CN106250895B (zh) | 一种光学遥感图像感兴趣区域检测方法 | |
| Lu et al. | Salient object detection using concavity context | |
| WO2018000752A1 (zh) | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 | |
| CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
| CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
| Almogdady et al. | A flower recognition system based on image processing and neural networks | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN111401207B (zh) | 基于mars深度特征提取与增强的人体动作识别方法 | |
| CN110517270B (zh) | 一种基于超像素深度网络的室内场景语义分割方法 | |
| Huang et al. | Automatic building change image quality assessment in high resolution remote sensing based on deep learning | |
| CN109754440A (zh) | 一种基于全卷积网络和均值漂移的阴影区域检测方法 | |
| CN113159043A (zh) | 基于语义信息的特征点匹配方法及系统 | |
| Hu et al. | RGB-D image multi-target detection method based on 3D DSF R-CNN | |
| CN115810149A (zh) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 | |
| CN114332644B (zh) | 一种基于视频卫星数据的大视场交通密度获取方法 | |
| CN116228730A (zh) | 基于改进YOLOv7的药片表面缺陷检测方法及系统 | |
| CN113887649B (zh) | 一种基于深层特征和浅层特征融合的目标检测方法 | |
| CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
| CN114612709A (zh) | 图像金字塔特征指导的多尺度目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |