CN113168558A - 用于图像数据的语义分割的方法、人工神经网络、设备、计算机程序和机器可读存储介质 - Google Patents
用于图像数据的语义分割的方法、人工神经网络、设备、计算机程序和机器可读存储介质 Download PDFInfo
- Publication number
- CN113168558A CN113168558A CN201980080536.XA CN201980080536A CN113168558A CN 113168558 A CN113168558 A CN 113168558A CN 201980080536 A CN201980080536 A CN 201980080536A CN 113168558 A CN113168558 A CN 113168558A
- Authority
- CN
- China
- Prior art keywords
- neural network
- tensor
- artificial neural
- slice
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 title claims abstract description 17
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 41
- 238000005192 partition Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
用于借助于人工神经网络、特别是卷积神经网络对图像数据（111、211）进行节省计算和存储器资源的语义分割的方法（500），其中所述人工神经网络具有编码器路径（110、210、380）和解码器路径（120、220、340），所述方法包括以下步骤：‑根据划分函数（320、420）将输入张量（310）划分（520）为至少一个第一切片张量（330）和至少一个第二切片张量（350），其中所述输入张量（310）取决于所述图像数据（111、211）；‑将所述至少一个第一切片张量（330）输出（530）至所述神经网络的解码器路径（120、220、340）；‑根据连接函数（360）将所述至少一个第一切片张量（330）与所述至少一个第二切片张量（350）连接（540），以获得输出张量（370）；‑将所述输出张量（370）输出（550）到所述神经网络的编码器路径（110、210、380）。
Description
背景技术
“Evan Shelhamer，Jonathan Long，Trevor Darrell，Fully ConvolutionalModels for Semantic Segmentation（用于语义分割的全卷积模型），PAMI 2016”公开了卷积神经网络的一种扩展。卷积神经网络是用于处理可视数据的强大的人工神经网络，其可以生成可视数据的语义特征层次。该文献公开了使用“完全卷积网络”的方案，该完全卷积网络可以接受任意范围的输入数据并输出大小上对应的具有有效特征推导的输出。
“Olaf Ronneberger，Philipp Fischer，Thomas Brox，U-Net：ConvolutionalNetworks for Biomedical Image Segmentation（U-Net：用于生物医学图像分割的卷积网络），Medical Image Computing and Computer-Assisted Intervention（MICCAI），Springer，LNCS，第9351卷”公开了一种人工神经网络的体系架构以及一种用于该网络的训练策略，所述训练策略基于使用扩展的（增强的）训练数据来更有效地使用现有的带注释示例。该网络的体系架构包括用于检测输入数据的上下文的“压缩路径”（编码器路径）以及与此对称地包括“扩展路径”（解码器路径），所述扩展路径使得可以对检测的上下文进行精确定位。可以使用相对少量的训练数据来训练该人工神经网络。
发明内容
用于语义分割，特别是用于对图像数据中的特征进行定位和分类的人工神经网络，特别是所谓的卷积神经网络（CNN），对计算资源有很高的需求。通过添加解码器组件或上采样组件以及添加连接组件（跳过组件）进一步增加了对计算资源的需求，其中在编码器组件中进行了语义分析之后通过所述连接组件恢复高达原始分辨率的图像数据。在一些实现方式中，这可能导致计算资源的指数性增加。
除了增加计算资源外，在使用人工神经网络的情况下，特别是在使用CNN的情况下，在该网络的训练阶段和应用期间对以像素为基础的图像数据进行语义分割还需要更多的存储器资源，即需要更多的存储器带宽、存储器访问和存储器空间。
一旦应用不在诸如图形处理单元集群（GPU集群）的高存储器和分布式计算的专用计算单元上进行，而是应当在诸如嵌入式硬件等的嵌入式计算单元上运行，对计算资源和存储器资源的这种额外需求的缺点就会增强。
在这种背景下，本发明涉及用于对成像传感器的图像数据进行语义分割的方法、人工神经网络、设备、计算机程序和机器可读存储介质。
在当前情况下，图像数据可以理解为成像传感器的数据。首先，图像数据应理解为视频传感器（因此是相机）的数据。由于数据的相似性，雷达传感器、超声传感器、激光雷达传感器等的数据同样可以作为图像数据借助于本发明加以处理。因此，就本发明而言，可以将雷达传感器、超声传感器、激光雷达传感器等理解为成像传感器。
在此，适于在车辆中使用的成像传感器等（因此是汽车图像传感器）的图像数据对于本发明特别重要。
在当前情况下，语义分割应理解为对图像数据的处理，具有既确定图像中包含的对象的语义类别又确定这些对象在所述图像中的定位的目标。在此应当考虑的是，所述图像中的全局信息允许推断出所述对象的语义类别，而所述图像中的局部信息则允许推断出所述对象在所述图像中的定位。
本发明的一个方面是一种用于借助于人工神经网络、特别是卷积神经网络（CNN）对图像数据进行语义分割的方法。所述人工神经网络具有用于确定所述图像数据中语义类别的编码器路径和用于在所述图像数据中定位所确定类别的解码器路径。该方法包括以下步骤：
根据划分函数将输入张量划分为至少一个第一切片张量和至少一个第二切片张量，其中所述输入张量取决于所述图像数据；
将所述至少一个第一切片张量输出至所述人工神经网络的解码器路径；
根据连接函数将所述至少一个第一切片张量与所述至少一个第二切片张量连接，以获得输出张量；
将所述输出张量输出到所述人工神经网络的编码器路径。
在当前情况下，人工神经网络应理解为用于信息处理的人工神经元网络，所述信息处理例如是对图像数据进行语义分割，特别是对图像数据中的特征进行定位和分类。
在当前情况下，卷积神经网络（CNN）应理解为一类人工神经网络，这类人工神经网络在分类的领域中被认为是“现有技术”（State of the Art）。CNN的基本结构由卷积层和池化层的任意序列组成，卷积层和池化层由一个或多个完全连接的层封闭。相应的层由人工神经元构建而成。
在当前情况下，编码器路径应理解为处理图像数据直到所述图像数据中的特征（例如，对象）得到分类的路径。
在当前情况下，解码器路径应理解为与编码器路径连接的路径，该路径基于所述分类来恢复原始图像数据以定位经过分类的特征。
在当前情况下，连接组件应理解为进行语义分割的人工神经网络中的体系架构组件，该体系架构组件使得来自所述编码器路径的信息可用于所述解码器路径的对应位置。连接组件作为跳过连接或跳过模块出现。
在当前情况下，张量应理解为在人工神经网络中的处理期间的数据表示。数据组包括图像数据的处理状态和相关联的特征图。人工神经网络中第i步骤的张量典型地表示为
，具有n行、m列和f个特征图。
输入张量是在通过本发明的方法处理之前的数据表示。
切片张量是在根据本发明的方法进行划分的步骤之后的数据表示。
输出张量是用于在所述人工神经网络的编码器路径上进行进一步处理的数据表示。
在当前情况下，划分函数可以理解为适合于从所述输入张量和相关联特征图的集合中选择合适集合的任意函数。这可以根据划分因子、下标等来进行。
在当前情况下，连接函数可以理解为适合于将所述至少一个第一切片张量与所述至少一个第二切片张量连接的任意函数。这可以通过级联、求和、替换、再现等来进行。
本发明方法的优点在于划分步骤。通过该步骤可以实现图像数据的精确语义分割，并且同时将必要的计算资源和必要的存储器资源最小化，其方式是最佳地利用在所述编码器路径中执行的计算。
这允许本发明的方法在典型地在汽车环境中使用的嵌入式计算单元（所谓的嵌入式硬件）上执行。
根据本发明的方法的一种实施方式，在划分步骤中所述划分函数被设计为，使得仅选择所述输入张量的特征图的一个子集来形成所述至少一个第一切片张量。
在当前情况下，特征图应理解为人工神经网络的层（Layer）的输出。在CNN的情况下，特征图典型地是通过卷积层以及随后相关联的池化层进行处理的结果，并且可以用作后续层（Layer）或（如果设置了的话）全连接层的输入数据。
根据本发明的方法的一种实施方式，在连接步骤中所述连接函数（融合）被设计为，使得保持所述输入张量的维度。
该实施方式具有的优点是，就待使用的计算资源而言，可以以更少地资源利用率并且由此更有利地继续使用来自所述人工神经网络、特别是卷积神经网络（CNN）的不同层的信息。
根据本发明的方法的一种实施方式，该方法具有在前的接收步骤，其中在接收步骤中接收所述输入张量和所述划分函数。
该方法的该实施方式的优点在于，所述人工神经网络在与常规人工神经网络的并行执行相比减少了成本的同时更加灵活，并且可以在相应的层（Layer）上对相应的输入张量进行更精细的反应。
根据本发明的方法的一种实施方式，在划分步骤中将人工神经网络的第一函数应用于所述至少一个第一切片张量，并且将人工神经网络的第二函数应用于所述至少一个第二切片张量。
在当前情况下，人工神经网络的函数可以理解为人工神经网络的神经元层的任意函数。这可以是卷积（Convolution）—也可以表达为卷积块，即卷积的多次应用、深度卷积、压缩、残值（Residual）、密度（Dense）、Inception、激活（Activation，Act）、标准化、收集（Pooling（池化））等。
在当前情况下，Inception应理解为人工神经网络、特别是卷积神经网络的一种体系架构变型，其首先在Szegedy等人的Going deeper with convolutions，Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition，1-9页，2015中描述。
根据本发明的方法的一种实施方式，在划分步骤中所述划分函数被设计为，使得所述划分函数包括人工神经网络的特征图的待计算数量以及相应函数或计算图，以用于计算所述至少一个第一切片张量和所述至少一个第二切片张量。
本发明方法的该实施方式具有以下优点：可以通过简单的方式对所述至少一个第一切片张量和所述至少一个第二切片张量应用人工神经网络的不同函数。由此该人工神经网络在与常规人工神经网络的并行执行相比减少了成本的同时更加灵活，并且该人工神经网络可以对相应的输入张量进行更精细的反应。
本发明的另一方面是一种用于对图像数据进行语义分割的人工神经网络，其中所述人工神经网络具有用于对所述图像数据进行分类的编码器路径，用于对所述图像数据进行定位的解码器路径，并且被设置为执行根据本发明的方法的步骤。
以此方式设置的人工神经网络优选地用在技术系统中，特别是用在机器人、车辆、工具或机床中，以根据输入变量来确定输出变量。作为所述人工神经网络的输入变量，考虑传感器数据或依赖于传感器数据的变量。所述传感器数据可以源自所述技术系统的传感器，或者由所述技术系统从外部接收。根据所述人工神经网络的输出变量，所述技术系统的控制装置利用操控信号来操控所述技术系统的至少一个致动器。从而例如可以控制机器人或车辆的运动，或者可以操控工具或机床。
在根据本发明的人工神经网络的一种实施方式中，所述人工神经网络可以被设计为卷积神经网络。
本发明的另一方面是一种设备，其被设置为执行根据本发明的方法的步骤。
本发明的另一方面是一种计算机程序，其被设置为执行根据本发明的方法的步骤。
本发明的另一方面是一种机器可读存储介质，其上存储有根据本发明的人工神经网络或根据本发明的计算机程序。
附图说明
下面基于多个附图更详细地解释本发明的细节和实施方式。
图1示出了现有技术的全卷积网络的框图；
图2示出了现有技术的卷积网络的U-Net架构的框图；
图3示出了根据本发明的人工神经网络的实施方式的一部分的框图；
图4示出了根据本发明的人工神经网络的另一实施方式的一部分的框图；
图5示出了根据本发明的方法的流程图。
具体实施方式
图1示出了来自“Evan Shelhamer，Jonathan Long，Trevor Darrell，FullyConvolutional Models for Semantic Segmentation（用于语义分割的全卷积模型），PAMI2016”的全卷积网络的框图。
该图以块的形式总结了人工神经网络中所示流程的各个部分。
在块—编码器110中，示出了基于作为输入数据111的图像数据通过卷积神经网络（CNN）的多层（Layer）的处理步骤。从该图中可以清楚地看出卷积层112a和池化层112b。
在块—解码器120中，示出了CNN的“解卷积（deconvolutioned）”结果121、122、123。解卷积在此可以通过反转卷积步骤来实现。在此可以将粗粒度的分类结果映射为原始图像数据，以从而对经过分类的特征实现定位。
在块—跳过模块130中，示出了CNN的较高等级分类中间结果与“解卷积（deconvolutioned）”结果的连接。从而在第2行中，第4池化的中间结果与最终结果122逻辑关联，而在第3行中，第3池化和第4池化的中间结果与最终结果123逻辑关联。
这些逻辑关联的优点在于可以确定更精细的信息，同时可以获得更高级别的语义信息。
图2示出了来自“Olaf Ronneberger，Philipp Fischer，Thomas Brox，U-Net：Convolutional Networks for Biomedical Image Segmentation（U-Net：用于生物医学图像分割的卷积网络），Medical Image Computing and Computer-Assisted Intervention（MICCAI），Springer，LNCS，第9351卷”的卷积网络的U-Net体系架构的框图。
在块—编码器210中示出了基于作为输入数据111的图像数据通过卷积神经网络（CNN）的多层（Layer）以对输入数据211进行分类的处理步骤。
在块—解码器220中，示出了从最低分类级别出发经由对应数量的解卷积层（Layer）直到经过语义分割的图221的“解卷积步骤（Upconvolution，上卷积）”，图221具有输入数据211的定位和分类的特征。
在块230中示出了块—编码器210的层（Layer）与块—解码器220的对应层（Layer）之间的连接（Skip Connections，跳过连接）。这些连接代表了人工神经网络中在分类任务与定位任务之间的信息流。由此使得可以将粗粒度的语义分割与输入数据的更高程度的恢复相匹配。
图3示出了根据本发明的人工神经网络的实施方式的一部分的框图。根据该实施方式，以所谓的“张量模式”运行根据本发明的人工神经网络或方法。
在当前情况下，示出了在人工神经网络的第i步骤中的输入张量
310，其中n是行数量，m是列数量，f是特征图数量。此外存在划分函数（切片）320。根据划分函数（切片）320，将所述输入张量划分为至少一个第一切片张量330和至少一个第二切片张量350。在此可以根据任意划分函数（切片）320进行所述划分。尤其是可以想到根据划分因子（splitting factor）、根据索引等进行划分。
至少一个第一切片张量330旨在被输送到所述人工神经网络的解码器路径340，以便在那里与粗略的抽象特征表示逻辑关联。
至少一个第二切片张量350与至少一个第一切片张量330一起被输送到连接函数（融合）360，以生成输出张量370。作为连接函数（融合）360可以应用适合于将第一切片张量320与第二切片张量350连接的任何规则。尤其是可以想到级联、求和、替换、复制等。输出张量370旨在进一步沿着编码器路径380由所述人工神经网络处理。
图4示出了根据本发明的人工神经网络的另一实施方式的一部分的框图。根据该实施方式，以所谓的“函数模式”400运行根据本发明的人工神经网络或方法。
函数模式400的输入数据不仅包括输入张量310，而且包括划分函数（切片）420。将划分函数（切片）420应用于输入张量310以获得第一切片张量330和第二切片张量350。与“张量模式”300不同，还将人工神经网络的任意函数421、422应用于第一切片张量330和第二切片张量350。尤其是可以想到卷积（Convolution）、残值（Residual）、密度（Dense）、Inception、激活（Activation，Act）、标准化、收集（Pooling）等。对第一切片张量330和第二切片张量350可以应用人工神经网络的不同函数421、422。
然后将第一切片张量330输送到所述人工神经网络的解码器路径340，以便在那里与粗略的抽象特征表示逻辑关联。
至少一个第二切片张量350与至少一个第一切片张量330一起被输送到连接函数（融合）360，以生成输出张量370。作为连接函数（融合）360可以应用适合于将第一切片张量330与第二切片张量350连接的任何规则。尤其是可以想到级联、求和、替换、复制等。输出张量370旨在进一步沿着编码器路径380由所述人工神经网络处理。
图5示出了根据本发明的方法的流程图。
步骤510以虚线示出。这说明步骤510将被视为可选步骤。在步骤510中，接收输入张量310和划分函数320、420。
在步骤520中，根据划分函数320、420将输入张量310划分为至少一个第一切片张量330和至少一个第二切片张量350，其中输入张量310取决于图像数据111、211。
如果没有发生可选步骤510，则预给定划分函数320、430，并且输入张量310作为所述方法的输入数据而存在。
在步骤530中，将至少一个第一切片张量330输出到所述神经网络的解码器路径120、220。在解码器路径120、220中，可以将至少一个第一切片张量330与粗略的抽象特征表示逻辑关联。
在步骤540中，根据连接函数（融合）360将至少一个第一切片张量320与至少一个第二切片张量350连接，以获得输出张量370。输出张量370旨在在所述人工神经网络的编码器路径110、210上接受处理。
在步骤550中，将输出张量370输出到所述神经网络的编码器路径110、210，以由所述人工神经网络进一步处理。
本发明优选地适合于在汽车系统中使用，特别是与驾驶员辅助系统结合使用，直至部分或完全自动化驾驶。
在此，对代表车辆环境的图像数据或图像流的处理尤为重要。
这样的图像数据或图像流可以由车辆的成像传感器来检测。在此，可以借助于单个传感器进行所述检测。可以想到将使用不同检测技术的多个传感器（必要时来自多个传感器）的图像数据或图像流融合，所述传感器例如是视频传感器、雷达传感器、超声传感器、激光雷达传感器。
在此，在所述图像数据或图像流中确定自由空间（Free Space Detection,自由空间探测）以及对前景与背景进行语义区分特别重要。
这些特征可以通过应用根据本发明的人工神经网络处理图像数据或图像流来加以确定。基于该信息，可以对应地操控用于车辆纵向或横向控制的控制系统，使得可以操控该车辆对在所述图像数据或图像流中检测到这些特征进行适当的响应。
本发明的另一应用领域可以是为基于相机的车辆控制系统执行图像数据或图像数据流的精确预标记（pre-labeling）。
在此，要分配的标记（Label）代表应当在图像数据或图像流中识别的对象类别。
本发明还可用于所有领域，例如汽车、机器人学、健康、监视等，这些领域需要借助于人工神经网络进行精确的基于像素的对象识别（逐像素预测）。在此示例性地列出：光流，来自单色图像数据的深度，数字，边界识别，钥匙卡，对象探测等。
Claims (10)
1.一种用于借助于人工神经网络、特别是卷积神经网络对图像数据（111、211）进行节省计算和存储器资源的语义分割的方法（500），其中所述人工神经网络具有编码器路径（110、210、380）和解码器路径（120、220、340），所述方法包括以下步骤：
-根据划分函数（320、420）将输入张量（310）划分（520）为至少一个第一切片张量（330）和至少一个第二切片张量（350），其中所述输入张量（310）取决于所述图像数据（111、211）；
-将所述至少一个第一切片张量（330）输出（530）至所述神经网络的解码器路径（120、220、340）；
-根据连接函数（360）将所述至少一个第一切片张量（330）与所述至少一个第二切片张量（350）连接（540），以获得输出张量（370）；
-将所述输出张量（370）输出（550）到所述神经网络的编码器路径（110、210、380）。
2.根据权利要求1所述的方法（500），其中，在划分步骤中所述划分函数（320、430）被设计为，使得仅选择所述输入张量（310）的特征图的一个子集来形成所述至少一个第一切片张量（330）。
3.根据权利要求1或2所述的方法（500），其中，所述连接函数（360）被设计为，使得保持所述输入张量（310）的维度。
4.根据前述权利要求中任一项所述的方法（500），所述方法具有在前的接收（510）步骤，其中在接收（510）步骤中接收所述输入张量（310）和所述划分函数（320、420）。
5.根据前述权利要求中任一项所述的方法（500），其中，在划分（520）步骤中将神经网络的第一函数（421）应用于所述至少一个第一切片张量（330），并且将神经网络的第二函数（422）应用于所述至少一个第二切片张量（350）。
6.根据权利要求5所述的方法（500），其中，所述划分函数（420）被设计为，使得所述划分函数包括人工神经网络的特征图的待计算数量以及相应函数（421、422），以用于计算所述至少一个第一切片张量（330）和所述至少一个第二切片张量（350）。
7.一种用于对成像传感器的图像数据进行语义分割的人工神经网络，特别是卷积神经网络，其中所述人工神经网络具有用于对所述图像数据（111、211）进行分类的编码器路径（110、210），用于对所述图像数据（111、211）进行定位的解码器路径（120、220），并且被设置为执行根据权利要求1至6中任一项所述的方法（500）的步骤。
8.一种特别是具有根据权利要求7所述的人工神经网络的设备，所述设备被设置为执行根据权利要求1至6中任一项所述的方法（500）的步骤。
9.一种计算机程序，其被设置为执行根据权利要求1至6中任一项所述的方法（500）的所有步骤。
10.一种机器可读存储介质，其上存储有根据权利要求7所述的人工神经网络和/或根据权利要求9所述的计算机程序。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018217092.4A DE102018217092A1 (de) | 2018-10-05 | 2018-10-05 | Verfahren, künstliches neuronales Netz, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur semantischen Segmentierung von Bilddaten |
| DE102018217092.4 | 2018-10-05 | ||
| PCT/EP2019/076032 WO2020069964A1 (de) | 2018-10-05 | 2019-09-26 | Verfahren, künstliches neuronales netz, vorrichtung, computerprogramm und maschinenlesbares speichermedium zur semantischen segmentierung von bilddaten |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113168558A true CN113168558A (zh) | 2021-07-23 |
Family
ID=68172167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980080536.XA Pending CN113168558A (zh) | 2018-10-05 | 2019-09-26 | 用于图像数据的语义分割的方法、人工神经网络、设备、计算机程序和机器可读存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11908142B2 (zh) |
| CN (1) | CN113168558A (zh) |
| DE (1) | DE102018217092A1 (zh) |
| WO (1) | WO2020069964A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11507831B2 (en) | 2020-02-24 | 2022-11-22 | Stmicroelectronics International N.V. | Pooling unit for deep learning acceleration |
| DE102021100765A1 (de) | 2021-01-15 | 2022-07-21 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Ausgabewerten einer technischen Entität |
| CN113065551B (zh) * | 2021-03-19 | 2023-08-08 | 杭州迪英加科技有限公司 | 利用深度神经网络模型执行图像分割的方法 |
| CN116802646A (zh) * | 2021-12-27 | 2023-09-22 | 华为技术有限公司 | 数据处理的方法和装置 |
| CN118277711A (zh) * | 2022-12-31 | 2024-07-02 | 北京希姆计算科技有限公司 | 一种算子切分方法、装置和算子编译系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120148162A1 (en) * | 2010-12-09 | 2012-06-14 | The Hong Kong University Of Science And Technology | Joint semantic segmentation of images and scan data |
| CN107226087A (zh) * | 2017-05-26 | 2017-10-03 | 西安电子科技大学 | 一种结构化道路自动驾驶运输车及控制方法 |
| CN107644426A (zh) * | 2017-10-12 | 2018-01-30 | 中国科学技术大学 | 基于金字塔池化编解码结构的图像语义分割方法 |
| US20180137338A1 (en) * | 2016-11-16 | 2018-05-17 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN108053027A (zh) * | 2017-12-18 | 2018-05-18 | 中山大学 | 一种加速深度神经网络的方法及装置 |
| EP3329424A1 (en) * | 2015-07-29 | 2018-06-06 | Nokia Technologies Oy | Object detection with neural network |
| CN108256527A (zh) * | 2018-01-23 | 2018-07-06 | 深圳市唯特视科技有限公司 | 一种基于端到端全卷积网络的皮肤病变多类语义分割方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018217091A1 (de) * | 2018-10-05 | 2020-04-09 | Robert Bosch Gmbh | Verfahren, künstliches neuronales Netz, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur semantischen Segmentierung von Bilddaten |
| US20230156341A1 (en) * | 2020-04-02 | 2023-05-18 | Koito Manufacturing Co., Ltd. | Gating camera, sensing system for vehicle, and lighting unit for vehicle |
| CN113920213B (zh) * | 2021-09-27 | 2022-07-05 | 深圳技术大学 | 基于长距离注意力模型重建的多层磁共振成像方法及装置 |
| US20230153601A1 (en) * | 2021-11-15 | 2023-05-18 | International Business Machines Corporation | Global neural transducer models leveraging sub-task networks |
-
2018
- 2018-10-05 DE DE102018217092.4A patent/DE102018217092A1/de active Pending
-
2019
- 2019-09-26 CN CN201980080536.XA patent/CN113168558A/zh active Pending
- 2019-09-26 US US17/282,372 patent/US11908142B2/en active Active
- 2019-09-26 WO PCT/EP2019/076032 patent/WO2020069964A1/de active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120148162A1 (en) * | 2010-12-09 | 2012-06-14 | The Hong Kong University Of Science And Technology | Joint semantic segmentation of images and scan data |
| EP3329424A1 (en) * | 2015-07-29 | 2018-06-06 | Nokia Technologies Oy | Object detection with neural network |
| US20180137338A1 (en) * | 2016-11-16 | 2018-05-17 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN107226087A (zh) * | 2017-05-26 | 2017-10-03 | 西安电子科技大学 | 一种结构化道路自动驾驶运输车及控制方法 |
| CN107644426A (zh) * | 2017-10-12 | 2018-01-30 | 中国科学技术大学 | 基于金字塔池化编解码结构的图像语义分割方法 |
| CN108053027A (zh) * | 2017-12-18 | 2018-05-18 | 中山大学 | 一种加速深度神经网络的方法及装置 |
| CN108256527A (zh) * | 2018-01-23 | 2018-07-06 | 深圳市唯特视科技有限公司 | 一种基于端到端全卷积网络的皮肤病变多类语义分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| JINDONGJIANG等: "RedNet Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation", ARXIV, 6 August 2018 (2018-08-06) * |
| 吴晨;易本顺;章云港;黄松;冯雨;: "基于改进卷积神经网络的视网膜血管图像分割", 光学学报, no. 11, 27 June 2018 (2018-06-27) * |
| 徐国晟;张伟伟;吴训成;苏金亚;郭增高;: "基于卷积神经网络的车道线语义分割算法", 电子测量与仪器学报, no. 07, 15 July 2018 (2018-07-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020069964A1 (de) | 2020-04-09 |
| DE102018217092A1 (de) | 2020-04-09 |
| US11908142B2 (en) | 2024-02-20 |
| US20210343019A1 (en) | 2021-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113168558A (zh) | 用于图像数据的语义分割的方法、人工神经网络、设备、计算机程序和机器可读存储介质 | |
| US11100358B2 (en) | Method, artificial neural network, device, computer program and machine-readable memory medium for the semantic segmentation of image data | |
| US11113561B2 (en) | Method, artificial neural network, device, computer program and machine-readable memory medium for the semantic segmentation of image data | |
| US20190295261A1 (en) | Method and apparatus with image segmentation | |
| CN113850270B (zh) | 基于点云-体素聚合网络模型的语义场景补全方法及系统 | |
| CN108171217A (zh) | 一种基于点融合网络的三维物体检测方法 | |
| KR102073162B1 (ko) | 딥러닝 기반의 소형 물체 검출 기법 | |
| CN112912928B (zh) | 用于从点云中动态选择特征相关点的深度神经网络的方法和系统 | |
| KR20190131207A (ko) | 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템 | |
| CN114170516B (zh) | 一种基于路侧感知的车辆重识别方法、装置及电子设备 | |
| CN116783620A (zh) | 根据点云的高效三维对象检测 | |
| CN113762327B (zh) | 机器学习方法、机器学习系统以及非暂态电脑可读取媒体 | |
| WO2021163103A1 (en) | Light-weight pose estimation network with multi-scale heatmap fusion | |
| CN113312983A (zh) | 基于多模态数据融合的语义分割方法、系统、装置及介质 | |
| Ramzy et al. | Rst-modnet: Real-time spatio-temporal moving object detection for autonomous driving | |
| CN117036895B (zh) | 基于相机与激光雷达点云融合的多任务环境感知方法 | |
| US11308324B2 (en) | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof | |
| Rashed et al. | Bev-modnet: Monocular camera based bird's eye view moving object detection for autonomous driving | |
| Yang et al. | YOLOv8-Lite: A Lightweight Object Detection Model for Real-time Autonomous Driving Systems | |
| Aditya et al. | Collision detection: An improved deep learning approach using SENet and ResNext | |
| Hua et al. | Dilated fully convolutional neural network for depth estimation from a single image | |
| CN116664829A (zh) | 一种rgb-t语义分割方法、系统、装置及存储介质 | |
| US20240127585A1 (en) | Method for determining the encoder architecture of a neural network | |
| EP4050510A1 (en) | Object information calculation method and system | |
| EP4290407A1 (en) | Method and system for unknown object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |