CN111462129A - 按网格单元利用加权卷积滤波器的图像分割方法及装置 - Google Patents

按网格单元利用加权卷积滤波器的图像分割方法及装置 Download PDF

Info

Publication number
CN111462129A
CN111462129A CN201911292063.8A CN201911292063A CN111462129A CN 111462129 A CN111462129 A CN 111462129A CN 201911292063 A CN201911292063 A CN 201911292063A CN 111462129 A CN111462129 A CN 111462129A
Authority
CN
China
Prior art keywords
feature map
learning
weighted convolution
layer
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911292063.8A
Other languages
English (en)
Other versions
CN111462129B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111462129A publication Critical patent/CN111462129A/zh
Application granted granted Critical
Publication of CN111462129B publication Critical patent/CN111462129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种为了满足自动行驶汽车的级别4而根据区域的类转换模式并按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的方法。本发明提供一种能够具有应用到具有各个距离的各个区域的各个最佳参数而能够用作监视用CCTV的方法，其特征在于，包括以下步骤：学习装置：(a)(i)使编码层生成编码特征图，并且(ii)使解码层生成解码后特征图；(b)在将特定解码后特征图划分为网格单元的情况下，使加权卷积层将加权卷积滤波器设定为与各个网格单元对应，对特定解码后特征图应用加权卷积运算；以及(c)反向传播损失。

Description

按网格单元利用加权卷积滤波器的图像分割方法及装置
技术领域
本发明涉及一种为了满足自动行驶汽车的级别4而根据区域的类来转换模式并按网格单元(Grid Cell)分别利用多个加权卷积滤波器中的每一个来分割图像的方法，更详细而言，涉及一种如下的方法及装置、以及利用该方法及装置的测试方法及测试装置，该方法为按所述网格单元利用多个所述加权卷积滤波器中的每一个来分割所述图像的方法，包括以下步骤：(a)在获取至少一个输入图像的情况下，学习装置：(i)使卷积神经网络(CNN)模块的编码层对所述输入图像应用至少一次卷积运算而生成至少一个编码特征图，并且(ii)使所述CNN模块的解码层对由所述编码层输出的特定编码特征图应用至少一次反卷积运算而生成至少一个解码后特征图；(b)在由所述解码层输出的特定解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，所述学习装置使所述CNN模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对所述特定解码后特征图应用至少一次加权卷积运算而输出分割结果；以及(c)所述学习装置反向传播以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失，从而按所述网格单元学习各个所述加权卷积滤波器。
背景技术
深度卷积神经网络(Deep CNN)是在深度学习领域中取得的惊人发展的核心。CNN在90年代已经用于解决文字识别问题，但因最近的研究结果而能够如现在这样广泛使用CNN。这种深度CNN在2012年ImageNet图像分类大赛中击败了其他竞争对手并取得胜利。然后，卷积神经网络在机器学习领域中成为一个非常有用的工具。
另外，图像分割是利用图像(训练图像或测试图像)来生成标签的方法。随着深度学习技术受到瞩目，在图像分割中也普遍使用深度学习技术。
通过将输入图像输入到编码器-解码器，并且对由所述解码器输出的最终结果应用卷积运算，从而获取基于深度学习的图像分割。此时，在对由解码器输出的最终结果应用卷积运算的情况下，通常对最终结果的所有区域应用相同加权值的卷积滤波器。
另外，当假设如用于高级驾驶辅助系统(ADAS：Advanced Driver AssistanceSystem)的自由空间检测(FSD：Free Space Detection)那样照相机被固定并且包含在多个输入图像中的对象和道路的结构形态彼此相似的状况(例如，道路位于图像的中央部分，人行道位于图像的左侧和右侧部分，建筑物或天空等位于图像的上侧的状况)下进行图像分割时，如果对图像中的一张图像中的整个区域应用相同加权值的卷积滤波器，则存在如下的问题：在未有效应用彼此相似的结构这一特性的状态下低效执行大量运算，并且通过利用输入图像来执行图像分割过程而获取的输出结果也较差。
发明内容
所要解决的问题
本发明的目的是解决上述问题。
本发明的另一目的是在与输入图像对应的解码后特征图内按网格单元分别利用多个加权卷积来执行图像分割。
本发明的又一目的是通过将与特定解码后特征图中占很大比重的特定网格单元对应的特定卷积滤波器用作参照滤波器来线性变换参照滤波器值从而算出网格单元的剩余部分的滤波器值。
技术方案
本发明的特征结构如下所述，以达到如上所述的本发明的目的并实现后述的本发明的特征效果。
根据本发明的一方面，一种按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的方法，其特征在于，包括以下步骤：(a)在获取至少一个输入图像的情况下，学习装置(i)使CNN模块的编码层对所述输入图像应用至少一次卷积运算而生成至少一个编码特征图，(ii)使所述CNN模块的解码层对由所述编码层输出的特定编码特征图应用至少一次反卷积运算而生成至少一个解码后特征图；(b)在由所述解码层输出的特定解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，所述学习装置使所述CNN模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对所述特定解码后特征图应用至少一次加权卷积运算而输出分割结果；以及(c)所述学习装置反向传播以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失，从而按所述网格单元学习各个所述加权卷积滤波器。
在一实施例中，其特征在于，所述(b)步骤包括：所述学习装置以所述特定解码后特征图上的至少一个特征值为参照将根据至少一个特定基准分别分组的至少一个区域中的最宽的区域设定为参照区域，按所述网格单元的各个所述加权卷积滤波器用以下数学式表示：W_C_Filteri＝αi*B+βi，其中，W_C_Filteri分别表示按所述网格单元的各个所述加权卷积滤波器的值，B表示与所述参照区域对应的参照滤波器值，αi及βi分别表示与按所述网格单元的各个所述加权卷积滤波器对应的各个线性变换参数，在所述(c)步骤中，所述学习装置通过学习所述αi、βi及B来按所述网格单元学习各个所述加权卷积滤波器。
在一实施例中，其特征在于，在所述(b)步骤中，以所述特定解码后特征图上的所述特征值为参照，将根据所述特征值的范围分别分组的至少一个区域中的所述最宽的区域设定为所述参照区域。
在一实施例中，其特征在于，所述输入图像包含多个训练图像，在所述多个训练图像中的每一个具有与第1分割区域至第k分割区域对应的第1位置信息至第k位置信息的状态下，所述输入图像被选择为包含特定训练图像，在所述特定训练图像中，所述第1位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分相对偏差分别为至少一个已设定的临界值以下。
在一实施例中，其特征在于，在所述(b)步骤中，各个所述网格单元具有相同的形状和大小。
在一实施例中，其特征在于，所述输入图像为表示道路行驶状况的图像，所述学习装置用于检测在道路行驶时的自由空间
根据本发明的另一方面，一种按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的测试方法，其特征在于，包括以下步骤：(a)在以下(1)、(2)和(3)的状态下：(1)(i)学习装置使CNN模块的编码层对至少一个训练图像应用至少一次卷积运算而生成至少一个学习用编码特征图，(ii)所述学习装置使所述CNN模块的解码层对由所述编码层输出的特定学习用编码特征图应用至少一次反卷积运算而生成至少一个学习用解码后特征图；(2)在由所述解码层输出的特定学习用解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，所述学习装置使所述CNN模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对由所述解码层输出的所述特定学习用解码后特征图应用至少一次所述加权卷积层的加权卷积运算而输出学习用分割结果；(3)所述学习装置通过利用以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失执行反向传播而按所述网格单元学习各个所述加权卷积滤波器，测试装置在获取到至少一个测试图像的情况下：(i)使所述CNN模块的所述编码层对所述测试图像应用至少一次卷积运算而生成至少一个测试用编码特征图，并且(ii)使所述CNN模块的所述解码层对由所述编码层输出的特定测试用编码特征图应用至少一次反卷积运算而生成至少一个测试用解码后特征图；以及(b)在由所述解码层输出的特定测试用解码后特征图根据至少一个所述已设定的基准被划分为多个所述网格单元的情况下，所述测试装置使所述CNN模块的所述加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对由所述解码层输出的所述特定测试用解码后特征图应用至少一次加权卷积运算而输出测试用分割结果。
在一实施例中，其特征在于，所述测试图像为表示道路行驶状况的图像，所述测试装置用于检测在道路行驶时的自由空间。
根据本发明的又一方面，一种按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的学习装置，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被构成为运行所述指令以执行以下过程：(I)(i)在使CNN模块的编码层对至少一个输入图像应用至少一次卷积运算而生成至少一个编码特征图，(ii)使所述CNN模块的解码层对由所述编码层输出的特定编码特征图应用至少一次反卷积运算而生成至少一个解码后特征图；(II)在由所述解码层输出的特定解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，使所述CNN模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对所述特定解码后特征图应用至少一次加权卷积运算而输出分割结果；以及(III)通过利用以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失执行反向传播而按所述网格单元学习各个所述加权卷积滤波器。
在一实施例中，其特征在于，所述(II)过程包括：以所述特定解码后特征图上的至少一个特征值为参照将根据至少一个特定基准分别分组的至少一个区域中的最宽的区域设定为参照区域，按所述网格单元的各个所述加权卷积滤波器用以下数学式表示：W_C_Filteri＝αi*B+βi，其中，W_C_Filteri分别表示按所述网格单元的各个所述加权卷积滤波器的值，B表示与所述参照区域对应的参照滤波器值，αi及βi分别表示与按所述网格单元的各个所述加权卷积滤波器对应的各个线性变换参数，在所述(III)过程中，所述处理器通过学习所述αi、βi及B来按所述网格单元学习各个所述加权卷积滤波器。
在一实施例中，其特征在于，在所述(II)过程中，以所述特定解码后特征图上的所述特征值为参照，将根据所述特征值的范围分别分组的至少一个区域中的所述最宽的区域设定为所述参照区域。
在一实施例中，其特征在于，所述输入图像包含多个训练图像，在所述多个训练图像中的每一个具有与第1分割区域至第k分割区域对应的第1位置信息至第k位置信息的状态下，所述输入图像被选择为包含特定训练图像，在所述特定训练图像中，所述第1位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分相对偏差分别为至少一个已设定的临界值以下。
在一实施例中，其特征在于，在所述(II)过程中，各个所述网格单元具有相同的形状和大小。
在一实施例中，其特征在于，所述输入图像为表示道路行驶状况的图像，所述学习装置用于检测在道路行驶时的自由空间。
根据本发明的又一方面，一种按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的测试装置，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被构成为运行所述指令以执行以下过程：在以下(1)、(2)和(3)的状态下：(1)(i)学习装置使CNN模块的编码层对至少一个训练图像应用至少一次卷积运算而生成至少一个学习用编码特征图，(ii)所述学习装置使所述CNN模块的解码层对由所述编码层输出的特定学习用编码特征图应用至少一次反卷积运算而生成至少一个学习用解码后特征图；(2)在由所述解码层输出的特定学习用解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，所述学习装置使所述CNN模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对由所述解码层输出的所述特定学习用解码后特征图应用至少一次所述加权卷积层的加权卷积运算而输出学习用分割结果；(3)所述学习装置通过利用以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失执行反向传播而按所述网格单元学习各个所述加权卷积滤波器，(I)(i)使所述CNN模块的所述编码层对至少一个测试图像应用至少一次卷积运算而生成至少一个测试用编码特征图，(ii)使所述CNN模块的所述解码层对由所述编码层输出的特定测试用编码特征图应用至少一次反卷积运算而生成至少一个测试用解码后特征图；以及(II)在由所述解码层输出的特定测试用解码后特征图根据至少一个所述已设定的基准被划分为多个所述网格单元的情况下，使所述CNN模块的所述加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对由所述解码层输出的所述特定测试用解码后特征图应用至少一次加权卷积运算而输出测试用分割结果。
在一实施例中，其特征在于，所述测试图像为表示道路行驶状况的图像，所述测试装置用于检测在道路行驶时的自由空间。
发明效果
本发明具有以下效果：在输入图像中包含的对象及道路的结构形态彼此相似的情况下，能够得到按网格单元分别利用多个加权卷积滤波器中的每一个来最佳化的图像分割结果。
附图说明
为了说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分，本发明所属技术领域的具有公知常识的人员(以下，称为“普通技术人员”)在未实现发明工作的情况下可以以该附图为基础得到其他图。
图1是示出根据本发明的学习装置的结构的图。
图2是示出根据本发明的按网格单元分别利用多个加权卷积滤波器中的每一个来执行图像分割的过程的图。
图3是示出根据本发明的学习用于执行图像分割的CNN模块的至少一个参数的过程的图。
图4是示出根据本发明的CNN模块内的加权卷积层的过程的图。
图5a及图5b是示出根据本发明的设定参照区域的示例的图。
具体实施方式
关于后述的本发明的详细说明，参照以能够实施本发明的特定实施例为示例图示的附图。详细说明这些实施例，使得本领域技术人员能够实施本发明。应理解为本发明的多种实施例虽然彼此不同但没有必要相互排斥。例如，在此记载的特征、形状、结构及特性与一实施例相关联，在不脱离本发明的精神及范围的情况下可以以其他实施例实现。此外，应理解为在不脱离本发明的精神及范围的情况下能够变更各个公开的实施例内的个别结构要素的位置或布置。因此，后述的详细说明不应视为限定性含义，在适当说明的情况下，本发明的范围仅由所附的权利要求和与该权利要求所请求的内容等同的所有范围来限定。在附图中，相似的附图标记在各个方面上指代相同或相似的功能。
此外，在本发明的详细说明及权利要求中，“包括”这一词语及其变形并非用来去除其他技术特征、附加物、结构要素或步骤。本领域技术人员能够从本发明的说明书以及本发明的实施中显而易见本发明的其他目的、优点及特性的一部分。以下示例及附图作为实例提供，并不是用来限定本发明。
本发明中提到的各种图像可包括与铺装或未铺装的道路相关的图像，在该情况下能够假定出现在道路环境中的物体(例如，汽车、人、动物、植物、物体、建筑物、如飞机或无人机等的飞行器以及其他障碍物)，但本发明并不一定限定于此，本发明中提到的各种图像还可以是与道路无关的图像(例如，与非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空或室内相关联的图像)，在该情况下能够假定有可能出现在非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空或室内环境中的物体(例如，汽车、人、动物、植物、物体、建筑物、如飞机和无人机等的飞行器以及其他障碍物)，但并不一定限定于此。
下面，参照附图对本发明的优选实施例进行详细说明，使得本发明所属技术领域的普通技术人员能够容易实施本发明。
图1是示出根据本发明的学习装置的结构的图。
参照图1，学习装置100可包括处理器110和通信部120。此外，学习装置100可包括CNN模块200，或根据情况可以不包括CNN模块而与CNN模块200相互作用。用于学习CNN模块200的至少一个参数的至少一个过程可由处理器110来实现。此外，学习装置100可进一步包括存储器115，该存储器115能够存储用于执行下一个过程的计算机可读指令。根据一实施例，处理器、存储器或介质等可被集成为集成处理器。
图2是示出根据本发明的CNN模块200运算输入图像的过程的图。
参照图2，CNN模块200可包括编码层210、解码层220和加权卷积层230。
具体而言，编码层210可执行对输入图像应用至少一次卷积运算而生成至少一个编码特征图的过程，解码层220可执行对输出的特定编码特征图应用至少一次反卷积运算而生成至少一个解码后特征图的过程。在此，由编码层210输出的特定编码特征图可以是由编码层210最终输出的特征图，但并不限定于此。
接着，加权卷积层230可执行对由解码层220输出的特定解码后特征图应用至少一次加权卷积运算而输出分割结果的过程，对此将在后面参照图4进行详细说明。在此，特定解码后特征图可以是由解码层220最终输出的特征图，但并不限定于此。
图3是示出CNN模块200学习编码层210、解码层220及加权卷积层230的至少一个参数的过程的图。
在说明图3时，对在图2中已说明的结构省略说明。
参照图3，加权卷积层230输出分割结果。此时，分割结果相当于分割预测结果，学习装置通过利用以这种分割结果和与该分割结果对应的地面实况(GT：Ground Truth)为参照获取到的分割损失来执行反向传播而学习CNN模块的至少一个参数。
具体而言，学习装置100通过按加权卷积层230、解码层220及编码层210的顺序执行反向传播而学习参数。可认为在损失变得小于特定临界值的情况下结束这种学习过程，但并不限定于此。
图4是详细示出根据本发明的加权卷积层230的运算过程的图。
在将由解码层220输出的特定解码后特征图按至少一个已设定的基准被划分为多个网格单元的情况下，学习装置100使CNN模块200的加权卷积层230将各个加权卷积滤波器设定为与各个网格单元对应，并且对特定解码后特征图应用至少一次加权卷积运算而输出分割结果。此时，所有网格的形状和大小可以设定为相同，即设定为正方形，但并不限定于此。
查看图4所提出的卷积滤波器值即{a,b,c,d,e,f,g,h,i}及{j,k,l,m,n,o,p,q,r}等，能够确认卷积滤波器值按各个网格单元被设定为彼此不同。根据这种方式可以对需要更详细表达的部分和无需仔细表达的部分以不同方式应用加权值来执行图像分割。
例如，当包括在汽车的ADAS中的学习装置100用于检测自由空间时，需要在分割结果中详细表达至少一个道路或能够成为道路上的汽车等的障碍物的至少一个对象，而天空等背景无需详细表达。因此，在与此对应的GT中，道路部分将会详细表达，剩余部分将不会详细表达。在这种情况下，与道路对应的按网格单元的各个加权卷积滤波器的值变大，除此之外的与背景对应的按网格单元的各个加权卷积滤波器的值变小。通过这样的过程，能够更准确地分割道路上的对象。
如此，由于按网格单元以不同方式设定各个加权卷积滤波器，因此如用于ADAS的FSD那样照相机被固定且在多个输入图像中包含的对象和道路的结构形态彼此详细的状况(假设，道路位于图像的中央部分，人行道位于在图像的左侧和右侧部分，建筑物或天空等位于图像的上侧的状况)下，更有效地执行图像分割。
进行详细说明，在假设多个训练图像分别包含与第1分割区域至第k分割区域对应的第1位置信息至第k位置信息的情况下，输入图像被选择为包含特定训练图像，在各个特定训练图像中的第1位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分分别为至少一个已设定的临界值以下。
例如，在将天空、道路及人行道分别视为第一分割区域、第二分割区域及第三分割区域的情况下，根据天空位于图像的上端的事实确定第一位置信息，根据道路位于图像的中央的事实确定第二位置信息，根据人行道位于图像的左侧和右侧的事实确定第三位置信息。此时，能够参照各个输入图像的第一分割区域、第二分割区域及第三分割区域中的每个区域的中心坐标来获取第一位置信息、第二位置信息及第三位置信息。
除通过学习过程直接确定各个滤波器值的方式以外，还可以具有各种方式来确定按网格单元分别确定各个加权卷积滤波器值。例如，可应用如下的方式：在求出与对应于参照区域的特定网格单元对应的特定卷积滤波器值(即，参照滤波器值)之后，通过线性变换参照滤波器值而求出周边部的滤波器值。
此时，参照区域是指以特定解码后特征图上的至少一个特定值为参照，按至少一个特定基准分别分组的至少一个区域中的最宽的区域。简单而言，在输入图像根据各个区域的特性被分为各种区域的情况下，所有区域中的代表区域被确定为参照区域。
图5a及图5b是示出根据本发明的设定参照区域的示例的图。
可知在图5b中用黑色表示参照区域。此时，可以确认参照区域为与在图像中占据最宽区域的道路对应的区域。但是，实际上并不是以这种方式设定图像上的参照区域，而是实际上以特定解码后特征图上的特征值为参照，在特定解码后特征图上确定参照区域。为了方便说明，在图5a及图5b中示出图像而不是解码后特征图显示。
以上述方式设定参照区域，之后描述(i)如何确定参照滤波器，(ii)通过何种线性变换来运算关于与参照区域周边的区域对应的一部分网格的卷积滤波器值，(iii)所述线性变换的数学式及线性变换的参数确定方法为何种方法等。
按网格单元的各个加权卷积滤波器用以下数学式表示。
W_C_Filteri＝αi*B+βi
其中，W_C_Filteri分别表示按网格单元的各个加权卷积滤波器的值，B表示与参照区域对应的参照滤波器值，αi及βi分别表示与按网格单元的加权卷积滤波器对应的各个线性变换参数。
此时，通过图3所示的反向传播来学习αi、βi及B。
之后，将参照图2描述在完成CNN模块200的学习的情况下CNN模块200用作测试装置的方案。
参照图2，在CNN模块200接收输入图像的情况下，通过对输入图像依次应用编码层210、解码层220及加权卷积层230的运算而输出分割结果。由于在测试过程之前已经学习各个层的参数，因此去除利用GT来算出损失的过程。即，测试装置的结构与学习装置的结构的不同点在于，不包含反向传播损失的过程。
在通过上述方法利用道路行驶图像来生成图像分割结果的情况下，为了检测自由空间而可使用图像分割结果。
如本发明所属技术领域的普通技术人员能够理解的那样，能够通过学习装置及测试装置的通信部来实现如以上说明的图像(例如原始图像、原始标签及附加标签的图像)数据的收发，能够通过学习装置及测试装置的处理器(和/或存储器)来保留/维持特征图和用于执行运算的数据，并且能够主要通过学习装置及测试装置的处理器来执行卷积运算、反卷积运算及损失值运算过程，但本发明并不限定于此。
以上说明的根据本发明的实施例可以以能够通过各种计算机结构要素执行的计算机命令的形态实现，并且存储在计算机可读存储介质中。所述计算机可读存储介质可以单独或组合包含程序命令、数据文件、数据结构等。存储在所述计算机可读存储介质中的程序命令是为本发明而特别设计并构成的，但也可以是计算机软件领域的技术人员公知而能够使用的程序命令。计算机可读存储介质的例子包含如硬盘、软盘及磁带等的磁介质、如CD-ROM、DVD等的光存储介质、如软式光盘(floptical disk)等的磁光介质(magneto-optical media)、以及如只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器等的为了存储及执行程序命令而特别构成的硬件装置。作为程序命令的例子不仅包含如由编译器生成的机器代码，还包含使用解释器等能够由计算机运行的高级语言代码。为了执行根据本发明的处理，所述硬件装置可被构成为以一个以上的软件模块实现操作，反之亦然。
以上，通过如具体结构要素等的特定事项和限定的实施例及附图对本发明进行了说明，但这只是为了有助于本发明的更全面的理解而提供的，本发明并不限定于上述实施例，本发明所属技术领域的技术人员基于这种记载可进行各种修改及变形。
因此，本发明的思想并非由上述说明的实施例限定，权利要求书及与该权利要求书等同或等价变形的所有内容属于本发明的思想范围。

Claims (16)

1.一种按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的方法，其特征在于，包括以下步骤：
(a)在获取至少一个输入图像的情况下，学习装置：(i)使卷积神经网络模块的编码层对所述输入图像应用至少一次卷积运算而生成至少一个编码特征图，并且(ii)使所述卷积神经网络模块的解码层对由所述编码层输出的特定编码特征图应用至少一次反卷积运算而生成至少一个解码后特征图；
(b)在由所述解码层输出的特定解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，所述学习装置使所述卷积神经网络模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对所述特定解码后特征图应用至少一次加权卷积运算而输出分割结果；以及
(c)所述学习装置反向传播以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失，从而按所述网格单元学习各个所述加权卷积滤波器。
2.根据权利要求1所述的方法，其特征在于，
所述(b)步骤包括：所述学习装置以所述特定解码后特征图上的至少一个特征值为参照将根据至少一个特定基准分别分组的至少一个区域中的最宽的区域设定为参照区域，
按所述网格单元的各个所述加权卷积滤波器用以下数学式表示：
W_C_Filteri＝αi*B+βi，
其中，W_C_Filteri分别表示按所述网格单元的各个所述加权卷积滤波器的值，B表示与所述参照区域对应的参照滤波器值，αi及βi分别表示与按所述网格单元的各个所述加权卷积滤波器对应的各个线性变换参数，
在所述(c)步骤中，所述学习装置通过学习所述αi、βi及B来按所述网格单元学习各个所述加权卷积滤波器。
3.根据权利要求2所述的方法，其特征在于，
在所述(b)步骤中，以所述特定解码后特征图上的所述特征值为参照，将根据所述特征值的范围分别分组的至少一个区域中的所述最宽的区域设定为所述参照区域。
4.根据权利要求1所述的方法，其特征在于，
所述输入图像包含多个训练图像，
在所述多个训练图像中的每一个具有与第1分割区域至第k分割区域对应的第1位置信息至第k位置信息的状态下，所述输入图像被选择为包含特定训练图像，在所述特定训练图像中，所述第1位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分相对偏差分别为至少一个已设定的临界值以下。
5.根据权利要求1所述的方法，其特征在于，
在所述(b)步骤中，各个所述网格单元具有相同的形状和大小。
6.根据权利要求1所述的方法，其特征在于，
所述输入图像为表示道路行驶状况的图像，所述学习装置用于检测在道路行驶时的自由空间。
7.一种按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的测试方法，其特征在于，包括以下步骤：
(a)在以下(1)、(2)和(3)的状态下：(1)(i)学习装置使卷积神经网络模块的编码层对至少一个训练图像应用至少一次卷积运算而生成至少一个学习用编码特征图，(ii)所述学习装置使所述卷积神经网络模块的解码层对由所述编码层输出的特定学习用编码特征图应用至少一次反卷积运算而生成至少一个学习用解码后特征图；(2)在由所述解码层输出的特定学习用解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，所述学习装置使所述卷积神经网络模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对由所述解码层输出的所述特定学习用解码后特征图应用至少一次所述加权卷积层的加权卷积运算而输出学习用分割结果；(3)所述学习装置通过利用以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失执行反向传播而按所述网格单元学习各个所述加权卷积滤波器，测试装置在获取到至少一个测试图像的情况下：(i)使所述卷积神经网络模块的所述编码层对所述测试图像应用至少一次卷积运算而生成至少一个测试用编码特征图，并且(ii)使所述卷积神经网络模块的所述解码层对由所述编码层输出的特定测试用编码特征图应用至少一次反卷积运算而生成至少一个测试用解码后特征图；以及
(b)在由所述解码层输出的特定测试用解码后特征图根据至少一个所述已设定的基准被划分为多个所述网格单元的情况下，所述测试装置使所述卷积神经网络模块的所述加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对由所述解码层输出的所述特定测试用解码后特征图应用至少一次加权卷积运算而输出测试用分割结果。
8.根据权利要求7所述的方法，其特征位于，
所述测试图像为表示道路行驶状况的图像，所述测试装置用于检测在道路行驶时的自由空间。
9.一种按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的学习装置，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被构成为运行所述指令以执行以下过程：(I)(i)在使卷积神经网络模块的编码层对至少一个输入图像应用至少一次卷积运算而生成至少一个编码特征图，(ii)使所述卷积神经网络模块的解码层对由所述编码层输出的特定编码特征图应用至少一次反卷积运算而生成至少一个解码后特征图；(II)在由所述解码层输出的特定解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，使所述卷积神经网络模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对所述特定解码后特征图应用至少一次加权卷积运算而输出分割结果；以及(III)通过利用以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失执行反向传播而按所述网格单元学习各个所述加权卷积滤波器。
10.根据权利要求9所述的学习装置，其特征在于，
所述(II)过程包括：以所述特定解码后特征图上的至少一个特征值为参照将根据至少一个特定基准分别分组的至少一个区域中的最宽的区域设定为参照区域，
按所述网格单元的各个所述加权卷积滤波器用以下数学式表示：
W_C_Filteri＝αi*B+βi，
其中，W_C_Filteri分别表示按所述网格单元的各个所述加权卷积滤波器的值，B表示与所述参照区域对应的参照滤波器值，αi及βi分别表示与按所述网格单元的各个所述加权卷积滤波器对应的各个线性变换参数，
在所述(III)过程中，所述处理器通过学习所述αi、βi及B来按所述网格单元学习各个所述加权卷积滤波器。
11.根据权利要求10所述的学习装置，其特征在于，
在所述(II)过程中，以所述特定解码后特征图上的所述特征值为参照，将根据所述特征值的范围分别分组的至少一个区域中的所述最宽的区域设定为所述参照区域。
12.根据权利要求9所述的学习装置，其特征在于，
所述输入图像包含多个训练图像，
在所述多个训练图像中的每一个具有与第1分割区域至第k分割区域对应的第1位置信息至第k位置信息的状态下，所述输入图像被选择为包含特定训练图像，在所述特定训练图像中，所述第1位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分相对偏差分别为至少一个已设定的临界值以下。
13.根据权利要求9所述的学习装置，其特征在于，
在所述(II)过程中，各个所述网格单元具有相同的形状和大小。
14.根据权利要求9所述的学习装置，其特征在于，
所述输入图像为表示道路行驶状况的图像，所述学习装置用于检测在道路行驶时的自由空间。
15.一种按网格单元分别利用多个加权卷积滤波器中的每一个来分割图像的测试装置，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被构成为运行所述指令以执行以下过程：在以下(1)、(2)和(3)的状态下：(1)(i)学习装置使卷积神经网络模块的编码层对至少一个训练图像应用至少一次卷积运算而生成至少一个学习用编码特征图，(ii)所述学习装置使所述卷积神经网络模块的解码层对由所述编码层输出的特定学习用编码特征图应用至少一次反卷积运算而生成至少一个学习用解码后特征图；(2)在由所述解码层输出的特定学习用解码后特征图根据至少一个已设定的基准被划分为多个所述网格单元的情况下，所述学习装置使所述卷积神经网络模块的加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对由所述解码层输出的所述特定学习用解码后特征图应用至少一次所述加权卷积层的加权卷积运算而输出学习用分割结果；(3)所述学习装置通过利用以所述分割结果和与所述分割结果对应的GT为参照获取到的分割损失执行反向传播而按所述网格单元学习各个所述加权卷积滤波器，(I)(i)使所述卷积神经网络模块的所述编码层对至少一个测试图像应用至少一次卷积运算而生成至少一个测试用编码特征图，(ii)使所述卷积神经网络模块的所述解码层对由所述编码层输出的特定测试用编码特征图应用至少一次反卷积运算而生成至少一个测试用解码后特征图；以及(II)在由所述解码层输出的特定测试用解码后特征图根据至少一个所述已设定的基准被划分为多个所述网格单元的情况下，使所述卷积神经网络模块的所述加权卷积层将各个所述加权卷积滤波器设定为与各个所述网格单元对应，并且对由所述解码层输出的所述特定测试用解码后特征图应用至少一次加权卷积运算而输出测试用分割结果。
16.根据权利要求15所述的测试装置，其特征在于，
所述测试图像为表示道路行驶状况的图像，所述测试装置用于检测在道路行驶时的自由空间。
CN201911292063.8A 2019-01-22 2019-12-16 按网格单元利用加权卷积滤波器的图像分割方法及装置 Active CN111462129B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/254,448 US10325371B1 (en) 2019-01-22 2019-01-22 Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same
US16/254,448 2019-01-22

Publications (2)

Publication Number Publication Date
CN111462129A true CN111462129A (zh) 2020-07-28
CN111462129B CN111462129B (zh) 2023-08-22

Family

ID=66826060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911292063.8A Active CN111462129B (zh) 2019-01-22 2019-12-16 按网格单元利用加权卷积滤波器的图像分割方法及装置

Country Status (5)

Country Link
US (1) US10325371B1 (zh)
EP (1) EP3686792A1 (zh)
JP (1) JP6810415B2 (zh)
KR (1) KR102296509B1 (zh)
CN (1) CN111462129B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755214B (zh) * 2020-12-22 2022-02-11 鴻海精密工業股份有限公司 區分物件的方法、電腦裝置及儲存介質

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US11328430B2 (en) * 2019-05-28 2022-05-10 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for segmenting images
CN110633706B (zh) * 2019-08-02 2022-03-29 杭州电子科技大学 一种基于金字塔网络的语义分割方法
CN110807463B (zh) * 2019-09-17 2022-10-11 珠海格力电器股份有限公司 图像分割方法、装置、计算机设备和存储介质
CN110726813B (zh) * 2019-10-12 2021-04-27 浙江大学 基于双层集成神经网络的电子鼻预测方法
CN111160230B (zh) * 2019-12-27 2023-06-06 清华大学苏州汽车研究院（吴江） 一种基于深度学习的道路不规则区域检测网络
CN111860155B (zh) * 2020-06-12 2022-04-29 华为技术有限公司 一种车道线的检测方法及相关设备
CN112651407B (zh) * 2020-12-31 2023-10-20 中国人民解放军战略支援部队信息工程大学 一种基于区分性反卷积的cnn可视化方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
US20120134579A1 (en) * 2009-07-31 2012-05-31 Hirokazu Kameyama Image processing device and method, data processing device and method, program, and recording medium
JP2015197702A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 情報処理装置、情報処理方法
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
CN106980871A (zh) * 2016-01-13 2017-07-25 福特全球技术公司 应用到道路场景图像的低保真分类器和高保真分类器
WO2018055377A1 (en) * 2016-09-21 2018-03-29 Oxford University Innovation Ltd. A neural network and method of using a neural network to detect objects in an environment
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US20180307980A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Specialized fixed function hardware for efficient convolution
CN108734713A (zh) * 2018-05-18 2018-11-02 大连理工大学 一种基于多特征图的交通图像语义分割方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706348B2 (en) * 2016-07-13 2020-07-07 Google Llc Superpixel methods for convolutional neural networks
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
WO2018138603A1 (en) * 2017-01-26 2018-08-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US11227108B2 (en) * 2017-09-11 2022-01-18 Nec Corporation Convolutional neural network architecture with adaptive filters
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102186A (ja) * 2002-09-12 2004-04-02 Matsushita Electric Ind Co Ltd 音響符号化装置及び音響符号化方法
US20120134579A1 (en) * 2009-07-31 2012-05-31 Hirokazu Kameyama Image processing device and method, data processing device and method, program, and recording medium
JP2015197702A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 情報処理装置、情報処理方法
CN106980871A (zh) * 2016-01-13 2017-07-25 福特全球技术公司 应用到道路场景图像的低保真分类器和高保真分类器
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
WO2018055377A1 (en) * 2016-09-21 2018-03-29 Oxford University Innovation Ltd. A neural network and method of using a neural network to detect objects in an environment
US20180307980A1 (en) * 2017-04-24 2018-10-25 Intel Corporation Specialized fixed function hardware for efficient convolution
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
CN108734713A (zh) * 2018-05-18 2018-11-02 大连理工大学 一种基于多特征图的交通图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VIJAY BADRINARAYANAN ET AL.: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755214B (zh) * 2020-12-22 2022-02-11 鴻海精密工業股份有限公司 區分物件的方法、電腦裝置及儲存介質

Also Published As

Publication number Publication date
JP2020119521A (ja) 2020-08-06
KR102296509B1 (ko) 2021-09-02
JP6810415B2 (ja) 2021-01-06
US10325371B1 (en) 2019-06-18
EP3686792A1 (en) 2020-07-29
KR20200091317A (ko) 2020-07-30
CN111462129B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111462129B (zh) 按网格单元利用加权卷积滤波器的图像分割方法及装置
KR102264394B1 (ko) 카메라로부터 획득된 이미지와, 이에 대응하는, 레이더 또는 라이더를 통해 획득된 포인트 클라우드 맵을 뉴럴 네트워크의 각각의 컨벌루션 스테이지 별로 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111476343B (zh) 利用掩蔽参数的方法和装置
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
KR102313119B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
US10325352B1 (en) Method and device for transforming CNN layers to optimize CNN parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization
CN111126359A (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN111488782A (zh) 利用拉普拉斯金字塔网络检测道路障碍物的方法和装置
CN111461325B (zh) 一种用于稀疏奖励环境问题的多目标分层强化学习算法
CN111507369B (zh) 自动行驶车辆空间学习方法及装置、测试方法及装置
CN111507459B (zh) 降低神经网络的注解费用的方法和装置
JP6856904B2 (ja) 物体のスケールに応じてモード転換が可能なｃｎｎ基盤の監視用物体検出器の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6916548B2 (ja) 自律走行自動車のレベル４を満たすために必要なｈｄマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
CN110879960A (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
KR102372687B1 (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
EP3686783A1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
CN114821651B (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质
CN116051850A (zh) 神经网络目标检测方法、装置、介质和嵌入式电子设备
US10460210B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10339424B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
CN110942513B (zh) 三维网格模型的空间填充方法及装置
CN116704461A (zh) 基于激光点云的地面检测方法、系统及计算机可读介质
CN117095168A (zh) 一种基于改进SwinTransformer的遥感图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant