CN110874563B - 通过cnn的多个图像输出的提供集成的特征图的方法及装置 - Google Patents

通过cnn的多个图像输出的提供集成的特征图的方法及装置 Download PDF

Info

Publication number
CN110874563B
CN110874563B CN201910806630.0A CN201910806630A CN110874563B CN 110874563 B CN110874563 B CN 110874563B CN 201910806630 A CN201910806630 A CN 201910806630A CN 110874563 B CN110874563 B CN 110874563B
Authority
CN
China
Prior art keywords
deformation
learning
feature map
input image
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910806630.0A
Other languages
English (en)
Other versions
CN110874563A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN110874563A publication Critical patent/CN110874563A/zh
Application granted granted Critical
Publication of CN110874563B publication Critical patent/CN110874563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于从卷积神经网络(Convolutional Neural Network)利用多个输出的组合法(ensemble)提供集成的特征图的方法及装置。更详细来讲涉及特征为包括：(a)CNN装置接收输入图像并适用对所述输入图像进行变形的多个变形函数生成多个变形的输入图像的步骤；(b)所述CNN装置对各所述变形的输入图像适用卷积运算获得对应于各所述变形的输入图像的各变形的特征图的步骤；(c)所述CNN装置对所述各变形的特征图分别适用对应于各所述变形函数的逆变换函数分别生成对应于所述各变形的特征图的逆变换特征图的步骤；以及(d)所述CNN装置集成所述逆变换特征图中的至少一部分以得到集成的特征图的步骤的方法及利用其的装置。

Description

通过CNN的多个图像输出的提供集成的特征图的方法及装置
技术领域
本发明涉及用于从卷积神经网络利用多个输出的组合法提供集成的特征图的方法及装置。更具体来讲，涉及特征为包括：(a)CNN装置接收输入图像并适用对所述输入图像进行变形的多个变形函数生成多个变形输入图像的步骤；(b)所述CNN装置对各所述变形的输入图像适用卷积运算获得对应于各所述变形的输入图像的各变形的特征图的步骤；(c)所述CNN装置对所述各变形的特征图分别适用对应于各变形函数的逆变换函数分别生成对应于所述各变形的特征图的逆变换特征图的步骤；以及(d)所述CNN装置集成所述逆变换特征图中的至少一部分以得到集成的特征图的步骤的方法及利用其的装置。
背景技术
深度学习是用于对事物或数据聚类或分类的技术。例如，计算机仅凭照片无法区分狗与猫。而人能够轻易地区分。为此研究出了所谓“机器学习(Machine Learning)”的方法。是将大量数据输入到计算机并将近似的分为同一类的技术。其在输入了与存储的狗照片近似的照片的情况下，计算机将此分类为狗照片。
关于如何对数据分类，已经出现了很多机器学习算法。典型的有“决策树”、“贝叶斯网络”、“支持向量机(SVM)”、“人工神经网络”等。其中深度学习是人工神经网络的后裔。
深度卷积神经网络(Deep Convolution Neural Networks；Deep CNNs)是深度学习领域发生的惊人的发展核心。CNNs为了解决文字识别问题而自90年代以来开始使用，而像目前广泛使用是则多亏近来的研究结果。这种深度CNN在2012年ImageNet图像分类比赛打败其他竞争者获胜。自那以后卷积神经网络在机器学习(Machine Learning)领域非常有用的工具。另外，图像分割是接收输入的图像(训练图像或测试图像)并作为输出生成标签图像的方法。随着近来深度学习(Deep learning)技术受到关注，具有执行分割时也越来越多地利用深度学习的趋势。
另外，公开有用于提高这种分割性能的多种方法。
作为这种方法之一，执行分割时可试图利用多个CNN提高分割准确度。即，将相同输入数据输入到多个CNN装置后，将多个CNN装置各自的输出合起来使用，这种情况下具有多个CNN装置的参数的初始值都是每次随机设置，为了得到一个分割结果值而需要分别学习多个CNN装置的问题。
发明内容
技术问题
本发明的目的是解决上述所有问题。
本发明的另一目的是提供一种即使只使用一个CNN装置也能够从一个输入图像得到多种信息，从而能够提高分割性能的方法。
技术方案
根据本发明的一个方面，提供一种方法，是用于从卷积神经网络(Convol utionalNeural Network)利用多个输出的组合法(ensemble)提供集成的特征图的方法，其特征在于，包括：(a)CNN装置接收输入图像并适用对所述输入图像进行变形的多个变形函数生成多个变形的输入图像的步骤；(b)所述CNN装置对各所述变形的输入图像适用卷积运算获得对应于各所述变形的输入图像的各变形的特征图的步骤；(c)所述CNN装置对所述各变形的特征图分别适用对应于各所述变形函数的逆变换函数分别生成对应于所述各变形的特征图的逆变换特征图的步骤；以及(d)所述CNN装置集成所述逆变换特征图中的至少一部分以得到集成的特征图的步骤。
根据一个实施例，提供一种方法，其特征在于，所述变形函数(Ti)是将所述输入图像(I)变形成n个变形输入图像(Ti(I))的函数，所述i是1至n的自然数，所述变形函数(Ti)是存在逆变换函数(T-1 i(Ti(I))＝I)的函数。
根据一个实施例，提供一种方法，其特征在于，所述变形函数(Ti)利用仿射变换算法(affine transform algorithm)及薄板样条插值算法(thin-plate splineinterpolation algorithm)中的至少一种变形所述输入图像(I)。
根据一个实施例，提供一种方法，其特征在于，各所述变形函数使用相同的变形算法，并且适用于其中的具体参数有差异。
根据一个实施例，提供一种方法，其特征在于，所述多个逆变换特征图按各像素具有各自的分割分值，在所述(d)步骤中，所述CNN装置参照所述逆变换特征图的各像素的相对位置，分别相加对应于各所述逆变换特征图的各像素的分割分值获得所述集成特征图。
根据一个实施例，提供一种方法，其特征在于，在所述(d)步骤中，所述CNN装置将所述集成的特征图中对应于各像素的信道值中最高的信道的标签(label)赋予相应像素得到分割输出图像。
根据一个实施例，提供一种方法，其特征在于，在所述(c)步骤中，所述CNN装置利用所述逆变换函数将作为所述变形输入图像的分割的结果的所述变形特征图的各像素移动到对应于所述输入图像的分割的结果的位置以生成所述多个逆变换特征图。
根据一个实施例，提供一种方法，其特征在于，还包括：(e)所述CNN装置(i)根据参照所述集成的特征图获得的输出值与GT值的差算出损耗，(ii)执行用于最小化所述损耗的反向传播以优化CNN装置的至少一个参数的步骤。
根据本发明的另一方面，提供一种方法，是对作为输入图像的测试图像的CNN测试方法，包括：(a)在利用CNN装置经过(i)接收作为训练图像的学习用输入图像并适用对所述学习用输入图像进行变形的多个变形函数生成多个学习用变形输入图像的过程；(ii)对各所述学习用变形输入图像适用卷积运算获得对应于各所述学习用变形输入图像的各学习用变形特征图的过程；(iii)对各所述学习用变形特征图分别适用对应于各所述变形函数的逆变换函数生成对应于各所述学习用变形特征图的各学习用逆变换特征图的过程；(iv)集成所述学习用逆变换特征图中的至少一部分得到学习用集成特征图的过程；以及(v)根据参照所述学习用集成特征图获得的学习用输出值与GT值的差算出损耗，执行用于最小化所述损耗的反向传播以优化所述CNN装置的参数的过程获得了学习的所述CNN装置的参数的状态下，包括学习的所述CNN装置的优化的所述参数的测试装置获得所述测试用输入图像的步骤；(b)所述测试装置适用对获得的所述测试用输入图像进行变形的多个变形函数生成多个测试用变形输入图像的步骤；(c)所述测试装置对各所述测试用变形输入图像适用卷积运算获得对应于各所述测试用变形输入图像的测试用变形特征图的步骤；(d)所述测试装置对各所述测试用变形特征图分别适用对应于各所述变形函数的逆变换函数生成对应于各所述测试用变形特征图的各逆变换特征图的步骤；以及(e)所述测试装置集成所述测试用逆变换特征图中的至少一部分获得测试用集成特征图的步骤。
根据一个实施例，提供一种方法，其特征在于，所述变形函数(Ti)是将所述输入图像(I)变形成n个变形输入图像(Ti(I))的函数，所述i是1至n的自然数，所述变形函数(Ti)是存在逆变换函数(T-1 i(Ti(I))＝I)的函数。
根据一个实施例，提供一种方法，其特征在于，所述变形函数使用相同的变形算法，并且适用于其中的具体参数有差异。
根据一个实施例，提供一种方法，其特征在于，所述多个学习用逆变换特征图及所述多个测试用逆变换特征图按各像素具有各自的分割分值，
在所述(iv)过程中，所述CNN装置分别参照所述多个学习用逆变换特征图的各像素的相对位置，分别相加各所述多个学习用逆变换特征图的各像素的分割分值获得所述学习用集成特征图，在所述(e)步骤中，所述测试装置分别参照所述测试用逆变换特征图的各像素的相对位置，分别相加各所述测试用逆变换特征图的各像素的分割分值获得所述测试用集成特征图。
根据本发明的又一方面，提供一种CNN装置，是用于从卷积神经网络(Convolutional Neural Network)利用多个输出的组合法(ensemble)提供集成的特征图的装置，其特征在于，包括：通信部，其接收作为训练图像的输入图像；以及处理器，其执行(1)适用对所述输入图像进行变形的多个变形函数生成多个变形的输入图像的过程；(2)对各所述变形的输入图像适用卷积运算获得对应于各所述变形的输入图像的各变形的特征图的过程；(3)对所述各变形的特征图分别适用对应于各所述变形函数的逆变换函数分别生成对应于所述各变形的特征图的各逆变换特征图的过程；以及(4)集成所述逆变换特征图中的至少一部分以得到集成的特征图的过程。
根据一个实施例，提供一种CNN装置，其特征在于，所述变形函数(Ti)是将所述输入图像(I)变形成n个变形输入图像(Ti(I))的函数，所述i是1至n的自然数，所述变形函数(Ti)是存在逆变换函数(T-1 i(Ti(I))＝I)的函数。
根据一个实施例，提供一种CNN装置，其特征在于，所述变形函数(Ti)利用仿射变换算法(affine transform algorithm)及薄板样条插值算法(thin-plate splineinterpolation algorithm)中的至少一种变形所述输入图像(I)。
根据一个实施例，提供一种CNN装置，其特征在于，所述变形函数(Ti)使用相同的变形算法，并且适用于其中的具体参数有差异。
根据一个实施例，提供一种CNN装置，其特征在于，所述多个逆变换特征图按各像素具有分割分值，在所述(4)过程中，所述处理器分别参照所述逆变换特征图的各像素的相对位置，分别相加对应于各所述逆变换特征图的各像素的分割分值获得所述集成特征图。
根据一个实施例，提供一种CNN装置，其特征在于，在所述(4)步骤中，所述处理器将所述集成的特征图中对应于各像素的信道值中最高的信道的标签(label)赋予相应像素得到分割输出图像。
根据一个实施例，提供一种CNN装置，其特征在于，所述(3)过程中，所述处理器利用所述逆变换函数将作为所述变形输入图像的分割的结果的所述变形特征图的各像素移动到对应于所述输入图像的分割的结果的位置以生成所述多个逆变换特征图。
根据一个实施例，提供一种CNN装置，其特征在于，所述处理器还执行(5)根据参照所述集成的特征图获得的输出值与GT值的差算出损耗，执行用于最小化所述损耗的反向传播以优化CNN装置的至少一个参数的过程。
根据本发明的又一方面，提供一种测试装置，是对作为输入图像的测试图像CNN测试装置，包括：通信部，其在利用CNN装置经过(i)接收作为训练图像的学习用输入图像并适用对所述学习用输入图像进行变形的多个变形函数生成多个学习用变形输入图像的过程；(ii)对各所述学习用变形输入图像适用卷积运算获得对应于各所述学习用变形输入图像的各学习用变形特征图的过程；(iii)对各所述学习用变形特征图分别适用对应于各所述变形函数的逆变换函数生成对应于各所述学习用变形特征图的各学习用逆变换特征图的过程；(iv)集成所述学习用逆变换特征图中的至少一部分得到学习用集成特征图的过程；以及(v)根据参照所述学习用集成特征图获得的学习用输出值与GT值的差算出损耗，执行用于最小化所述损耗的反向传播以优化所述CNN装置的参数的过程获得了学习的所述CNN装置的参数的状态下，使包括学习的所述CNN装置的优化的所述参数的测试装置接收所述测试用输入图像；以及处理器，其执行(1)适用对获得的所述测试用输入图像进行变形的多个变形函数生成多个测试用变形输入图像的过程；(2)对各所述测试用变形输入图像适用卷积运算获得对应于各所述测试用变形输入图像的测试用变形特征图的过程；(3)对各所述测试用变形特征图分别适用对应于各所述变形函数的逆变换函数生成对应于各所述测试用变形特征图的各测试用逆变换特征图的过程；以及(4)集成所述测试用逆变换特征图中的至少一部分获得测试用集成特征图的过程。
根据一个实施例，提供一种测试装置，其特征在于，所述变形函数(Ti)是将所述输入图像(I)变形成n个变形输入图像(Ti(I))的函数，所述i是1至n的自然数，所述变形函数(Ti)是存在逆变换函数(T-1 i(Ti(I))＝I)的函数。
根据一个实施例，提供一种测试装置，其特征在于，所述变形函数使用相同的变形算法，并且适用于其中的具体参数有差异。
根据一个实施例，提供一种测试装置，其特征在于，所述多个学习用逆变换特征图及所述多个测试用逆变换特征图按各像素具有分割分值，在所述(iv)过程中，所述CNN装置分别参照所述多个学习用逆变换特征图的各像素的相对位置，分别相加各所述多个学习用逆变换特征图的各像素的分割分值获得所述学习用集成特征图，在所述(4)过程中，所述测试装置分别参照所述测试用逆变换特征图的各像素的相对位置，分别相加各所述测试用中逆变换特征图的各像素的分割分值获得所述测试用集成特征图。
技术效果
根据本发明，具有只使用CNN装置、学习装置或测试装置中的一个也能够从一个输入图像得到多个其他特征图的效果。
并且，根据本发明，从一个输入图像得到大量的多种结果且将其集成，从而具有能够实现分割性能优良的CNN装置、学习装置或测试装置的效果。
附图说明
为了用于说明本发明的实施例而所附的以下附图只是本发明的实施例中的部分而已，本发明所属技术领域的一般技术人员(以下“普通技术人员”)在未经过创造性劳动的情况下可基于这些附图得到其他附图。
图1是示出本发明的使用通过输入图像的变形获得的多个图像组进行学习的方法的流程图；
图2是示出本发明的使用通过输入图像的变形获得的多个图像组进行分割的过程的示意图；
图3至图6是按步骤显示图2所示的分割过程的示意图；
图7是示出本发明的CNN的整体运算过程的示意图。
具体实施方式
参见示出能够实施本发明的特定实施例的附图对本发明进行如下详细说明。通过详细说明这些实施例使得本领域普通技术人员足以实施本发明。本发明的多种实施例虽各不相同，但无需相互排斥。例如，在此记载的特定形状、结构及特性在一个实施例中不超出本发明的技术思想及范围的前提下可以通过其他实施例实现。另外，应理解在不超出本发明的技术思想及范围的前提下，公开的各实施例内的个别构成要素的位置或配置是可以变更实施的。因此，以下具体说明并非以限定为目的，确切来讲，本发明的范围为技术方案所记载的范围及与之等同的所有范围。在附图中类似的附图标记在各方面表示相同或类似的功能。
本发明所述的各种图像可包括铺装或非铺装道路相关图像，该情况下可想到道路环境中可能出现的客体(例如，汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此，本发明所述的各种图像还可以是与道路无关的图像(例如，非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内相关的图像)，该情况下，可想到非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内环境中可能出现的客体(例如汽车、人、动物、植物、物品、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此。
并且，在本发明的具体说明及权利要求中，“包括”这一术语及其变形并非将其他技术特征、附加物、构成要素或步骤除外。显而易见地，普通技术人员能够从本说明获知本发明的其他目的、特征及特性中的一部分，并且一部分可从本发明的实施获知。以下例示及附图作为实例提供，目的并非限定本发明。
以下，为了使得本发明所属技术领域的普通技术人员能够轻易地实施本发明，参见关于本发明的优选实施例的附图进行具体说明。
图1是示出本发明的使用通过输入图像的变形获得的多个图像组进行学习的方法的流程图，图2是示出本发明的使用通过输入图像的变形获得的多个图像组进行分割的过程的示意图，图3至图6是按步骤显示图2所示的分割过程的示意图，图7是示出本发明的CNN的整体运算过程的示意图。
参见图1，本发明的CNN学习方法包括(i)接收输入图像并适用对输入图像进行变形的多个变形函数生成多个变形输入图像的步骤(S01)、(ii)对各变形的输入图像适用卷积运算获得对应于各变形的输入图像的变形的特征图的步骤(S02)、(iii)对各变形的特征图分别适用对应于各变形函数的逆变换函数分别生成对应于各变形的特征图的逆变换特征图的步骤(S03)、(iv)集成逆变换特征图中的至少一部分以得到集成的特征图的步骤(S04)、(v)参照集成的特征图获得分割的结果的步骤(S05)及(vi)根据输出值即分割结果值及GT值之间的差算出损耗，学习CNN的步骤(S06)。其中，S06步骤不是必不可少的步骤，执行S01步骤到S05步骤得到分割的结果的过程也是本发明的重要特征。
这种过程可在CNN装置执行。该CNN装置的通信部接收输入图像，CNN装置的处理器执行(1)适用对所述输入图像进行变形的多个变形函数生成多个变形输入图像的过程；(2)对各所述变形的输入图像适用卷积运算分别获得对应于各所述变形的输入图像的各变形的特征图的过程；(3)对所述各变形的特征图分别适用于对应于各所述变形函数的逆变换函数分别生成对应于所述各变形的特征图的逆变换特征图的过程；以及(4)集成所述逆变换特征图中的至少一部分获得集成的特征图的过程。
显然，这种学习CNN的学习装置(未示出)的处理器的特征在于在执行(1)接收作为训练图像的输入图像并适用对输入图像进行变形的多个变形函数生成多个变形输入图像的过程；(2)对各所述变形的输入图像适用卷积运算获得对应于各所述变形的输入图像的各变形的特征图的过程；(3)对所述各变形的特征图分别适用对应于各所述变形函数的逆变换函数生成对应于所述各变形的特征图的各逆变换特征图的过程；以及(4)集成所述逆变换特征图中的至少一部分生成集成的特征图以获得分割结果(输出值)的过程后，执行根据分割结果(输出值)与GT值之间的差算出损耗并执行用于最小化损耗的反向传播以优化CNN装置的至少一个参数的过程。
另外，本发明的CNN测试方法中使用通过所述学习过程具有优化的至少一个参数的CNN装置，可执行以上所述的S01步骤到S05步骤。
具体来讲，根据本发明的CNN测试方法，在获取到通过执行用于减少损耗的反向传播，经过优化CNN装置的至少一个参数的过程学习的所述CNN装置的参数的状态下，包括学习的CNN装置的优化的参数的测试装置获得到测试用输入图像的情况下，(i)适用对获得的测试用输入图像进行变形的多个变形函数生成多个测试用变形输入图像，(ii)对各测试用变形输入图像适用卷积运算获得对应于各测试用变形输入图像的测试用变形特征图后，(iii)对各测试用变形特征图分别适用对应于各变形函数的逆变换函数分别生成对应于各测试用变形特征图的测试用逆变换特征图。并且，集成测试用逆变换特征图中的至少一部分获得测试用集成特征图，获得分割结果。这种装置能够通过测试装置执行，测试装置的通信部起到接收测试用输入图像的功能，测试装置的处理器执行对应于以上所述的各步骤的过程。
以下参见图2至图7对本发明的利用CNN的分割过程及利用其的学习过程及测试过程进行更具体的说明。显然，本发明并不仅仅用于分割，显而易见地，所述集成特征图可适用于多种情况。
如图2及图3所示，在S01步骤中，CNN装置获得了一个输入图像(或测试装置获得了测试图像)的情况下，适用对该输入图像I进行变形的多个变形函数Ti生成多个变形输入图像Ti(I)。例如，参见图3可知变形函数(Ti)通过四种方法对输入图像I进行变形生成四个变形输入图像Ti(I)。一般来讲，所述变形函数Ti是将输入图像I变形成n个变形输入图像Ti(I)的函数，其中i是1至n的自然数，所述变形函数Ti具有与之对应的逆变换函数T-1i。即，T-1 i(Ti(I))＝I。
在此，变形函数Ti可以是尺度函数(scaling function)或转换函数(transitionfunction)，可使用仿射变换算法(affine transform algorithm)及薄板样条插值算法(thin-plate spline interpolation algorithm)等多种算法。并且，各变形函数Ti可使用多种算法，但也可以适用一个算法且适用于其中的具体参数为具有差异的函数。
如上，比较通过变形函数Ti生成的变形输入图像Ti(I)可知要分割的各客体的位置或大小略有不同。
并且如图4所示，在S02步骤中，CNN装置对各变形的输入图像Ti(I)适用卷积运算获得对应于各变形的输入图像的变形的特征图Si＝CNN(Ti(I))。
图7例示通过CNN运算生成特征图的过程。
参见图7具体说明通过CNN运算生成变形的特征图Si的过程S02。将多个变形输入图像Ti(I)输入到CNN装置，包含于卷积层的多个卷积滤波器进行多次卷积运算分别获得卷积K层的输出。之后包含于反卷积层的多个反卷积滤波器再对生成的各卷积K层的输出进行多次反卷积运算以分别获得反卷积1层的输出。即，获得各变形的特征图Si。并且通过附加运算从各变形的特征图Si获得分割结果。其中，附加运算为本领域技术人员公知的技术，因此省略对此进行具体说明。另外，图7为了便利而示出了一个变形的输入图像，但可适用于多个变形的输入图像中的每一个。
之后，在本发明中分割过程在S03步骤及S04步骤之后进行。其中，将通过至少一个卷积运算对图像编码获得特征图，对特征图解码重新获得分割图像的结构称为编码-解码网或U-Net。在编码过程中每当执行各卷积运算时输入图像的大小例如减小为1/2，这是为了通过减小图像尺寸减少运算量。并且在编码过程中通过卷积滤波器输入的图像的信道数增加，但这是为了利用减少的运算量的好处的同时通过增加的信道得到复杂的图案。假设编码过程中每当经过各卷积滤波器时图像尺寸减小到1/2且信道数增加到二倍的情况下，对这样缩减的特征图来讲很多高频区域已被去除，具有以低频区域为主的信息，这种低频区域表示图像的有意义(meaningful)的部分，即，天空、道路、建筑物、汽车等有意义的部分。用通过反卷积运算即解码运算输出的特征图获得关于这种有意义的部分的分割结果。
之后如图5所示，在S03步骤中，CNN装置分别适用于对应于各变形的特征图Si的逆变换函数T-1 i分别生成对应于各变形的特征图的逆变换特征图T-1 i(Si)。在此，各逆变换特征图T-1 i(Si)按各像素具有各自的分割分值。该步骤是利用逆变换函数将作为多个变形输入图像Ti(I)的分割结果的变形的特征图Si的各像素在输入图像I的分割结果上移动各对应的位置以生成多个逆变换特征图T-1 i(Si)的过程。即，输入图像中某个客体的像素位置原本为(x，y)，对该位置适用变形函数Ti而变更成了(x'，y')的情况下，变形的特征图(Si)中的所述像素的对应位置也存在于对应于(x'，y')的位置。是CNN装置对该位置适用逆变换函数T-1 i将该像素的位置重新移动到对应于(x，y)的位置。
在S04步骤中，如图6所示，集成逆变换特征图T-1 i(Si)中的至少一部分获得集成的特征图。例如，该步骤执行相加各逆变换特征图T-1 i(Si)的各像素的各分值的运算，可用如下数学式表示。
【数学式1】
并且，在该步骤，可按各逆变换特征图T-1 i(Si)的各像素求出各分值的平均值，也可以通过求出各像素的各分值的中央值得到，也可以求出各像素的各分值的最大值得到。其中，中央值表示n个中第(n/2)个值具有的值。
通过该过程，CNN装置参照逆变换特征图的各像素的相对位置，分别相加对应于各逆变换特征图的各像素的分割分值获得所述集成特征图。
其中，可以将集成的特征图中对应于各像素的信道值中最高的信道值的标签(label)赋予相应像素得到分割标签。即，在S04步骤，集成特征图以按各图像获得分割分值图，该分割评分图由对应于欲得到的类的信道(例如类有N个的情况下，相加分别对应于一个类的N个信道与对应于背景(background)的信道1个的N+1个信道)构成，按各像素将对应于具有N+1个信道值中最高值的信道的标签赋予相应像素生成分割输出图像。并且，还可以执行求出分割输出图像所需的多个线性或非线性运算。
并且，在S06步骤中，CNN装置根据参照集成特征图获得的输出值(即，分割结果)与GT值的差算出损耗，执行用于最小化所述损耗的反向传播以优化CNN装置的至少一个参数。以下参见图7对此进行说明，CNN装置在学习的过程中获得输入图像作为训练图像，计算算出的分割图像与GT图像的差即损耗。并且通过向求出分割图像的过程的反方向逆上的反向传播过程进行优化所述CNN装置的参数的学习。
根据本发明，仅学习一个CNN装置，将一个输入图像变成多个变形的输入图像后相加从该多个变形的输入图像得到的结果即可从一个输入图像获得多个特征图的同时得到多种结果。从而能够提高包括分割在内的CNN装置的性能。即，可能输入了a图像的情况下分割结果好，输入了从a略微变形的图像即a'图像的情况下分割结果不好等，输入图像略有不同的情况下分割结果可能会不同，考虑这种略微有不同的变形图像获得集成的特征图的情况下，能够得到更准确的分割结果。
这种过程还可以同样适用于CNN学习过程后得到的实际测试过程。即，如上所述，测试装置(i)适用对测试用输入图像进行变形的多个变形函数生成多个测试用变形输入图像，(ii)对各测试用变形输入图像适用卷积运算分别得到对应于各测试用变形输入图像的测试用变形特征图后，(iii)对各测试用变形特征图分别适用对应于各变形函数的逆变换函数分别生成对应于各测试用变形特征图的测试用逆变换特征图，(iv)集成测试用逆变换特征图中的至少一部分获得测试用集成特征图。其中，获得集成特征图后获得分割结果的情况下可得到更准确的分割结果。
本发明所属技术领域的普通技术人员应理解：(i)以上说明的图像，例如训练图像、测试图像之类的图像数据的收发可通过CNN装置、学习装置及测试装置的通信部实现，(ii)特征图与用于进行运算的数据可保存/存储在CNN装置、学习装置及测试装置的处理器(及/或存储器)，(iii)卷积运算、反卷积运算、损耗值运算过程主要可通过CNN装置、学习装置及测试装置的处理器执行，但本发明不限于此。
以上说明的本发明的实施例可实现为能够通过多种计算机构成要素执行的程序命令的形态存储在计算机可读存储介质中。所述计算机可读存储介质可包括程序指令、数据文件、数据结构等或其组合。存储在所述计算机可读存储介质中的程序指令可以是为本发明而专门设计和构成的，但也可以是计算机软件领域的技术人员公知使用的。计算机可读存储介质例如可以是硬盘、软盘及磁带之类的磁介质、CD-ROM、DVD之类的光存储介质、软光盘(floptical disk)之类的磁-光介质(magneto-optical media)及ROM、RAM、闪速存储器等为了存储和执行程序命令而专门构成的硬件装置。并且，程序命令不仅包括通过编译器得到的机器代码，还包括能够通过解释器由计算机运行的高级语言代码。所述硬件装置可构成为为了执行本发明的处理而作为一个以上的软件模块工作，反之相同。
以上通过本发明的具体构成要素等特定事项与限定的实施例及附图进行了说明，但是其目的只是用于帮助更全面的理解，本发明并不限定于上述实施例，本发明所属领域的普通技术人员可根据以上记载想到多种修改及变更。因此，本发明的思想不得限定在说明的实施例，而是包括技术方案范围及与该技术方案范围等同或有等价变换的所有方案。
因此本发明的思想不应局限于以上说明的实施例，应理解所述权利要求范围及与该权利要求范围等同或等价变形的所有一切都属于本发明思想的范畴。

Claims (18)

1.一种方法，是用于从卷积神经网络利用多个输出的组合法提供集成的特征图的方法，其特征在于，包括：
a：CNN装置接收输入图像并适用对所述输入图像进行变形的多个变形函数生成多个变形的输入图像的步骤；
b：所述CNN装置对各所述变形的输入图像适用卷积运算获得对应于各所述变形的输入图像的各变形的特征图的步骤；
c：所述CNN装置对所述各变形的特征图分别适用对应于各所述变形函数的逆变换函数分别生成对应于所述各变形的特征图的逆变换特征图的步骤；以及
d：所述CNN装置集成所述逆变换特征图中的至少一部分以得到集成的特征图的步骤；
其中所述多个变形的输入图像中的相同对象的位置彼此不同；
其中，在步骤a中，所述变形函数是转换函数，以及
其中，在步骤c中，所述逆变换函数将所述变形的特征图的各像素在所述输入图像的分割结果上移动至各自对应的位置，使得在各所述逆变换特征图中的相同对象的位置彼此相同；
所述多个逆变换特征图按各像素具有各自的分割分值，
在所述d步骤中，
所述CNN装置参照所述逆变换特征图的各像素的相对位置，分别相加对应于各所述逆变换特征图的各像素的分割分值获得所述集成特征图；
所述CNN装置将所述集成的特征图中对应于各像素的信道值中最高的信道的标签赋予相应像素得到分割标签图像。
2.根据权利要求1所述的方法，其特征在于：
所述变形函数(Ti)是将所述输入图像(I)变形成n个变形输入图像(Ti(I))的函数，
所述i是1至n的自然数，
所述变形函数(Ti)是存在逆变换函数(T-1 i(Ti(I))＝I)的函数。
3.根据权利要求2所述的方法，其特征在于：
所述变形函数(Ti)利用仿射变换算法及薄板样条插值算法中的至少一种变形所述输入图像(I)。
4.根据权利要求2所述的方法，其特征在于：
各所述变形函数使用相同的变形算法，并且适用于其中的具体参数有差异。
5.根据权利要求1所述的方法，其特征在于：
在所述c步骤中，
所述CNN装置利用所述逆变换函数将作为所述变形输入图像的分割的结果的所述变形特征图的各像素移动到所述输入图像的分割的结果上的对应的位置以生成所述多个逆变换特征图。
6.根据权利要求1所述的方法，其特征在于，还包括：
e：所述CNN装置i.根据参照所述集成的特征图获得的输出值与GT值的差算出损耗，ii.执行用于最小化所述损耗的反向传播以优化CNN装置的至少一个参数的步骤。
7.一种方法，是对作为输入图像的测试图像的CNN测试方法，其特征在于，包括：
a：在利用CNN装置经过i.接收作为训练图像的学习用输入图像并适用对所述学习用输入图像进行变形的多个变形函数生成多个学习用变形输入图像的过程；ii.对各所述学习用变形输入图像适用卷积运算获得对应于各所述学习用变形输入图像的各学习用变形特征图的过程；iii.对各所述学习用变形特征图分别适用对应于各所述变形函数的逆变换函数生成对应于各所述学习用变形特征图的各学习用逆变换特征图的过程；iv.集成所述学习用逆变换特征图中的至少一部分得到学习用集成特征图的过程；以及v.根据参照所述学习用集成特征图获得的学习用输出值与GT值的差算出损耗，执行用于最小化所述损耗的反向传播以优化所述CNN装置的参数的过程获得了学习的所述CNN装置的参数的状态下，包括学习的所述CNN装置的优化的所述参数的测试装置获得测试用输入图像的步骤；
b：所述测试装置适用对获得的所述测试用输入图像进行变形的多个变形函数生成多个测试用变形输入图像的步骤；
c：所述测试装置对各所述测试用变形输入图像适用卷积运算获得对应于各所述测试用变形输入图像的测试用变形特征图的步骤；
d：所述测试装置对各所述测试用变形特征图分别适用对应于各所述变形函数的逆变换函数生成对应于各所述测试用变形特征图的各测试用逆变换特征图的步骤；以及
e：所述测试装置集成所述测试用逆变换特征图中的至少一部分获得测试用集成特征图的步骤；
其中所述多个变形的输入图像中的相同对象的位置彼此不同；
其中，所述变换函数是转换函数，
其中，所述逆变换函数将学习用变形特征图的各像素在学习用输入图像的分割结果上移动至各自对应的位置，使得在各所述逆变换特征图中的相同对象的位置彼此相同；以及
其中，所述逆变换函数将测试用变形特征图的各像素在测试用输入图像的分割结果上移动至各自对应的位置，使得在各所述逆变换特征图中的相同对象的位置彼此相同；
所述多个学习用逆变换特征图及所述多个测试用逆变换特征图按各像素具有各自的分割分值，
在所述iv过程中，
所述CNN装置分别参照所述多个学习用逆变换特征图的各像素的相对位置，分别相加各所述多个学习用逆变换特征图的各像素的分割分值获得所述学习用集成特征图，
在所述e步骤中，
所述测试装置分别参照所述测试用逆变换特征图的各像素的相对位置，分别相加各所述测试用逆变换特征图的各像素的分割分值获得所述测试用集成特征图。
8.根据权利要求7所述的方法，其特征在于：
所述变形函数(Ti)是将所述输入图像(I)变形成n个变形输入图像(Ti(I))的函数，所述i是1至n的自然数，所述变形函数(Ti)是存在逆变换函数(T-1 i(Ti(I))＝I)的函数。
9.根据权利要求8所述的方法，其特征在于：
所述变形函数使用相同的变形算法，并且适用于其中的具体参数有差异。
10.一种CNN装置，是用于从卷积神经网络利用多个输出的组合法提供集成的特征图的装置，其特征在于，包括：
通信部，其接收作为训练图像的输入图像；以及
处理器，其执行1.适用对所述输入图像进行变形的多个变形函数生成多个变形的输入图像的过程；2.对各所述变形的输入图像适用卷积运算获得对应于各所述变形的输入图像的各变形的特征图的过程；3.对所述各变形的特征图分别适用对应于各所述变形函数的逆变换函数分别生成对应于所述各变形的特征图的各逆变换特征图的过程；以及4.集成所述逆变换特征图中的至少一部分以得到集成的特征图的过程；
其中所述多个变形的输入图像中的相同对象的位置彼此不同；
其中，在1中，所述变形函数是转换函数，以及
其中，在3中，所述逆变换函数将所述变形的特征图的各像素在所述输入图像的分割结果上移动至各自对应的位置，使得在各所述逆变换特征图中的相同对象的位置彼此相同；
所述多个逆变换特征图按各像素具有分割分值，
在所述4过程中，
所述处理器分别参照所述逆变换特征图的各像素的相对位置，分别相加对应于各所述逆变换特征图的各像素的分割分值获得所述集成特征图；
在所述4过程中，
所述处理器将所述集成的特征图中对应于各像素的信道值中最高的信道值的标签赋予相应像素得到分割标签图像。
11.根据权利要求10所述的CNN装置，其特征在于：
所述变形函数(Ti)是将所述输入图像(I)变形成n个变形输入图像(Ti(I))的函数，所述i是1至n的自然数，所述变形函数(Ti)是存在逆变换函数(T-1 i(Ti(I))＝I)的函数。
12.根据权利要求11所述的CNN装置，其特征在于：
所述变形函数(Ti)利用仿射变换算法及薄板样条插值算法中的至少一种变形所述输入图像(I)。
13.根据权利要求11所述的CNN装置，其特征在于：
所述变形函数(Ti)使用相同的变形算法，并且适用于其中的具体参数有差异。
14.根据权利要求10所述的CNN装置，其特征在于：
所述3过程中，
所述处理器利用所述逆变换函数将作为所述变形输入图像的分割的结果的所述变形特征图的各像素移动到所述输入图像的分割的结果上的对应的位置以生成所述多个逆变换特征图。
15.根据权利要求10所述的装置，其特征在于：
所述处理器还执行5.根据参照所述集成的特征图获得的输出值与GT值的差算出损耗，执行用于最小化所述损耗的反向传播以优化CNN装置的至少一个参数的过程。
16.一种测试装置，是对作为输入图像的测试图像CNN测试装置，其特征在于，包括：
通信部，其在利用CNN装置经过i.接收作为训练图像的学习用输入图像并适用对所述学习用输入图像进行变形的多个变形函数生成多个学习用变形输入图像的过程；ii.对各所述学习用变形输入图像适用卷积运算获得对应于各所述学习用变形输入图像的各学习用变形特征图的过程；iii.对各所述学习用变形特征图分别适用对应于各所述变形函数的逆变换函数生成对应于各所述学习用变形特征图的各学习用逆变换特征图的过程；iv.集成所述学习用逆变换特征图中的至少一部分得到学习用集成特征图的过程；以及v.根据参照所述学习用集成特征图获得的学习用输出值与GT值的差算出损耗，执行用于最小化所述损耗的反向传播以优化所述CNN装置的参数的过程获得了学习的所述CNN装置的参数的状态下，使包括学习的所述CNN装置的优化的所述参数的测试装置接收测试用输入图像；以及
处理器，其执行1.适用对获得的所述测试用输入图像进行变形的所述多个变形函数生成多个测试用变形输入图像的过程；2.对各所述测试用变形输入图像适用卷积运算获得对应于各所述测试用变形输入图像的测试用变形特征图的过程；3.对各所述测试用变形特征图分别适用对应于各所述变形函数的逆变换函数生成对应于各所述测试用变形特征图的各测试用逆变换特征图的过程；以及4.集成所述测试用逆变换特征图中的至少一部分获得测试用集成特征图的过程；
其中所述多个变形的输入图像中的相同对象的位置彼此不同；
其中，所述变换函数是转换函数，所述逆变换函数将学习用变形特征图的各像素在学习用输入图像的分割结果上移动至各自对应的位置，使得在各所述逆变换特征图中的相同对象的位置彼此相同；
所述逆变换函数将测试用变形特征图的各像素在测试用输入图像的分割结果上移动至各自对应的位置，使得在各所述逆变换特征图中的相同对象的位置彼此相同；
所述多个学习用逆变换特征图及所述多个测试用逆变换特征图按各像素具有分割分值，
在所述iv过程中，
所述CNN装置分别参照所述多个学习用逆变换特征图的各像素的相对位置，分别相加各所述多个学习用逆变换特征图的各像素的分割分值获得所述学习用集成特征图，
在所述4过程中，
所述测试装置分别参照所述测试用逆变换特征图的各像素的相对位置，分别相加各所述测试用中逆变换特征图的各像素的分割分值获得所述测试用集成特征图。
17.根据权利要求16所述的测试装置，其特征在于：
所述变形函数(Ti)是将所述输入图像(I)变形成n个变形输入图像(Ti(I))的函数，所述i是1至n的自然数，所述变形函数(Ti)是存在逆变换函数(T-1 i(Ti(I))＝I)的函数。
18.根据权利要求17所述的测试装置，其特征在于：
所述变形函数使用相同的变形算法，并且适用于其中的具体参数有差异。
CN201910806630.0A 2018-09-04 2019-08-29 通过cnn的多个图像输出的提供集成的特征图的方法及装置 Active CN110874563B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/121,031 2018-09-04
US16/121,031 US10311337B1 (en) 2018-09-04 2018-09-04 Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network

Publications (2)

Publication Number Publication Date
CN110874563A CN110874563A (zh) 2020-03-10
CN110874563B true CN110874563B (zh) 2023-10-17

Family

ID=66673551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910806630.0A Active CN110874563B (zh) 2018-09-04 2019-08-29 通过cnn的多个图像输出的提供集成的特征图的方法及装置

Country Status (5)

Country Link
US (1) US10311337B1 (zh)
EP (1) EP3620987A1 (zh)
JP (1) JP6863619B2 (zh)
KR (1) KR102313133B1 (zh)
CN (1) CN110874563B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3981012A4 (en) * 2019-07-10 2023-07-19 Jiang, Ruowei SYSTEMS AND METHODS FOR PROCESSING IMAGES FOR SKIN ANALYSIS AND FOR VISUALIZING SKIN ANALYSIS
CN110324664B (zh) * 2019-07-11 2021-06-04 南开大学 一种基于神经网络的视频补帧方法及其模型的训练方法
US11631163B2 (en) 2020-02-11 2023-04-18 Samsung Electronics Co., Ltd. Mobile data augmentation engine for personalized on-device deep learning system
US11501107B2 (en) * 2020-05-07 2022-11-15 Adobe Inc. Key-value memory network for predicting time-series metrics of target entities
US11823353B2 (en) 2020-07-28 2023-11-21 Samsung Electronics Co., Ltd. System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object
US11449968B2 (en) 2020-12-31 2022-09-20 Samsung Electronics Co., Ltd. System and method for synthetic depth-of-field effect rendering for videos
US20220383037A1 (en) * 2021-05-27 2022-12-01 Adobe Inc. Extracting attributes from arbitrary digital images utilizing a multi-attribute contrastive classification neural network
KR20220163635A (ko) * 2021-06-03 2022-12-12 삼성전자주식회사 뉴럴 네트워크의 양자화 방법 및 이를 수행하는 장치
JP7561379B2 (ja) 2021-06-08 2024-10-04 日本電信電話株式会社 学習装置、学習方法及びプログラム
CN113393468A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 图像处理方法、模型训练方法、装置和电子设备
US20230077353A1 (en) * 2021-08-31 2023-03-16 University Of South Florida Systems and Methods for Classifying Mosquitoes Based on Extracted Masks of Anatomical Components from Images
WO2024057543A1 (ja) * 2022-09-16 2024-03-21 日本電信電話株式会社 画像データ生成装置、画像データ生成方法、および、画像データ生成プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065498A (ko) * 2016-12-08 2018-06-18 한국항공대학교산학협력단 딥 신경망 학습 방법 및 그를 이용한 다음 예측 영상 생성 방법
CN108416318A (zh) * 2018-03-22 2018-08-17 电子科技大学 基于数据增强的合成孔径雷达图像目标深度模型识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102130162B1 (ko) * 2015-03-20 2020-07-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 인공 신경망들에 대한 관련성 스코어 할당
JP2017004350A (ja) * 2015-06-12 2017-01-05 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
US10204299B2 (en) * 2015-11-04 2019-02-12 Nec Corporation Unsupervised matching in fine-grained datasets for single-view object reconstruction
CN108475415B (zh) * 2015-12-21 2022-05-27 商汤集团有限公司 用于图像处理的方法和系统
US10303977B2 (en) * 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN106339753A (zh) * 2016-08-17 2017-01-18 中国科学技术大学 一种有效提升卷积神经网络稳健性的方法
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
CN108345827B (zh) * 2017-01-24 2021-11-30 富士通株式会社 识别文档方向的方法、系统和神经网络
US10147019B2 (en) * 2017-03-20 2018-12-04 Sap Se Small object detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065498A (ko) * 2016-12-08 2018-06-18 한국항공대학교산학협력단 딥 신경망 학습 방법 및 그를 이용한 다음 예측 영상 생성 방법
CN108416318A (zh) * 2018-03-22 2018-08-17 电子科技大学 基于数据增强的合成孔径雷达图像目标深度模型识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bohao Huang et al..Dense labeling of large remote sensing imagery with convolutional neural networks: a simple and faster alternative to stitching output label maps.arXiv:1805.12219v1.2018,1-5. *
Liang-Chieh Chen et al..Attention to Scale: Scale-aware Semantic Image Segmentation.2016 IEEE Conference on Computer Vision and Pattern Recognition.2016,1-10. *

Also Published As

Publication number Publication date
EP3620987A1 (en) 2020-03-11
CN110874563A (zh) 2020-03-10
JP2020038664A (ja) 2020-03-12
JP6863619B2 (ja) 2021-04-21
KR102313133B1 (ko) 2021-10-18
KR20200027426A (ko) 2020-03-12
US10311337B1 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
CN110874563B (zh) 通过cnn的多个图像输出的提供集成的特征图的方法及装置
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US10692002B1 (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
US10740897B2 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
US10353271B2 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN107704866B (zh) 基于新型神经网络的多任务场景语义理解模型及其应用
JP6793411B2 (ja) 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
CN111507927A (zh) 在神经网络中统合图像及点云图的方法及装置
EP3686795B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
CN111476343B (zh) 利用掩蔽参数的方法和装置
CN110879960B (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
CN111507983A (zh) 利用周边汽车的图像自动标注基础汽车的图像的方法及装置
EP3690744B1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
CN111476247B (zh) 利用了1xK或Kx1卷积运算的CNN方法及装置
CN111488901B (zh) 在cnn中从多个模块内的输入图像提取特征的方法及装置
US10402695B1 (en) Learning method and learning device for convolutional neural network using 1×H convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
CN115457498A (zh) 一种基于双注意力和密集连接的城市道路语义分割方法
CN111476341A (zh) 转换cnn的卷积层的方法及装置
EP3686790A1 (en) Learning method and learning device for convolutional neural network using 1×1 convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN116977712B (zh) 基于知识蒸馏的道路场景分割方法、系统、设备及介质
CN114821651A (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
CN118470679B (zh) 一种基于轻量级车道线分割识别方法及系统
CN118279587A (zh) 一种基于RemoteCLIP图像编码器的多尺度特征融合遥感图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant