CN111488782A - 利用拉普拉斯金字塔网络检测道路障碍物的方法和装置 - Google Patents

利用拉普拉斯金字塔网络检测道路障碍物的方法和装置 Download PDF

Info

Publication number
CN111488782A
CN111488782A CN201910991241.XA CN201910991241A CN111488782A CN 111488782 A CN111488782 A CN 111488782A CN 201910991241 A CN201910991241 A CN 201910991241A CN 111488782 A CN111488782 A CN 111488782A
Authority
CN
China
Prior art keywords
layers
test
feature maps
mth
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910991241.XA
Other languages
English (en)
Other versions
CN111488782B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
呂东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111488782A publication Critical patent/CN111488782A/zh
Application granted granted Critical
Publication of CN111488782B publication Critical patent/CN111488782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明是一种利用拉普拉斯金字塔网络检测道路障碍物的方法和装置。本发明提供一种在用于满足四级和五级无人驾驶所需的道路障碍物及交通标志等的边缘的检测中，利用学习装置提高分割性能的学习方法。将图像内的文本部分作为边缘部分加以强调，不仅可以准确检测地标及道路标志，还可以准确检测交通标志。所述学习方法包括：步骤(a)所述学习装置使k个卷积层包含h个屏蔽层所对应的h个编码特征图，生成k个编码特征图；步骤(b)使k个反卷积层(i)利用自所述h个屏蔽层所对应的h个解码特征图及h个带通特征图，(ii)并利用分别输入到k‑h个反卷积层的特征图；步骤(c)调节所述反卷积层及所述卷积层的参数，生成k个解码特征图。

Description

利用拉普拉斯金字塔网络检测道路障碍物的方法和装置
技术领域
本发明涉及在用于满足四级和五级无人驾驶汽车所需的道路障碍物及交通标志的边缘的检测中，为了提高分割性能的学习方法及学习装置和利用其的测试方法及测试装置。
背景技术
深度学习是用于将事物或数据聚类或分类的技术。例如，计算机无法单凭照片区分狗和猫。但人可以很容易地区分。为此研发了称之为“机器学习(Machine Learning)”的方法。这是一种将很多数据输入到计算机并将类似数据进行分类的技术。如果输入与储存的狗照片相似的照片，则计算机就会将其分类为狗照片。
有关如何分类数据，已出现了很多机器学习算法。代表性的有“决策树”或“贝页斯网络”、“支持向量机(Support Vector Machine，SVM)”、“人工神经网络”等。其中，深度学习是人工神经网络的后裔。
深层卷积神经网络(Deep Convolutional Neural Network；Deep CNN)是在深度学习领域飞速发展的核心。为了解决文字识别问题，CNN早在90年代就已经被使用了，而像现在如此广泛应用，得益于最近的研究成果。这样的深度CNN在2012年ImageNet图像分类大赛中战胜其他竞争者而赢得了冠军。之后，卷积神经网络成为了机器学习(MachineLearning)领域中非常有用的工具。
图1是概略地示出利用了CNN的卷积分割过程的图。
如图1所示，在现有技术的车道的检测方法中，学习装置输入了输入图像后，使一个以上的卷积层针对所述输入图像执行一个以上的卷积运算或一个以上的非线性运算ReLU(Rectified Linear Unit,修正线性单元)，生成至少一个特征图，并使一个以上的反卷积层针对所述特征图执行一个以上的反卷积运算及归一化指数(SoftMax)运算，生成分割结果。
然而，所述图像的编码及解码过程中存在着边缘(增强型数据速率GSM演进技术)部分消失较多的问题，为了解决这个问题，提出了多种方法，用于在所述输入图像或对应于其的特征图中加强所述边缘。例如，Golnaz Ghiasi and Charless C.Fowlkes在题目为“Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation”的论文(https://www.ics.uci.edu/～fowlkes/papers/gf-eccv16.pdf)中，提出了利用拉普拉斯金字塔分割所述图像的方法。这种方法，试图从尺寸较小的特征图提取所述边缘，向尺寸较大的特征图提供所述边缘信息，但是由于已经失去了很多有关所述边缘的信息，很难期待性能的大幅度提高。
另外，这种方法，与所述论文的所述题目不同，由于没有利用将上位的频率范围分离为预先设定的频带的概念，因此，不能认为是利用了所述拉普拉斯亚金字塔。同时，这种方法使用任意生成的边缘，而不是原来存在的边缘，因此，存在不能反映所述正确的边缘的问题。
发明内容
发明所要解决的课题
本发明的目的在于，提供一种能够在CNN(Convolutional Neural Network)中保存边缘信息并生成特征图的方法。
另外，本发明的目的在于，提出一种能够构建拉普拉斯金字塔网络的CNN结构。
另外，本发明的目的在于，提供一种方法，其在反映边缘信息时搜寻原本存在的边缘信息，而非任意生成的边缘，因此能够反映准确的边缘。用于解决课题的技术方案
根据本发明的一个方面，提供一种提高学习装置的图像分割性能的学习方法，
所述学习装置包括：
(i)第1至第k卷积层，针对至少一个训练图像所对应的至少一个特征图进行至少一次卷积运算，分别输出第1至第k编码特征图；
(ii)第k至第1反卷积层，针对所述第k编码特征图进行至少一次反卷积运算，分别输出第k至第1解码特征图；
(iii)第1至第h屏蔽层，分别对应所述k个卷积层中的h个卷积层而设置，其中，所述h为1到k-1的整数；及
(iv)第1至第h差异(differential)层，分别对应所述第1至所述第h屏蔽层；
所述方法包括：
步骤(a)，输入所述训练图像后，所述学习装置使所述第1至所述第k卷积层输出所述第1至所述第k编码特征图，并执行：过程(1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个编码特征图中获得频率高于相应的临界值的一个以上的区域，从而从所述h个编码特征图提取一个以上的边缘部分，输出第1至第h带通特征图；及过程(2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图的各个与所述第1至所述第h的各个带通特征图之间的差异，从而获得第1至第h差异特征图，将所述第1至所述第h的各个差异特征图传送至对应其的下一个卷积层；
步骤(b)，所述学习装置使所述第k至所述第1反卷积层，(i)利用所述第h至所述第1带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的特征图，依次输出所述第k至所述第1解码特征图；及
步骤(c)，所述学习装置利用参考所述第1解码特征图及对应其的至少一个GT(Ground Truth，地面实况)标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数。
一个实施例，其中，
在所述过程(1)，所述学习装置至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n编码特征图中提取频率高于相应的临界值的区域，从而生成第m带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(2)，所述学习装置使所述第m屏蔽层所对应的第m差异层，计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m差异特征图，
在所述步骤(b)，所述学习装置使所述第m屏蔽层所对应的第n反卷积层，针对所述第m带通特征图与自第n+1反卷积层输出的第n+1解码特征图的按元素相加之和(element-wise sum)进行所述反卷积运算，从而输出第n解码特征图。
一个实施例，其中，
在所述步骤(c)，所述学习装置使所述第k至所述第1反卷积层中至少一个所对应的至少一个损失层，参考所述第k至所述第1反卷积层中所述至少一个输出的至少一个解码特征图及对应其的至少一个GT标签图像，生成所述损失，利用所述损失，执行反向传播过程。
一个实施例，其中，
在所述步骤(a)，所述学习装置使所述第1至所述第k卷积层，依次缩减所述训练图像及所述第1至所述第k-1编码特征图的尺寸，增加所述训练图像及所述第1至所述第k-1编码特征图的信道数，分别输出所述第1至所述第k编码特征图，使所述第1至所述第h屏蔽层，从所述h个编码特征图输出所述频率高于相应的临界值的所述区域，从而从所述第1至所述第k编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图提取所述边缘部分，输出所述第1至所述第h带通特征图，
在所述步骤(b)，所述学习装置使所述第k至所述第1反卷积层，依次增加所述第k编码特征图及所述第k至所述第2解码特征图的尺寸，依次缩减所述第k编码特征图及所述第k至所述第2解码特征图的信道数，分别输出所述第k至所述第1解码特征图。
一个实施例，其中，
所述学习装置进一步包括(v)第1至第h中间层，其分别位于所述第1至所述第h的各个屏蔽层与对应其的反卷积层之间，
所述步骤(b)包括：
步骤(b1)，所述学习装置使所述第1至所述第h中间层，获得所述第1至所述第h屏蔽层输出的所述第1至所述第h的各个带通特征图，分别输出第1至第h中间特征图；及
步骤(b2)，所述学习装置使所述k个反卷积层(i)利用所述第h至所述第1中间层所对应的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个解码特征图及所述第h至所述第1中间特征图，(ii)并利用非对应于所述第h至所述第1中间层的所述k-h个反卷积层的各个之前的层分别输出的k-h-1个解码特征图及所述第k编码特征图，依次输出所述第k至所述第1解码特征图。
一个实施例，其中，
所述学习装置在所述第k卷积层及所述第k反卷积层之间进一步包括补充第h+1中间层，并且所述补充第h+1中间层针对所述第k编码特征图进行中间运算，输出第h+1中间特征图，向所述第k反卷积层传送所述第h+1中间特征图。
一个实施例，其中，
所述第1至所述第h中间层中至少一个执行一个以上的空洞卷积(dilatedconvolution)运算，所述h个中间层的至少一个感受野(Receptive field)取决于具有0值的滤波器加权值。
一个实施例，其中，
在所述过程(1)，所述学习装置至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n编码特征图中提取频率高于相应的临界值的区域，从而生成第m带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(2)，所述学习装置使所述第m屏蔽层所对应的第m差异层，计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m差异特征图，
在所述步骤(b1)，所述学习装置使所述第m屏蔽层所对应的第m中间层，参照所述第m带通特征图，输出第m中间特征图，
在所述步骤(b2)，所述学习装置使所述第m中间层所对应的第n反卷积层，针对所述第m中间特征图与自第n+1反卷积层输出的第n+1解码特征图的按元素相加之和进行所述反卷积运算，从而输出第n解码特征图。
根据本发明另一个方面，提供一种用于分割至少一个测试图像的测试方法，其包括：
步骤(a)，学习装置包括：
(i)第1至第k卷积层，针对至少一个训练图像所对应的至少一个学习用特征图进行至少一次卷积运算，分别输出第1至第k学习用编码特征图；
(ii)第k至第1反卷积层，针对所述第k学习用编码特征图进行至少一次反卷积运算，分别输出第k至第1学习用解码特征图；
(iii)第1至第h屏蔽层，分别对应所述k个卷积层中的h个卷积层而设置，其中，所述h为1到k-1的整数；及
(iv)第1至第h差异层，分别对应所述第1至所述第h屏蔽层，
所述学习装置，输入所述训练图像后，
(1)使所述第1至所述第k卷积层输出所述第1至所述第k学习用编码特征图，并执行：过程(1-1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k学习用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个学习用编码特征图中获得频率高于相应的临界值的一个以上的学习用区域，从而从所述h个学习用编码特征图提取一个以上的学习用边缘部分，输出第1至第h学习用带通特征图；及过程(1-2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个学习用编码特征图的各个与所述第1至所述第h的各个学习用带通特征图之间的差异，从而获得第1至第h学习用差异特征图，将所述第1至所述第h的各个学习用差异特征图传送至对应其的下一个卷积层，
(2)使所述第k至所述第1反卷积层，(2-1)利用所述第h至所述第1学习用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个学习用解码特征图，(2-2)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的学习用特征图，依次输出所述第k至所述第1学习用解码特征图，
(3)利用参考所述第1学习用解码特征图及对应其的至少一个GT标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数，
在此状态下，测试装置，输入所述测试图像后，使所述第1至所述第k卷积层输出第1至第k测试用编码特征图，并执行：
过程(a1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k测试用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个测试用编码特征图中获得频率高于相应的临界值的一个以上的测试用区域，从而从所述h个测试用编码特征图提取一个以上的测试用边缘部分，输出第1至第h测试用带通特征图；及
过程(a2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图的各个与所述第1至所述第h的各个测试用带通特征图之间的差异，从而获得第1至第h测试用差异特征图，将所述第1至所述第h的各个测试用差异特征图传送至对应其的下一个卷积层；及
步骤(b)，所述测试装置，使所述第k至所述第1反卷积层，(i)利用所述第h至所述第1测试用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个测试用解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的测试用特征图，依次输出所述第k至所述第1测试用解码特征图。
一个实施例，其中，
在所述过程(a1)，所述测试装置至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n测试用编码特征图中提取频率高于相应的临界值的区域，从而生成第m测试用带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(a2)，所述测试装置使所述第m屏蔽层所对应的第m差异层，计算所述第n测试用编码特征图与所述第m测试用带通特征图之间的差异，输出第m测试用差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m测试用差异特征图，
在所述步骤(b)，所述测试装置使所述第m屏蔽层所对应的第n反卷积层，针对所述第m测试用带通特征图与自第n+1反卷积层输出的第n+1测试用解码特征图的按测试用元素相加之和进行所述反卷积运算，从而输出第n测试用解码特征图。
一个实施例，其中，
在所述步骤(a)，所述测试装置使所述第1至所述第k卷积层，依次缩减所述测试图像及所述第1至所述第k-1测试用编码特征图的尺寸，增加所述测试图像及所述第1至所述第k-1测试用编码特征图的信道数，分别输出所述第1至所述第k测试用编码特征图，使所述第1至所述第h屏蔽层，从所述h个测试用编码特征图输出所述频率高于相应的临界值的所述区域，从而从所述第1至所述第k测试用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图提取所述测试用边缘部分，输出所述第1至所述第h测试用带通特征图，
在所述步骤(b)，所述测试装置使所述第k至所述第1反卷积层，依次增加所述第k测试用编码特征图及所述第k至所述第2测试用解码特征图的尺寸，依次缩减所述第k测试用编码特征图及所述第k至所述第2测试用解码特征图的信道数，分别输出所述第k至所述第1测试用解码特征图。
一个实施例，其中，
所述测试装置进一步包括(v)第1至第h中间层，分别位于所述第1至所述第h的各个屏蔽层与对应其的反卷积层之间，
所述步骤(b)包括：
步骤(b1)，所述测试装置使所述第1至所述第h中间层，获得所述第1至所述第h屏蔽层输出的所述第1至所述第h的各个测试用带通特征图，分别输出第1至第h测试用中间特征图；及
步骤(b2)，所述测试装置使所述k个反卷积层，(i)利用所述第h至所述第1中间层所对应的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个测试用解码特征图及所述第h至所述第1测试用中间特征图，(ii)并利用非对应于所述第h至所述第1中间层的各个所述k-h个反卷积层的各个之前的层分别输出的k-h-1个测试用解码特征图及所述第k测试用编码特征图，依次输出所述第k至所述第1测试用解码特征图。
一个实施例，其中，
所述测试装置在所述第k卷积层及所述第k反卷积层之间进一步包括补充第h+1中间层，所述补充第h+1中间层针对所述第k测试用编码特征图进行中间运算，输出第h+1测试用中间特征图，向所述第k反卷积层传送所述第h+1测试用中间特征图。
一个实施例，其中，
所述第1至所述第h中间层中至少一个执行一个以上的空洞卷积运算，所述h个中间层的至少一个的感受野取决于具有0值的滤波器加权值。
一个实施例，其中，
在所述过程(a1)，所述测试装置至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n测试用编码特征图中提取频率高于相应的临界值的区域，从而生成第m测试用带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(a2)，所述测试装置使所述第m屏蔽层所对应的第m差异层，计算所述第n测试用编码特征图与所述第m测试用带通特征图之间的差异，输出第m测试用差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m测试用差异特征图，
在所述步骤(b1)，所述测试装置使所述第m屏蔽层所对应的第m中间层，参照所述第m测试用带通特征图，输出第m测试用中间特征图，
在所述步骤(b2)，所述测试装置使所述第m中间层所对应的第n反卷积层，针对所述第m测试用中间特征图与自第n+1反卷积层输出的第n+1测试用解码特征图的按测试用元素相加之和进行所述反卷积运算，从而输出第n测试用解码特征图。
根据本发明的又另一个方面，提供一种提高分割性能的学习装置，所述学习装置包括：
(i)第1至第k卷积层，针对至少一个训练图像所对应的至少一个特征图进行至少一次卷积运算，分别输出第1至第k编码特征图；
(ii)第k至第1反卷积层，针对所述第k编码特征图进行至少一次反卷积运算，分别输出第k至第1解码特征图；
(iii)第1至第h屏蔽层，分别对应所述k个卷积层中的h个卷积层而设置，其中，所述h为1到k-1的整数；及
(iv)第1至第h差异层，分别对应所述第1至所述第h屏蔽层；
并且，所述学习装置包括：
至少一个存储器，用于存储指令；及
至少一个处理器，用于执行所述指令，进行：
过程(I)，使所述第1至所述第k卷积层输出所述第1至所述第k编码特征图，并执行以下过程：
(I-1)使所述第1至所述第h屏蔽层，从所述第1至所述第k编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个编码特征图中获得频率高于相应的临界值的一个以上的区域，从而从所述h个编码特征图提取一个以上的边缘部分，输出第1至第h带通特征图；及
(I-2)使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图的各个与所述第1至所述第h的各个带通特征图之间的差异，从而获得第1至第h差异特征图，将所述第1至所述第h差异特征图分别传送至对应其的下一个卷积层；
过程(II)，使所述第k至所述第1反卷积层，(i)利用所述第h至所述第1带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的特征图，依次输出所述第k至所述第1解码特征图；及
过程(III)，利用参考所述第1解码特征图及对应其的至少一个GT标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数。
一个实施例，其中，
在所述过程(I-1)，所述处理器至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n编码特征图中提取频率高于相应的临界值的区域，从而生成第m带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(I-2)，所述处理器使所述第m屏蔽层所对应的第m差异层，计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m差异特征图，
在所述过程(II)，所述处理器使所述第m屏蔽层所对应的第n反卷积层，针对自所述第m带通特征图与第n+1反卷积层输出的第n+1解码特征图的按元素相加之和进行所述反卷积运算，从而输出第n解码特征图。
一个实施例，其中，
在所述过程(III)，所述处理器使所述第k至所述第1反卷积层中至少一个所对应的至少一个损失层，参考自所述第k至所述第1反卷积层中所述至少一个输出的至少一个解码特征图及对应其的至少一个GT标签图像，生成所述损失，利用所述损失，执行反向传播过程。
一个实施例，其中，
在所述过程(I)，所述处理器使所述第1至所述第k卷积层，依次缩减所述训练图像及所述第1至所述第k-1编码特征图的尺寸，增加所述训练图像及所述第1至所述第k-1编码特征图的信道数，分别输出所述第1至所述第k编码特征图，使所述第1至所述第h屏蔽层，从所述h个编码特征图输出所述频率高于相应的临界值的所述区域，从而从所述第1至所述第k编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图提取所述边缘部分，输出所述第1至所述第h带通特征图，
在所述过程(II)，所述学习装置使所述第k至所述第1反卷积层，依次增加所述第k编码特征图及所述第k至所述第2解码特征图的尺寸，依次缩减所述第k编码特征图及所述第k至所述第2解码特征图的信道数，分别输出所述第k至所述第1解码特征图。
一个实施例，其中，
所述学习装置进一步包括(v)第1至第h中间层，分别位于所述第1至所述第h的各个屏蔽层与对应其的反卷积层之间，
所述过程(II)包括：
过程(II-1)，所述处理器使所述第1至所述第h中间层，获得自所述第1至所述第h屏蔽层输出的所述第1至所述第h带通特征图，分别输出第1至第h中间特征图；及
过程(II-2)，所述处理器使所述k个反卷积层(i)利用所述第h至所述第1中间层所对应的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个解码特征图及所述第h至所述第1中间特征图，(ii)并利用非对应于所述第h至所述第1中间层的所述k-h个反卷积层的各个之前的层分别输出的k-h-1个解码特征图及所述第k编码特征图，依次输出所述第k至所述第1解码特征图。
一个实施例，其中，
所述学习装置在所述第k卷积层及所述第k反卷积层之间进一步包括补充第h+1中间层，所述补充第h+1中间层针对所述第k编码特征图进行中间运算，输出第h+1中间特征图，向所述第k反卷积层传送所述第h+1中间特征图。
一个实施例，其中，
所述第1至所述第h中间层中至少一个执行一个以上的空洞卷积运算，所述h个中间层的至少一个感受野取决于具有0值的滤波器加权值。
一个实施例，其中，
在所述过程(I-1)，所述处理器至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n编码特征图中提取频率高于所述预先设定的临界值的区域，从而生成第m带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(I-2)，所述处理器使所述第m屏蔽层所对应的第m差异层，计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m差异特征图，
在所述过程(II-1)，所述处理器使所述第m屏蔽层所对应的第m中间层，参照所述第m带通特征图，输出第m中间特征图，
在所述过程(II-2)，所述处理器使所述第m中间层所对应的第n反卷积层，针对所述第m中间特征图与第n+1反卷积层输出的第n+1解码特征图的按元素相加之和进行所述反卷积运算，从而输出第n解码特征图。
根据本发明的又另一个方面，提供一种关于至少一个测试图像的分割的测试装置，其特征在于，包括：
至少一个存储器，用于存储指令；及
处理器，为了执行用于进行以下过程的所述指令而构成：
学习装置包括：
(i)第1至第k卷积层，针对至少一个训练图像所对应的至少一个学习用特征图进行至少一次卷积运算，分别输出第1至第k学习用编码特征图；
(ii)第k至第1反卷积层，针对所述第k学习用编码特征图进行至少一次反卷积运算，分别输出第k至第1学习用解码特征图；
(iii)第1至第h屏蔽层，分别对应所述k个卷积层中的h个卷积层而设置，所述h为1到k-1的整数；及
(iv)第1至第h差异层，分别对应所述第1至所述第h屏蔽层，
所述学习装置，输入所述训练图像后，
(1)使所述第1至所述第k卷积层输出所述第1至所述第k学习用编码特征图，并执行：过程(1-1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k学习用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个学习用编码特征图中获得频率高于相应的临界值的一个以上的学习用区域，从而从所述h个学习用编码特征图提取一个以上的学习用边缘部分，输出第1至第h学习用带通特征图；及过程(1-2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个学习用编码特征图的各个与所述第1至所述第h的各个学习用带通特征图之间的差异，从而获得第1至第h学习用差异特征图，将所述第1至所述第h的各个学习用差异特征图传送至对应其的下一个卷积层；
(2)使所述第k至所述第1反卷积层，(2-1)利用所述第h至所述第1学习用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个学习用解码特征图，(2-2)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的学习用特征图，依次输出所述第k至所述第1学习用解码特征图；
(3)利用参考所述第1学习用解码特征图及对应其的至少一个GT标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数，
在此状态下，
(I)使所述第1至所述第k卷积层输出第1至第k测试用编码特征图，并且，(I-1)使所述第1至所述第h屏蔽层，从所述第1至所述第k测试用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个测试用编码特征图中获得频率高于相应的临界值的一个以上的测试用区域，从而从所述h个测试用编码特征图提取一个以上的测试用边缘部分，输出第1至第h测试用带通特征图，(I-2)使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图的各个与所述第1至所述第h的各个测试用带通特征图之间的差异，从而获得第1至第h测试用差异特征图，将所述第1至所述第h的各个测试用差异特征图传送至对应其的下一个卷积层；及
(II)使所述第k至所述第1反卷积层，(i)利用从所述第h至所述第1测试用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个测试用解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的测试用特征图，依次输出所述第k至所述第1测试用解码特征图。
一个实施例，其中，
在所述过程(I-1)，所述处理器至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n测试用编码特征图中提取频率高于相应的临界值的区域，从而生成第m测试用带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(I-2)，所述处理器使所述第m屏蔽层所对应的第m差异层，计算所述第n测试用编码特征图与所述第m测试用带通特征图之间的差异，输出第m测试用差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m测试用差异特征图，
在所述过程(II)，所述处理器使所述第m屏蔽层所对应的第n反卷积层，针对所述第m测试用带通特征图与自第n+1反卷积层输出的第n+1测试用解码特征图的按测试用元素相加之和进行所述反卷积运算，从而输出第n测试用解码特征图。
一个实施例，其中，
在所述过程(I)，所述处理器使所述第1至所述第k卷积层，依次缩减所述测试图像及所述第1至所述第k-1测试用编码特征图的尺寸，增加所述测试图像及所述第1至所述第k-1测试用编码特征图的信道数，分别输出所述第1至所述第k测试用编码特征图，使所述第1至所述第h屏蔽层，从所述h个测试用编码特征图输出所述频率高于相应的临界值的所述区域，从而从所述第1至所述第k测试用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图提取所述测试用边缘部分，输出所述第1至所述第h测试用带通特征图，
在所述过程(II)，所述处理器使所述第k至所述第1反卷积层，依次增加所述第k测试用编码特征图及所述第k至所述第2测试用解码特征图的尺寸，依次缩减所述第k测试用编码特征图及所述第k至所述第2测试用解码特征图的信道数，分别输出所述第k至所述第1测试用解码特征图。
一个实施例，其中，
所述测试装置进一步包括(v)第1至第h中间层，分别位于各个所述第1至所述第h屏蔽层与对应其的反卷积层之间，
所述过程(II)包括：
过程(II-1)，所述处理器使所述第1至所述第h中间层，获得自所述第1至所述第h屏蔽层输出的所述第1至所述第h的各个测试用带通特征图，分别输出第1至第h测试用中间特征图；及
过程(II-2)，所述处理器使所述k个反卷积层(i)利用所述第h至所述第1中间层所对应的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个测试用解码特征图及所述第h至所述第1测试用中间特征图，(ii)并利用非对应于所述第h至所述第1中间层的各个所述k-h个反卷积层的各个之前的层分别输出的k-h-1个测试用解码特征图及所述第k测试用编码特征图，依次输出所述第k至所述第1测试用解码特征图。
一个实施例，其中，
所述测试装置在所述第k卷积层及所述第k反卷积层之间进一步包括补充第h+1中间层，并且所述补充第h+1中间层针对所述第k测试用编码特征图进行中间运算，输出第h+1测试用中间特征图，向所述第k反卷积层传送所述第h+1测试用中间特征图。
一个实施例，其中，
所述第1至所述第h中间层中至少一个执行一个以上的空洞卷积运算，所述h个中间层的至少一个的感受野取决于具有0值的滤波器加权值。
一个实施例，其中，
在所述过程(I-1)，所述处理器至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n测试用编码特征图中提取频率高于相应的临界值的区域，从而生成第m测试用带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(I-2)，所述处理器使所述第m屏蔽层所对应的第m差异层，计算所述第n测试用编码特征图与所述第m测试用带通特征图之间的差异，输出第m测试用差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m测试用差异特征图，
在所述过程(II-1)，所述处理器使所述第m屏蔽层所对应的第m中间层，参照所述第m测试用带通特征图，输出第m测试用中间特征图，
在所述过程(II-2)，所述处理器使所述第m中间层所对应的第n反卷积层，针对所述第m测试用中间特征图与自第n+1反卷积层输出的第n+1测试用解码特征图的按测试用元素相加之和进行所述反卷积运算，从而输出第n测试用解码特征图。
发明效果
根据本发明，能够提供一种所述的CNN，其利用关于边缘部分的保存信息，生成至少一个特征图。
根据本发明，还能够提供一种CNN，其能够构建拉普拉斯金字塔网络。
另外，根据本发明，由于是从解码特征图中提取边缘部分，而非任意生成边缘部分，因此能够反映准确的边缘部分的信息。
附图说明
为了说明本实施例而附加的下面附图仅仅是本发明一些实施例的一部分，本发明所属技术领域的技术人员(以下称“普通技术人员”)，可以基于这些附图得到其他附图而无需进行创造性工作。
图1是概略地示出利用了CNN的卷积分割过程的图。
图2是概略地示出根据本发明一实施例的利用了拉普拉斯金字塔网络的图像分割过程的图。
图3是概略地示出根据本发明另一实施例的利用了所述拉普拉斯金字塔网络的所述图像分割过程的图。
图4是详细地示出根据本发明的利用拉普拉斯金字塔网络提取边缘部分的过程的图。
图5是概略地示出根据本发明又另一实施例的利用了所述拉普拉斯金字塔网络的所述图像分割过程的图。
具体实施方式
后述有关本发明的详细说明，参照作为示例而图示本发明可实施的特定实施例的附图。对这些实施例进行了详细说明，以便从业人员能够实施本发明。本发明的多种实施例虽然互不相同，但应理解为不需要是相互排他的。例如，在此记载的特定形状、结构及特性，可以与一个实施例相关联，在不超出本发明的精神及范围的前提下体现为其他实施例。另外，各个公开的实施例内的个别构成要素的位置及配置，应理解为可以在不超出本发明的精神及范围的前提下分类。因此，后述的详细说明并非出于限定之意，本发明的范围，如能适当说明，仅由与其权利要求所主张的范围等同的所有范围和所附权利要求所限定。在附图中，类似的附图标记指称在多个方面相同或类似的功能。
另外，在本发明的详细说明及权利要求中，“包括”字样的术语及其变形，并非要将其他技术特征、附加物、构成要素或步骤排除在外。对于普通技术人员而言，本发明的其他目的、优点及特性，有些通过本说明书来体现，有些则通过本发明的实施来体现。以下的示例及附图是作为实例而提供的，并非意图限定本发明。
本发明中提及的各种图像可以包括铺装或非铺装道路相关图像，该情况下，可以设想可能出现在道路环境中的物体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机等飞行体、其他障碍物)，但并非必须限定于此，本发明中提及的各种图像也可以是与道路无关的图像(例如与非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内相关的图像)，该情况下，可以设想可能出现在非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中的物体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机等飞行体、其他障碍物)，但并非必须限定于此。
本发明中提及的各种图像可以包括铺装或非铺装道路相关图像，该情况下，可以设想可能出现在道路环境中的客体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机等飞行体、其他障碍物)，但并非必须限定于此，本发明中提及的各种图像也可以是与道路无关的图像(例如与非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内相关的图像)，该情况下，可以设想可能出现在非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中的客体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机等飞行体、其他障碍物)，但并非必须限定于此。
下面为了让本发明所属技术领域的普通技术人员能够容易地实施本发明，参照附图，就本发明优选实施例进行详细说明。
图2是概略地示出根据本发明一实施例的利用了拉普拉斯金字塔网络的图像分割过程的图。
根据本发明提供的用于学习所述拉普拉斯金字塔网络的、基于CNN的学习装置，如图2所示，包括按顺序连接的第1卷积层100_1至第k卷积层100_k及第k反卷积层200_k至第1反卷积层200_1。进一步，第1屏蔽层300_1至第k-1屏蔽层300_(k-1)及第1差异层400_1至第k-1差异层400_(k-1)，分别包含于所述第1卷积层100_1至所述k-1卷积层100_(k-1)之后。其中，所述第1差异层400_1至所述第k-1差异层400_(k-1)，分别连接于对应其的下一个卷积层，从而将自所述第1卷积层100_1至所述第k-1卷积层100_(k-1)输出的各个特征图与自所述第1屏蔽层300_1至所述第k-1屏蔽层300_(k-1)输出的各个特征图之间的各个差异传送到所述对应的下一个卷积层。另一方面，所述第k反卷积层200_k至第2反卷积层200_2各自的后面存在合计层500_(k-1)至合计层500_1，其对来自所述第k-1屏蔽层300_(k-1)至所述第1屏蔽层300_1的各个输出和来自所述第k反卷积层200_k至所述第2反卷积层200_2的各个输出进行合计。其中，所谓“差异”术语并不意指数学的微分或微分学。
首先，如果输入至少一个训练图像10，所述第1卷积层100_1至所述第k卷积层100_k生成第1至第k编码特征图，所述第k反卷积层200_k至所述第1反卷积层200_1对所述第k编码特征图进行一个以上的反卷积运算，输出第k至第1解码特征图。进一步，对所述第1解码特征图进行至少一个规定的运算，生成至少一个分割标签图像20。
如图2所示，在生成所述第1至所述第k编码特征图的所述过程中，所述学习装置(i)使所述第1屏蔽层300_1至所述第k-1屏蔽层300_(k-1)，从所述第1至所述第k-1编码特征图获取频率高于相应的临界值的一个以上区域，自输出于所述第1至所述第k-1卷积层的所述第1至所述第k-1编码特征图提取一个以上边缘部分，从而各自输出第1至第k-1带通特征图，(ii)使所述第1差异层400_1至所述第k-1差异层400_(k-1)，求解从所述第1卷积层100_1至所述第k-1卷积层100_(k-1)输出的所述第1至所述第k-1的各个编码特征图与从所述第1至所述第k-1屏蔽层输出的所述第1至所述第k-1的各个带通特征图之间的差异，输出第1至第k-1差异特征图，从而使得将各个所述第1至所述第k-1差异特征图传送至对应其下一个的卷积层。
进一步，输出所述第k至所述第1解码特征图的所述过程中，向所述第k反卷积层200_k输入所述第k编码特征图后，所述第k反卷积层200_k至所述第1反卷积层200_1，对所述第k编码特征图及从之前反卷积层输出的所述第k至所述第2解码特征图，分别进行所述反卷积运算，依次输出所述第k至所述第1解码特征图，其中，从所述第k-1屏蔽层300_(k-1)至所述第1屏蔽层300_1输出的所述第k-1至所述第1带通特征图可以反映至所述第k至所述第2解码特征图。
其中，所述学习装置，(i)使所述第1卷积层100_1至所述第k卷积层100_k，依次缩减所述训练图像及所述第1至所述第k-1编码特征图的尺寸，增加信道数，从而分别输出所述第1至所述第k编码特征图，(ii)使所述第1屏蔽层300_1至所述第k-1屏蔽层300_(k-1)，从所述第1至所述第k-1编码特征图提取所述频率高于相应的临界值的所述区域，从而自所述第1至所述第k-1编码特征图提取所述边缘部分，从而输出所述第1至所述第k-1带通特征图，(iii)使所述第k反卷积层200_k至所述第1反卷积层200_1，依次增加所述第k编码特征图及所述第k至所述第2解码特征图的尺寸，缩减信道数，从而分别输出所述第k至所述第1解码特征图。
进一步，所述学习装置利用参考所述分割标签图像20及对应其的至少一个GT标签图像而输出的一个以上损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数。
另外，所述学习装置使至少一个损失层，不仅利用来自所述第1反卷积层200_1的输出，还要利用从多个所述反卷积层输出的多个所述解码特征图，从而输出所述损失。例如，所述学习装置使所述第k反卷积层200_k至所述第1反卷积层200_1中至少一个所对应的所述损失层(未图示)，参考所述第k至所述第1反卷积层中所述至少一个所输出的至少一个解码特征图及对应其的GT标签图像，生成一个以上的损失。之后，所述学习装置可以执行利用所述损失的反向传播。
图3是概略地示出根据本发明另一实施例的利用了所述拉普拉斯金字塔网络的所述图像分割过程的图。
图3所示的根据本发明另一实施例的用于学习所述拉普拉斯金字塔网络的、基于所述CNN的所述学习装置，与图2所示的根据本发明一实施例的用于学习所述拉普拉斯金字塔网路的、基于所述CNN的所述学习装置相比，基本上具有类似的结构，但所述第1卷积层100_1至所述第k-1卷积层100_(k-1)中，包含分别对应于h个卷积层的第1至第h屏蔽层及分别对应于所述第1至所述第h屏蔽层的第1至第h差异层，从而所述屏蔽层及所述差异层并不对应于所述所有的卷积层。作为参考，图3中用300_1所示的层是所述第1屏蔽层，用300_(k-1)所示的层则是所述第h屏蔽层，用400_1所示的层是所述第1差异层，用400_(k-1)所示的层则是所述第h差异层。
此时，图3所示的所述学习装置，使所述第1卷积层100_1至所述第k卷积层100_k输出所述第1至所述第k编码特征图，并执行过程：(1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k编码特征图中、被分别输入到所述第1至所述第h屏蔽层的h个编码特征图中，获得频率高于相应的临界值的一个以上的区域，从而从所述h个编码特征图提取一个以上的边缘部分，输出第1至第h带通特征图；及(2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图及所述第1至所述第h带通特征图的各个差异，从而获得第1至第h差异特征图，并将所述第1至所述第h的各个差异特征图传送至对应其的下一个卷积层。
进一步，图3所示的所述学习装置，使所述第k反卷积层200_k至所述第1反卷积层200_1，(i)利用对应于所述第h至所述第1带通特征图及所述第h至所述第1屏蔽层的h个反卷积层的各个之前的反卷积层分别生成的h个解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的特征图，依次输出所述第k至所述第1解码特征图。例如，所述学习装置使所述第k反卷积层200_k至所述第1反卷积层200_1，(i)利用对应于所述第h至所述第1带通特征图及所述第h至所述第1屏蔽层的h个反卷积层的各个之前的反卷积层分别生成的h个解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的k-h-1个解码特征图及所述第k编码特征图，依次输出所述第k至所述第1解码特征图。
图4是详细地示出根据本发明的利用所述拉普拉斯金字塔网络提取所述边缘部分的过程的图。
如图4所示，所述学习装置使所述第1卷积层100_1至所述第k卷积层100_k中的第n卷积层100_n(所述n为1到k的整数)，针对非对应于所述h个屏蔽层中之一个的之前的卷积层传送出的编码特征图或自之前的差异层传送出的差异特征图进行一个以上的卷积运算。图4示出了所述第1至所述第h差异层中的第m-1差异层(所述m为1到所述h的整数)获得第m-1差异特征图的例子。
在图4中，所述第n卷积层100_n针对输入的所述第m-1差异特征图进行所述卷积运算，生成第n编码特征图。在图4中，各个四方形框表示各特征图的频率区域，箭头显示与所述第n卷积层100_n、第m屏蔽层300_m及第m差异层400_m相关的输入或输出。如图4所示，所述输入的第m-1差异特征图的频率区域与所述输出的第n编码特征图的频率区域相差不大。
并且，如图4所示，所述第1至所述第h屏蔽层中，所述第m屏蔽层300_m从传送自所述第n卷积层100_n的所述第n编码特征图，提取频率高于相应的临界值的区域，从而生成第m带通特征图。因为所述第m屏蔽层300_m获得所述第n编码特征图中的所述频率高于相应的临界值的区域而生成所述第m带通特征图，因此，可作为带通滤波器。如图4所示，所述第m带通特征图的频率区域显示所述第n编码特征图中的高于相应的临界值的所述提取的频率区域。进一步，所述学习装置使对应于所述第m屏蔽层300_m的所述第m差异层400_m，(i)计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，(ii)向所述第n卷积层100_n之后的第n+1卷积层(未图示)传送所述第m差异特征图。如图4所示，所述第m差异特征图的频率区域包含所述第n编码特征图中除去高于相应的临界值的所述频率的区域。
如此，通过各个屏蔽层提取所述编码特征图的频带所对应的区域而依次生成各个带通特征图，通过各个差异层除去高于相应的临界值的频率而依次生成各个低通滤波了(low pass filtered)的特征图。从而，根据本发明的所述学习装置可以实现所述拉普拉斯金字塔网络。
即，根据本发明的利用所述拉普拉斯金字塔网络的所述学习装置，使屏蔽层从输出自卷积层的编码特征图提取边缘部分，生成带通特征图，使差异层利用所述编码特征图与所述带通特征图之间的差异生成除去上位频带的差异特征图，从而向下一个卷积层传送所述差异特征图。在该方法中，所述学习装置从输出自各卷积层的各个编码特征图提取所述边缘部分的信息。所述边缘部分的所述信息可借由一个以上的补充运算得到加强，传送至所述反卷积层。因此，所述反卷积层利用所述边缘部分的所述信息更容易执行复原(reconstruction)过程。根据本发明所提出的所述方法，并非由所述解码特征图，而是由所述编码特征图提取所述边缘部分的所述信息，因此，能够提取出确切的边缘部分。
利用所述边缘部分的所述信息的所述复原过程，可借由图2及图3所示的所述第k反卷积层200_k至所述第2反卷积层200_2及所述第k-1合计层500_(k-1)至所述第1合计层500_1执行。例如，虽然未图示在图4中，但所述学习装置依次执行以下过程而执行所述复原过程：(i)使第m合计层500_m将所述第m屏蔽层300_m输出的所述第m带通特征图与第n+1反卷积层输出的第n+1解码特征图的按元素(element-wise)相加并输出，(ii)使第n反卷积层针对所述第m带通特征图与所述第n+1解码特征图的所述按元素相加之和进行所述反卷积运算，输出第n解码特征图。
图5是概略地示出根据本发明又另一实施例的利用了所述拉普拉斯金字塔网络的所述图像分割过程的图。图5所示的本发明又另一实施例提供的用于学习所述拉普拉斯金字塔网络的、基于CNN的所述学习装置，与图2或图3所示的所述CNN为基础的所述学习装置相比，基本上具有类似的结构，但所述第1至所述第h的各个屏蔽层与对应其的反卷积层之间进一步包括中间层。例如，所述中间层包括位于所述第1卷积层100_1至所述第k卷积层100_k的各个与所述第1反卷积层200_1至所述第k反卷积层200_k的各个之间的第1中间层600_1至第k中间层600_k，并且，可包括位于所述第1至所述第h的各个屏蔽层与对应其的反卷积层之间的h个中间层。所述中间层中至少一个执行一个以上的空洞卷积运算。其中，各个所述中间层的感受野取决于具有0值的滤波器加权值。
如果进一步包括所述h个中间层，所述学习装置使所述h个中间层分别获得自所述第1至所述第h屏蔽层输出的所述第1至所述第h带通特征图，分别生成h个中间特征图。进一步，所述学习装置使所述第k至所述第1反卷积层，(i)利用从对应于所述h个中间层的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个解码特征图及所述h个中间特征图，(ii)并利用从非对应于所述h个中间层的所述k-h个反卷积层的各个之前的层分别输出的k-h-1个解码特征图及所述第k编码特征图，依次输出所述第k至所述第1解码特征图。进一步，所述学习装置，在所述第k卷积层与所述第k反卷积层之间包含补充第h+1中间层，并且，所述补充第h+1中间层针对所述第k编码特征图执行中间运算，生成第h+1中间特征图，向所述第k反卷积层传送所述第h+1中间特征图。其中，所述中间运算可以是所述空洞卷积运算。
例如，图5所示的所述学习装置，使所述第m屏蔽层300_m所对应的第m中间层600_m(未图示)，参照所述第m带通特征图生成第m中间特征图，使第m中间层600_m所对应的所述第n反卷积层200_n(未图示)，针对自所述第n+1反卷积层200_(n+1)(未图示)输出的所述第n+1解码特征图与所述第m中间特征图的按元素相加之和执行所述反卷积运算，生成所述第n解码特征图。
进一步，图2至图5所示的所述学习方法，也可以适用于所述CNN的测试方法。作为参考，在下面的说明中，为了避免混乱，在与所述学习过程相关的用语中附加了“学习用”一词，并在与测试过程相关的用语中附加了“测试用”一词。
即，用于分割至少一个测试图像的所述测试方法，包括以下步骤：
(a)学习装置包括(i)针对至少一个训练图像所对应的至少一个学习用特征图执行至少一次卷积运算，分别输出第1至第k学习用编码特征图的第1至第k卷积层，(ii)针对所述第k学习用编码特征图进行至少一次反卷积运算，分别输出第k至第1学习用解码特征图的第k至第1反卷积层，(iii)分别对应所述k个卷积层中的h个卷积层(所述h为1到k-1的整数)而设置的第1至第h屏蔽层，及(iv)分别对应所述第1至所述第h屏蔽层的第1至第h差异层，如果输入所述训练图像，所述学习装置(1)使所述第1至所述第k卷积层输出所述第1至所述第k学习用编码特征图，并且执行以下过程：(1-1)使所述第1至所述第h屏蔽层，从所述第1至所述第k学习用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个学习用编码特征图中获得频率高于相应的临界值的一个以上的学习用区域，从而从所述h个学习用编码特征图提取一个以上的学习用边缘部分，输出第1至第h学习用带通特征图；及(1-2)使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个学习用编码特征图的各个与所述第1至所述第h的各个学习用带通特征图之间的差异，从而获得第1至第h学习用差异特征图，将所述第1至所述第h的各个学习用差异特征图传送至对应其的下一个卷积层，(2)使所述第k至所述第1反卷积层(2-1)利用所述第h至所述第1学习用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个学习用解码特征图，(2-2)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的学习用特征图，依次输出所述第k至所述第1学习用解码特征图，(3)利用参考所述第1学习用解码特征图及对应其的至少一个GT(地面实况)标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数，在此情况下，如果输入所述测试图像，测试装置使所述第1至所述第k卷积层输出第1至第k测试用编码特征图，并且执行以下过程：(1)使所述第1至所述第h屏蔽层，从所述第1至所述第k测试用编码特征图中的、被输入到所述第1至所述第h屏蔽层的h个测试用编码特征图中获得频率高于相应的临界值的一个以上的测试用区域，从而从所述h个测试用编码特征图提取一个以上的测试用边缘部分，输出第1至第h测试用带通特征图；及(2)使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图的各个与所述第1至所述第h的各个测试用带通特征图之间的差异，从而获得第1至第h测试用差异特征图，将所述第1至所述第h的各个测试用差异特征图传送至对应其的下一个卷积层；及
(b)所述测试装置，使所述第k至所述第1反卷积层，(i)利用从所述第h至所述第1测试用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个测试用解码特征图，(ii)并利用从非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的测试用特征图，依次输出所述第k至所述第1测试用解码特征图。
本发明提供的所述学习方法及所述测试方法用于执行满足四级和五级无人驾驶所需的道路障碍物及交通标志等的边缘的检测。进一步，将图像内的文本部分强调为边缘部分，不仅可以准确检测地标及道路标志，还可以准确检测交通标志。
本发明技术领域的普通技术人员能够理解，上面说明的图像，例如所述训练图像、所述测试图像及所述输入图像等图像数据的发送和接收，可通过所述学习装置及所述测试装置的通信部实现，特征图和用于执行运算的数据可借由所述学习装置及所述测试装置的处理器(和/或存储器)保存/维护，而卷积运算、反卷积运算、损失值运算过程，可主要由所述学习装置及所述测试装置的所述处理器执行，但本发明不限于此。另外，所述学习装置及所述测试装置还可以包含存储用于执行所述的过程的计算机可读指令的存储器。例如，处理器、存储器、媒体等可以统合为一个处理器。
另外，以上说明的本发明提供的实施例，是以通过多种计算机构成要素执行的程序指令的形式体现，从而可载入计算机可读存储介质中。所述计算机可读存储介质可单独或组合包含程序指令、数据文件、数据结构等。记录在所述计算机可读存储介质上的程序指令，可以是为了本发明特别设计和构成的，或者也可以是计算机软件领域的从业者公知使用的。计算机可读存储介质的示例包括硬盘、软盘及磁带等磁媒体，CD-ROM(只读光盘驱动器)、DVD(数字化视频光盘)等光盘，光磁盘(floptical disk)等磁-光介质(magneto-optical media)，以及只读存储器(ROM)、随机存储器(RAM)、闪存存储器等为了储存程序指令并执行而特别构成的硬件设备。程序指令的示例不仅包括由编译器生成的机器语言代码，还包括可通过解释器由计算机执行的高级语言代码。为执行本发明提供的处理，上述硬件设备可由一个或多个软件模块来运行，反之亦然。
以上用具体构成要素等特定事项和限定的实施例及附图来说明了本发明，但这只是为了帮助对本发明更全面的理解而提供的，本发明并不仅限于上述实施例，在本发明所属的技术领域中拥有一般知识的人，可以基于这些描述进行多样的修改和变换。
因此，本发明的思想不应局限于所述说明的实施例而定，不仅是后述的权利要求范围，与本权利要求范围均等或等价的任何变换都属于本发明的思想范筹。

Claims (30)

1.一种提高学习装置的图像分割性能的学习方法，其特征在于，
所述学习装置包括：
(i)第1至第k卷积层，针对至少一个训练图像所对应的至少一个特征图进行至少一次卷积运算，分别输出第1至第k编码特征图；
(ii)第k至第1反卷积层，针对所述第k编码特征图进行至少一次反卷积运算，分别输出第k至第1解码特征图；
(iii)第1至第h屏蔽层，分别对应所述k个卷积层中的h个卷积层而设置，其中，所述h为1到k-1的整数；及
(iv)第1至第h差异层，分别对应所述第1至所述第h屏蔽层；
所述方法包括：
步骤(a)，输入所述训练图像后，所述学习装置使所述第1至所述第k卷积层输出所述第1至所述第k编码特征图，并执行：过程(1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个编码特征图中获得频率高于相应的临界值的一个以上的区域，从而从所述h个编码特征图提取一个以上的边缘部分，输出第1至第h带通特征图；及过程(2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图的各个与所述第1至所述第h的各个带通特征图之间的差异，从而获得第1至第h差异特征图，将所述第1至所述第h的各个差异特征图传送至对应其的下一个卷积层；
步骤(b)，所述学习装置使所述第k至所述第1反卷积层，(i)利用所述第h至所述第1带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的特征图，依次输出所述第k至所述第1解码特征图；及
步骤(c)，所述学习装置利用参考所述第1解码特征图及对应其的至少一个地面实况GT标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数。
2.根据权利要求1所述的学习方法，其特征在于，
在所述过程(1)，所述学习装置至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n编码特征图中提取频率高于相应的临界值的区域，从而生成第m带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(2)，所述学习装置使所述第m屏蔽层所对应的第m差异层，计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m差异特征图，
在所述步骤(b)，所述学习装置使所述第m屏蔽层所对应的第n反卷积层，针对所述第m带通特征图与自第n+1反卷积层输出的第n+1解码特征图的按元素相加之和进行所述反卷积运算，从而输出第n解码特征图。
3.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)，所述学习装置使所述第k至所述第1反卷积层中至少一个所对应的至少一个损失层，参考所述第k至所述第1反卷积层中所述至少一个输出的至少一个解码特征图及对应其的至少一个GT标签图像，生成所述损失，利用所述损失，执行反向传播过程。
4.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(a)，所述学习装置使所述第1至所述第k卷积层，依次缩减所述训练图像及所述第1至所述第k-1编码特征图的尺寸，增加所述训练图像及所述第1至所述第k-1编码特征图的信道数，分别输出所述第1至所述第k编码特征图，使所述第1至所述第h屏蔽层，从所述h个编码特征图输出所述频率高于相应的临界值的所述区域，从而从所述第1至所述第k编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图提取所述边缘部分，输出所述第1至所述第h带通特征图，
在所述步骤(b)，所述学习装置使所述第k至所述第1反卷积层，依次增加所述第k编码特征图及所述第k至所述第2解码特征图的尺寸，依次缩减所述第k编码特征图及所述第k至所述第2解码特征图的信道数，分别输出所述第k至所述第1解码特征图。
5.根据权利要求1所述的学习方法，其特征在于，
所述学习装置进一步包括(v)第1至第h中间层，其分别位于所述第1至所述第h的各个屏蔽层与对应其的反卷积层之间，
所述步骤(b)包括：
步骤(b1)，所述学习装置使所述第1至所述第h中间层，获得所述第1至所述第h屏蔽层输出的所述第1至所述第h的各个带通特征图，分别输出第1至第h中间特征图；及
步骤(b2)，所述学习装置使所述k个反卷积层(i)利用所述第h至所述第1中间层所对应的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个解码特征图及所述第h至所述第1中间特征图，(ii)并利用非对应于所述第h至所述第1中间层的所述k-h个反卷积层的各个之前的层分别输出的k-h-1个解码特征图及所述第k编码特征图，依次输出所述第k至所述第1解码特征图。
6.根据权利要求5所述的学习方法，其特征在于，
所述学习装置在所述第k卷积层及所述第k反卷积层之间进一步包括补充第h+1中间层，并且所述补充第h+1中间层针对所述第k编码特征图进行中间运算，输出第h+1中间特征图，向所述第k反卷积层传送所述第h+1中间特征图。
7.根据权利要求5所述的学习方法，其特征在于，
所述第1至所述第h中间层中至少一个执行一个以上的空洞卷积dilated convolution运算，所述h个中间层的至少一个感受野Receptive field取决于具有0值的滤波器加权值。
8.根据权利要求7所述的学习方法，其特征在于，
在所述过程(1)，所述学习装置至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n编码特征图中提取频率高于相应的临界值的区域，从而生成第m带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(2)，所述学习装置使所述第m屏蔽层所对应的第m差异层，计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m差异特征图，
在所述步骤(b1)，所述学习装置使所述第m屏蔽层所对应的第m中间层，参照所述第m带通特征图，输出第m中间特征图，
在所述步骤(b2)，所述学习装置使所述第m中间层所对应的第n反卷积层，针对所述第m中间特征图与自第n+1反卷积层输出的第n+1解码特征图的按元素相加之和进行所述反卷积运算，从而输出第n解码特征图。
9.一种用于分割至少一个测试图像的测试方法，其特征在于，包括：
步骤(a)，学习装置包括：
(i)第1至第k卷积层，针对至少一个训练图像所对应的至少一个学习用特征图进行至少一次卷积运算，分别输出第1至第k学习用编码特征图；
(ii)第k至第1反卷积层，针对所述第k学习用编码特征图进行至少一次反卷积运算，分别输出第k至第1学习用解码特征图；
(iii)第1至第h屏蔽层，分别对应所述k个卷积层中的h个卷积层而设置，其中，所述h为1到k-1的整数；及
(iv)第1至第h差异层，分别对应所述第1至所述第h屏蔽层，
所述学习装置，输入所述训练图像后，
(1)使所述第1至所述第k卷积层输出所述第1至所述第k学习用编码特征图，并执行：过程(1-1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k学习用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个学习用编码特征图中获得频率高于相应的临界值的一个以上的学习用区域，从而从所述h个学习用编码特征图提取一个以上的学习用边缘部分，输出第1至第h学习用带通特征图；及过程(1-2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个学习用编码特征图的各个与所述第1至所述第h的各个学习用带通特征图之间的差异，从而获得第1至第h学习用差异特征图，将所述第1至所述第h的各个学习用差异特征图传送至对应其的下一个卷积层，
(2)使所述第k至所述第1反卷积层，(2-1)利用所述第h至所述第1学习用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个学习用解码特征图，(2-2)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的学习用特征图，依次输出所述第k至所述第1学习用解码特征图，
(3)利用参考所述第1学习用解码特征图及对应其的至少一个GT标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数，
在此状态下，测试装置，输入所述测试图像后，使所述第1至所述第k卷积层输出第1至第k测试用编码特征图，并执行：
过程(a1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k测试用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个测试用编码特征图中获得频率高于相应的临界值的一个以上的测试用区域，从而从所述h个测试用编码特征图提取一个以上的测试用边缘部分，输出第1至第h测试用带通特征图；及
过程(a2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图的各个与所述第1至所述第h的各个测试用带通特征图之间的差异，从而获得第1至第h测试用差异特征图，将所述第1至所述第h的各个测试用差异特征图传送至对应其的下一个卷积层；及
步骤(b)，所述测试装置，使所述第k至所述第1反卷积层，(i)利用所述第h至所述第1测试用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个测试用解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的测试用特征图，依次输出所述第k至所述第1测试用解码特征图。
10.根据权利要求9所述的测试方法，其特征在于，
在所述过程(a1)，所述测试装置至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n测试用编码特征图中提取频率高于相应的临界值的区域，从而生成第m测试用带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(a2)，所述测试装置使所述第m屏蔽层所对应的第m差异层，计算所述第n测试用编码特征图与所述第m测试用带通特征图之间的差异，输出第m测试用差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m测试用差异特征图，
在所述步骤(b)，所述测试装置使所述第m屏蔽层所对应的第n反卷积层，针对所述第m测试用带通特征图与自第n+1反卷积层输出的第n+1测试用解码特征图的按测试用元素相加之和进行所述反卷积运算，从而输出第n测试用解码特征图。
11.根据权利要求9所述的测试方法，其特征在于，
在所述步骤(a)，所述测试装置使所述第1至所述第k卷积层，依次缩减所述测试图像及所述第1至所述第k-1测试用编码特征图的尺寸，增加所述测试图像及所述第1至所述第k-1测试用编码特征图的信道数，分别输出所述第1至所述第k测试用编码特征图，使所述第1至所述第h屏蔽层，从所述h个测试用编码特征图输出所述频率高于相应的临界值的所述区域，从而从所述第1至所述第k测试用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图提取所述测试用边缘部分，输出所述第1至所述第h测试用带通特征图，
在所述步骤(b)，所述测试装置使所述第k至所述第1反卷积层，依次增加所述第k测试用编码特征图及所述第k至所述第2测试用解码特征图的尺寸，依次缩减所述第k测试用编码特征图及所述第k至所述第2测试用解码特征图的信道数，分别输出所述第k至所述第1测试用解码特征图。
12.根据权利要求9所述的测试方法，其特征在于，
所述测试装置进一步包括(v)第1至第h中间层，分别位于所述第1至所述第h的各个屏蔽层与对应其的反卷积层之间，
所述步骤(b)包括：
步骤(b1)，所述测试装置使所述第1至所述第h中间层，获得所述第1至所述第h屏蔽层输出的所述第1至所述第h的各个测试用带通特征图，分别输出第1至第h测试用中间特征图；及
步骤(b2)，所述测试装置使所述k个反卷积层，(i)利用所述第h至所述第1中间层所对应的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个测试用解码特征图及所述第h至所述第1测试用中间特征图，(ii)并利用非对应于所述第h至所述第1中间层的各个所述k-h个反卷积层的各个之前的层分别输出的k-h-1个测试用解码特征图及所述第k测试用编码特征图，依次输出所述第k至所述第1测试用解码特征图。
13.根据权利要求12所述的测试方法，其特征在于，
所述测试装置在所述第k卷积层及所述第k反卷积层之间进一步包括补充第h+1中间层，所述补充第h+1中间层针对所述第k测试用编码特征图进行中间运算，输出第h+1测试用中间特征图，向所述第k反卷积层传送所述第h+1测试用中间特征图。
14.根据权利要求12所述的测试方法，其特征在于，
所述第1至所述第h中间层中至少一个执行一个以上的空洞卷积运算，所述h个中间层的至少一个的感受野取决于具有0值的滤波器加权值。
15.根据权利要求14所述的测试方法，其特征在于，
在所述过程(a1)，所述测试装置至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n测试用编码特征图中提取频率高于相应的临界值的区域，从而生成第m测试用带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(a2)，所述测试装置使所述第m屏蔽层所对应的第m差异层，计算所述第n测试用编码特征图与所述第m测试用带通特征图之间的差异，输出第m测试用差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m测试用差异特征图，
在所述步骤(b1)，所述测试装置使所述第m屏蔽层所对应的第m中间层，参照所述第m测试用带通特征图，输出第m测试用中间特征图，
在所述步骤(b2)，所述测试装置使所述第m中间层所对应的第n反卷积层，针对所述第m测试用中间特征图与自第n+1反卷积层输出的第n+1测试用解码特征图的按测试用元素相加之和进行所述反卷积运算，从而输出第n测试用解码特征图。
16.一种提高分割性能的学习装置，其特征在于，
所述学习装置包括：
(i)第1至第k卷积层，针对至少一个训练图像所对应的至少一个特征图进行至少一次卷积运算，分别输出第1至第k编码特征图；
(ii)第k至第1反卷积层，针对所述第k编码特征图进行至少一次反卷积运算，分别输出第k至第1解码特征图；
(iii)第1至第h屏蔽层，分别对应所述k个卷积层中的h个卷积层而设置，其中，所述h为1到k-1的整数；及
(iv)第1至第h差异层，分别对应所述第1至所述第h屏蔽层；
并且，所述学习装置包括：
至少一个存储器，用于存储指令；及
至少一个处理器，用于执行所述指令，进行：
过程(I)，使所述第1至所述第k卷积层输出所述第1至所述第k编码特征图，并执行以下过程：
(I-1)使所述第1至所述第h屏蔽层，从所述第1至所述第k编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个编码特征图中获得频率高于预先设定的临界值的一个以上的区域，从而从所述h个编码特征图提取一个以上的边缘部分，输出第1至第h带通特征图；及
(I-2)使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图的各个与所述第1至所述第h的各个带通特征图之间的差异，从而获得第1至第h差异特征图，将所述第1至所述第h差异特征图分别传送至对应其的下一个卷积层；
过程(II)，使所述第k至所述第1反卷积层，(i)利用所述第h至所述第1带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的特征图，依次输出所述第k至所述第1解码特征图；及
过程(III)，利用参考所述第1解码特征图及对应其的至少一个GT标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数。
17.根据权利要求16所述的学习装置，其特征在于，
在所述过程(I-1)，所述处理器至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n编码特征图中提取频率高于相应的临界值的区域，从而生成第m带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(I-2)，所述处理器使所述第m屏蔽层所对应的第m差异层，计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m差异特征图，
在所述过程(II)，所述处理器使所述第m屏蔽层所对应的第n反卷积层，针对自所述第m带通特征图与第n+1反卷积层输出的第n+1解码特征图的按元素相加之和进行所述反卷积运算，从而输出第n解码特征图。
18.根据权利要求16所述的学习装置，其特征在于，
在所述过程(III)，所述处理器使所述第k至所述第1反卷积层中至少一个所对应的至少一个损失层，参考自所述第k至所述第1反卷积层中所述至少一个输出的至少一个解码特征图及对应其的至少一个GT标签图像，生成所述损失，利用所述损失，执行反向传播过程。
19.根据权利要求16所述的学习装置，其特征在于，
在所述过程(I)，所述处理器使所述第1至所述第k卷积层，依次缩减所述训练图像及所述第1至所述第k-1编码特征图的尺寸，增加所述训练图像及所述第1至所述第k-1编码特征图的信道数，分别输出所述第1至所述第k编码特征图，使所述第1至所述第h屏蔽层，从所述h个编码特征图输出所述频率高于相应的临界值的所述区域，从而从所述第1至所述第k编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的所述h个编码特征图提取所述边缘部分，输出所述第1至所述第h带通特征图，
在所述过程(II)，所述学习装置使所述第k至所述第1反卷积层，依次增加所述第k编码特征图及所述第k至所述第2解码特征图的尺寸，依次缩减所述第k编码特征图及所述第k至所述第2解码特征图的信道数，分别输出所述第k至所述第1解码特征图。
20.根据权利要求16所述的学习装置，其特征在于，
所述学习装置进一步包括(v)第1至第h中间层，分别位于所述第1至所述第h的各个屏蔽层与对应其的反卷积层之间，
所述过程(II)包括：
过程(II-1)，所述处理器使所述第1至所述第h中间层，获得自所述第1至所述第h屏蔽层输出的所述第1至所述第h带通特征图，分别输出第1至第h中间特征图；及
过程(II-2)，所述处理器使所述k个反卷积层(i)利用所述第h至所述第1中间层所对应的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个解码特征图及所述第h至所述第1中间特征图，(ii)并利用非对应于所述第h至所述第1中间层的所述k-h个反卷积层的各个之前的层分别输出的k-h-1个解码特征图及所述第k编码特征图，依次输出所述第k至所述第1解码特征图。
21.根据权利要求20所述的学习装置，其特征在于，
所述学习装置在所述第k卷积层及所述第k反卷积层之间进一步包括补充第h+1中间层，所述补充第h+1中间层针对所述第k编码特征图进行中间运算，输出第h+1中间特征图，向所述第k反卷积层传送所述第h+1中间特征图。
22.根据权利要求20所述的学习装置，其特征在于，
所述第1至所述第h中间层中至少一个执行一个以上的空洞卷积运算，所述h个中间层的至少一个感受野取决于具有0值的滤波器加权值。
23.根据权利要求22所述的学习装置，其特征在于，
在所述过程(I-1)，所述处理器至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n编码特征图中提取频率高于相应的临界值的区域，从而生成第m带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(I-2)，所述处理器使所述第m屏蔽层所对应的第m差异层，计算所述第n编码特征图与所述第m带通特征图之间的差异，输出第m差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m差异特征图，
在所述过程(II-1)，所述处理器使所述第m屏蔽层所对应的第m中间层，参照所述第m带通特征图，输出第m中间特征图，
在所述过程(II-2)，所述处理器使所述第m中间层所对应的第n反卷积层，针对所述第m中间特征图与第n+1反卷积层输出的第n+1解码特征图的按元素相加之和进行所述反卷积运算，从而输出第n解码特征图。
24.一种关于至少一个测试图像的分割的测试装置，其特征在于，包括：
至少一个存储器，用于存储指令；及
处理器，为了执行用于进行以下过程的所述指令而构成：
学习装置包括：
(i)第1至第k卷积层，针对至少一个训练图像所对应的至少一个学习用特征图进行至少一次卷积运算，分别输出第1至第k学习用编码特征图；
(ii)第k至第1反卷积层，针对所述第k学习用编码特征图进行至少一次反卷积运算，分别输出第k至第1学习用解码特征图；
(iii)第1至第h屏蔽层，分别对应所述k个卷积层中的h个卷积层而设置，所述h为1到k-1的整数；及
(iv)第1至第h差异层，分别对应所述第1至所述第h屏蔽层，
所述学习装置，输入所述训练图像后，
(1)使所述第1至所述第k卷积层输出所述第1至所述第k学习用编码特征图，并执行：过程(1-1)，使所述第1至所述第h屏蔽层，从所述第1至所述第k学习用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个学习用编码特征图中获得频率高于预先设定的临界值的一个以上的学习用区域，从而从所述h个学习用编码特征图提取一个以上的学习用边缘部分，输出第1至第h学习用带通特征图；及过程(1-2)，使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个学习用编码特征图的各个与所述第1至所述第h的各个学习用带通特征图之间的差异，从而获得第1至第h学习用差异特征图，将所述第1至所述第h的各个学习用差异特征图传送至对应其的下一个卷积层；
(2)使所述第k至所述第1反卷积层，(2-1)利用所述第h至所述第1学习用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个学习用解码特征图，(2-2)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的学习用特征图，依次输出所述第k至所述第1学习用解码特征图；
(3)利用参考所述第1学习用解码特征图及对应其的至少一个GT标签图像而输出的一个以上的损失，执行反向传播，从而调节所述第1至所述第k反卷积层及所述第k至所述第1卷积层中至少一部分的一个以上的参数，
在此状态下，
(I)使所述第1至所述第k卷积层输出第1至第k测试用编码特征图，并且，(I-1)使所述第1至所述第h屏蔽层，从所述第1至所述第k测试用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的h个测试用编码特征图中获得频率高于预先设定的临界值的一个以上的测试用区域，从而从所述h个测试用编码特征图提取一个以上的测试用边缘部分，输出第1至第h测试用带通特征图，(I-2)使所述第1至第h差异层，求解被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图的各个与所述第1至所述第h的各个测试用带通特征图之间的差异，从而获得第1至第h测试用差异特征图，将所述第1至所述第h的各个测试用差异特征图传送至对应其的下一个卷积层；及
(II)使所述第k至所述第1反卷积层，(i)利用从所述第h至所述第1测试用带通特征图及所述第h至所述第1屏蔽层所对应的h个反卷积层的各个之前的反卷积层分别生成的h个测试用解码特征图，(ii)并利用非对应于所述第h至所述第1屏蔽层的k-h个反卷积层的各个之前的层分别输出的测试用特征图，依次输出所述第k至所述第1测试用解码特征图。
25.根据权利要求24所述的测试装置，其特征在于，
在所述过程(I-1)，所述处理器至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n测试用编码特征图中提取频率高于相应的临界值的区域，从而生成第m测试用带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(I-2)，所述处理器使所述第m屏蔽层所对应的第m差异层，计算所述第n测试用编码特征图与所述第m测试用带通特征图之间的差异，输出第m测试用差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m测试用差异特征图，
在所述过程(II)，所述处理器使所述第m屏蔽层所对应的第n反卷积层，针对所述第m测试用带通特征图与自第n+1反卷积层输出的第n+1测试用解码特征图的按测试用元素相加之和进行所述反卷积运算，从而输出第n测试用解码特征图。
26.根据权利要求24所述的测试装置，其特征在于，
在所述过程(I)，所述处理器使所述第1至所述第k卷积层，依次缩减所述测试图像及所述第1至所述第k-1测试用编码特征图的尺寸，增加所述测试图像及所述第1至所述第k-1测试用编码特征图的信道数，分别输出所述第1至所述第k测试用编码特征图，使所述第1至所述第h屏蔽层，从所述h个测试用编码特征图输出所述频率高于相应的临界值的所述区域，从而从所述第1至所述第k测试用编码特征图中的、被分别输入到所述第1至所述第h屏蔽层的所述h个测试用编码特征图提取所述测试用边缘部分，输出所述第1至所述第h测试用带通特征图，
在所述过程(II)，所述处理器使所述第k至所述第1反卷积层，依次增加所述第k测试用编码特征图及所述第k至所述第2测试用解码特征图的尺寸，依次缩减所述第k测试用编码特征图及所述第k至所述第2测试用解码特征图的信道数，分别输出所述第k至所述第1测试用解码特征图。
27.根据权利要求24所述的测试装置，其特征在于，
所述测试装置进一步包括(v)第1至第h中间层，分别位于各个所述第1至所述第h屏蔽层与对应其的反卷积层之间，
所述过程(II)包括：
过程(II-1)，所述处理器使所述第1至所述第h中间层，获得自所述第1至所述第h屏蔽层输出的所述第1至所述第h的各个测试用带通特征图，分别输出第1至第h测试用中间特征图；及
过程(II-2)，所述处理器使所述k个反卷积层(i)利用所述第h至所述第1中间层所对应的所述h个反卷积层的各个之前的反卷积层分别输出的所述h个测试用解码特征图及所述第h至所述第1测试用中间特征图，(ii)并利用非对应于所述第h至所述第1中间层的各个所述k-h个反卷积层的各个之前的层分别输出的k-h-1个测试用解码特征图及所述第k测试用编码特征图，依次输出所述第k至所述第1测试用解码特征图。
28.根据权利要求27所述的测试装置，其特征在于，
所述测试装置在所述第k卷积层及所述第k反卷积层之间进一步包括补充第h+1中间层，并且所述补充第h+1中间层针对所述第k测试用编码特征图进行中间运算，输出第h+1测试用中间特征图，向所述第k反卷积层传送所述第h+1测试用中间特征图。
29.根据权利要求27所述的测试装置，其特征在于，
所述第1至所述第h中间层中至少一个执行一个以上的空洞卷积运算，所述h个中间层的至少一个的感受野取决于具有0值的滤波器加权值。
30.根据权利要求29所述的测试装置，其特征在于，
在所述过程(I-1)，所述处理器至少使所述第1至所述第h屏蔽层中的第m屏蔽层，在从所述第m屏蔽层所对应的第n卷积层传送而来的第n测试用编码特征图中提取频率高于相应的临界值的区域，从而生成第m测试用带通特征图，其中，所述m为1到所述h的整数，所述n为1到所述k的整数，
在所述过程(I-2)，所述处理器使所述第m屏蔽层所对应的第m差异层，计算所述第n测试用编码特征图与所述第m测试用带通特征图之间的差异，输出第m测试用差异特征图，从而向所述第n卷积层之后的第n+1卷积层传送所述第m测试用差异特征图，
在所述过程(II-1)，所述处理器使所述第m屏蔽层所对应的第m中间层，参照所述第m测试用带通特征图，输出第m测试用中间特征图，
在所述过程(II-2)，所述处理器使所述第m中间层所对应的第n反卷积层，针对所述第m测试用中间特征图与自第n+1反卷积层输出的第n+1测试用解码特征图的按测试用元素相加之和进行所述反卷积运算，从而输出第n测试用解码特征图。
CN201910991241.XA 2019-01-25 2019-10-18 利用拉普拉斯金字塔网络检测道路障碍物的方法和装置 Active CN111488782B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/257,713 US10402977B1 (en) 2019-01-25 2019-01-25 Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
US16/257713 2019-01-25

Publications (2)

Publication Number Publication Date
CN111488782A true CN111488782A (zh) 2020-08-04
CN111488782B CN111488782B (zh) 2023-04-07

Family

ID=67770114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910991241.XA Active CN111488782B (zh) 2019-01-25 2019-10-18 利用拉普拉斯金字塔网络检测道路障碍物的方法和装置

Country Status (5)

Country Link
US (1) US10402977B1 (zh)
EP (1) EP3686774B1 (zh)
JP (1) JP6865363B2 (zh)
KR (1) KR102246326B1 (zh)
CN (1) CN111488782B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503998B2 (en) 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111178181B (zh) * 2019-12-16 2023-06-09 深圳市华尊科技股份有限公司 交通场景分割方法及相关装置
CN111160230B (zh) * 2019-12-27 2023-06-06 清华大学苏州汽车研究院（吴江） 一种基于深度学习的道路不规则区域检测网络
CN111179283A (zh) * 2019-12-30 2020-05-19 深圳市商汤科技有限公司 图像语义分割方法及装置、存储介质
KR20210111557A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 심층 학습 기반의 객체 분류 장치 및 그 방법
EP4088276A1 (en) 2020-03-04 2022-11-16 Google LLC Consistency prediction on streaming sequence models
CN113822041B (zh) * 2020-06-18 2023-04-18 四川大学 一种适用密集文本的深度神经网络自然场景文本检测方法
CN112115920A (zh) * 2020-09-30 2020-12-22 北京百度网讯科技有限公司 生成单目标检测神经网络的方法和装置
CN112287807B (zh) * 2020-10-27 2022-06-07 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN114463187B (zh) * 2022-04-14 2022-06-17 合肥高维数据技术有限公司 基于聚合边缘特征的图像语义分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164109A1 (en) * 2001-05-04 2011-07-07 Baldridge Tony System and method for rapid image sequence depth enhancement with augmented computer-generated elements
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
CN104933722A (zh) * 2015-06-29 2015-09-23 电子科技大学 一种基于Spiking-卷积网络模型的图像边缘检测方法
WO2017207138A1 (en) * 2016-05-31 2017-12-07 Siemens Healthcare Gmbh Method of training a deep neural network
CN108520212A (zh) * 2018-03-27 2018-09-11 东华大学 基于改进的卷积神经网络的交通标志检测方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
WO2017091833A1 (en) * 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
WO2018138603A1 (en) * 2017-01-26 2018-08-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
CA3053487A1 (en) 2017-02-22 2018-08-30 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US10133964B2 (en) * 2017-03-28 2018-11-20 Siemens Healthcare Gmbh Magnetic resonance image reconstruction system and method
US10365606B2 (en) * 2017-04-07 2019-07-30 Thanh Nguyen Apparatus, optical system, and method for digital holographic microscopy
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
JP6744838B2 (ja) 2017-04-18 2020-08-19 Kddi株式会社 エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム
US11164071B2 (en) * 2017-04-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing computational complexity of convolutional neural networks
US10824938B2 (en) * 2017-04-24 2020-11-03 Intel Corporation Specialized fixed function hardware for efficient convolution
US10733755B2 (en) * 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US10635858B2 (en) * 2017-09-11 2020-04-28 Nec Corporation Electronic message classification and delivery using a neural network architecture
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164109A1 (en) * 2001-05-04 2011-07-07 Baldridge Tony System and method for rapid image sequence depth enhancement with augmented computer-generated elements
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
CN104933722A (zh) * 2015-06-29 2015-09-23 电子科技大学 一种基于Spiking-卷积网络模型的图像边缘检测方法
WO2017207138A1 (en) * 2016-05-31 2017-12-07 Siemens Healthcare Gmbh Method of training a deep neural network
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN108520212A (zh) * 2018-03-27 2018-09-11 东华大学 基于改进的卷积神经网络的交通标志检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JINGDONGJIANG等: "Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation", 《ARXIV》 *

Also Published As

Publication number Publication date
CN111488782B (zh) 2023-04-07
US10402977B1 (en) 2019-09-03
EP3686774C0 (en) 2023-08-30
JP6865363B2 (ja) 2021-04-28
JP2020119500A (ja) 2020-08-06
EP3686774B1 (en) 2023-08-30
EP3686774A1 (en) 2020-07-29
KR102246326B1 (ko) 2021-04-29
KR20200092839A (ko) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111488782B (zh) 利用拉普拉斯金字塔网络检测道路障碍物的方法和装置
EP3686795B1 (en) Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
US10692002B1 (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN110910395B (zh) 图像编码方法和装置、利用它们的测试方法和测试装置
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN111008638B (zh) 基于r-cnn的对象检测器的学习方法和装置
CN110874563B (zh) 通过cnn的多个图像输出的提供集成的特征图的方法及装置
CN111008626B (zh) 基于r-cnn检测客体的方法和装置
CN111105011A (zh) 用于对有用学习数据进行取舍筛选的基于cnn的方法及装置
CN111476343B (zh) 利用掩蔽参数的方法和装置
CN111488978B (zh) 为了元学习用于调整残差网络的方法及装置
US10387752B1 (en) Learning method and learning device for object detector with hardware optimization based on CNN for detection at distance or military purpose using image concatenation, and testing method and testing device using the same
CN111488901B (zh) 在cnn中从多个模块内的输入图像提取特征的方法及装置
CN111476248B (zh) 利用用于识别图像的1x1卷积的CNN方法及装置
EP3686794A1 (en) Learning method and learning device for cnn using 1xk or kx1 convolution to be used for hardware optimization, and testing method and testing device using the same
EP3690744A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
EP3686800A1 (en) Learning method and learning device for object detector based on cnn using 1xh convolution to be used for hardware optimization, and testing method and testing device using the same
EP3686810B1 (en) Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or iot devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same
CN110879962A (zh) 利用多个视频帧优化cnn参数的方法和装置
CN110879960A (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
CN111507983A (zh) 利用周边汽车的图像自动标注基础汽车的图像的方法及装置
EP3686807A2 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
CN111508252A (zh) 利用v2x信息集成技术更新高清地图的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant