CN111104839A - 用于检测客体存在性的方法及装置 - Google Patents

用于检测客体存在性的方法及装置 Download PDF

Info

Publication number
CN111104839A
CN111104839A CN201910857980.XA CN201910857980A CN111104839A CN 111104839 A CN111104839 A CN 111104839A CN 201910857980 A CN201910857980 A CN 201910857980A CN 111104839 A CN111104839 A CN 111104839A
Authority
CN
China
Prior art keywords
test
learning
obstacle
feature map
division result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910857980.XA
Other languages
English (en)
Other versions
CN111104839B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
呂东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111104839A publication Critical patent/CN111104839A/zh
Application granted granted Critical
Publication of CN111104839B publication Critical patent/CN111104839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明是用于检测客体存在性的方法及装置。本发明提供一种通过从输入图像中检测近距离障碍物的下端线和上端线来确认客体存在性的CNN的参数的学习方法，其中，学习装置执行以下步骤：步骤(a)，使第1CNN生成第1编码特征图及第1解码特征图，使第2CNN生成第2编码特征图及第2解码特征图；步骤(b)，分别参照所述第1及第2解码特征图，生成推定所述下端线和所述上端线按列分别位于何处的第1及第2障碍物分割结果；步骤(c)，参照所述第1及所述第2障碍物分割结果，推定所述客体存在性；步骤(d)，参照所述客体存在性和对应其的GT图像，生成损失；以及步骤(f)，反向传播所述损失，学习所述CNN的所述参数。

Description

用于检测客体存在性的方法及装置
技术领域
本发明涉及通过从至少一个输入图像中检测至少一个近距离障碍物的至少一个下端线和至少一个上端线来确认至少一个客体的存在性(objectness)的CNN(Convolutional Neural Network,卷积神经网络)参数的学习(learning)方法。尤其涉及通过从所述输入图像中检测所述近距离障碍物所述下端线和所述上端线来确认所述客体存在性的所述CNN的所述参数学习方法以及使用其的学习装置、测试方法和测试装置。
背景技术
深度学习是适用于将事物或数据聚类或分类的技术。例如，计算机无法单凭照片区分狗和猫，而人可以轻易区分。为此研发了“机器学习(Machine Learning)”的方法。这是一种将很多数据输入到计算机，并将类似数据进行分类的技术。如果输入与储存的狗照片相似的照片，计算机就会将其分类为狗照片。
有关如何分类数据，已有了很多机器学习算法，如“决策树”或“贝页斯网络”、“支持向量机(Support Vector Machine，SVM)”、“人工神经网络”等为代表。其中，深度学习是人工神经网络的后裔。
深层卷积神经网络(Deep Convolutional Neural Network；Deep CNN)可谓深层学习领域飞速发展的核心。为了解决文字识别问题，早在90年代就已经使用了CNN，而像现在如此广泛应用，得益于最近的研究成果。这样的深度CNN在2012年ImageNet图像分类大赛中战胜了其他竞争者，赢得了冠军。之后，卷积神经网络成为了机器学习(MachineLearning)领域中非常有用的工具。
图1是基于现有CNN的一般性分割的现有流程的简略图。
如图1所示，在现有车道线的检测方法中，学习装置被输入输入图像后，在多个卷积层执行多次卷积运算和ReLU(Rectified Linear Unit,修正线性单元)等非线性运算，生成特征图，并在多个反卷积层中对所述特征图的最后一个图(map)执行多次反卷积运算及归一化指数(SoftMax)运算，生成分割结果。
另一方面，根据现有的道路分割方法，在所述输入图像中，所有像素都要进行分割，并需要考虑所有像素方能识别出该像素是属于道路的像素，还是不属于道路的像素。此种方法，因为需要对所有像素进行判断，存在运算量大的问题。
另一方面，为了汽车的自主驾驶而进行所述道路分割时，则无需在所述输入图像中对所有物体或车道线上的所有物体进行分割，只针对妨碍自动驾驶的障碍物(obstacle)进行检测即可。
因此，需要提出在输入图像中只检测所述障碍物的新方法。
同时，需要提出一种用不只一条线，且能够通过少量的运算量便可从所述输入图像搜寻对应近距离障碍物的客体存在性的方法。
发明内容
发明所要解决的课题
本发明的目的在于克服所有上述问题。
并且，本发明的目的还在于提供一种在汽车的自主驾驶中检测障碍物的新方法。
并且，本发明的另一个目的在于提供一种无需识别输入图像中的所有像素，只需少量的运算量便能快速掌握所述障碍物位置的方法。
并且，本发明的另一个目的在于提供一种通过少量的运算量检测道路上的警戒线(boundary)和位于所述道路上的近距离障碍物的客体存在性的方法。
用于解决课题的技术方案
本发明的一个方式为，一种通过从至少一个输入图像中检测至少一个近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个客体存在性(objectness)的CNN的参数的学习(learning)方法，其特征在于，包括：步骤(a)，作为训练图像获得所述输入图像后，学习装置，(i)使第1CNN至少一个卷积层，依次从所述输入图像生成至少一个第1编码特征图，使所述第1CNN至少一个反卷积层，依次从所述第1编码特征图生成至少一个第1解码特征图，(ii)使第2CNN至少一个卷积层，依次从所述输入图像生成至少一个第2编码特征图，使所述第2CNN至少一个反卷积层，依次从所述第2编码特征图生成至少一个第2解码特征图；步骤(b)，将所述第1及第2解码特征图，按所述第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，在此状态下，学习装置，(i)参照所述第1解码特征图中至少一个特定第1解码特征图的至少一个特征，生成至少一个第1障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述下端线的各第1特定行，(ii)参照所述第2解码特征图中至少一个特定第2解码特征图的至少一个特征，生成至少一个第2障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述上端线的各第2特定行；步骤(c)，所述学习装置，参照所述第1障碍物分割结果及所述第2障碍物分割结果，判断道路上的所述近距离障碍物所对应的所述客体存在性；步骤(d)，所述学习装置，参照所述客体存在性和对应其的GT(GroundTruth，地面实况)图像，生成至少一个损失，其中，各所述GT图像，包含各所述列上所述近距离障碍物的各所述下端线实际所处的第1实际行的位置信息，及各所述列上所述近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及步骤(f)，所述学习装置，反向传播所述损失，学习所述CNN的所述参数。
一个实施例，其特征在于，在所述步骤(c)，所述学习装置，参照所述第1障碍物分割结果及所述第2障碍物分割结果，进一步判断所述道路的至少一个警戒线；在所述步骤(d)，所述学习装置，参照所述警戒线及所述客体存在性和对应其的GT图像，生成所述损失。
一个实施例，其特征在于，在所述步骤(c)，参照所述第1障碍物分割结果及所述第2障碍物分割结果，如果(i)按所述列分别推定为存在有各所述近距离障碍物的各所述下端线的各所述第1特定行与(ii)按所述列分别推定为存在有各所述近距离障碍物的各所述上端线的各所述第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述学习装置，判断所述输入图像中存在所述警戒线；如果(i)各所述列的各所述第1特定行与(ii)各所述列的各所述第2特定行之间的各距离之差为所述规定边界值以上，则所述学习装置，判断所述输入图像的所述道路上存在对应于所述近距离障碍物的所述客体存在性。
一个实施例，其特征在于，所述步骤(b)，包括：步骤(b1)，将所述第1及所述第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，所述学习装置，按所述列分别将各所述行的各特征向信道方向进行级联，生成至少一个第1修正后的特征图及至少一个第2修正后的特征图；以及步骤(b2)，所述学习装置，(i)在所述第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述近距离障碍物的各所述下端线的各推定位置，以此生成所述第1障碍物分割结果，其中，所述第1障碍物分割结果是通过第1归一化指数SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述第2修正后的特征图中的、按所述列分别经过级联后的信道上，从各所述下端线开始，向上渐升，确认各所述近距离障碍物的各所述上端线的各推定位置，以此生成所述第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
一个实施例，其特征在于，所述各列在所述第1方向包括至少一个像素；所述各行在所述第2方向包括至少一个像素。
一个实施例，其特征在于，所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；所述输入图像划分为Nc个行时，所述第1障碍物分割结果及所述第2障碍物分割结果，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
一个实施例，其特征在于，在所述步骤(b)，生成第3障碍物分割结果，其包含级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述级联特征，是基于所述第1及所述第2解码特征图的特征生成的，所述第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述级联特征中的各所述列分别将对应于各所述行的值进行归一化。
本发明的另一个方式为，一种通过从至少一个测试图像中检测至少一个测试用近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个测试用客体存在性的CNN的测试方法，其特征在于，包括：步骤(a)，在由学习装置执行了以下过程的状态下，由测试装置获得测试图像，所述过程如下：过程(i)，使第1CNN的至少一个卷积层，从作为训练图像获得的至少一个所述输入图像，依次生成至少一个学习用第1编码特征图，使所述第1CNN的至少一个反卷积层，从所述学习用第1编码特征图，依次生成至少一个学习用第1解码特征图，使第2CNN的至少一个卷积层，从所述输入图像依次生成至少一个学习用第2编码特征图，使所述第2CNN的至少一个反卷积层，从所述学习用第2编码特征图，依次生成至少一个学习用第2解码特征图；过程(ii)，将所述学习用第1解码特征图及所述学习用第2解码特征图，按所述学习用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，参照所述学习用第1解码特征图中至少一个学习用特定第1解码特征图的至少一个学习用特征，生成至少一个学习用第1障碍物分割结果，其按所述列分别显示推定为存在有至少一个学习用近距离障碍物各自的各下端线的各学习用第1特定行，参照所述学习用第2解码特征图中至少一个学习用特定第2解码特征图的至少一个学习用特征，生成至少一个学习用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述学习用近距离障碍物的各所述上端线的各学习用第2特定行；过程(iii)，参照所述学习用第1障碍物分割结果及所述学习用第2障碍物分割结果，推定道路上的所述学习用近距离障碍物所对应的学习用客体存在性；过程(iv)，参照所述学习用客体存在性和对应其的GT图像，生成至少一个损失，其中，各所述GT图像包含各所述列上所述学习用近距离障碍物的各所述下端线实际所处的第1实际行的位置信息及各所述列上所述学习用近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及过程(v)，反向传播所述损失，学习所述CNN的参数；步骤(b)，所述测试装置，(i)使所述第1CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第1编码特征图，使所述第1CNN的所述反卷积层，从所述测试用第1编码特征图，依次生成至少一个测试用第1解码特征图，(ii)使所述第2CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第2编码特征图，使所述第2CNN的所述反卷积层，从所述测试用第2编码特征图，依次生成至少一个测试用第2解码特征图；步骤(c)，将所述测试用第1及所述测试用第2解码特征图，按所述测试用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，所述测试装置，(i)参照所述测试用第1解码特征图中至少一个测试用特定第1解码特征图的至少一个测试用特征，生成至少一个测试用第1障碍物分割结果，其按所述列分别显示推定为存在有所述测试用近距离障碍物各自的各所述下端线的各测试用第1特定行，(ii)参照所述测试用第2解码特征图中至少一个测试用特定第2解码特征图的至少一个测试用特征，生成至少一个测试用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述测试用近距离障碍物的各所述上端线的各测试用第2特定行；以及步骤(d)，所述测试装置，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，推定道路上的所述测试用近距离障碍物所对应的所述测试用客体存在性。
一个实施例，其特征在于，在所述步骤(d)，所述测试装置，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，进一步判断所述道路的至少一个测试用警戒线；在所述过程(iv)，所述学习装置，参照至少一个学习用警戒线，所述学习用客体存在性及对应其的GT图像，生成所述损失。
一个实施例，其特征在于，在所述步骤(d)，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，如果(i)按所述列分别推定存在各所述测试用近距离障碍物的各所述下端线的各所述测试用第1特定行与(ii)按所述列分别推定存在各所述测试用近距离障碍物的各所述上端线的各所述测试用第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述测试装置，判断所述测试图像中存在所述测试用警戒线；如果(i)各所述列的各所述测试用第1特定行与(ii)各所述列的各所述测试用第2特定行之间的各距离之差为所述规定边界值以上，则所述测试装置，判断所述测试图像的所述道路上存在对应于所述测试用近距离障碍物的所述测试用客体存在性。
一个实施例，其特征在于，所述步骤(c)，包括：步骤(c1)，将所述测试用第1及第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，所述测试装置，按所述列分别将各所述行的各测试用特征向信道方向级联，生成至少一个测试用第1修正后的特征图及至少一个测试用第2修正后的特征图；以及
步骤(c2)，所述测试装置，(i)在所述测试用第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述下端线的各推定位置，以此生成所述测试用第1障碍物分割结果，其中，所述测试用第1障碍物分割结果是通过第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述测试用第2修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述上端线的各推定位置，以此生成所述测试用第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
一个实施例，其特征在于，所述各列在所述第1方向包括至少一个像素；所述各行在所述第2方向包括至少一个像素。
一个实施例，其特征在于，所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述学习用近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；所述测试图像划分为Nc个行时，所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，包含按所述列分别显示各所述测试用近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
一个实施例，其特征在于，在所述步骤(c)，生成测试用第3障碍物分割结果，其包含测试用级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述测试用级联特征，是基于所述测试用第1及第2解码特征图的测试用特征而生成的，所述测试用第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述测试用级联特征中的所述列分别将对应于各所述行的值进行归一化。
本发明的另一个方式为，一种通过从至少一个输入图像中检测至少一个近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个客体存在性的CNN的参数的学习装置，其特征在于，包括：通讯部，用于获得所述输入图像作为训练图像；以及处理器，用于执行以下过程：过程(I)，(i)使第1CNN至少一个卷积层，依次从所述输入图像生成至少一个第1编码特征图，使所述第1CNN至少一个反卷积层，依次从所述第1编码特征图生成至少一个第1解码特征图，(ii)使第2CNN至少一个卷积层，依次从所述输入图像生成至少一个第2编码特征图，使所述第2CNN至少一个反卷积层，依次从所述第2编码特征图生成至少一个第2解码特征图；过程(II)，将所述第1及第2解码特征图，按所述第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，在此状态下，(i)参照所述第1解码特征图中至少一个特定第1解码特征图的至少一个特征，生成至少一个第1障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述下端线的各第1特定行，(ii)参照所述第2解码特征图中至少一个特定第2解码特征图的至少一个特征，生成至少一个第2障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述上端线的各第2特定行；过程(III)，参照所述第1障碍物分割结果及所述第2障碍物分割结果，判断道路上的所述近距离障碍物所对应的所述客体存在性；过程(IV)，参照所述客体存在性和对应其的GT图像，生成至少一个损失，其中，各所述GT图像，包含各所述列上所述近距离障碍物的各所述下端线实际所处的第1实际行的位置信息，及各所述列上所述近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及过程(V)，反向传播所述损失，学习所述CNN的所述参数。
一个实施例，其特征在于，在所述过程(III)，所述处理器，参照所述第1障碍物分割结果及所述第2障碍物分割结果，进一步判断所述道路的至少一个警戒线；在所述步骤(IV)，所述处理器，参照所述警戒线及所述客体存在性和对应其的GT图像，生成所述损失。
一个实施例，其特征在于，在所述过程(III)，参照所述第1障碍物分割结果及所述第2障碍物分割结果，如果(i)按所述列分别推定为存在有各所述近距离障碍物的各所述下端线的各所述第1特定行与(ii)按所述列分别推定为存在有各所述近距离障碍物的各所述上端线的各所述第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述处理器，判断所述输入图像中存在所述警戒线；如果(i)各所述列的各所述第1特定行与(ii)各所述列的各所述第2特定行之间的各距离之差为所述规定边界值以上，则所述处理器，判断所述输入图像的所述道路上存在对应于所述近距离障碍物的所述客体存在性。
一个实施例，其特征在于，所述过程(II)，包括：过程(II-1)，将所述第1及所述第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，按所述列分别将各所述行的各特征向信道方向进行级联，生成至少一个第1修正后的特征图及至少一个第2修正后的特征图；及
过程(II-2)，(i)在所述第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述近距离障碍物的各所述下端线的各推定位置，以此生成所述第1障碍物分割结果，其中，所述第1障碍物分割结果是通过第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述第2修正后的特征图中的、按所述列分别经过级联后的信道上，从各所述下端线开始，向上渐升，确认各所述近距离障碍物的各所述上端线的各推定位置，以此生成所述第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
一个实施例，其特征在于，所述各列在所述第1方向包括至少一个像素；所述各行在所述第2方向包括至少一个像素。
一个实施例，其特征在于，所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；所述输入图像划分为所述Nc个行时，所述第1障碍物分割结果及所述第2障碍物分割结果，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
一个实施例，其特征在于，在所述过程(II)，生成第3障碍物分割结果，其包含级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述级联特征，是基于所述第1及所述第2解码特征图的特征生成的，所述第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述级联特征中的各所述列分别将对应于各所述行的值进行归一化。
本发明的另一个方式为，一种通过从至少一个测试图像中检测至少一个测试用近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个测试用客体存在性的CNN的测试装置，其特征在于，包括：通讯部，用于在学习装置执行了以下过程的情况下，获得所述测试图像，所述过程包括：过程(1)，使第1CNN的至少一个卷积层，从作为训练图像获得的至少一个所述输入图像，依次生成至少一个学习用第1编码特征图，使所述第1CNN的至少一个反卷积层，从所述学习用第1编码特征图，依次生成至少一个学习用第1解码特征图，使第2CNN的至少一个卷积层，从所述输入图像依次生成至少一个学习用第2编码特征图，使所述第2CNN的至少一个反卷积层，从所述学习用第2编码特征图，依次生成至少一个学习用第2解码特征图；过程(2)，将所述学习用第1解码特征图及所述第2解码特征图，按所述学习用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，参照所述学习用第1解码特征图中至少一个学习用特定第1解码特征图的至少一个学习用特征，生成至少一个学习用第1障碍物分割结果，其按所述列分别显示推定为存在有至少一个学习用近距离障碍物各自的各下端线的各学习用第1特定行，参照所述学习用第2解码特征图中至少一个学习用特定第2解码特征图的至少一个学习用特征，生成至少一个学习用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述学习用近距离障碍物的各所述上端线的各学习用第2特定行；过程(3)，参照所述学习用第1障碍物分割结果及所述学习用第2障碍物分割结果，推定道路上的所述学习用近距离障碍物所对应的学习用客体存在性；过程(4)，参照所述学习用客体存在性和对应其的GT图像，生成至少一个损失，其中，各所述GT图像，包含各所述列上所述学习用近距离障碍物的各所述下端线实际所处的第1实际行的位置信息及各所述列上所述学习用近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及过程(5)，反向传播所述损失，学习所述CNN的参数；以及处理器，用于执行以下过程：过程(I)，(i)使所述第1CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第1编码特征图，使所述第1CNN的所述反卷积层，从所述测试用第1编码特征图，依次生成至少一个测试用第1解码特征图，(ii)使所述第2CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第2编码特征图，使所述第2CNN的所述反卷积层，从所述测试用第2编码特征图，依次生成至少一个测试用第2解码特征图；过程(II)，将所述测试用第1及所述测试用第2解码特征图，按所述测试用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，(i)参照所述测试用第1解码特征图中至少一个测试用特定第1解码特征图的至少一个测试用特征，生成至少一个测试用第1障碍物分割结果，其按所述列分别显示推定为存在有所述测试用近距离障碍物各自的各所述下端线的各测试用第1特定行，(ii)参照所述测试用第2解码特征图中至少一个测试用特定第2解码特征图的至少一个测试用特征，生成至少一个测试用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述测试用近距离障碍物的各所述上端线的各测试用第2特定行；以及过程(III)，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，推定道路上的所述测试用近距离障碍物所对应的所述测试用客体存在性。
一个实施例，其特征在于，在所述过程(III)，所述处理器，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，进一步判断所述道路的至少一个测试用警戒线；在所述过程(4)，所述学习装置，参照至少一个学习用警戒线，所述学习用客体存在性及对应其的GT图像，生成所述损失。
一个实施例，其特征在于，在所述过程(III)，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，如果(i)按所述列分别推定存在各所述测试用近距离障碍物的各所述下端线的各所述测试用第1特定行与(ii)按所述列分别推定存在各所述测试用近距离障碍物的各所述上端线的各所述测试用第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述处理器，判断所述测试图像中存在所述测试用警戒线；如果(i)各所述列的各所述测试用第1特定行与(ii)各所述列的各所述测试用第2特定行之间的各距离之差为所述规定边界值以上，则所述处理器，判断所述测试图像的所述道路上存在对应于所述测试用近距离障碍物的所述测试用客体存在性。
一个实施例，其特征在于，所述过程(II)，包括：过程(II-1)，将所述测试用第1及第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，按所述列分别将各所述行的各测试用特征向信道方向进行级联，生成至少一个测试用第1修正后的特征图及至少一个测试用第2修正后的特征图；以及过程(II-2)，(i)在所述测试用第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述下端线的各推定位置，以此生成所述测试用第1障碍物分割结果，其中，所述测试用第1障碍物分割结果是通过第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述测试用第2修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述上端线的各推定位置，以此生成所述测试用第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
一个实施例，其特征在于，所述各列在所述第1方向包括至少一个像素；所述各行在所述第2方向包括至少一个像素。
一个实施例，其特征在于，所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述学习用近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；所述测试图像划分为Nc个行时，所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，包含按所述列分别显示各所述测试用近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
一个实施例，其特征在于，在所述过程(II)，生成测试用第3障碍物分割结果，其包含测试用级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述测试用级联特征，是基于所述测试用第1及第2解码特征图的测试用特征而生成的，所述测试用第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述测试用级联特征中的所述列分别将对应于各所述行的值进行归一化。
发明效果
本发明的有益效果如下：
本发明的有益效果为，在栅格上，按列分别检测近距离障碍物位于何处，在自主驾驶时易于掌握汽车可以行驶的合适的路径；
进一步，本发明的有益效果为，无需考虑所述输入图像内所有像素，便能通过少量的运算量检测出所述近距离障碍物；
进一步，本发明的有益效果为，能提供一种通过少量的运算量检测道路的警戒线和所述近距离障碍物的客体存在性的方法。
附图说明
图1是基于现有技术的CNN的一般性分割的过程的示意图；
图2是本发明提供的用于近距离障碍物检测的CNN的学习方法的流程示意图；
图3是为了说明本发明提供的用于所述近距离障碍物检测的所述CNN的所述学习方法而示例性地表示对于输入图像的运算过程的图；
图4是本发明提供的用于所述近距离障碍物检测的修正过程的示意图；
图5是本发明提供的用于所述近距离障碍物检测的所述输入图像及对应于其的GT图像的示例图；
图6是为了说明本发明提供的用于检测所述近距离障碍物的所述CNN的测试方法而示例性地表示对于所述输入图像的运算过程的图；
图7a是现有技术所涉及的障碍物检测结果的示意图，图7b和图7c是本发明提供的障碍物检测结果的示意图。
图8是本发明提供的检测至少一个警戒线及至少一个客体存在性的过程的流程示意图。
图9是本发明一实施例提供的用于所述警戒线及所述客体存在性检测的所述CNN的网络结构示意图。
图10是本发明另一实施例提供的用于所述警戒线及客体存在性检测的所述CNN的网络结构示意图。
图11是本发明提供的参照所述障碍物的下端线及上端线的推定位置推定所述警戒线及所述客体存在性的过程的示意图。
图12是根据本发明得到的所述输入图像中包含所述警戒线及所述客体存在性的所述障碍物检测的例子的示意图。
具体实施方式
以下所描述的有关本发明的详细说明，是本发明的具体实施例，可参考附图。这些实施例的详细说明，足以让本技术领域的技术人员能够实施本发明。应当理解，本发明的多种实施例各不相同，但相互之间并不需要是排他的。例如，在此记载的与一个实施例有关的具体形状、结构及特性，在不脱离本发明的精神及范围的情况下，可作为其他实施例加以体现。另外，应当理解，每个公开的实施例中的个别构成要素的位置或安排，在不脱离本发明的精神及发明的情况下可以进行分类。因此，后述的详细说明的旨意并不在于限定，而本发明的范围，如能适当说明，仅限定于与其权利要求所主张的内容等同的所有范围和所附权利要求。附图中类似的参照符号，从多种层面上意指相同或类似的功能。
下面，为了让本发明所属的技术领域的普通技术人员容易实施本发明，结合附图详细描述本发明的最佳实施例。
本发明所提出的技术涉及一种算法，其能够通过快速且少量的运算，从高分辨率的图像检测近距离障碍物。本发明技术提供的所述近距离障碍物检测方法，其目的在于，在输入图像中寻找道路与至少一个障碍物之间的分界。为此，当将所述输入图像的行方向定为第1方向，列方向定为第2方向时，将所述第1方向划分为第1间隔，形成多个列，将所述第2方向划分为第2间隔，形成多个行，从而可形成栅格。将各个所述列从对应于其的所述栅格最下端单元开始，按所述第2方向进行确认，以此对推定出各自存在所述近距离障碍物的各个所述列，通过特定行的信息，检测所述近距离障碍物在道路上的位置。并且，本发明通过(i)基于高分辨率信息的多重损失(Multi-loss)学习过程及(ii)仅利用低分辨率特征的测试过程，减少运算量。
图2是本发明提供的所述近距离障碍物检测用CNN的学习方法的流程示意图。图3是为了说明本发明提供的所述障碍物检测用所述CNN的学习方法而提出的关于输入图像的运算过程的示例图。
参考图2和图3，详细说明本发明提供的所述近距离障碍物检测用CNN的所述学习方法。
本发明提供的所述近距离障碍物检测过程，开始于从至少一个输入图像生成编码特征图及解码特征图的步骤(S01)。所述S01步骤中，当其所包含的学习装置接收所述输入图像作为训练图像后，所述学习装置使第1至第N卷积层从所述训练图像依次各自生成第1编码特征图至第N编码特征图。在此，所述第1至第N卷积层包含于所述近距离障碍物检测用所述CNN。并且，所述近距离障碍物检测用所述CNN包含对应于所述第1至第N卷积层的第N至第1反卷积层，而所述学习装置使所述第N至第1反卷积层从所述第N编码特征图依次生成第N解码特征图至第1解码特征图。
例如，如图3所示，所述近距离障碍物检测用所述CNN，可包含所述第1卷积层至第5卷积层(11至15)和第5反卷积层至所述第1反卷积层(16至20)，所述学习装置可接收3ch，640×256尺寸的所述训练图像(100)。此输入图像，被输入到所述第1卷积层(11)，生成8ch，320×128尺寸的所述第1编码特征图(110)；被输入到第2卷积层(12)，生成16ch，160×64尺寸的第2编码特征图(120)；被输入到第3卷积层(13)，生成32ch，80×32尺寸的第3编码特征图(130)；被输入到第4卷积层(14)，生成64ch，40×16尺寸的第4编码特征图(140)，被输入到第5卷积层(15)，生成128ch，20×8尺寸的第5编码特征图(150)。
如此，所述卷积层，通过增加所述输入图像或特征图的信道，减少横向与纵向尺寸，执行生成所述编码特征图的功能。如，所述第2卷积层(12)至所述第5卷积层(15)，将所述输入的特征图的所述信道增加至2倍，将横向与纵向的尺寸各自减少至1/2，以此生成所述编码特征图。
另一方面，所述学习装置使对应于所述第N卷积层的所述第N反卷积层，将所述第N编码特征图的横向尺寸增加至规定倍数，从而生成所述第N解码特征图。例如，如图3所示的实施例，所述学习装置使所述第5反卷积层(16)，从128h，20×8尺寸的所述第5编码特征图(150)生成64ch，40×8尺寸的第5解码特征图(160)。
通常，反卷积层是减少信道数，增加横向与纵向的尺寸，而本发明提供的所述第N反卷积层是减少所述第N编码特征图的信道，增加所述横向尺寸至规定倍数(例如2倍)，而所述特征图的所述纵向尺寸则可不变。其理由如上所述，本发明只要能在所述栅格的所述列中识别出哪一个位置的计分最高即可。即，在本发明中，与现有分割不同，无需确认所有像素，也无需增加所述纵向尺寸。本发明提出的方法具有输入和输出的横向分辨率相同的效果，不存在现有横向分辨率降低的问题。纵向分辨率也高纵然更好，但也会随之产生运算量大的问题。因此，在本发明中，为了通过少量的运算量检测所述近距离障碍物，提出了仅增加所述横向分辨率的方法。为此，如上所述，所述第N反卷积层减少所述第N编码特征图的所述信道数，仅将所述横向尺寸增加至规定倍数(例如2倍)，而所述纵向尺寸则不作改变。
进一步，参考如图3所示的解码过程，所述学习装置，使所述第4反卷积层(17)，从64ch，40×8尺寸的所述第5解码特征图(160)生成32ch，80×16尺寸的所述第4解码特征图(170)；使所述第3反卷积层(18)，从32ch，80×16尺寸的所述第4解码特征图(170)生成16ch，160×32尺寸的所述第3解码特征图(180)；使所述第2反卷积层(19)，从16ch，160×32尺寸的所述第3解码特征图(180)生成8ch，320×64尺寸的所述第2解码特征图(190)；使所述第1反卷积层(20)，从8ch，320×64尺寸的所述第2解码特征图(190)生成4ch，640×128尺寸的所述第1解码特征图(200)。
如此，所述反卷积层将输入的特征图的信道数减少，将所述横向与纵向尺寸增加，以执行生成解码特征图的功能。如，所述第4反卷积层(17)至所述第1反卷积层(20)，将所述信道数减少至1/2，将所述输入的特征图的所述横向与纵向尺寸各自增加至2倍，以此生成所述解码特征图。
另一方面，所述卷积层可执行卷积、最大池化(max pooling)、ReLU中至少一种运算，所述反卷积层可执行反卷积和ReLU中至少一种运算。
进一步，如图2所示，步骤S02中，所述学习装置可利用具备Ci×Wi×Hi尺寸的所述解码特征图，生成具备CiHi×Wi×1尺寸的第1修正后的特征图，此时，所述Ci是所述信道数，所述Wi是所述列尺寸，所述Hi是所述解码特征图的所述行尺寸。
即，在本发明提供的修正(reshaping)过程中，对于所述至少一个解码特征图，将所述第1方向划分为所述第1间隔，将所述第2方向划分为第2间隔，生成具备多个列和多个行的所述栅格的各单元时，所述学习装置按所述列分别将各所述行的各特征向所述信道方向进行级联(concatenating)，从而生成至少一个修正后的特征图。
图4是本发明提供的所述障碍物检测中用到的所述修正过程的示意图。
如图4所示，在所述修正过程中，如用附图符号410表示的特征图所示，解码特征图被分成行后，如用附图符号420表示的特征图所示，按所述列分别将各所述行的各个所述特征向所述信道方向进行级联。从而，(C×W×H)尺寸的特征图转换为((C*H)×W×1)尺寸的特征图。
在图4所示的示例中，所述用附图符号410表示的特征图中，用粗线画出的各个四方形表示的是对应于所述解码特征图第1列的各行的各个特征。假如所述用附图符号410表示的特征图具有8个行，所述用附图符号420表示的特征图将具备增加至所述信道数8倍的信道数和所述用附图符号410表示的特征图高度的1/8的高度。
在图3所示的示例中，64ch，40×8尺寸的所述第5解码特征图(160)通过第1修正过程(reshape 5-1)，转换为64*8ch，40×1尺寸的所述第1修正后的特征图(161)；32ch，80×16尺寸的所述第4解码特征图(170)通过第1修正过程(reshape 4-1)，转换为32*16ch，80×1尺寸的所述第1修正后的特征图(171)；16ch，160×32尺寸的所述第3解码特征图(180)通过第1修正过程(reshape 3-1)，转换为16*32ch，160×1尺寸的所述第1修正后的特征图(181)；8ch，320×64尺寸的所述第2解码特征图(190)通过第1修正过程(reshape 2-1)，转换为8*64ch，320×1尺寸的所述第1修正后的特征图(191)；4ch，640×128尺寸的所述第1解码特征图(200)通过第1修正过程(reshape 1-1)，转换为4*128ch，640×1尺寸的所述第1修正后的特征图(201)。
另外，在图3中，虽然说明了对所有解码特征图执行所述第1修正过程的情况，但无需对所有解码特征图执行修正过程，仅对部分所述解码特征图执行修正过程也可。
之后，在步骤S03中，可执行将具备CiHi×Wi×1尺寸的所述第1修正后的特征图转换为
Figure BDA0002198790840000181
尺寸的所述第1修正后的特征图的所述卷积运算。在此，所述WI是所述训练图像的列尺寸，所述Wi是所述解码特征图的列尺寸。虽然此卷积运算是1×1卷积，其横向、纵向只包括1格，却是以贯穿所有信道的所述栅格内单元为操作数(operand)而进行的运算，是在每个第1修正后的特征图的Nc个各列中，识别出所述近距离障碍物下端线各自位于何处的过程，而所述Nc是将所述输入图像的所述第2方向分割为规定尺寸的个数。因为，通过所述第1修正过程，所述解码特征图的所有所述列方向的信息，已经被统合到能够同时运算的所述信道，因此，可通过所述卷积运算，确认所有所述信道的信息，按各列分别识别所述近距离障碍物的所述下端线各自位于何处。
当然，如所述第5解码特征图(160)的示例所示，没有修正过程而进行8×1卷积运算时，也可以同时进行所述第1修正运算和所述1×1卷积运算。即，假设特定的特征图的高为N，则可使用N×1卷积。但是，通常在硬件上，所述1×1卷积运算是可以快速执行的，但并不常用的8×1内核或N×1内核的计算速度则明显缓慢，因此，将所述修正过程的运算和所述1×1卷积运算分开，效率更高。
如所述1×1卷积运算的结果所示，假设所述输入的特征图的所述列尺寸为Wi，所述原图像的所述列尺寸为WI，则所述输入特征图将被转换为具备
Figure BDA0002198790840000191
尺寸的信道。
在图3所示的示例中，64*8ch，40×1尺寸的所述第5解码特征图的第1修正后的特征图(161)，通过所述1×1卷积运算转换为Nc*16ch，40×1尺寸的第1修正后的特征图(162)；32*16ch，80×1尺寸的所述第4解码特征图的第1修正后的特征图(171)，通过所述1×1卷积运算转换为Nc*8ch，80×1尺寸的第1修正后的特征图(172)；16*32ch，160×1尺寸的所述第3解码特征图的第1修正后的特征图(181)，通过所述1×1卷积运算转换为Nc*4ch，160×1尺寸的第1修正后的特征图(182)；8*64ch，320×1尺寸的所述第2解码特征图的第1修正后的特征图(191)，通过1×1卷积运算转换为Nc*2ch，320×1尺寸的第1修正后的特征图(192)；4*128ch，640×1尺寸的所述第1解码特征图的第1修正后的特征图(201)，通过所述1×1卷积运算转换为Ncch，640×1尺寸的第1修正后的特征图(202)。
再如图2所示，在步骤S04中，
Figure BDA0002198790840000192
尺寸的所述第1修正后的特征图可被修正为具备Nc×WI×1尺寸的第2修正后的特征图。在此，所述Nc个是为了识别各个所述近距离障碍物的各所述下端线位于每个所述列的何处而划分所述输入图像所述第2方向所得到的所述行的个数。
在步骤S05中，对每个所述第2修正后的特征图的所述列，进行将对应于所述Nc个信道的各个值归一化(normalizing)的SoftMax(归一化指数)运算，在步骤S06中，按照所述第2方向对每个所述列从对应于其的最下端单元开始进行确认，以此生成所述输入图像内各所述列的所述分割结果，其在推定存在所述近距离障碍物的各所述特定行上，表示各所述近距离障碍物各所述下端线的各推定位置。
在所述第2修正过程(S04)中，对于所述输出的
Figure BDA0002198790840000201
尺寸的特征图，可以不改变数据而只改变形状，而转换成Nc×WI×1尺寸的形态。并且，所述SoftMax过程(S05)中，在每个列对所述Nc个信道的所述值进行从0至1的值的归一化，并基于所述归一化的值，对各所述列找出对应于其的具有最大值的各特定信道，进而推定各所述近距离障碍物各所述下端线在各所述列上的位置。
从而，通过所述1×1卷积运算(S03)和所述修正运算(S04)可生成如下特征图，即，在各所述列的所述行上的各所述近距离障碍物各所述下端线的各所述推定位置，各自具有各自相对应的最大值，而在各所述列的所述行上的剩余位置、即剩余行具有更小的值。所述SoftMax运算(S05)用于从所述输入图像的各个列找出所述Nc个值中最大值后输出其位置，从而找出所述近距离障碍物的各个所述位置。进而，基于所述归一化的值，如果按所述列分别推定出具有所述信道的值中最大值的各特定信道上存在各所述近距离障碍物各下端线，那么将生成如下的所述分割结果，即所述Nc行中，在各所述列的所述行中各所述近距离障碍物各所述下端线的各推定位置具有对应的最大值，而在各所述列的所述行中剩余位置则具有更小的值。
想要理解此过程，需要理解最终结果(所述SoftMax运算的结果)的形态。所述CNN的所述学习方法有望得到的输出，是从所述输入图像中识别出各所述列的所述Nc个行中具备最大值的各行而作为所述近距离障碍物的位置的。为此，按列分别需要Nc个计分。如果所述输入图像中的所述列的个数(即，所述输入图像的所述宽)为640个(即，640个像素或640个列)，那么需要产生Nc(信道)×640(宽)×1(高)尺寸的计分图(Score Map)而作为输出。
作为所述输出生成Nc(信道)×640(宽)×1(高)尺寸的所述计分图的所述过程如下。例如，通过所述第1修正(reshape 5-1)过程，生成512(64*8)(信道)×40(宽)×1(高)尺寸的所述第5解码特征图的所述第1修正后的特征图(161)时，该第1修正后的特征图的列仅为所述输入图像的列(640个)的1/16，即40个。因此，这种情况下，仅用16次的所述1×1卷积运算而输出16次Nc个计分就可解决。因此，应设计成在图3中自CONV_OUT5产生的所述输出(162)的尺寸为(Nc*16)(信道)×40(宽)×1(高)。而为了将(Nc*16)(信道)×40(宽)×1(高)尺寸的所述计分图转换为Nc(信道)×640(宽)×1(高)尺寸的所述计分图，需要所述第2修正过程(reshape 5-2)。
如图3所示的示例，通过所述1×1卷积的CONV_OUT5，将Nc*16ch，40×1尺寸的所述特征图(162)转换为Ncch，640×1尺寸的所述特征图(163)，通过所述SoftMax运算生成如下的输出(164)，即在640个列各自的所述Nc个行中，按各所述列，所述行的各所述近距离障碍物各所述下端线的每个所述推定位置具有相对应的最大值，并按各所述列，所述行的所述剩余位置具有更小的值。另外，Nc*8ch，80×1尺寸的所述特征图(172)、Nc*4ch，160×1尺寸的所述特征图(182)、Nc*2ch，320×1尺寸的所述特征图(192)、Ncch，640×1尺寸的所述特征图(202)，分别通过CONV_OUT4至CONV_OUT1的所述1×1卷积运算，分别转换为Ncch，640×1尺寸的所述特征图(173，183，193，203)，并通过所述SoftMax运算生成如下的各输出(174，184，194，204)，即在640个每个列的所述Nc个行中，在各所述近距离障碍物各所述下端线的所述推定位置具有其所在的所述列相对应的最大值，并在所述列的所述行中的剩余位置具有更小的值。
即，所述学习装置，可从所述至少一个解码特征图生成表示各所述推定位置的所述分割结果，并对每个所述列从对应于其的最下端单元开始按所述第2方向(即，渐升)进行确认，以此推定各所述近距离障碍物各所述下端线的各所述推定位置。所述学习装置，在所述修正后的特征图的、按所述列分别经过了级联后的信道上，对各所述近距离障碍物各下端线的各所述推定位置进行识别，从而生成所述分割结果。
进一步参考图2，在步骤S07中，参照所述分割结果和对应于其的至少一个GT图像，可生成至少一个损失，而在步骤S08中，通过反向传播(backpropagation)所述损失，使所述CNN的参数被学习或最优化。
此时，所述GT图像，是当对各所述列从对应于其的最下端单元按所述第2方向(即，渐升)进行确认后时，显示所述近距离障碍物各自实际所处的各GT位置所对应的各列的图像。图5是本发明提供的所述障碍物检测用所述输入图像及对应于其的GT图像的示例图。如图5所示，在所述输入图像中，按各列(将640个像素以所述第1间隔为单位划分而生成的各列或所述640个各像素)分别从所述下端开始向上端进行确认时，指定近距离障碍物为所述近距离障碍物，从而可生成所述GT图像。所述GT图像包括表示所述输入图像中各所述列上，各所述近距离障碍物各所述下端线在所述Nc个行中实际所处的行的信息，所述分割结果包括所述输入图像中各所述列上，各所述近距离障碍物各所述下端线在所述Nc个行中所处位置的推定信息，因此，修正了所述解码特征图而生成的所有所述修正后的特征图(164，174，184，194，204)均具备所述Nc个信道。
所述步骤S07中的所述损失可以是交叉熵损失(Cross-entropy loss)。为了学习或最优化所述CNN的所述参数而反响传播所述损失。图3所示的示例中，由于介由5个解码特征图生成输出，因而产生5个损失，但是也可以参照来自所述5个解码特征图中至少一部分的所述损失和所述输出执行反向传播。尤其是参照从所述第1卷积层(20)输出的所述第1解码特征图而生成的所述损失，虽然利用它是最优选，但并不是必须的。
经过上述过程，在对所述CNN的所述参数进行了学习的情况下，利用了具有所述经过学习的参数的所述CNN的测试装置，可以从作为所述输入图像的至少一个测试图像中检测出近距离障碍物。
图6是为了说明本发明提供的所述障碍物检测用所述CNN测试方法而示例性地表示出关于所述输入图像的运算过程的图。如图6所示，与图3的所述学习装置不同，仅生成一个输出即足够，并且利用所述第5解码特征图便可生成所述输出，因此，可以省略所述第4反卷积层至所述第1反卷积层。作为其他例子，包括所述省略的反卷积层中的一部分也无妨。
具体所述过程与图3中说明的内容相似，因此，如下简要说明图6的所述近距离障碍物检测过程。首先，所述测试装置可接收所述测试图像(100)，使所述第1至第N卷积层(11至15),自所述测试图像(100)依次各自生成测试用第1编码特征图(110，120，130，140，150)。此外，所述测试装置可以使至少一个反卷积层(16)从所述测试用第N编码特征图(150)生成测试用解码特征图(160)。并且，从所述测试用解码特征图(160)，以所述栅格为参照，将按照所述第2方向排列的各所述列所述行的各特征向所述信道方向进行级联，生成测试用修正后的特征图(161)。然后，通过所述1×1卷积运算及追加修正过程，生成变更了信道的测试用特征图(162)和如下的测试用特征图(163)，即该测试用特征图(163)的相应信道调整为了Nc个，相应列的所述横轴个数调整为了所述测试图像的所述横轴个数。并且，所述测试用装置在所述测试用修正后的特征图的、按所述列分别经过了级联后的信道上,对各所述近距离障碍物的各所述下端线在各所述列所述行中的所述推定位置进行识别，从而生成测试用分割结果(164)，以此检测出所述近距离障碍物。
图7a是所述现有的障碍物检测结果的示意图，图7b和图7c是本发明提供的所述障碍物检测结果的示意图。
图7a显示根据所述现有的检测方法检测到所述近距离障碍物的例子,需要考虑所有像素才能识别出所述像素是否属于所述道路的像素，因此，运算量大是不可避免的。但是，根据图7b及图7c中所示的本发明提供的方法，为了推定每个所述近距离障碍物的各所述下端线的位置(粗黑实线标注)，通过从图像的下端到上端确认规定个数(例如Nc个)的所述栅格单元，检测所述近距离障碍物，其结果，可通过较小的运算快速而高分辨率地检测出所述近距离障碍物。
进一步地，所述现有技术由于处理时间的原因，存在所述障碍物检测结果的所述横向分辨率低于所述输入图像的所述分辨率的问题，而在本发明新提出的方法中，所述输入图像和所述输出结果的横向分辨率相同，可解决此问题。
另外，在本发明中,利用多重损失进行学习时使用高分辨率信息，实际测试时，仅从低分辨率特征图即可输出高分辨率结果。从而，可以从所述低分辨率特征图输出高分辨率信息，进而运算量也减少，处理速度也会加快。
图8是本发明提供的检测至少一个警戒线和至少一个客体存在性的过程的流程示意图。
以下，参考图8，说明通过如上所述的用于所述近距离障碍物检测的所述方法，检测道路的所述警戒线及所述道路上至少一个近距离障碍物的所述客体存在性的方法。
首先，如图8所示，使所述学习装置获得或支持所述学习装置获得所述输入图像而作为训练图像，使第1CNN从所述输入图像，生成至少一个第1编码特征图和至少一个第1解码特征图，使第2CNN从所述输入图像，生成至少一个第2编码特征图和至少一个第2解码特征图(S81)。在此，所述第1CNN与所述第2CNN可以相同，也可以不同。
图9是本发明一实施例提供的用于检测所述警戒线及所述客体存在性的所述CNN的网络结构示意图。
所述障碍物意指有可能妨碍道路行驶的所有客体或所述道路警戒线、阶梯等所有障碍物，所述客体存在性意指所有客体的实际存在或存在其本身。例如，检测客体，指的是判断所述客体为动物与否，而检测客体存在性，指的是判断所述客体存在这一事实本身。
参考图9，详细说明所述步骤S81如下。所述学习装置，获得所述输入图像(90)，使所述第1CNN(910)的至少一个卷积层，从所述输入图像(90)依次生成所述第1编码特征图，所述第1CNN(910)的至少一个反卷积层，从所述第1编码特征依次生成所述第1解码特征图。另外，在图9，所述第1CNN(910)的输出是以第1特征图(91)表示的。并且，所述学习装置，使所述第2CNN(920)的至少一个卷积层，从所述输入图像(90)依次生成所述第2编码特征图，所述第2CNN(920)的至少一个反卷积层，从所述第2编码特征依次生成所述第2解码特征图。进一步，在图9，所述第2CNN(920)的输出是以第2特征图(92)表示的。
再次参考图8，通过针对所述第1解码特征图中至少一个特定第1解码特征图的第1SoftMax运算，生成第1障碍物分割结果，其包含推测出存在各所述近距离障碍物各所述下端线的信息；通过针对所述第2解码特征图中至少一个特定第2解码特征图的第2SoftMax运算，生成第2障碍物分割结果，其包含推测出存在各所述近距离障碍物各上端线的信息(S82)。
如图9所示，所述步骤S82由所述学习装置的用于所述下端线检测的SoftMax-运算部(930)及用于所述上端线检测的SoftMax-运算部(940)来执行。首先，所述学习装置，使用于所述下端线检测的所述SoftMax-运算部(930)，将所述SoftMax运算应用于所述第1特征图(91)，生成所述第1障碍物分割结果(93)。并且，与所述之前的SoftMax运算并行地，所述学习装置，使用于所述上端线检测的所述SoftMax-运算部(940)，将所述SoftMax运算应用于所述第2特征图(92)，生成所述第2障碍物分割结果(94)。具体而言，将所述第1及第2解码特征图，按其所述行方向的第1方向和所述列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，所述学习装置，基于所述第1解码特征图(91)中至少一个特定第1解码特征图(91)的至少一个特征，生成所述第1障碍物分割结果(93)，其按所述列分别显示推定存在各所述近距离障碍物各所述下端线的各第1特定行。这里，所述第1障碍物分割结果(93)是通过所述第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值用1与0之间的值进行归一化。然后，所述学习装置，参照所述第2解码特征图(92)中至少一个特定第2解码特征图的至少一个特征，生成所述第2障碍物分割结果(94)，其按所述列分别显示推定存在各所述近距离障碍物各所述上端线的各第2特定行。这里，所述第2障碍物分割结果(94)是通过所述第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值用1与0之间的值进行归一化。
该步骤(S82)，如参考图2至图6进行的说明，将所述第1及第2解码特征图(91，92)，对所述第1方向划分为第1间隔，对所述第2方向划分为第2间隔，生成所述栅格的各单元后，按所述列分别将各所述行的各特征向所述信道方向级联，生成至少一个第1修正后的特征图及至少一个第2修正后的特征图，接着，所述学习装置，(i)针对所述第1修正后的特征图中的、按所述列分别经过级联后的信道上的各所述近距离障碍物各所述下端线的各推定位置进行识别，以此生成所述第1障碍物分割结果(93)，其显示按所述列分别推测在所述行中存在各所述近距离障碍物的各所述下端线的各所述第1特定行，其中，所述第1障碍物分割结果(93)是通过所述第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)从所述第2修正后的特征图中的、按所述列分别经过级联后的信道上的各所述下端线开始，向上确认各所述近距离障碍物的各所述上端线的各推定位置，以此生成所述第2障碍物分割结果(94)，其显示按所述列分别推测在所述行中存在各所述近距离障碍物的各所述上端线的各所述第2特定行，其中，所述第2障碍物分割结果(94)，是通过所述第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
再次参考图8，所述学习装置，参照所述第1障碍物分割结果(93)及所述第2障碍物分割结果(94)，推测所述警戒线及所述道路上的所述近距离障碍物所对应的所述客体存在性(S83)。所述步骤S83，由图9的所述学习装置的客体存在性-判断部(objectness-determining part)(950)来执行。该情况时，所述学习装置，可以参照所述第1障碍物分割结果(93)及所述第2障碍物分割结果(94)，推定道路上的所述近距离障碍物所对应的所述客体存在性，但根据情况也可以省略所述警戒线的推定。
此时，参照所述第1障碍物分割结果(93)及所述第2障碍物分割结果(94)，如果(i)按所述列分别推定为存在有各所述近距离障碍物的各所述下端线的各所述第1特定行与(ii)按所述列分别推定为存在有各所述近距离障碍物的各所述上端线的各所述第2特定行之间的各距离差，在小于规定边界值的范围内，则所述学习装置确定所述输入图像中存在各所述警戒线。然后，如果(i)各所述列的各所述第1特定行与(ii)各所述列的各所述第2特定行之间的各距离差为所述规定边界值以上，则所述学习装置将确定所述输入图像中存在对应各所述近距离障碍物的各所述客体存在性。
图11是本发明提供的参照所述障碍物的所述下端线及所述上端线的推定位置，推定所述警戒线及所述客体存在性的过程的示意图。
如图11所示，将所述第1障碍物分割结果(1110)的各列上的各所述障碍物的各所述下端线连接起来，从而可确定统合的下端线(1111)；将所述第2障碍物分割结果(1120)的各列上的将各所述障碍物的各所述上端线连接起来，从而可确定统合的上端线(1121)。
这里，在所述输入图像在第2方向划分为Nc个(例如80个)行的情况下，至少一个GT图像，将包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；在所述输入图像划分为Nc个行的情况下，所述第1及第2SoftMax运算结果(93，94)包含，按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
在图11所示的示例中，当所述输入图像的所述第2方向划分为80个行时，按所述列分别对应各所述近距离障碍物的各所述下端线的各所述第1特定行的位置如表1130所示，按所述列分别对应各所述近距离障碍物的各所述上端线的各所述第2特定行的位置如表1140所示。如所述表1130所示，所述输入图像中每个列的所述整个80个行中，从所述下端开始分别在37，35，33，…，31，31,…行，推测出存在各所述近距离障碍物的各所述下端线。它们形成所述第1障碍物分割结果(1110)的所述统合的下端线(1111)。其次，如所述表1140所示，所述输入图像中每个列的所述整个80个行中，从所述下端开始分别在40，38，36，…，45，45,…行，推测出存在各所述近距离障碍物的各所述上端线。它们形成所述第2障碍物分割结果(1120)的所述统合的上端线(1121)。
其次，对应各所述下端线的各所述第1特定行的位置(表1130)与对应各所述上端线的各所述第2特定行的位置(表1140)之间的各距离之差，如果被判断为规定边界值以上，则判断为检测出了所述客体存在性，各所述列的客体存在性矢量(1150)内对应其的要素显示为1，但如果被判断为小于规定边界值，则判断为不存在所述客体存在性，各所述列的所述客体存在性矢量(1150)内对应其的要素则显示为0，其结果，按所述列分别生成所述客体存在性矢量(1150)。即，所述客体存在性矢量(1150)中显示为0的部分，意味着在所述道路上的所述障碍物中仅作为所述道路的警戒线存在，而所述客体存在性矢量(1150)中显示为1的剩余部分，则意味着所述道路上存在所述障碍物的所述客体存在性。
图12是根据本发明得到的所述输入图像中包含所述警戒线及所述客体存在性的所述近距离障碍物检测的例子的示意图。
如图12所示，所述学习装置，参照所述第1障碍物分割结果及所述第2障碍物分割结果，推定所述道路的警戒线(1201)及所述道路上所述近距离障碍物所对应的所述客体存在性(1202)，得到所述近距离障碍物检测结果(1200)。如图12的例子所示，参照所述第1障碍物分割结果及所述第2障碍物分割结果，如果按所述列分别对应各所述下端线的各所述第1特定行位置与对应各所述上端线的各所述第2特定行位置之间的各距离差，小于所述规定边界值，便可确定仅存在所述道路的所述警戒线(1201)；如果按所述列分别对应各所述下端线的各所述第1特定行位置与对应各所述上端线的各所述第2特定行位置之间的各距离之差为所述规定边界值以上，便可确定作为所述第1障碍物分割结果而导出的行与作为所述第2障碍物分割结果而导出的行之间存在各所述客体存在性(1202)。即，虽然无法得知所述推定的客体存在性(1202)的种类为何，但可得知有可能会妨碍所述车辆的任意客体的存在。同时，也可检测出车辆无法行驶的道路上的所述警戒线(1201)。
再次参考图8，参照所述警戒线及所述客体存在性和对应其的GT图像，生成至少一个损失，并反向传播所述损失，学习所述CNN的所述参数(S84)。此时，所述GT图像包含各所述列各所述近距离障碍物的各所述下端线实际所处的第1行的位置信息及各所述列所述近距离障碍物的各所述上端线实际所处的第2行的位置信息。
图10是本发明另一实施例提供的用于所述警戒线及客体存在性检测的所述CNN的网络结构示意图。
在图10中，基于所述第1SoftMax运算的所述第1障碍物分割结果和基于所述第2SoftMax运算的所述第2障碍物分割结果，不是个别生成的。而是，生成所述第3障碍物分割结果(95)，其包含推定存在于级联后特征中各所述列上具备上位2个大值的行上的各所述下端线及各所述上端线的信息，其中，所述级联后特征，是将所述第1及第2解码特征图(91，92)的特征进行级联而生成的。该过程，由图10的障碍物用SoftMax-运算部(960)来执行，而所述第3障碍物分割结果(95)是通过第3SoftMax运算生成的，其按所述级联后特征中各所述列分别将对应于所述行的各值进行归一化，其中，所述级联后特征，是基于所述第1及所述第2解码特征图(91，92)的特征而生成的。
另一方面，参考图8至图12说明的所述学习方法，还可直接适用于所述测试方法。
即，一种从至少一个测试图像检测至少一个测试用近距离障碍物的至少一个下端线及至少一个上端线，来确认至少一个测试用客体存在性的所述CNN的测试方法，其特征在于，包括以下步骤：步骤(a)，所述学习装置执行了以下过程的状态下，测试装置获得所述测试图像，所述过程包括：过程(i)，(i-1)使第1CNN的所述卷积层，从作为所述训练图像获得的所述输入图像，依次生成至少一个学习用第1编码特征图，使所述第1CNN的所述反卷积层，从所述学习用第1编码特征图依次生成至少一个学习用第1解码特征图，(i-2)使第2CNN的所述卷积层从所述输入图像依次生成至少一个学习用第2编码特征图，使所述第2CNN的所述反卷积层，从所述学习用第2编码特征图，依次生成至少一个学习用第2解码特征图；过程(ii)，将所述学习用第1及所述第2解码特征图，按所述学习用第1及第2解码特征图的行方向的所述第1方向和列方向的所述第2方向进行划分，生成具备多个行和多个列的栅格各单元后，(ii-1)参照所述学习用第1解码特征图中至少一个学习用特定第1解码特征图的至少一个学习用特征，生成至少一个学习用第1障碍物分割结果，其按所述列分别显示推定为存在有至少一个学习用近距离障碍物各自的各下端线的各学习用第1特定行，(ii-2)基于所述学习用第2解码特征图中至少一个学习用特定第2解码特征图的至少一个学习用特征，生成至少一个学习用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述学习用近距离障碍物的各上端线的各学习用第2特定行；过程(iii)，参照所述学习用第1障碍物分割结果及所述学习用第2障碍物分割结果，推定道路上的所述学习用近距离障碍物所对应的学习用客体存在性；过程(iv)，参照所述学习用客体存在性和对应其的GT图像，生成至少一个损失，其中，每个所述GT图像包含各所述列上所述学习用近距离障碍物的各所述下端线实际所处的第1实际行的位置信息及各所述列上所述学习用近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及过程(v)，反向传播所述损失，学习所述CNN的参数；步骤(b)，所述测试装置，(i)使第1CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第1编码特征图，使所述第1CNN的所述反卷积层，从所述测试用第1编码特征图，依次生成至少一个测试用第1解码特征图，(ii)使第2CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第2编码特征图，使所述第2CNN的所述反卷积层，从所述测试用第2编码特征图，依次生成至少一个测试用第2解码特征图；步骤(c)，将所述测试用第1及所述测试用第2解码特征图，按所述测试用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，所述测试装置，(i)参照所述测试用第1解码特征图中至少一个测试用特定第1解码特征图的至少一个测试用特征，生成至少一个测试用第1障碍物分割结果，其按所述列分别显示推定为存在有各所述测试用近距离障碍物的各所述下端线的各测试用第1特定行，(ii)参照所述测试用第2解码特征图中至少一个测试用特定第2解码特征图的至少一个测试用特征，生成至少一个测试用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述测试用近距离障碍物的各所述上端线的各测试用第2特定行；步骤(d)，所述测试装置，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，推定道路上的所述测试用近距离障碍物所对应的所述测试用客体存在性。此时，在所述步骤(d)，所述测试装置，基于所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，可进一步判断所述道路的警戒线。
在用于检测所述客体的现有技术的学习方法中，为了检测，需要对所有客体分别进行学习。例如，先要完成识别汽车的学习，才能检测出所述道路上的所述汽车，如果需要进一步识别人，就必须执行对人的识别学习。另外，这种客体检测，存在需要大量的运算量的问题。但是，本发明提供的所述方法，能够检测出所述道路上的所述障碍物的所述客体存在性，因此，无论所述客体存在性是关于车辆或人，都能检测出所述障碍物。从而，本发明提供的所述方法，不需要每个所有客体的学习过程，只需少量的运算量便能检测所述障碍物的客体存在性和警戒线。
本发明技术领域的普通技术人员能够理解，上面说明的图像，例如所述训练图像，所述测试图像及所述输入图像等图像数据的发送和接收，可通过学习装置及测试装置的通信部实现，用于执行特征图和运算的数据可借由所述学习装置及所述测试装置的处理器(和/或存储器)保存/维持，而卷积运算、反卷积运算、损失值运算过程，可由所述学习装置及所述测试装置的处理器执行，但本发明不限于此。
以上说明的本发明提供的实施例，是以通过多种计算机构成要素执行的程序指令的形式体现，从而可载入计算机可读存储介质中。所述计算机可读存储介质可单独或组合包含程序指令、数据文件、数据结构等。记录在所述计算机可读存储介质上的程序指令，可以是为了本发明特别设计和构成的，或者也可以是计算机软件领域的从业者公知使用的。计算机可读存储介质的示例包括硬盘、软盘及磁带等磁媒体，CD-ROM、DVD等光盘，光磁盘(floptical disk)等磁-光介质(magneto-optical media)，以及ROM、RAM、闪存存储器等为了储存程序指令并执行而特别构成的硬件设备。程序指令的示例不仅包括由编译器生成的机器语言代码，还包括可通过解释器由计算机执行的高级语言代码。为执行本发明提供的处理，上述硬件设备可由一个或多个软件模块来运行，反之亦然。
以上用具体构成要素等特定事项和限定的实施例及附图来说明了本发明，但这只是为了帮助对本发明更全面的理解而提供的，本发明并不仅限于上述实施例，在本发明所属的技术领域中拥有一般知识的人，可以基于这些描述进行多样的修改和变换。
因此，本发明的思想不应局限于所述说明的实施例而定，不仅是后述的权利要求范围，与本权利要求范围均等或等价的任何变换都属于本发明的思想范筹。

Claims (28)

1.一种通过从至少一个输入图像中检测至少一个近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个客体存在性的卷积神经网络CNN的参数的学习方法，其特征在于，包括：
步骤(a)，作为训练图像获得所述输入图像后，学习装置，(i)使第1CNN至少一个卷积层，依次从所述输入图像生成至少一个第1编码特征图，使所述第1CNN至少一个反卷积层，依次从所述第1编码特征图生成至少一个第1解码特征图，(ii)使第2CNN至少一个卷积层，依次从所述输入图像生成至少一个第2编码特征图，使所述第2CNN至少一个反卷积层，依次从所述第2编码特征图生成至少一个第2解码特征图；
步骤(b)，将所述第1及第2解码特征图，按所述第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，在此状态下，学习装置，(i)参照所述第1解码特征图中至少一个特定第1解码特征图的至少一个特征，生成至少一个第1障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述下端线的各第1特定行，(ii)参照所述第2解码特征图中至少一个特定第2解码特征图的至少一个特征，生成至少一个第2障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述上端线的各第2特定行；
步骤(c)，所述学习装置，参照所述第1障碍物分割结果及所述第2障碍物分割结果，判断道路上的所述近距离障碍物所对应的所述客体存在性；
步骤(d)，所述学习装置，参照所述客体存在性和对应其的地面实况GT图像，生成至少一个损失，其中，各所述GT图像，包含各所述列上所述近距离障碍物的各所述下端线实际所处的第1实际行的位置信息，及各所述列上所述近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及
步骤(f)，所述学习装置，反向传播所述损失，学习所述CNN的所述参数。
2.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)，所述学习装置，参照所述第1障碍物分割结果及所述第2障碍物分割结果，进一步判断所述道路的至少一个警戒线；
在所述步骤(d)，所述学习装置，参照所述警戒线及所述客体存在性和对应其的GT图像，生成所述损失。
3.根据权利要求2所述的方法，其特征在于，
在所述步骤(c)，参照所述第1障碍物分割结果及所述第2障碍物分割结果，如果(i)按所述列分别推定为存在有各所述近距离障碍物的各所述下端线的各所述第1特定行与(ii)按所述列分别推定为存在有各所述近距离障碍物的各所述上端线的各所述第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述学习装置，判断所述输入图像中存在所述警戒线；如果(i)各所述列的各所述第1特定行与(ii)各所述列的各所述第2特定行之间的各距离之差为所述规定边界值以上，则所述学习装置，判断所述输入图像的所述道路上存在对应于所述近距离障碍物的所述客体存在性。
4.根据权利要求1所述的方法，其特征在于，
所述步骤(b)，包括：
步骤(b1)，将所述第1及所述第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，所述学习装置，按所述列分别将各所述行的各特征向信道方向进行级联，生成至少一个第1修正后的特征图及至少一个第2修正后的特征图；以及
步骤(b2)，所述学习装置，(i)在所述第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述近距离障碍物的各所述下端线的各推定位置，以此生成所述第1障碍物分割结果，其中，所述第1障碍物分割结果是通过第1归一化指数SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述第2修正后的特征图中的、按所述列分别经过级联后的信道上，从各所述下端线开始，向上渐升，确认各所述近距离障碍物的各所述上端线的各推定位置，以此生成所述第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
5.根据权利要求1所述的方法，其特征在于，
所述各列在所述第1方向包括至少一个像素；
所述各行在所述第2方向包括至少一个像素。
6.根据权利要求1所述的方法，其特征在于，
所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；
所述输入图像划分为Nc个行时，所述第1障碍物分割结果及所述第2障碍物分割结果，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
7.根据权利要求1所述的方法，其特征在于，
在所述步骤(b)，生成第3障碍物分割结果，其包含级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述级联特征，是基于所述第1及所述第2解码特征图的特征生成的，所述第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述级联特征中的各所述列分别将对应于各所述行的值进行归一化。
8.一种通过从至少一个测试图像中检测至少一个测试用近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个测试用客体存在性的CNN的测试方法，其特征在于，包括：
步骤(a)，在由学习装置执行了以下过程的状态下，由测试装置获得测试图像，所述过程如下：过程(i)，使第1CNN的至少一个卷积层，从作为训练图像获得的至少一个所述输入图像，依次生成至少一个学习用第1编码特征图，使所述第1CNN的至少一个反卷积层，从所述学习用第1编码特征图，依次生成至少一个学习用第1解码特征图，使第2CNN的至少一个卷积层，从所述输入图像依次生成至少一个学习用第2编码特征图，使所述第2CNN的至少一个反卷积层，从所述学习用第2编码特征图，依次生成至少一个学习用第2解码特征图；过程(ii)，将所述学习用第1解码特征图及所述学习用第2解码特征图，按所述学习用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，参照所述学习用第1解码特征图中至少一个学习用特定第1解码特征图的至少一个学习用特征，生成至少一个学习用第1障碍物分割结果，其按所述列分别显示推定为存在有至少一个学习用近距离障碍物各自的各下端线的各学习用第1特定行，参照所述学习用第2解码特征图中至少一个学习用特定第2解码特征图的至少一个学习用特征，生成至少一个学习用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述学习用近距离障碍物的各所述上端线的各学习用第2特定行；过程(iii)，参照所述学习用第1障碍物分割结果及所述学习用第2障碍物分割结果，推定道路上的所述学习用近距离障碍物所对应的学习用客体存在性；过程(iv)，参照所述学习用客体存在性和对应其的GT图像，生成至少一个损失，其中，各所述GT图像包含各所述列上所述学习用近距离障碍物的各所述下端线实际所处的第1实际行的位置信息及各所述列上所述学习用近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及过程(v)，反向传播所述损失，学习所述CNN的参数；
步骤(b)，所述测试装置，(i)使所述第1CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第1编码特征图，使所述第1CNN的所述反卷积层，从所述测试用第1编码特征图，依次生成至少一个测试用第1解码特征图，(ii)使所述第2CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第2编码特征图，使所述第2CNN的所述反卷积层，从所述测试用第2编码特征图，依次生成至少一个测试用第2解码特征图；
步骤(c)，将所述测试用第1及所述测试用第2解码特征图，按所述测试用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，所述测试装置，(i)参照所述测试用第1解码特征图中至少一个测试用特定第1解码特征图的至少一个测试用特征，生成至少一个测试用第1障碍物分割结果，其按所述列分别显示推定为存在有所述测试用近距离障碍物各自的各所述下端线的各测试用第1特定行，(ii)参照所述测试用第2解码特征图中至少一个测试用特定第2解码特征图的至少一个测试用特征，生成至少一个测试用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述测试用近距离障碍物的各所述上端线的各测试用第2特定行；以及
步骤(d)，所述测试装置，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，推定道路上的所述测试用近距离障碍物所对应的所述测试用客体存在性。
9.根据权利要求8所述的方法，其特征在于，
在所述步骤(d)，所述测试装置，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，进一步判断所述道路的至少一个测试用警戒线；
在所述过程(iv)，所述学习装置，参照至少一个学习用警戒线，所述学习用客体存在性及对应其的GT图像，生成所述损失。
10.根据权利要求9所述的方法，其特征在于，
在所述步骤(d)，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，如果(i)按所述列分别推定存在各所述测试用近距离障碍物的各所述下端线的各所述测试用第1特定行与(ii)按所述列分别推定存在各所述测试用近距离障碍物的各所述上端线的各所述测试用第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述测试装置，判断所述测试图像中存在所述测试用警戒线；如果(i)各所述列的各所述测试用第1特定行与(ii)各所述列的各所述测试用第2特定行之间的各距离之差为所述规定边界值以上，则所述测试装置，判断所述测试图像的所述道路上存在对应于所述测试用近距离障碍物的所述测试用客体存在性。
11.根据权利要求8所述的方法，其特征在于，
所述步骤(c)，包括：
步骤(c1)，将所述测试用第1及第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，所述测试装置，按所述列分别将各所述行的各测试用特征向信道方向级联，生成至少一个测试用第1修正后的特征图及至少一个测试用第2修正后的特征图；以及
步骤(c2)，所述测试装置，(i)在所述测试用第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述下端线的各推定位置，以此生成所述测试用第1障碍物分割结果，其中，所述测试用第1障碍物分割结果是通过第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述测试用第2修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述上端线的各推定位置，以此生成所述测试用第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
12.根据权利要求8所述的方法，其特征在于，
所述各列在所述第1方向包括至少一个像素；
所述各行在所述第2方向包括至少一个像素。
13.根据权利要求8所述的方法，其特征在于，
所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述学习用近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；
所述测试图像划分为Nc个行时，所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，包含按所述列分别显示各所述测试用近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
14.根据权利要求8所述的方法，其特征在于，
在所述步骤(c)，生成测试用第3障碍物分割结果，其包含测试用级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述测试用级联特征，是基于所述测试用第1及第2解码特征图的测试用特征而生成的，所述测试用第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述测试用级联特征中的所述列分别将对应于各所述行的值进行归一化。
15.一种通过从至少一个输入图像中检测至少一个近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个客体存在性的CNN的参数的学习装置，其特征在于，包括：
通讯部，用于获得所述输入图像作为训练图像；以及
处理器，用于执行以下过程：过程(I)，(i)使第1CNN至少一个卷积层，依次从所述输入图像生成至少一个第1编码特征图，使所述第1CNN至少一个反卷积层，依次从所述第1编码特征图生成至少一个第1解码特征图，(ii)使第2CNN至少一个卷积层，依次从所述输入图像生成至少一个第2编码特征图，使所述第2CNN至少一个反卷积层，依次从所述第2编码特征图生成至少一个第2解码特征图；过程(II)，将所述第1及第2解码特征图，按所述第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元，在此状态下，(i)参照所述第1解码特征图中至少一个特定第1解码特征图的至少一个特征，生成至少一个第1障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述下端线的各第1特定行，(ii)参照所述第2解码特征图中至少一个特定第2解码特征图的至少一个特征，生成至少一个第2障碍物分割结果，其按所述列分别显示推定为存在有各所述近距离障碍物的各所述上端线的各第2特定行；过程(III)，参照所述第1障碍物分割结果及所述第2障碍物分割结果，判断道路上的所述近距离障碍物所对应的所述客体存在性；过程(IV)，参照所述客体存在性和对应其的GT图像，生成至少一个损失，其中，各所述GT图像，包含各所述列上所述近距离障碍物的各所述下端线实际所处的第1实际行的位置信息，及各所述列上所述近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及过程(V)，反向传播所述损失，学习所述CNN的所述参数。
16.根据权利要求15所述的学习装置，其特征在于，
在所述过程(III)，所述处理器，参照所述第1障碍物分割结果及所述第2障碍物分割结果，进一步判断所述道路的至少一个警戒线；
在所述步骤(IV)，所述处理器，参照所述警戒线及所述客体存在性和对应其的GT图像，生成所述损失。
17.根据权利要求16所述的学习装置，其特征在于，
在所述过程(III)，参照所述第1障碍物分割结果及所述第2障碍物分割结果，如果(i)按所述列分别推定为存在有各所述近距离障碍物的各所述下端线的各所述第1特定行与(ii)按所述列分别推定为存在有各所述近距离障碍物的各所述上端线的各所述第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述处理器，判断所述输入图像中存在所述警戒线；如果(i)各所述列的各所述第1特定行与(ii)各所述列的各所述第2特定行之间的各距离之差为所述规定边界值以上，则所述处理器，判断所述输入图像的所述道路上存在对应于所述近距离障碍物的所述客体存在性。
18.根据权利要求15所述的学习装置，其特征在于，
所述过程(II)，包括：
过程(II-1)，将所述第1及所述第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，按所述列分别将各所述行的各特征向信道方向进行级联，生成至少一个第1修正后的特征图及至少一个第2修正后的特征图；及
过程(II-2)，(i)在所述第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述近距离障碍物的各所述下端线的各推定位置，以此生成所述第1障碍物分割结果，其中，所述第1障碍物分割结果是通过第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述第2修正后的特征图中的、按所述列分别经过级联后的信道上，从各所述下端线开始，向上渐升，确认各所述近距离障碍物的各所述上端线的各推定位置，以此生成所述第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
19.根据权利要求15所述的学习装置，其特征在于，
所述各列在所述第1方向包括至少一个像素；
所述各行在所述第2方向包括至少一个像素。
20.根据权利要求15所述的学习装置，其特征在于，
所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；
所述输入图像划分为所述Nc个行时，所述第1障碍物分割结果及所述第2障碍物分割结果，包含按所述列分别显示各所述近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
21.根据权利要求15所述的学习装置，其特征在于，
在所述过程(II)，生成第3障碍物分割结果，其包含级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述级联特征，是基于所述第1及所述第2解码特征图的特征生成的，所述第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述级联特征中的各所述列分别将对应于各所述行的值进行归一化。
22.一种通过从至少一个测试图像中检测至少一个测试用近距离障碍物的至少一个下端线及至少一个上端线来确认至少一个测试用客体存在性的CNN的测试装置，其特征在于，包括：
通讯部，用于在学习装置执行了以下过程的情况下，获得所述测试图像，所述过程包括：过程(1)，使第1CNN的至少一个卷积层，从作为训练图像获得的至少一个所述输入图像，依次生成至少一个学习用第1编码特征图，使所述第1CNN的至少一个反卷积层，从所述学习用第1编码特征图，依次生成至少一个学习用第1解码特征图，使第2CNN的至少一个卷积层，从所述输入图像依次生成至少一个学习用第2编码特征图，使所述第2CNN的至少一个反卷积层，从所述学习用第2编码特征图，依次生成至少一个学习用第2解码特征图；过程(2)，将所述学习用第1解码特征图及所述第2解码特征图，按所述学习用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，参照所述学习用第1解码特征图中至少一个学习用特定第1解码特征图的至少一个学习用特征，生成至少一个学习用第1障碍物分割结果，其按所述列分别显示推定为存在有至少一个学习用近距离障碍物各自的各下端线的各学习用第1特定行，参照所述学习用第2解码特征图中至少一个学习用特定第2解码特征图的至少一个学习用特征，生成至少一个学习用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述学习用近距离障碍物的各所述上端线的各学习用第2特定行；过程(3)，参照所述学习用第1障碍物分割结果及所述学习用第2障碍物分割结果，推定道路上的所述学习用近距离障碍物所对应的学习用客体存在性；过程(4)，参照所述学习用客体存在性和对应其的GT图像，生成至少一个损失，其中，各所述GT图像，包含各所述列上所述学习用近距离障碍物的各所述下端线实际所处的第1实际行的位置信息及各所述列上所述学习用近距离障碍物的各所述上端线实际所处的第2实际行的位置信息；以及过程(5)，反向传播所述损失，学习所述CNN的参数；以及
处理器，用于执行以下过程：过程(I)，(i)使所述第1CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第1编码特征图，使所述第1CNN的所述反卷积层，从所述测试用第1编码特征图，依次生成至少一个测试用第1解码特征图，(ii)使所述第2CNN的所述卷积层，从所述测试图像，依次生成至少一个测试用第2编码特征图，使所述第2CNN的所述反卷积层，从所述测试用第2编码特征图，依次生成至少一个测试用第2解码特征图；过程(II)，将所述测试用第1及所述测试用第2解码特征图，按所述测试用第1及第2解码特征图的行方向的第1方向和列方向的第2方向进行划分，生成具备多个行和多个列的栅格各单元后，(i)参照所述测试用第1解码特征图中至少一个测试用特定第1解码特征图的至少一个测试用特征，生成至少一个测试用第1障碍物分割结果，其按所述列分别显示推定为存在有所述测试用近距离障碍物各自的各所述下端线的各测试用第1特定行，(ii)参照所述测试用第2解码特征图中至少一个测试用特定第2解码特征图的至少一个测试用特征，生成至少一个测试用第2障碍物分割结果，其按所述列分别显示推定为存在有各所述测试用近距离障碍物的各所述上端线的各测试用第2特定行；以及过程(III)，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，推定道路上的所述测试用近距离障碍物所对应的所述测试用客体存在性。
23.根据权利要求22所述的测试装置，其特征在于，
在所述过程(III)，所述处理器，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，进一步判断所述道路的至少一个测试用警戒线；
在所述过程(4)，所述学习装置，参照至少一个学习用警戒线，所述学习用客体存在性及对应其的GT图像，生成所述损失。
24.根据权利要求23所述的测试装置，其特征在于，
在所述过程(III)，参照所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，如果(i)按所述列分别推定存在各所述测试用近距离障碍物的各所述下端线的各所述测试用第1特定行与(ii)按所述列分别推定存在各所述测试用近距离障碍物的各所述上端线的各所述测试用第2特定行之间的各距离之差，在小于规定边界值的范围内，则所述处理器，判断所述测试图像中存在所述测试用警戒线；如果(i)各所述列的各所述测试用第1特定行与(ii)各所述列的各所述测试用第2特定行之间的各距离之差为所述规定边界值以上，则所述处理器，判断所述测试图像的所述道路上存在对应于所述测试用近距离障碍物的所述测试用客体存在性。
25.根据权利要求22所述的测试装置，其特征在于，
所述过程(II)，包括：
过程(II-1)，将所述测试用第1及第2解码特征图，按所述第1方向划分为第1间隔，按所述第2方向划分为第2间隔，生成所述栅格各单元后，按所述列分别将各所述行的各测试用特征向信道方向进行级联，生成至少一个测试用第1修正后的特征图及至少一个测试用第2修正后的特征图；以及
过程(II-2)，(i)在所述测试用第1修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述下端线的各推定位置，以此生成所述测试用第1障碍物分割结果，其中，所述测试用第1障碍物分割结果是通过第1SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化，(ii)在所述测试用第2修正后的特征图中的、按所述列分别经过级联后的信道上，确认各所述测试用近距离障碍物的各所述上端线的各推定位置，以此生成所述测试用第2障碍物分割结果，其中，所述第2障碍物分割结果是通过第2SoftMax运算生成的，其按所述列分别将对应于各信道的各值进行归一化。
26.根据权利要求22所述的测试装置，其特征在于，
所述各列在所述第1方向包括至少一个像素；
所述各行在所述第2方向包括至少一个像素。
27.根据权利要求22所述的测试装置，其特征在于，
所述输入图像划分为Nc个行时，所述GT图像，包含按所述列分别显示各所述学习用近距离障碍物的各所述下端线及各所述上端线在所述行中实际所处的行的信息；
所述测试图像划分为Nc个行时，所述测试用第1障碍物分割结果及所述测试用第2障碍物分割结果，包含按所述列分别显示各所述测试用近距离障碍物的各所述下端线及各所述上端线在所述行中推定所处的行的信息。
28.根据权利要求22所述的测试装置，其特征在于，
在所述过程(II)，生成测试用第3障碍物分割结果，其包含测试用级联特征中各所述列上具备2个最大值的所述第1及所述第2特定行的信息，其中，所述测试用级联特征，是基于所述测试用第1及第2解码特征图的测试用特征而生成的，所述测试用第3障碍物分割结果是通过第3SoftMax运算生成的，其按所述测试用级联特征中的所述列分别将对应于各所述行的值进行归一化。
CN201910857980.XA 2018-10-26 2019-09-11 用于检测客体存在性的方法及装置 Active CN111104839B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/171,706 US10311324B1 (en) 2018-10-26 2018-10-26 Learning method, learning device for detecting objectness by detecting bottom lines and top lines of nearest obstacles and testing method, testing device using the same
US16/171706 2018-10-26

Publications (2)

Publication Number Publication Date
CN111104839A true CN111104839A (zh) 2020-05-05
CN111104839B CN111104839B (zh) 2023-12-19

Family

ID=66673539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910857980.XA Active CN111104839B (zh) 2018-10-26 2019-09-11 用于检测客体存在性的方法及装置

Country Status (5)

Country Link
US (1) US10311324B1 (zh)
EP (1) EP3644233A1 (zh)
JP (1) JP6846062B2 (zh)
KR (1) KR102280406B1 (zh)
CN (1) CN111104839B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113841154A (zh) * 2021-03-30 2021-12-24 华为技术有限公司 一种障碍物检测方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126199B2 (en) * 2018-04-16 2021-09-21 Baidu Usa Llc Learning based speed planner for autonomous driving vehicles
US11003920B2 (en) * 2018-11-13 2021-05-11 GM Global Technology Operations LLC Detection and planar representation of three dimensional lanes in a road scene
US20200302176A1 (en) * 2019-03-18 2020-09-24 Nvidia Corporation Image identification using neural networks
US10984560B1 (en) * 2019-03-29 2021-04-20 Amazon Technologies, Inc. Computer vision using learnt lossy image compression representations
CN110113614B (zh) * 2019-05-13 2022-04-12 格兰菲智能科技有限公司 图像处理方法及图像处理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201167A (zh) * 2010-04-07 2011-09-28 宫宁生 基于视频的汽车车道自动识别方法
US20150347831A1 (en) * 2014-05-28 2015-12-03 Denso Corporation Detection device, detection program, detection method, vehicle equipped with detection device, parameter calculation device, parameter calculating parameters, parameter calculation program, and method of calculating parameters
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
US20170287137A1 (en) * 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法
US20180181864A1 (en) * 2016-12-27 2018-06-28 Texas Instruments Incorporated Sparsified Training of Convolutional Neural Networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305219B2 (en) * 2014-01-23 2016-04-05 Mitsubishi Electric Research Laboratories, Inc. Method for estimating free space using a camera system
US9916522B2 (en) * 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
JP6519505B2 (ja) * 2016-03-15 2019-05-29 オムロン株式会社 物体検出装置、物体検出方法、及びプログラム
US10354159B2 (en) * 2016-09-06 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201167A (zh) * 2010-04-07 2011-09-28 宫宁生 基于视频的汽车车道自动识别方法
US20150347831A1 (en) * 2014-05-28 2015-12-03 Denso Corporation Detection device, detection program, detection method, vehicle equipped with detection device, parameter calculation device, parameter calculating parameters, parameter calculation program, and method of calculating parameters
US20170287137A1 (en) * 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
US20180181864A1 (en) * 2016-12-27 2018-06-28 Texas Instruments Incorporated Sparsified Training of Convolutional Neural Networks
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAN LEVI，ET AL: "StixelNet: A Deep Convolutional Network for Obstacle Detection and Road Segmentation" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113841154A (zh) * 2021-03-30 2021-12-24 华为技术有限公司 一种障碍物检测方法及装置

Also Published As

Publication number Publication date
JP6846062B2 (ja) 2021-03-24
CN111104839B (zh) 2023-12-19
US10311324B1 (en) 2019-06-04
JP2020068014A (ja) 2020-04-30
EP3644233A1 (en) 2020-04-29
KR102280406B1 (ko) 2021-07-23
KR20200047304A (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
CN111104839A (zh) 用于检测客体存在性的方法及装置
CN111104838B (zh) 基于障碍物的下端线检测roi的方法和装置
CN110879958A (zh) 用于检测障碍物的方法和装置
CN110874564B (zh) 分类车线后补像素检测车线的方法及装置
CN111105010B (zh) 使用具有不同标签集的多个带标签数据库的方法及装置
CN109447034B (zh) 基于YOLOv3网络的自动驾驶中交通标识检测方法
CN111488782B (zh) 利用拉普拉斯金字塔网络检测道路障碍物的方法和装置
US10346693B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN111008626B (zh) 基于r-cnn检测客体的方法和装置
WO2021249071A1 (zh) 一种车道线的检测方法及相关设备
CN110879962B (zh) 利用多个视频帧优化cnn参数的方法和装置
CN111476248B (zh) 利用用于识别图像的1x1卷积的CNN方法及装置
CN111104840B (zh) 基于回归损失的学习及测试的方法及装置
EP3623991A1 (en) Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same
CN111382733A (zh) 多通道集装箱号识别方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant