CN110874841B - 参照边缘图像的客体检测方法及装置 - Google Patents

参照边缘图像的客体检测方法及装置 Download PDF

Info

Publication number
CN110874841B
CN110874841B CN201910806785.4A CN201910806785A CN110874841B CN 110874841 B CN110874841 B CN 110874841B CN 201910806785 A CN201910806785 A CN 201910806785A CN 110874841 B CN110874841 B CN 110874841B
Authority
CN
China
Prior art keywords
test
specific
edge
image
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910806785.4A
Other languages
English (en)
Other versions
CN110874841A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN110874841A publication Critical patent/CN110874841A/zh
Application granted granted Critical
Publication of CN110874841B publication Critical patent/CN110874841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于CNN的用于检测特定客体的方法。所述方法的特征在于，包括：(a)获得了输入图像的情况下，学习装置执行(i)对输入图像适用卷积运算以获得特定特征图的过程及(ii)从输入图像提取边缘部分获得边缘图像，从获得的边缘图像获得包括关于具有与特定客体类似的特定形态的特定边缘部分的信息的引导图的过程的步骤；以及(b)学习装置向特定特征图反映引导图获得用于检测输入图像内的特定客体的分割结果的步骤。

Description

参照边缘图像的客体检测方法及装置
技术领域
本发明涉及基于CNN的用于检测特定客体的方法，具体来讲，涉及如下学习方法及学习装置、基于其的测试方法及测试装置。所述学习方法为基于CNN的用于检测所述特定客体的方法，其特征在于，包括：(a)获得输入图像的情况下，学习装置执行(i)对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程及(ii)从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像中获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程的步骤；以及(b)所述学习装置向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的步骤。
背景技术
深度学习是用于对事物或数据聚类或分类的技术。例如，计算机仅凭照片无法区分狗与猫。而人能够轻易地区分。为此研究出了所谓“机器学习(Machine Learning)”的方法。是将大量数据输入到计算机并将近似的分为同一类的技术。其在输入了与存储的狗照片近似的照片的情况下，计算机将此分类为狗照片。
关于如何对数据分类，已经出现了很多机器学习算法。典型的有“决策树”、“贝叶斯网络”、“支持向量机(SVM)”、“人工神经网络”等。其中深度学习是人工神经网络的后裔。
深度卷积神经网络(Deep Convolution Neural Networks；Deep CNN)是深度学习领域发生的惊人的发展核心。CNN为了解决文字识别问题而自90年代以来开始使用，而像目前广泛使用是则多亏近来的研究结果。这种深度CNN在2012年ImageNet图像分类比赛打败了其他竞争者获胜。自那以后卷积神经网络在机器学习(Machine Learning)领域成为非常有用的工具。
图1示出根据现有技术利用深度CNN欲从照片获得的多种输出的例。
分类(Classification)是识别欲从照片中识别的类(class)的种类，例如如图1所示，识别获得的客体为人、羊还是狗的方法，检测(Detection)是找出所有客体并以被边界框(Bounding Box)包围的形态表示找出的客体的方法，分割(segmentation)是在照片中区分出特定客体的区域与其他客体的方法。近来随着深度学习(Deep learning)技术受到极大关注，分类、检测及分割技术也多采用深度学习。
图2是简要示出利用CNN的现有的车道线检测方法的附图，图3是简要示出一般CNN分割过程的附图。
首先参照图3，根据现有的车道线检测方法，学习装置接收输入图像，在多个卷积层多次执行卷积运算与ReLU等非线性运算以获得特征图，并在多个反卷积层多次执行反卷积运算，最后在特征图执行柔性最大值(SoftMax)运算得到分割结果。
并且，参照图2，现有的车道线(Lane)检测方法的分割结果如图2的中间所示地由两种构成(例如车道线与背景)。这种分割结果用概率预测值示出。这样选择的车道线上的后补像素中仅抽样是车道线的概率高的像素以找出车道线后，利用从找出的车道线上的像素得到的车道线模型函数最终确定车道线。
而如上所述的检测包括车道线在内的至少一个特定客体的现有的CNN装置需要将多种背景分类为一个类(class)(即，标签＝0的类)，背景部分内的类内变化(In-ClassVariation)(同一类内的检测值的变化)大，因此具有难以准确地检测出特定客体的问题。例如检测至少一个车道线的情况下，输入图像中除车道线以外的其他背景部分包括标志板或建筑物等多种形态。但由于其中有很多具有与车道线相似的形态的背景，因此在背景类内算出的标签值并不全部接近0，标签背景类内的值的变化变大。即，虽然是属于背景部分的客体但具有与车道线相似的形态的情况下，算出的标签值是既不接近车道线(标签＝1)也不接近背景(标签＝0)的值，因此具有难以检测车道线的问题。
发明内容
技术问题
本发明的目的是解决上述所有问题。
本发明的另一目的是提供一种将属于背景之一且与特定客体类似的其他客体排除在检测对象之外，从而能够轻易地检测特定客体的方法。
本发明的又一目的是提供一种在利用通过CNN得到的至少一个特征图的基础上还利用至少一个边缘图像在图像内准确地检测特定客体的方法。
技术方案
根据本发明的一个方面，一种基于CNN的用于检测特定客体的方法，其特征在于，包括：
(a)获得了输入图像的情况下，学习装置执行(i)对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程及(ii)从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程的步骤；以及
(b)所述学习装置向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的步骤。
根据一个实施例，其特征在于从所述输入图像去除特定临界值以下的频率成份得到所述边缘图像。
根据一个实施例，其特征在于所述边缘图像是算出所述输入图像像素的梯度(Gradient)后提取所述输入图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘(Canny Edge)图像。
根据一个实施例，其特征在于通过对与所述特定客体类似的所述特定形态赋予第一加权值且对与所述特定客体类似的所述特定形态外的至少一个形态赋予第二加权值获得所述引导图，所述第一加权值大于所述第二加权值。
根据一个实施例，其特征在于通过对所述边缘图像适用至少一次膨胀(Dilation)运算或形态学(Morphology)运算以加宽所述特定边缘部分生成所述引导图。
根据一个实施例，其特征在于在所述(b)步骤中，所述学习装置向所述引导图与所述特定特征图乘以像素宽度生成至少一个边缘强化的特征图。
根据一个实施例，其特征在于所述(b)步骤包括：
(b1)有多个所述特定特征图的状态下，所述学习装置为了生成使得各所述特定特征图的尺寸与各经过尺寸调整的引导图的尺寸相同的至少一个所述经过尺寸调整的引导图而调整所述引导图的尺寸的步骤；以及(b2)所述学习装置向所述引导图和与之对应的特定特征图乘以像素宽度且向所述经过尺寸调整的引导图和与之对应的特定特征图乘以像素宽度生成多个边缘强化的特征图的步骤。
根据一个实施例，其特征在于在所述(b)步骤中，
被反映所述引导图的所述特定特征图选自从所述学习装置的编码层获得的至少一个特征图与从所述学习装置的解码层获得的至少一个特征图。
根据一个实施例，其特征在于所述特定客体为道路的至少一个车道线。
根据一个实施例，其特征在于还包括：(c)所述学习装置参照所述分割结果和与之对应的GT算出分割损耗的步骤；以及
(d)所述学习装置利用所述分割损耗执行反向传播以优化所述学习装置的至少一个参数的步骤。
根据本发明的另一方面，一种用于检测包含于基于CNN图像的至少一个特定客体的测试方法，其特征在于，包括：
(a)在执行了(i)学习装置对训练图像适用至少一次卷积运算获得至少一个特定学习用特征图的过程、(ii)所述学习装置从所述训练图像提取至少一个边缘部分获得学习用边缘图像，从获得的所述学习用边缘图像获得包括关于具有与所述特定客体类似的特定形态的特定学习用边缘部分的信息的至少一个学习用引导图的过程、(iii)所述学习装置向所述特定学习用特征图反映所述学习用引导图获得用于检测所述训练图像内的所述特定客体的学习用分割结果的过程、(iv)所述学习装置参照检测的所述学习用分割结果和与之对应的GT算出分割损耗的过程及(v)所述学习装置利用所述分割损耗执行反向传播优化所述学习装置的至少一个参数的过程的状态下，测试装置获得测试图像的步骤；
(b)所述测试装置执行(i)对所述测试图像适用至少一次卷积运算得到至少一个特定测试用特征图的过程及(ii)从所述测试图像提取至少一个边缘部分获得测试用边缘图像，从获得的所述测试用边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个测试用引导图的过程的步骤；以及
(c)所述测试装置向所述特定测试用特征图反映所述测试用引导图获得用于检测所述测试图像内的所述特定客体的测试用分割结果的步骤。
根据一个实施例，其特征在于通过从所述测试图像去除特定临界值以下的频率成份获得所述测试用边缘图像。
根据一个实施例，其特征在于所述测试用边缘图像是算出所述测试图像像素的梯度(Gradient)后提取所述测试图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘(CannyEdge)图像。
根据一个实施例，其特征在于通过对于所述特定客体类似的所述特定形态赋予第一加权值且向与所述特定客体类似的所述特定形态以外的至少一个形态赋予第二加权值获得所述测试用引导图，所述第一加权值大于所述第二加权值，通过对所述测试用边缘图像适用至少一次膨胀(Dilation)运算或形态学(Morphology)运算以加宽所述特定测试用边缘部分生成所述测试用引导图。
根据一个实施例，其特征在于所述(c)步骤包括：
(c1)有多个所述特定测试用特征图的状态下，所述测试装置为了生成使得各所述特定测试用特征图的尺寸与各经过尺寸调整的测试用引导图的尺寸相同的至少一个所述经过尺寸调整的测试用引导图而调整所述测试用引导图的尺寸的步骤；以及
(c2)所述测试装置向所述测试用引导图和与之对应的特定测试用特征图乘以像素宽度且向所述经过尺寸调整的测试用引导图和与之对应的特定测试用特征图乘以像素宽度生成多个测试用边缘强化的特征图的步骤。
根据本发明的又一方面，一种基于CNN的用于检测特定客体的学习装置，其特征在于，包括：
通信部，其获取作为训练图像的输入图像；以及
处理器，其执行(I)对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程、(II)从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程、及(III)向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的过程。
根据一个实施例，其特征在于从所述输入图像去除特定临界值以下的频率成份得到所述边缘图像。
根据一个实施例，其特征在于所述边缘图像是算出所述输入图像像素的梯度(Gradient)后提取所述输入图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘(Canny Edge)图像。
根据一个实施例，其特征在于通过对与所述特定客体类似的所述特定形态赋予第一加权值且对与所述特定客体类似的所述特定形态外的至少一个形态赋予第二加权值获得所述引导图，所述第一加权值大于所述第二加权值。
根据一个实施例，其特征在于通过对所述边缘图像适用至少一次膨胀(Dilation)运算或形态学(Morphology)运算以加宽所述特定边缘部分生成所述引导图。
根据一个实施例，其特征在于所述(III)过程中，
所述处理器向所述引导图与所述特定特征图乘以像素宽度生成至少一个边缘强化的特征图。
根据一个实施例，其特征在于所述(III)过程包括：
(III-1)有多个所述特定特征图的状态下，为了生成使得各所述特定特征图的尺寸与各经过尺寸调整的引导图的尺寸相同的至少一个所述经过尺寸调整的引导图而调整所述引导图的尺寸的过程；以及
(III-2)向所述引导图和与之对应的特定特征图乘以像素宽度且向所述经过尺寸调整的引导图和与之对应的特定特征图乘以像素宽度生成多个边缘强化的特征图的过程。
根据一个实施例，其特征在于在所述(III)过程中，
被反映所述引导图的所述特定特征图选自从其编码层获得的至少一个特征图与从其解码层获得的至少一个特征图。
根据一个实施例，其特征在于所述特定客体为道路的至少一个车道线。
根据一个实施例，其特征在于所述处理器还执行：
(IV)参照所述分割结果和与之对应的GT算出分割损耗的过程；以及
(V)利用所述分割损耗执行反向传播以优化其至少一个参数的过程。
根据本发明的又一方面，一种用于检测包含于基于CNN图像的至少一个特定客体的测试装置，其特征在于，包括：
通信部，其在执行了(i)学习装置对训练图像适用至少一次卷积运算获得至少一个特定学习用特征图的过程、(ii)所述学习装置从所述训练图像提取至少一个边缘部分获得学习用边缘图像，从获得的所述学习用边缘图像获得包括关于具有与所述特定客体类似的特定形态的特定学习用边缘部分的信息的至少一个学习用引导图的过程、(iii)所述学习装置向所述特定学习用特征图反映所述学习用引导图获得用于检测所述训练图像内的所述特定客体的学习用分割结果的过程、(iv)所述学习装置参照检测的所述学习用分割结果和与之对应的GT算出分割损耗的过程及(v)所述学习装置利用所述分割损耗执行反向传播优化所述学习装置的至少一个参数的过程的状态下，获得测试图像；以及
处理器，其执行(I)对所述测试图像适用至少一次卷积运算以获得至少一个特定测试用特征图，从所述测试图像提取至少一个边缘部分获得测试用边缘图像，从获得的所述测试用边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定测试用边缘部分的信息的至少一个测试用引导图的过程及(II)向所述特定测试用特征图反映所述测试用引导图获得用于检测所述测试图像内的所述特定客体的测试用分割结果的过程。
根据一个实施例，其特征在于通过从所述测试图像去除特定临界值以下的频率成份获得所述测试用边缘图像。
根据一个实施例，其特征在于所述测试用边缘图像是算出所述测试图像像素的梯度(Gradient)后提取所述测试图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘(Canny Edge)图像。
根据一个实施例，其特征在于通过对于所述特定客体类似的所述特定形态赋予第一加权值且向与所述特定客体类似的所述特定形态以外的至少一个形态赋予第二加权值获得所述测试用引导图，所述第一加权值大于所述第二加权值，通过对所述测试用边缘图像适用至少一次膨胀(Dilation)运算或形态学(Morphology)运算以加宽所述特定测试用边缘部分生成所述测试用引导图。
根据一个实施例，其特征在于所述(II)过程包括：
(II-1)有多个所述特定测试用特征图的状态下，为了生成使得各所述特定测试用特征图的尺寸与各经过尺寸调整的测试用引导图的尺寸相同的至少一个所述经过尺寸调整的测试用引导图而调整所述测试用引导图的尺寸的过程；以及
(II-2)向所述测试用引导图和与之对应的特定测试用特征图乘以像素宽度且向所述经过尺寸调整的测试用引导图和与之对应的特定测试用特征图乘以像素宽度生成多个测试用边缘强化的特征图的过程。
技术效果
根据本发明，能够通过提取边缘图像后仅保留对应于车道线或特定客体的部分或对该部分赋予大加权值对边缘图像进行加工而生成的引导图轻易地检测特定客体的效果。即，将边缘强化的引导图反映到特定特征图以显著减少特定特征图的运算量，通过事先去除背景部分，能够有效地检测特定客体或车道线。
根据本发明，检测车道线的情况下通过引导图将背景部分排除在特定特征图之外，从而具有能够明确地仅检测出车道线的效果。
附图说明
为了用于说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分而已，本发明所属技术领域的一般技术人员(以下称为“普通技术人员”)在未经过创造性劳动的情况下可基于这些附图得到其他附图。
图1示出利用现有的CNN欲从照片检测的多种输出的例；
图2是简要示出利用现有的CNN的现有的车道线检测方法的示意图；
图3是简要示出利用现有的CNN的一般分割的现有过程的示意图；
图4是示出本发明的基于CNN的客体检测方法的流程图；
图5示出本发明的一个实施例的基于CNN的客体检测过程；
图6示出本发明的生成引导图的过程的例子；
图7示出本发明的生成引导图的过程的另一例；
图8示出本发明的另一实施例的基于CNN的客体检测过程。
具体实施方式
参见示出能够实施本发明的特定实施例的附图对本发明进行如下具体说明。通过具体说明这些实施例使得本领域普通技术人员足以实施本发明。
并且，本发明的具体说明及权利要求中所述的术语“包括”及其变形并非旨在排除其他技术特征、附加物、构成或步骤。普通技术人员可从本说明书理解本发明的其他目的、优点及其特性中的一部分，而一部分可通过实施本发明理解。以下例示及附图作为实例提供，目的并不是限定本发明。
尤其，本发明包括本说明书所示实施例的所有可能的组合。应理解本发明的多种实施例虽然互异，但不必相互排斥。例如，此处记载的特定形状、结构及特性在一个实施例中在不超出本发明的精神及范围的前提下可通过其他实施例实现。并且，应理解各构成要素的实施例内的个别构成要素的位置或配置可在不超出本发明的精神及范围的前提下变更。对本发明的范围来讲，适当说明的情况下仅限于该权利要求的保护范围等同的所有范围及所附权利要求。附图中类似的附图标记在各个方面表示相同或类似的功能。
本发明所述的各种图像可包括铺装或非铺装道路相关图像，该情况下可想到道路环境中可能出现的物体(例如，汽车、人、动物、植物、物品、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此，本发明所述的各种图像还可以是与道路无关的图像(例如，非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内相关的图像)，该情况下，可想到非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物品、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此。
以下，为了使得本发明所属技术领域的普通技术人员能够轻易地实施本发明，参见关于本发明的优选实施例的附图进行具体说明。
图4是示出本发明的基于CNN的车道线检测方法的流程图。
参照图4，本发明的基于CNN的特定客体检测方法包括：对输入图像(即，训练图像)适用至少一次卷积运算以获得至少一个特定特征图，从输入图像提取至少一个边缘部分以获得边缘引导图，从获得的边缘图像获得包括关于具有与特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的步骤S01、为了生成使得各特定特征图的尺寸与经过尺寸调整的各引导图的尺寸相同的至少一个经过尺寸调整的引导图而调整引导图的尺寸的步骤S02、向引导图和与之对应的特定特征图乘以像素宽度，向所述经过尺寸调整的引导图和与之对应的特定特征图乘以像素宽度，生成多个边缘强化的特征图的步骤S03、利用边缘强化特征图获得用于检测特定客体的分割结果的步骤S04、参照检测的分割结果和与之对应的GT算出分割损耗的步骤S05、利用分割损耗进行反向传播(Backpropagation)以优化学习装置的至少一个参数的步骤S06及利用学习的学习装置的至少一个参数通过测试装置执行特定客体检测过程的步骤S07。关于以上所述的S01至S07步骤的更具体的说明可从图8进行确认，但不限于此。
即，在S01步骤只获得一个特定特征图的情况下，在S01步骤仅获得一个引导图。该情况下，本发明的基于CNN的用于检测特定客体的方法包括：对输入图像适用至少一次卷积运算以获得特定特征图的过程及从输入图像提取至少一个边缘部分以获得边缘图像的过程S10；获得包括关于获得的边缘图像中具有与特定客体类似的特定形态的至少一个特定边缘部分的信息的引导图的过程S20；以及向特定特征图反映引导图检测输入图像内的特定客体的分割结果的过程S30。以上说明的关于S10至S30步骤的更具体的说明可在图5进行确认。
图5示出本发明的一个实施例的基于CNN的用于检测客体的过程，图6示出本发明的生成引导图的过程的例子，图7示出生成引导图的过程的另一例，图8示出本发明的另一实施例的基于CNN的客体检测过程。
以下参照图4至图8说明基于CNN的用于检测特定客体的学习过程及测试过程。
首先，通过学习装置获得了输入图像的情况下，学习装置对输入图像适用至少一次卷积运算及ReLU等非线性运算获得至少一个特定特征图。学习装置从输入图像提取至少一个边缘部分获得边缘图像，从获得的边缘图像获得包括关于具有与所述特定客体类似的形态的特定边缘部分的信息的至少一个引导图。在此，可通学习装置内的编码层从输入图像生成边缘图像，但也可以在独立于学习装置的其他装置从输入图像生成边缘图像。
在此，边缘图像可通过从输入图像去除预定临界值以下的频率成份获得。并且，边缘图像可包括利用梯度(Gradient)相对大的像素检测到的边缘部分。例如，算出输入图像像素的梯度后，可提取输入图像的像素中具有预设临界值以上的梯度的至少一个像素生成边缘图像。如上生成的边缘图像成为侃尼边缘(Canny Edge)图像。
之后，加工边缘图像生成改进的边缘图像(以下，称为“引导图”)使得欲检测的客体部分很好地表示。在一个实施例中，引导图通过加宽边缘图像中的边缘部分生成。并且在其他实施例中引导图也可以从边缘图像去除具有与特定客体类似的形态的部分以外的部分生成。
参照图6，引导图可通过对边缘图像适用膨胀(Dilation)运算或形态学运算(Morphology Operator)将边缘部分加宽生成。
参照图7，在其他实施例中，检测至少一个车道线的情况下，引导图通过从边缘图像去除树形态的边缘部分且在边缘图像保持具有与车道线类似的形态的边缘部分生成。该情况下，向与车道线类似的特定形态赋予相对更大的加权值，向与特定客体类似的特定形态以外的至少一个形态赋予相对更小的加权值。在其他实施例中，检测车道线的情况下对边缘图像适用直线算法或曲线算法且对与车道线类似的形态赋予大加权值生成引导图。在此，向具有与车道线类似的特定形态以外的形态的边缘部分乘以0以全部去除，仅对具有与车道线类似的特定形态的边缘部分乘以1以保持所述边缘部分。但由于具有明明是车道线而却被删除的风险，因此根据情况赋予具有1与0之间的值的加权值更适宜。
之后，如图5对特定特征图与引导图乘以像素宽度生成边缘强化的特征图。
本发明的另一实施例如图8所示，可在编码层与解码层生成多种尺寸的多个特定特征图。该情况下，引导图可反映到从编码层获得的特定特征图及从解码层获得的特定特征图中的至少一个。为此，为了生成使得各特定特征图的尺寸等于经过尺寸调整的各引导图的尺寸的经过尺寸调整的引导图而执行调整引导图的尺寸的步骤。
并且如图8所示，对引导图及与之对应的特定特征图乘以像素宽度且向经过尺寸调整的引导图和与之对应的特定特征图乘以像素宽度生成多个边缘强化的特征图。
可以仅对这样生成的边缘强化的特征图中具有与欲检测的特定客体类似的特定形态的边缘部分赋予大加权值强调边缘部分。在其他实施例中，边缘强化的特征图中只剩下具有与欲检测的特定客体类似的特定形态的边缘部分，而其他边缘部分则从边缘强化的特征图被去除。
即，引导图(即，改进的边缘图像)仅包括车道线与部分背景，或者引导图仅对车道线与部分背景具有高像素值，因此将其以掩码(Mask)或关注(Attenti on)形态对引导图与特定特征图乘以像素宽度的情况下，除图6或图7中用黑色表示的部分以外执行推理(Inference)。即，能够通过包括接近被赋予高加权值的车道线的形态的部分与被赋予低加权值的背景部分的引导图轻易地检测出车道线。
之后，对边缘强化的特征图适用附加运算(例如，反卷积运算或FC层运算、柔性最大值运算等)，获得在输入图像中相对于关于背景的类区分关于车道线的类的分割结果。并且根据分割结果利用多项式拟合(Polynomial Fitting)算法或样条拟合(SplineFitting)算法检测车道线。即，将多项式拟合(Polynom ial Fitting)算法或样条拟合(Spline Fitting)算法适用于分割结果的车道线后补像素以检测车道线。
之后，参照分割结果和与之对应的GT算出分割损耗，利用分割损耗进行反向传播(Back propagation)以优化学习装置的至少一个参数。
之后，利用测试装置检测特定客体的过程通过学习装置的至少一个参数执行。
即，在执行了(i)学习装置对训练图像适用至少一次卷积运算获得至少一个特定学习用特征图的过程、(ii)学习装置从训练图像提取至少一个边缘部分获得学习用边缘图像，从获得的学习用边缘图像获得包括关于具有与特定客体类似的特定形态的特定边缘部分的信息的至少一个学习用引导图的过程、(i ii)学习装置向特定学习用特征图反映学习用引导图获得用于检测训练图像内的特定客体的学习用分割结果的过程、(iv)学习装置参照检测的学习用分割结果和与之对应的GT算出分割损耗的过程及(v)学习装置利用分割损耗执行反向传播优化学习装置的至少一个参数的过程的状态下，测试装置获得测试图像。
之后，测试装置执行(i)对测试图像适用至少一次卷积运算得到至少一个特定测试用特征图的过程及(ii)从测试图像提取至少一个边缘部分获得测试用边缘图像，从获得的测试用边缘图像获得包括关于具有与特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个测试用引导图的过程。
之后，测试装置向特定测试用特征图反映测试用引导图获得用于检测测试图像内的特定客体的测试用分割结果。
本发明技术领域的普通技术人员能够理解以上说明的图像，例如训练图像、测试图像之类的图像数据的收发可通过学习装置及测试装置的通信部实现，用于与特征图进行运算的数据可通过学习装置及测试装置的处理器(及/或存储器)保存/持有，卷积运算、反卷积运算、损耗值运算过程主要可通过学习装置及测试装置的处理器执行，但本发明不限于此。
以上说明的本发明的实施例可实现为能够通过多种计算机构成要素执行的程序命令的形态存储在计算机可读存储介质中。所述计算机可读存储介质可包括程序指令、数据文件、数据结构等或其组合。存储在所述计算机可读存储介质中的程序指令可以是为本发明而专门设计和构成的，但也可以是计算机软件领域的技术人员公知使用的。计算机可读存储介质例如可以是硬盘、软盘及磁带之类的磁介质、CD-ROM、DVD之类的光存储介质、软光盘(fl optical disk)之类的磁-光介质(magneto-optical media)及ROM、RAM、闪速存储器等为了存储和执行程序命令而专门构成的硬件装置。并且，程序命令不仅包括通过编译器得到的机器代码，还包括能够通过解释器由计算机运行的高级语言代码。所述硬件装置可构成为为了执行本发明的处理而作为一个以上的软件模块工作，反之相同。
以上通过本发明的具体构成要素等特定事项与限定的实施例及附图进行了说明，但是其目的只是用于帮助更全面的理解，本发明并不限定于上述实施例，本发明所属领域的普通技术人员可根据以上记载想到多种修改及变更。
因此，本发明的思想不应局限于以上说明的实施例，而是所述权利要求范围及与该权利要求范围等同或等价变形的所有一切都属于本发明思想的范畴。

Claims (26)

1.一种学习方法，是基于CNN的用于检测特定客体的方法，其特征在于，包括：
a：获得了输入图像的情况下，学习装置执行i.对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程及ii.从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程的步骤，其中所述边缘部分包括所述特定客体的边界的信息和所述特定客体的边界内的边缘线的信息，并且其中欲检测的特定客体包括道路的至少一个车道线，其中所述至少一个引导图是当检测到所述车道线时通过对所述边缘图像适用直线算法或曲线算法且对与所述至少一个车道线类似的形态赋予大加权值而生成的；以及
b：所述学习装置向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的步骤，
其中在所述步骤b中，所述学习装置对所述引导图与所述特定特征图乘以像素宽度以生成至少一个边缘强化的特征图；并且在所生成的至少一个边缘强化的特征图中，仅对具有与欲检测的特定客体类似的特定形态的至少一个边缘部分赋予大加权值，或在所述至少一个边缘强化的特征图中只剩下具有与欲检测的特定客体类似的特定形态的至少一个边缘部分，而其他边缘部分则从所述至少一个边缘强化的特征图中去除。
2.根据权利要求1所述的学习方法，其特征在于：
从所述输入图像去除特定临界值以下的频率成份得到所述边缘图像。
3.根据权利要求1所述的学习方法，其特征在于：
所述边缘图像是算出所述输入图像像素的梯度后提取所述输入图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘图像。
4.根据权利要求1所述的学习方法，其特征在于：
通过对与所述特定客体类似的所述特定形态赋予第一加权值且对与所述特定客体类似的所述特定形态外的至少一个形态赋予第二加权值获得所述引导图，
所述第一加权值大于所述第二加权值。
5.根据权利要求1所述的学习方法，其特征在于：
通过对所述边缘图像适用至少一次膨胀运算或形态学运算以加宽所述特定边缘部分生成所述引导图。
6.根据权利要求1所述的学习方法，其特征在于：
所述b步骤包括：
b1：有多个所述特定特征图的状态下，所述学习装置为了生成使得各所述特定特征图的尺寸与各经过尺寸调整的引导图的尺寸相同的至少一个所述经过尺寸调整的引导图而调整所述引导图的尺寸的步骤；以及b2：所述学习装置向所述引导图和与之对应的特定特征图乘以像素宽度且向所述经过尺寸调整的引导图和与之对应的特定特征图乘以像素宽度生成多个边缘强化的特征图的步骤。
7.根据权利要求1所述的学习方法，其特征在于：
在所述b步骤中，
被反映所述引导图的所述特定特征图选自从所述学习装置的编码层获得的至少一个特征图与从所述学习装置的解码层获得的至少一个特征图。
8. 根据权利要求1所述的学习方法，其特征在于，还包括：
c：所述学习装置参照所述分割结果和与之对应的GT算出分割损耗的步骤；以及
d：所述学习装置利用所述分割损耗执行反向传播以优化所述学习装置的至少一个参数的步骤。
9.一种测试方法，是用于检测包含于基于CNN图像的至少一个特定客体的测试方法，其特征在于，包括：
a：在执行了i.学习装置对训练图像适用至少一次卷积运算获得至少一个特定学习用特征图的过程、ii.所述学习装置从所述训练图像提取至少一个边缘部分获得学习用边缘图像，从获得的所述学习用边缘图像获得包括关于具有与所述特定客体类似的特定形态的特定学习用边缘部分的信息的至少一个学习用引导图的过程、iii.所述学习装置向所述特定学习用特征图反映所述学习用引导图获得用于检测所述训练图像内的所述特定客体的学习用分割结果的过程、iv.所述学习装置参照检测的所述学习用分割结果和与之对应的GT算出分割损耗的过程及v.所述学习装置利用所述分割损耗执行反向传播优化所述学习装置的至少一个参数的过程的状态下，测试装置获得测试图像的步骤；
b：所述测试装置执行i.对所述测试图像适用至少一次卷积运算得到至少一个特定测试用特征图的过程及ii.从所述测试图像提取至少一个边缘部分获得测试用边缘图像，从获得的所述测试用边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定测试用边缘部分的信息的至少一个测试用引导图的过程的步骤，其中所述边缘部分包括所述特定客体的边界的信息和所述特定客体的边界内的边缘线的信息，并且其中欲检测的特定客体包括道路的至少一个车道线，其中所述至少一个测试用引导图是当检测到所述车道线时通过对所述测试用边缘图像适用直线算法或曲线算法且对与所述至少一个车道线类似的形态赋予大加权值而生成的；以及
c：所述测试装置向所述特定测试用特征图反映所述测试用引导图获得用于检测所述测试图像内的所述特定客体的测试用分割结果的步骤，其中在所述步骤c中，所述测试装置对所述测试用引导图与所述特定测试用特征图乘以像素宽度以生成至少一个测试用边缘强化的特征图；并且在所生成的至少一个测试用边缘强化的特征图中，仅对具有与欲检测的特定客体类似的特定形态的至少一个边缘部分赋予大加权值，或在所述至少一个测试用边缘强化的特征图中只剩下具有与欲检测的特定客体类似的特定形态的至少一个边缘部分，而其他边缘部分则从所述至少一个测试用边缘强化的特征图中去除。
10.根据权利要求9所述的测试方法，其特征在于：
通过从所述测试图像去除特定临界值以下的频率成份获得所述测试用边缘图像。
11.根据权利要求9所述的测试方法，其特征在于：
所述测试用边缘图像是算出所述测试图像像素的梯度后提取所述测试图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘图像。
12.根据权利要求9所述的测试方法，其特征在于：
通过对于所述特定客体类似的所述特定形态赋予第一加权值且向与所述特定客体类似的所述特定形态以外的至少一个形态赋予第二加权值获得所述测试用引导图，
所述第一加权值大于所述第二加权值，
通过对所述测试用边缘图像适用至少一次膨胀运算或形态学运算以加宽所述特定测试用边缘部分生成所述测试用引导图。
13.根据权利要求9所述的测试方法，其特征在于：
所述c步骤包括：
c1：有多个所述特定测试用特征图的状态下，所述测试装置为了生成使得各所述特定测试用特征图的尺寸与各经过尺寸调整的测试用引导图的尺寸相同的至少一个所述经过尺寸调整的测试用引导图而调整所述测试用引导图的尺寸的步骤；以及
c2：所述测试装置向所述测试用引导图和与之对应的特定测试用特征图乘以像素宽度且向所述经过尺寸调整的测试用引导图和与之对应的特定测试用特征图乘以像素宽度生成多个测试用边缘强化的特征图的步骤。
14. 一种学习装置，是基于CNN的用于检测特定客体的学习装置，其特征在于，包括：
通信部，其获取作为训练图像的输入图像；以及
处理器，其执行I.对所述输入图像适用至少一次卷积运算以获得至少一个特定特征图的过程；II.从所述输入图像提取至少一个边缘部分以获得边缘图像，从获得的所述边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定边缘部分的信息的至少一个引导图的过程，其中所述边缘部分包括所述特定客体的边界的信息和所述特定客体的边界内的边缘线的信息，并且其中欲检测的特定客体包括道路的至少一个车道线，其中所述至少一个引导图是当检测到所述车道线时通过对所述边缘图像适用直线算法或曲线算法且对与所述至少一个车道线类似的形态赋予大加权值而生成的；及III.向所述特定特征图反映所述引导图获得用于检测所述输入图像内的所述特定客体的分割结果的过程，其中在所述过程III中，所述处理器对所述引导图与所述特定特征图乘以像素宽度以生成至少一个边缘强化的特征图；并且在所生成的至少一个边缘强化的特征图中，仅对具有与欲检测的特定客体类似的特定形态的至少一个边缘部分赋予大加权值，或在所述至少一个边缘强化的特征图中只剩下具有与欲检测的特定客体类似的特定形态的至少一个边缘部分，而其他边缘部分则从所述至少一个边缘强化的特征图中去除。
15.根据权利要求14所述的学习装置，其特征在于：
从所述输入图像去除特定临界值以下的频率成份得到所述边缘图像。
16.根据权利要求14所述的学习装置，其特征在于：
所述边缘图像是算出所述输入图像像素的梯度后提取所述输入图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘图像。
17.根据权利要求14所述的学习装置，其特征在于：
通过对与所述特定客体类似的所述特定形态赋予第一加权值且对与所述特定客体类似的所述特定形态外的至少一个形态赋予第二加权值获得所述引导图，
所述第一加权值大于所述第二加权值。
18.根据权利要求14所述的学习装置，其特征在于：
通过对所述边缘图像适用至少一次膨胀运算或形态学运算以加宽所述特定边缘部分生成所述引导图。
19.根据权利要求14所述的学习装置，其特征在于：
所述III过程包括：
III-1：有多个所述特定特征图的状态下，为了生成使得各所述特定特征图的尺寸与各经过尺寸调整的引导图的尺寸相同的至少一个所述经过尺寸调整的引导图而调整所述引导图的尺寸的过程；以及
III-2：向所述引导图和与之对应的特定特征图乘以像素宽度且向所述经过尺寸调整的引导图和与之对应的特定特征图乘以像素宽度生成多个边缘强化的特征图的过程。
20.根据权利要求14所述的学习装置，其特征在于：
在所述III过程中，
被反映所述引导图的所述特定特征图选自从其编码层获得的至少一个特征图与从其解码层获得的至少一个特征图。
21. 根据权利要求14所述的学习装置，其特征在于，所述处理器还执行：
IV：参照所述分割结果和与之对应的GT算出分割损耗的过程；以及
V：利用所述分割损耗执行反向传播以优化其至少一个参数的过程。
22. 一种测试装置，是用于检测包含于基于CNN图像的至少一个特定客体的测试装置，其特征在于，包括：
通信部，其在执行了i.学习装置对训练图像适用至少一次卷积运算获得至少一个特定学习用特征图的过程、ii.所述学习装置从所述训练图像提取至少一个边缘部分获得学习用边缘图像，从获得的所述学习用边缘图像获得包括关于具有与所述特定客体类似的特定形态的特定学习用边缘部分的信息的至少一个学习用引导图的过程、iii.所述学习装置向所述特定学习用特征图反映所述学习用引导图获得用于检测所述训练图像内的所述特定客体的学习用分割结果的过程、iv.所述学习装置参照检测的所述学习用分割结果和与之对应的GT算出分割损耗的过程及v.所述学习装置利用所述分割损耗执行反向传播优化所述学习装置的至少一个参数的过程的状态下，获得测试图像；以及
处理器，其执行I.对所述测试图像适用至少一次卷积运算以获得至少一个特定测试用特征图，从所述测试图像提取至少一个边缘部分获得测试用边缘图像，从获得的所述测试用边缘图像获得包括关于具有与所述特定客体类似的特定形态的至少一个特定测试用边缘部分的信息的至少一个测试用引导图的过程，其中所述边缘部分包括所述特定客体的边界的信息和所述特定客体的边界内的边缘线的信息，并且其中欲检测的特定客体包括道路的至少一个车道线，其中所述至少一个测试用引导图是当检测到所述车道线时通过对所述测试用边缘图像适用直线算法或曲线算法且对与所述至少一个车道线类似的形态赋予大加权值而生成的；及II.向所述特定测试用特征图反映所述测试用引导图获得用于检测所述测试图像内的所述特定客体的测试用分割结果的过程，其中在所述过程II中，所述处理器对所述测试用引导图与所述特定测试用特征图乘以像素宽度以生成至少一个测试用边缘强化的特征图；并且在所生成的至少一个测试用边缘强化的特征图中，仅对具有与欲检测的特定客体类似的特定形态的至少一个边缘部分赋予大加权值，或在所述至少一个测试用边缘强化的特征图中只剩下具有与欲检测的特定客体类似的特定形态的至少一个边缘部分，而其他边缘部分则从所述至少一个测试用边缘强化的特征图中去除。
23.根据权利要求22所述的测试装置，其特征在于：
通过从所述测试图像去除特定临界值以下的频率成份获得所述测试用边缘图像。
24.根据权利要求22所述的测试装置，其特征在于：
所述测试用边缘图像是算出所述测试图像像素的梯度后提取所述测试图像的所述像素中具有预设临界值以上的梯度的至少一个像素生成的侃尼边缘图像。
25.根据权利要求22所述的装置，其特征在于：
通过对于所述特定客体类似的所述特定形态赋予第一加权值且向与所述特定客体类似的所述特定形态以外的至少一个形态赋予第二加权值获得所述测试用引导图，
所述第一加权值大于所述第二加权值，
通过对所述测试用边缘图像适用至少一次膨胀运算或形态学运算以加宽所述特定测试用边缘部分生成所述测试用引导图。
26.根据权利要求22所述的装置，其特征在于：
所述II过程包括：
II-1：有多个所述特定测试用特征图的状态下，为了生成使得各所述特定测试用特征图的尺寸与各经过尺寸调整的测试用引导图的尺寸相同的至少一个所述经过尺寸调整的测试用引导图而调整所述测试用引导图的尺寸的过程；以及
II-2：向所述测试用引导图和与之对应的特定测试用特征图乘以像素宽度且向所述经过尺寸调整的测试用引导图和与之对应的特定测试用特征图乘以像素宽度生成多个测试用边缘强化的特征图的过程。
CN201910806785.4A 2018-09-04 2019-08-29 参照边缘图像的客体检测方法及装置 Active CN110874841B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/120,664 US10229346B1 (en) 2018-09-04 2018-09-04 Learning method, learning device for detecting object using edge image and testing method, testing device using the same
US16/120,664 2018-09-04

Publications (2)

Publication Number Publication Date
CN110874841A CN110874841A (zh) 2020-03-10
CN110874841B true CN110874841B (zh) 2023-08-29

Family

ID=65633215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910806785.4A Active CN110874841B (zh) 2018-09-04 2019-08-29 参照边缘图像的客体检测方法及装置

Country Status (5)

Country Link
US (1) US10229346B1 (zh)
EP (1) EP3620979B1 (zh)
JP (1) JP2020038658A (zh)
KR (1) KR102325033B1 (zh)
CN (1) CN110874841B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096933B (zh) * 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及系统
US11461996B2 (en) * 2018-03-05 2022-10-04 Omron Corporation Method, apparatus and system for determining feature data of image data, and storage medium
US11593657B2 (en) * 2018-06-05 2023-02-28 Samsung Electronics Co., Ltd. Machine learning device and machine learning method of machine learning device
US10311321B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device using regression loss and testing method, testing device using the same
EP3888008A1 (en) * 2018-11-27 2021-10-06 Raytheon Company Computer architecture for artificial image generation
JP7250126B2 (ja) * 2018-11-27 2023-03-31 レイセオン カンパニー 自動エンコーダを用いる人工画像生成のためのコンピュータアーキテクチャ
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
US10402692B1 (en) * 2019-01-22 2019-09-03 StradVision, Inc. Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
US10387753B1 (en) * 2019-01-23 2019-08-20 StradVision, Inc. Learning method and learning device for convolutional neural network using 1×1 convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
US10395140B1 (en) * 2019-01-23 2019-08-27 StradVision, Inc. Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same
US10496899B1 (en) * 2019-01-25 2019-12-03 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US10373027B1 (en) * 2019-01-30 2019-08-06 StradVision, Inc. Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
US10423840B1 (en) * 2019-01-31 2019-09-24 StradVision, Inc. Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
US10373004B1 (en) * 2019-01-31 2019-08-06 StradVision, Inc. Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
CN112116083B (zh) * 2019-06-20 2024-03-08 地平线(上海)人工智能技术有限公司 神经网络加速器及其检测方法和装置
CN110298321B (zh) * 2019-07-02 2021-03-23 中国科学院空天信息创新研究院 基于深度学习图像分类的道路阻断信息提取方法
CN110490082B (zh) * 2019-07-23 2022-04-05 浙江科技学院 一种有效融合神经网络特征的道路场景语义分割方法
US11688155B2 (en) * 2020-01-06 2023-06-27 Luminar, Llc Lane detection and tracking techniques for imaging systems
KR102144706B1 (ko) 2020-03-11 2020-08-14 아주대학교산학협력단 합성곱 신경망 기반의 도로 검출 장치 및 방법
CN111583229B (zh) * 2020-05-09 2024-01-05 江苏野马软件科技有限公司 一种基于卷积神经网络路面故障检测方法
CN111738295B (zh) * 2020-05-22 2024-03-22 南通大学 图像的分割方法及存储介质
CN111932545A (zh) * 2020-07-14 2020-11-13 浙江大华技术股份有限公司 图像处理方法、目标计数方法及其相关装置
CN112069958A (zh) * 2020-08-27 2020-12-11 广西柳工机械股份有限公司 物料识别方法、装置、设备及存储介质
KR102333642B1 (ko) * 2021-06-04 2021-12-01 셀렉트스타 주식회사 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체
CN113298837B (zh) * 2021-07-27 2021-11-26 南昌工程学院 一种图像边缘提取方法、装置、存储介质及设备
KR20230057117A (ko) 2021-10-21 2023-04-28 동의대학교 산학협력단 인공 신경망 적용 객체 감지 과정에서의 효과적인 하드웨어 사용을 위한 시스템 및 방법
CN115588024B (zh) * 2022-11-25 2023-06-20 东莞市兆丰精密仪器有限公司 一种基于人工智能的复杂工业影像边缘提取方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219765A (ja) * 2006-02-15 2007-08-30 Toyota Motor Corp 画像処理装置、その方法、および画像処理用プログラム
JP2008181422A (ja) * 2007-01-25 2008-08-07 Fujitsu Ten Ltd 画像認識装置、画像認識方法、車両制御装置および車両制御方法
JP2010165204A (ja) * 2009-01-16 2010-07-29 Nissan Motor Co Ltd 車線認識装置および車線認識方法
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
WO2018076212A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
JP2018132855A (ja) * 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1229486A1 (en) * 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic image pattern detection
JP3639283B2 (ja) * 2003-07-14 2005-04-20 株式会社東芝 画像処理装置及び画像処理方法
US20160239706A1 (en) * 2015-02-13 2016-08-18 Qualcomm Incorporated Convolution matrix multiply with callback for deep tiling for deep convolutional neural networks
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
WO2017187516A1 (ja) * 2016-04-26 2017-11-02 株式会社日立製作所 情報処理システムおよびその運用方法
JP6564136B2 (ja) * 2016-05-31 2019-08-21 株式会社Pfu 画像処理装置、画像処理方法、および、プログラム
RU2016138608A (ru) * 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219765A (ja) * 2006-02-15 2007-08-30 Toyota Motor Corp 画像処理装置、その方法、および画像処理用プログラム
JP2008181422A (ja) * 2007-01-25 2008-08-07 Fujitsu Ten Ltd 画像認識装置、画像認識方法、車両制御装置および車両制御方法
JP2010165204A (ja) * 2009-01-16 2010-07-29 Nissan Motor Co Ltd 車線認識装置および車線認識方法
WO2018076212A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于反卷积神经网络的场景语义分割方法
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
JP2018132855A (ja) * 2017-02-14 2018-08-23 国立大学法人電気通信大学 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A novel approach for detecting the horizon using a convolutional neural network andmulti-scale edge detection;Chiyoon Jeong et al.;《Multidimensional Systems and Signal Processing》;20180623;第1-18页 *

Also Published As

Publication number Publication date
EP3620979C0 (en) 2023-08-09
KR20200027428A (ko) 2020-03-12
US10229346B1 (en) 2019-03-12
EP3620979A1 (en) 2020-03-11
EP3620979B1 (en) 2023-08-09
KR102325033B1 (ko) 2021-11-12
JP2020038658A (ja) 2020-03-12
CN110874841A (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
CN110874841B (zh) 参照边缘图像的客体检测方法及装置
CN110874564B (zh) 分类车线后补像素检测车线的方法及装置
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
EP3686774B1 (en) Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
EP3690707B1 (en) Post-processing method and device for detecting lanes to plan drive path of autonomous vehicle by using segmentation score map and clustering map
EP3620958B1 (en) Learning method, learning device for detecting lane through lane model and testing method, testing device using the same
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102320985B1 (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
EP3687152B1 (en) Learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US10387752B1 (en) Learning method and learning device for object detector with hardware optimization based on CNN for detection at distance or military purpose using image concatenation, and testing method and testing device using the same
CN117893845A (zh) 提供ai模型的方法、ai平台、计算设备及存储介质
WO2022222087A1 (en) Method and apparatus for generating adversarial patch
Paraskevas et al. Detecting Holes in Fishery Nets using an ROV
JP2016151978A (ja) 画像処理装置及び画像処理プログラム
CN116503406A (zh) 基于大数据的水利工程信息管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant