CN111476811B - 分割图像的学习方法和装置及利用它们的测试方法和装置 - Google Patents

分割图像的学习方法和装置及利用它们的测试方法和装置 Download PDF

Info

Publication number
CN111476811B
CN111476811B CN201911292541.5A CN201911292541A CN111476811B CN 111476811 B CN111476811 B CN 111476811B CN 201911292541 A CN201911292541 A CN 201911292541A CN 111476811 B CN111476811 B CN 111476811B
Authority
CN
China
Prior art keywords
softmax
learning
scores
generate
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911292541.5A
Other languages
English (en)
Other versions
CN111476811A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
呂东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111476811A publication Critical patent/CN111476811A/zh
Application granted granted Critical
Publication of CN111476811B publication Critical patent/CN111476811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供了分割具有至少一个车道的图像的学习方法和学习装置、及利用它们的测试方法和测试装置。所述学习方法包括：步骤a，学习装置对输入图像适用卷积运算而生成特征图，并适用反卷积运算而生成与输入图像上的各个像素相关的分割分数；步骤b，对分割分数适用softmax运算而生成softmax分数；步骤c，(I)对softmax分数适用多项逻辑损失运算而生成softmax损失和嵌入损失，嵌入损失用于学习卷积神经网络模块，以使各个车道的分割分数的各个平均中与其它车道之间的平均之差变大，且使各个车道的分割分数的方差中各个相同车道内部的方差变小，(II)对softmax及嵌入损失进行反向传播。

Description

分割图像的学习方法和装置及利用它们的测试方法和装置
技术领域
本发明涉及一种用于支援与为满足无人驾驶汽车级别4所需的高清地图之间的协作的、分割具有至少一个车道的图像的学习方法和学习装置、及利用它们的测试方法和测试装置。
背景技术
深度卷积神经网络(Deep Convolutional Neural Network；Deep CNN)是深度学习领域中的发展核心。为了解决文字识别问题，尽管90年代已经使用过卷积神经网络，但像现在这样被广泛使用，得益于近年来的研究结果。在2012年的ImageNet图像分类比赛中，这种深度卷积神经网络打败了其他竞争者，赢得了优胜。之后，卷积神经网络成为了机器学习(Machine Learning)领域中的非常有用的工具。
另一方面，图像分割(Image Segmentation)是一种通过接收输入图像(训练图像或测试图像)将标签(Label)图像生成为输出图像的方法。近年来，随着深度学习(Deeplearning)技术受到关注，在图像分割中经常使用深度学习技术也成为了趋势。
在进行分割时，若在图像上的各个类中像素个数分布不均匀，则像素个数少的部分会经常出现模糊的情况。像素个数不均匀的代表性情况是用于无人驾驶汽车的图像。在此情况下，如果特定车道为虚线或图像中存在远距离区域，则由于该车道的部分的像素个数少，因此在进行分割时，存在像素个数少的部分被误判为不是车道的问题。
发明内容
本发明的目的在于，解决如上所述的问题。
本发明的另一目的在于，通过对softmax损失和嵌入损失采用反向传播，使像素个数少的部分也在分割结果上输出得较深，从而更容易地区分不同的车道地输出分割分数。
为了达成如上所述的本发明的目的，实现后述的本发明特征性效果，本发明的特征性构成如下。
根据本发明的一实施方式，一种分割具有至少一个车道的输入图像的学习方法，其特征在于，该学习方法包括如下步骤：步骤a，当获取到上述输入图像时，学习装置使卷积神经网络模块对上述输入图像适用至少一次卷积运算而生成特征图，并对上述特征图适用至少一次反卷积运算而生成与上述输入图像上的各个像素相关的各个分割分数；步骤b，上述学习装置使上述卷积神经网络模块对上述各个分割分数适用至少一次softmax运算而生成各个softmax分数；以及步骤c，上述学习装置使上述卷积神经网络模块(I)(i)对上述各个softmax分数适用至少一次多项逻辑损失运算而生成各个softmax损失，(ii)并对上述各个softmax分数适用至少一次像素嵌入运算(Pixel Embedding Operation)而生成引导上述卷积神经网络模块学习的各个嵌入损失，以使在上述各个车道的上述分割分数的各个平均中与其它车道之间的平均之差变大，在上述各个车道的上述分割分数的方差中各个相同车道内部的方差则变小，然后，(II)通过利用各个上述softmax损失及各个上述嵌入损失的反向传播来学习上述卷积神经网络模块的至少一个参数。
在一实施例中，其特征在于，
通过上述计算式算出各个上述嵌入损失，在上述输入图像包含具有上述车道及至少一个背景部分的多个类时，NC为包含上述输入图像上的上述车道及上述背景部分的上述类的数量，NCC为各个上述类内的像素的数量，μc为与各个上述类所包含的像素分别对应的各个softmax分数的平均，maxDev为参照与各个上述像素对应的上述softmax分数及与各个上述像素对应的上述μc而算出的方差中的最大值，minDist为在与相互不同的类对应的μc之间的差中的最小值。
在一实施例中，其特征在于，利用以下计算式分别算出各个上述多项逻辑损失，在此情况下，s为一个上述输入图像所包含的上述像素的数量，1为表示第i像素在与此对应的GT标签上属于哪一类的独热编码(One-Hot-Encoding)向量，P(i)为与各个上述像素对应的各个softmax分数。
根据本发明的另一实施方式，一种分割具有至少一个车道的测试图像的测试方法的特征在于，包括如下步骤：步骤a，学习装置(1)使卷积神经网络模块对训练图像适用至少一次卷积运算而生成学习用特征图后，对上述学习用特征图适用至少一次反卷积运算而生成与上述训练图像上的各个像素相关的各个学习用分割分数，(2)使上述卷积神经网络模块对上述各个学习用分割分数适用至少一次softmax运算而生成各个学习用softmax分数，(3)并使上述卷积神经网络模块(I)(i)对上述各个学习用softmax分数适用至少一次多项逻辑损失运算而生成各个softmax损失，(ii)并对上述各个学习用softmax分数适用至少一次像素嵌入运算而生成引导上述卷积神经网络模块学习的各个嵌入损失，以使在上述各个车道的上述学习用分割分数的各个平均中与其它车道之间的平均之差变大，在上述各个车道的上述学习用分割分数的方差中各个相同车道内部的方差则变小，然后，(II)在通过利用各个上述softmax损失及各个上述嵌入损失的反向传播来学习上述卷积神经网络模块的至少一个参数，在该状态下，当获取到上述测试图像时，测试装置使上述卷积神经网络模块对上述测试图像适用至少一次卷积运算而生成测试用特征图之后，对上述测试用特征图适用至少一次反卷积运算而生成与上述测试图像上的各个像素相关的各个测试用分割分数；以及步骤b，上述测试装置使上述卷积神经网络模块对上述各个测试用分割分数适用softmax运算而生成各个测试用softmax分数。
根据本发明的又一实施方式，一种分割具有至少一个车道的输入图像的学习装置的特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，其构成为实施上述指令，该指令用于执行如下处理：处理I，使卷积神经网络模块对上述输入图像适用至少一次卷积运算而生成特征图，并对上述特征图适用至少一次反卷积运算而生成与上述输入图像上的各个像素相关的各个分割分数；处理II，使上述卷积神经网络模块对上述各个分割分数适用至少一次softmax运算而生成各个softmax分数；以及处理III，使上述卷积神经网络模块(1)(i)对上述各个softmax分数适用至少一次多项逻辑损失运算而生成各个softmax损失，(ii)并对上述各个softmax分数适用至少一次像素嵌入运算而生成引导上述卷积神经网络模块学习的各个嵌入损失，以使在上述各个车道的上述分割分数的各个平均中与其它车道之间的平均之差变大，在上述各个车道的上述分割分数的方差中各个相同车道内部的方差则变小，然后，(2)通过利用各个上述softmax损失及各个上述嵌入损失的反向传播来学习上述卷积神经网络模块的至少一个参数。
在一实施例中，其特征在于，
通过上述计算式算出各个上述嵌入损失，在上述输入图像包含具有上述车道及至少一个背景部分的多个类时，NC为包含上述输入图像上的上述车道及上述背景部分的上述类的数量，NCC为各个上述类内的像素的数量，μc为与各个上述类所包含的像素分别对应的各个softmax分数的平均，maxDev为参照与各个上述像素对应的上述softmax分数及与各个上述像素对应的上述μc而算出的方差中的最大值，minDist为在与相互不同的类对应的μc之间的差中的最小值。
在一实施例中，其特征在于，利用以下计算式算出各个上述多项逻辑损失，此时，s为一个上述输入图像所包含的上述像素的数量，1为表示第i像素在与此对应的GT标签上属于哪一类的独热编码向量，P(i)为与各个上述像素对应的各个softmax分数。
根据本发明的又一实施方式，一种分割具有至少一个车道的测试图像的测试装置的特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，其构成为实施上述指令，该指令用于执行如下处理：学习装置(1)使卷积神经网络模块对训练图像适用至少一次卷积运算而生成学习用特征图后，对上述学习用特征图适用至少一次反卷积运算而生成与上述训练图像上的各个像素相关的各个学习用分割分数，(2)使上述卷积神经网络模块对上述各个学习用分割分数适用至少一次softmax运算而生成各个学习用softmax分数，(3)并使上述卷积神经网络模块(I)(i)对上述各个学习用softmax分数适用至少一次多项逻辑损失运算而生成各个softmax损失，(ii)并对上述各个学习用softmax分数适用至少一次像素嵌入运算而生成引导上述卷积神经网络模块学习的各个嵌入损失，以使在上述各个车道的上述学习用分割分数的各个平均中与其它车道之间的平均之差变大，在上述各个车道的上述学习用分割分数的方差中各个相同车道内部的方差则变小，然后，(3-2)在通过利用各个上述softmax损失及各个上述嵌入损失的反向传播来学习上述卷积神经网络模块的至少一个参数，在该状态下，执行如下处理：处理I，使上述卷积神经网络模块对上述测试图像适用至少一次卷积运算而生成测试用特征图之后，对上述测试用特征图适用至少一次反卷积运算而生成与上述测试图像上的各个像素相关的各个测试用分割分数；及处理II，使上述卷积神经网络模块对上述各个测试用分割分数适用softmax运算而生成各个测试用softmax分数。
发明效果
本发明具有如下效果：通过缩小属于同一车道的像素之间的分割分数的差距，并扩大属于不同车道的像素之间的分割分数的差距，从而能够获得最优化的分割效果。
附图说明
为了用于说明本发明实施例，以下附图只不过是本发明实施例中的一部分，对于本领域技术人员来说，不需要付出创造性劳动，即可基于这些附图获得其他附图。
图1为示出根据本发明的学习装置的图。
图2为示出根据本发明一实施例的通过对嵌入损失值及softmax损失值适用反向传播来学习卷积神经网络(CNN)的处理的图。
图3为示出根据本发明一实施例的类内的像素个数不均匀的情况的图。
图4a为示出根据现有技术分割图3中的图像的情况下的分割分数的图。
图4b为示出本发明一实施例分割图3中的图像的情况下的分割分数的图。
具体实施方式
后述的对本发明的详细说明为能够实施本发明的特定实施例的示例，可参照图示的附图。对这些实施例的详细说明足以使本领域技术人员能够实施本发明。应理解为，尽管本发明的各种实施例相互不同，但是没有相互排斥的必要。例如，在此记载的特定形状、结构及特征，与一实施例相关，在不脱离本发明的精神及范围的情况下，能够以另一实施例实现。并且，应理解为，各个揭示的实施例中的个别结构要素的位置或配置在不脱离本发明思想及范围的情况下能够进行变更。因此，后述的详细说明并不具有限定的含义，关于本发明的保护范围，更确切地说，应当仅由所附的权利要求及与其主张的范围均等的所有范围来限定。在附图中类似的附图标记，表示在各方面相同或类似的功能。
并且，在本发明的详细说明及权利要求中出现的用语“包括”及其变形并不意味着有意排除其他技术特征、附加物、结构要素或步骤等。关于本发明的其它目的、优点及特征，一部分通过说明书而一部分通过实施本发明的过程中呈现给本领域技术人员。以下的示例及附图以实例提供，并不是用于限定本发明。
本发明中所提及的各种图像可以包括铺装或未铺装道路有关的图像，在此情况下，可以设想出现在道路环境中的物体(例如、汽车、行人、动物、植物、物件、建筑物、如飞机或无人机等飞行体，其他障碍物)，但并不一定限定于此，本发明中所提及的各种图像也可以是与道路无关的图像(例如、未铺装道路、小胡同、空地、海洋、湖水、江河、山林、草丛、沙漠、天空、与室内有关的图像)，在此情况下，可以设想出现在未铺装道路、空地、海洋、湖水、江河、山林、草丛、沙漠、天空、室内环境下可出现的物体(例如、汽车、人物、动物、植物、物件、建筑物、如飞机或无人机等飞行体，其他障碍物)，但并不一定限定于此。
以下，为了使本领域技术人员容易实施本发明，参照附图详细地说明本发明的优选实施例。
图1为示出根据本发明的学习装置的图。
参照图1，学习装置100包括卷积神经网络模块200。并且，各种数据通过通信部110被接收或传输，上述卷积神经网络模块200的各种处理通过处理器120得以实现。但是，图1中省略了通信部110、处理器120及卷积神经网络模块200之间的具体连接关系。并且，学习装置还可以包括存储用于执行下一个处理的计算机可读取的指令(Instruction)的存储器115。根据一实施例，处理器、存储器、介质等可以合并成集成处理器(IntegratedProcessor)。
图2为示出本根据发明一实施例的通过使嵌入损失值及softmax损失值反向传播来学习卷积神经网络的处理的图。
参照图2，当通过通信部110获取到输入图像时，卷积神经网络模块200通过预先设定的神经网络运算输出针对输入图像的分割分数。
具体地说，卷积神经网络模块200包括编码层210及解码层220。编码层210对输入图像适用至少一次卷积运算而生成至少一个编码特征图，解码层220对编码层210输出的特定编码特征图适用至少一次反卷积运算而生成至少一个解码特征图。特定特征图可以是编码层210最终输出的编码特征图，但并不限定于此。
卷积神经网络模块200可以使特定解码特征图中包括各个分割分数，也可以使对特定解码特征图适用至少一次卷积运算而得出的结果中包括各个分割分数。并且，特定解码特征图是由解码层220最终输出的解码特征图，但并不限定与此。
学习装置100可以使卷积神经网络模块对softmax层230输出的分割分数适用至少一次softmax运算而生成各个分割分数的值在0和1之间的范围内的标准化后的各个softmax分数。
当softmax层230生成各个softmax分数时，学习装置100使卷积神经网络模块200(i)对各个softmax分数适用至少一次多项逻辑损失运算而生成各个softmax损失，上述多项逻辑损失运算用于参照softmax分数和与此对应的GT(Ground truth；真实值)而输出softmax损失的运算，(ii)对各个softmax分数适用至少一次像素嵌入运算而生成各个嵌入损失，而各个嵌入损失用于在执行卷积神经网络模块的学习处理的过程中，使各个车道的分割分数的各个平均中与其它车道之间的平均之差变大，且使各个车道的分割分数的方差中与各个相同车道内部的方差变小。在这里，对像素嵌入运算和多项逻辑损失运算进行详细说明。
如上所述，像素嵌入运算生成用于学习卷积神经网络模块的各个嵌入损失，上述卷积神经网络模块使各个车道的分割分数的各个平均中与其它车道之间的平均之差变大，且使各个车道的分割分数的方差中与各个相同车道内部的方差变小。
利用上述计算式算出各个嵌入损失。说明各个文字的含义如下：在输入图像包含多个类时，其中该多个类包含车道及至少一个背景等，NC为包含输入图像上的车道及背景等的类的数量，NCC为各个类内的像素的数量，μc为与各个类所包含的像素分别对应的各个softmax分数的平均，maxDev为参照与各个像素对应的softmax分数及与各个像素对应的上述μc而计算出的方差中的最大值，minDist含义为在与相互不同的类对应的μc之间的差中的最小值。
在上述计算式中，的部分表示与方差相关的损失，/> 的部分表示与平均相关的损失。分母的minDist2用于标准化。在此情况下，使用minDist2来代替minDist，原因是若以minDist进行除算，则因嵌入损失变得过大，而导致与softmax损失失去平衡。这种嵌入损失将与同一车道内的像素对应的分割分数之间的方差缩小为maxDev以下的值，并将相互不同车道内的像素的平均之间的差扩大为minDist以上的值。本发明的嵌入损失通过上述计算式运算，但并不限定于此。
下面说明多项逻辑损失运算，上述多项逻辑损失运算为参照softmax分数及与此对应的GT而输出softmax损失的运算。
根据上述计算式计算出各个多项逻辑损失。在此情况下，s为一个输入图像所包含的像素的数量，1为表示第i像素在与此对应的GT标签上属于哪一类的独热编码(One-Hot-Encoding)向量，P(i)表示与各个像素对应的各个softmax分数。
在此，各个softmax分数通过向量内的最大元素值来表示各个像素属于哪一类，在(i)表示独热编码向量的1和(ii)softmax分数的对数的向量之间执行向量点积(VectorDot Product)运算。例如，当第二个车道所包含的特定像素的softmax分数表示为(0.1，0.8，0.1)及1向量表示为(0，1，0)时，特定像素的损失值计算成-1×log(0.8)。通过这种方式计算出的按每个像素的各个损失值加在一起后除以像素数量，从而能够生成softmax损失。各个softmax损失通过上述计算式计算出，但并不限定于此。
由上述损失层240输出的各个softmax损失及各个嵌入损失通过反向传播而用于学习卷积神经网络装置的至少一个参数。
下面，参照图2说明在卷积神经网络模块200的学习处理完成的情况下，测试装置所执行的处理。
参照图2，卷积神经网络模块200接收输入图像并通过解码层220的输出来生成各个分割分数，在softmax层230中对上述各个分割分数适用至少一次softmax运算。由于在测试处理中上述层的参数处于均已被学习的状态，因此省略求损失的过程和反向传播过程。
图3为示出按照各个车道的各位置，各个车道内的像素个数的方差分别在特定临界值以上的图像的例示。
参照图3，可知图3的图像中，各个车道的像素个数按照像素位置的不同而不均匀。即，位于近距离区域的各个车道因各个车道上像素多而显得厚，而位于远距离区域的各个车道的像素因各个车道上像素少而显得浅。因此，车道的像素数量的方差偏大。出于这种原因，至少一个方差在特定临界值以上时，适用根据本发明的分割方法，能够获得更准确的检测车道的效果。
图4a为示出在图3根据现有技术进行分割的图像的分割分数的图，图4b为示出在图3根据本发明的例示进行分割的图像的分割分数的图。
参照图4a，车道像素相对少的特定区域的分割分数比车道像素相对多的规定区域的分割分数存在很大的差距。在此情况下，特定区域因位于远距离的车道像素或各种理由，而包含相对少的车道像素。并且，规定区域则因位于近距离的车道像素或各种理由，而包含相对多的车道像素。例如，参考图4a中最左边的车道，最上方像素个数少的车道的分割分数为0.89，但中间部分和最下方部分的分割分数分别为1.05、1.12。因此，可看出与最左边车道的分割分数之间的差距大。图4a的最右边车道也同样，相比于中间部分和最下方部分的分割分数分别为2.02、2.09，而最上方部分的分割分数为1.72。
在特定区域只有少量的车道像素的情况下，由于不是车道的像素的道路的像素较多，因此卷积神经网络模块200将特定区域的像素判断为车道的可能性小。因此，当输出分割结果时，车道像素少的特定区域有可能显示模糊。
与此相反，如图4b所示，由于卷积神经网络装置通过反向传播已进行学习，因此最左边车道的最上方、中间、最下方的分割分数计算得互相接近。类似地，中间车道的上方部分和下方部分的分割分数也计算得互相接近。并且，最右边车道的最上方、中间、最下方的分割分数也计算得互相接近。
学习方法及测试方法能够用于支援与为满足无人驾驶汽车级别4所需的高清地图之间的协作。
本领域技术人员应当理解的是，通过学习装置及测试装置的通信部能够实现以上说明的图像，例如原图像、原标签及添加标签等图像数据的收发，并且通过学习装置及测试装置的处理器(及/或存储器)能够具有/维持用于与特征图进行运算的数据，卷积运算、反卷积运算、损失值运算过程主要通过学习装置及测试装置的处理器执行，但本发明并不限定于此。
以上说明的本发明实施例能够以可通过各种计算机组成要素执行的程序指令的形态体现，并记录于计算机可读取的存储介质。上述计算机可读取的存储介质能够单独或组合包含程序指令、数据文件、数据结构等。上述计算机可读取的存储介质中所记录的程序指令可以是为本发明而特别设计的，或者是公知于计算机软件领域的技术人员而能够使用的。计算机可读取的存储介质包括如硬盘、软盘及磁带的磁体媒介；如CD-ROM、DVD的光刻录媒介；如光磁软盘(floptical disk)的磁光介质(magneto-optical media)；以及ROM、RAM、快闪存储器等的用于存储并执行程序指令而特别构成的硬件装置。程序指令的例子不仅包括编译而成的机器语言代码，还包括利用解释器的计算机可执行的高级语言代码。上述硬件装置为了执行根据本发明的处理，以一个以上的软件模块运行的方式构成，其相反的处理也相同。
以上，通过具体结构要素等特定事项和限定的实施例及附图说明了本发明，但这仅仅是为了有助于全面地理解本发明而提供的，本发明并不限定于上述实施例，只要是本领域技术人员均能够基于上述记载进行各种修正及变形。
因此，本发明的思想并不限定于如上所述的实施例，后述的权利要求书及与该权利要求书均等或等同的变形的所有形态均应包括在本发明的思想范围内。

Claims (4)

1.一种分割具有至少一个车道的输入图像的学习方法，其特征在于，所述学习方法包括以下步骤：
步骤a，当获取到所述输入图像时，学习装置使卷积神经网络模块对所述输入图像适用至少一次卷积运算而生成特征图，并对所述特征图适用至少一次反卷积运算而生成与所述输入图像上的各个像素相关的各个分割分数；
步骤b，所述学习装置使所述卷积神经网络模块对各个所述分割分数适用至少一次softmax运算而生成各个softmax分数；以及
步骤c，所述学习装置使所述卷积神经网络模块(I)(i)对所述softmax分数适用多项逻辑损失运算而生成softmax损失，(ii)并对所述softmax分数适用像素嵌入运算而生成引导所述卷积神经网络模块学习的嵌入损失，以使在所述各个车道的所述softmax分数的各个平均中与其它车道之间的平均之差变大，且在所述各个车道的所述softmax分数的方差中各个相同车道内部的方差则变小，然后，(II)通过利用所述softmax损失及所述嵌入损失的反向传播来学习所述卷积神经网络模块的至少一个参数；
其中，所述多项逻辑损失运算利用以下计算式，
s为一个所述输入图像所包含的所述像素的数量，l为表示第i像素在与此对应的GT标签上属于哪一类的独热编码向量，P(i)为与各个所述像素对应的各个softmax分数；
其中，所述像素嵌入运算利用以下计算式，
在所述输入图像包含具有所述车道及至少一个背景部分的多个类时，NC为包含所述输入图像上的所述车道及所述背景部分的所述类的数量，NCC为各个所述类内的像素的数量，μc为与各个所述类所包含的像素对应的各个softmax分数的平均，maxDev为参照与各个所述像素对应的所述softmax分数及与各个所述像素对应的所述μc而算出的方差中的最大值，minDist为在与相互不同的类对应的μc之间的差中的最小值。
2.一种分割具有至少一个车道的测试图像的测试方法，其特征在于，所述测试方法包括以下步骤：
步骤a，学习装置(1)使卷积神经网络模块对训练图像适用至少一次卷积运算而生成学习用特征图后，对所述学习用特征图适用至少一次反卷积运算而生成与所述训练图像上的各个像素相关的各个学习用分割分数，(2)并使所述卷积神经网络模块对所述各个学习用分割分数适用至少一次softmax运算而生成各个学习用softmax分数，(3)使所述卷积神经网络模块(I)(i)对所述学习用softmax分数适用多项逻辑损失运算而生成softmax损失，(ii)并对所述学习用softmax分数适用像素嵌入运算而生成引导所述卷积神经网络模块学习的嵌入损失，以使在所述各个车道的所述学习用softmax分数的各个平均中与其它车道之间的平均之差变大，在所述各个车道的所述学习用softmax分数的方差中各个相同车道内部的方差则变小，然后，(II)在通过利用所述softmax损失及所述嵌入损失的反向传播来学习所述卷积神经网络模块的至少一个参数的状态下，获取到所述测试图像时，测试装置使所述卷积神经网络模块对所述测试图像适用至少一次卷积运算而生成测试用特征图之后，对所述测试用特征图适用反卷积运算而生成与所述测试图像上的各个像素相关的各个测试用分割分数；以及
步骤b，所述测试装置使所述卷积神经网络模块对所述各个测试用分割分数适用softmax运算而生成各个测试用softmax分数；
其中，所述多项逻辑损失运算利用以下计算式，
s为一个所述训练图像所包含的所述像素的数量，l为表示第i像素在与此对应的GT标签上属于哪一类的独热编码向量，P(i)为与各个所述像素对应的各个softmax分数；
其中，所述像素嵌入运算利用以下计算式，
在所述训练图像包含具有所述车道及至少一个背景部分的多个类时，NC为包含所述训练图像上的所述车道及所述背景部分的所述类的数量，NCC为各个所述类内的像素的数量，μc为与各个所述类所包含的像素对应的各个softmax分数的平均，maxDev为参照与各个所述像素对应的所述softmax分数及与各个所述像素对应的所述μc而算出的方差中的最大值，minDist为在与相互不同的类对应的μc之间的差中的最小值。
3.一种分割具有至少一个车道的输入图像的学习装置，其特征在于，所述学习装置包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成为实施所述指令，该指令用于执行以下处理:处理I，使卷积神经网络模块对所述输入图像适用至少一次卷积运算而生成特征图，并对所述特征图适用至少一次反卷积运算而生成与所述输入图像上的各个像素相关的各个分割分数；处理II，所述卷积神经网络模块对各个所述分割分数适用至少一次softmax运算而生成各个softmax分数；以及处理III，使所述卷积神经网络模块(1)(i)对所述各个softmax分数适用多项逻辑损失运算而生成softmax损失，(ii)并对所述softmax分数适用像素嵌入运算而生成引导所述卷积神经网络模块学习的嵌入损失，以使在所述各个车道的所述softmax分数的各个平均中与其它车道之间的平均差变大，在所述各个车道的所述softmax分数的方差中各个相同车道内部的方差则变小，然后，(2)通过利用所述softmax损失及所述嵌入损失的反向传播来学习所述卷积神经网络模块的至少一个参数；
其中，所述多项逻辑损失运算利用以下计算式，
s为一个所述输入图像所包含的所述像素的数量，l为表示第i像素在与此对应的GT标签上属于哪一类的独热编码向量，P(i)为与各个所述像素对应的各个softmax分数；
其中，所述像素嵌入运算利用以下计算式，
在所述输入图像包含具有所述车道及至少一个背景部分的多个类时，NC为包含所述输入图像上的所述车道及所述背景部分的所述类的数量，NCC为各个所述类内的像素的数量，μc为与各个所述类所包含的像素对应的各个softmax分数的平均，maxDev为参照与各个所述像素对应的所述softmax分数及与各个所述像素对应的所述μc而算出的方差中的最大值，minDist为在与相互不同的类对应的μc之间的差中的最小值。
4.一种分割具有至少一个车道的测试图像的测试装置，其特征在于，所述测试装置包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成为实施所述指令，该指令用于执行以下处理：学习装置(1)使卷积神经网络模块对训练图像适用至少一次卷积运算而生成学习用特征图后，对所述学习用特征图适用至少一次反卷积运算而生成与所述训练图像上的各个像素相关的各个学习用分割分数；(2)使所述卷积神经网络模块对所述各个学习用分割分数适用至少一次softmax运算而生成各个学习用softmax分数；(3)并使所述卷积神经网络模块(I)(i)对所述学习用softmax分数适用多项逻辑损失运算而生成各个softmax损失，(ii)对所述学习用softmax分数适用像素嵌入运算而生成引导所述卷积神经网络模块学习的嵌入损失，以使在所述各个车道的所述学习用softmax分数的各个平均中与其它车道之间的平均之差变大，在所述各个车道的所述学习用softmax分数的方差中各个相同车道内部的方差则变小，然后，(3-2)在通过利用所述softmax损失及所述嵌入损失的反向传播来学习所述卷积神经网络模块的至少一个参数，在该状态下，执行处理I：使所述卷积神经网络模块对所述测试图像适用卷积运算而生成测试用特征图之后，对所述测试用特征图适用反卷积运算而生成与所述测试图像上的各个像素相关的各个测试用分割分数；及处理II，使所述卷积神经网络模块对所述各个测试用分割分数适用softmax运算而生成各个测试用softmax分数；
其中，所述多项逻辑损失运算利用以下计算式，
s为一个所述训练图像所包含的所述像素的数量，l为表示第i像素在与此对应的GT标签上属于哪一类的独热编码向量，P(i)为与各个所述像素对应的各个softmax分数；
其中，所述像素嵌入运算利用以下计算式，
在所述训练图像包含具有所述车道及至少一个背景部分的多个类时，NC为包含所述训练图像上的所述车道及所述背景部分的所述类的数量，NCC为各个所述类内的像素的数量，μc为与各个所述类所包含的像素对应的各个softmax分数的平均，maxDev为参照与各个所述像素对应的所述softmax分数及与各个所述像素对应的所述μc而算出的方差中的最大值，minDist为在与相互不同的类对应的μc之间的差中的最小值。
CN201911292541.5A 2019-01-23 2019-12-16 分割图像的学习方法和装置及利用它们的测试方法和装置 Active CN111476811B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/255,339 US10311578B1 (en) 2019-01-23 2019-01-23 Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
US16/255,339 2019-01-23

Publications (2)

Publication Number Publication Date
CN111476811A CN111476811A (zh) 2020-07-31
CN111476811B true CN111476811B (zh) 2023-08-29

Family

ID=66673298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911292541.5A Active CN111476811B (zh) 2019-01-23 2019-12-16 分割图像的学习方法和装置及利用它们的测试方法和装置

Country Status (5)

Country Link
US (1) US10311578B1 (zh)
EP (1) EP3686842B1 (zh)
JP (1) JP6916548B2 (zh)
KR (1) KR102252155B1 (zh)
CN (1) CN111476811B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
CN112241728B (zh) * 2020-10-30 2023-04-07 中国科学院合肥物质科学研究院 采用注意力机制学习上下文信息的实时车道线检测方法及系统
CN112329908A (zh) * 2021-01-04 2021-02-05 中国人民解放军国防科技大学 一种用于神经网络模型测试的图像生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160053729A (ko) * 2014-11-05 2016-05-13 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN108470320A (zh) * 2018-02-24 2018-08-31 中山大学 一种基于cnn的图像风格化方法及系统
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
WO2018229490A1 (en) * 2017-06-16 2018-12-20 Ucl Business Plc A system and computer-implemented method for segmenting an image
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9558268B2 (en) * 2014-08-20 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. Method for semantically labeling an image of a scene using recursive context propagation
US10387773B2 (en) * 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification
EP3845426A1 (en) * 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
CN107438866B (zh) * 2015-05-13 2020-12-01 谷歌公司 深度立体：学习从现实世界形象预测新视图
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US9965705B2 (en) * 2015-11-03 2018-05-08 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US9972092B2 (en) 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
US9830529B2 (en) * 2016-04-26 2017-11-28 Xerox Corporation End-to-end saliency mapping via probability distribution prediction
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US10345449B2 (en) * 2016-12-02 2019-07-09 Verizon Connect Ireland Limited Vehicle classification using a recurrent neural network (RNN)
US9953236B1 (en) * 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160053729A (ko) * 2014-11-05 2016-05-13 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
WO2018229490A1 (en) * 2017-06-16 2018-12-20 Ucl Business Plc A system and computer-implemented method for segmenting an image
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
CN108470320A (zh) * 2018-02-24 2018-08-31 中山大学 一种基于cnn的图像风格化方法及系统
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAOL XUYING ET AL.Deep Discriminative Clustering Network.《2018 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS 》.2018,1-7. *

Also Published As

Publication number Publication date
JP2020119531A (ja) 2020-08-06
CN111476811A (zh) 2020-07-31
EP3686842A1 (en) 2020-07-29
EP3686842B1 (en) 2022-07-13
KR20200091781A (ko) 2020-07-31
US10311578B1 (en) 2019-06-04
JP6916548B2 (ja) 2021-08-11
KR102252155B1 (ko) 2021-05-17

Similar Documents

Publication Publication Date Title
CN111476811B (zh) 分割图像的学习方法和装置及利用它们的测试方法和装置
KR102325033B1 (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN110874564B (zh) 分类车线后补像素检测车线的方法及装置
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102313119B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN110879960B (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
CN111476343B (zh) 利用掩蔽参数的方法和装置
US20230079886A1 (en) Labeling techniques for a modified panoptic labeling neural network
JP2020068013A (ja) 障害物の下段ラインを基準にｒｏｉを検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏｉ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｂｏｔｔｏｍ ｌｉｎｅｓ ｏｆ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ，ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102313607B1 (ko) 위험 요소 검출에 사용될 학습용 이미지 데이터 세트 생성 방법 및 컴퓨팅 장치 그리고 이용한 학습 방법 및 학습 장치
CN110622177A (zh) 实例分割
JP2020038663A (ja) 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质
EP3623991A1 (en) Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same
CN116343159B (zh) 一种非结构化场景可通行区域检测方法、装置及存储介质
CN111104840B (zh) 基于回归损失的学习及测试的方法及装置
CN111353449A (zh) 基于条件生成对抗网络的红外道路图像水体检测方法
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
US20240233153A1 (en) Apparatus for generating a depth map of a monocular camera image and a method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant