CN111507175A - 用于虚拟世界中学习的卷积神经网络的方法和装置 - Google Patents

用于虚拟世界中学习的卷积神经网络的方法和装置 Download PDF

Info

Publication number
CN111507175A
CN111507175A CN202010077089.7A CN202010077089A CN111507175A CN 111507175 A CN111507175 A CN 111507175A CN 202010077089 A CN202010077089 A CN 202010077089A CN 111507175 A CN111507175 A CN 111507175A
Authority
CN
China
Prior art keywords
image
test
neural network
learning
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010077089.7A
Other languages
English (en)
Other versions
CN111507175B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕熏
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507175A publication Critical patent/CN111507175A/zh
Application granted granted Critical
Publication of CN111507175B publication Critical patent/CN111507175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种方法及装置，用于学习主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：步骤(a)，学习装置获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分；以及步骤(b)，上述学习装置执行第一学习流程(b1)及第二学习流程(b2)，上述第一学习流程(b1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息。

Description

用于虚拟世界中学习的卷积神经网络的方法和装置
技术领域
本发明涉及用于与自动驾驶车辆一同使用的方法及装置，更具体地，涉及可使在虚拟世界中学习的卷积神经网络(CNN)用于真实世界的学习方法及学习装置、利用其的测试装置。
背景技术
深度卷积神经网络(Deep Convolutional Neural Network or Deep CNN)为深度学习领域中显著发展的核心。在90年代，卷积神经网络用于解决字符识别问题，近来，广泛应用于机器学习(Machine Learning)领域。例如，2012年，卷积神经网络在图像识别挑战赛(ImageNet Large Scale Visual Recognition Challenge)中战胜其他竞争对象夺得冠军。之后，卷积神经网络成为机器学习领域中非常有用的工具。
近来，卷积神经网络广泛应用于自动驾驶领域。卷积神经网络通过在自动驾驶领域处理自己输入的图像来执行客体检测、图像分割、空闲空间检测等。其中，卷积神经网络需要大量的训练集，来执行这些功能。
如上所述的方式具有在自动驾驶领域中通过使用卷积神经网络来制作如上所述的训练集所需的成本高的问题。并且，为了生成训练集，可自动获取学习图像，与之相对应的真值(GT)需通过人为生成，因此，成本较高。
用于解决这种问题的方案为虚拟行驶。利用所编程的计算机模拟虚拟世界，并可自动获取学习图像和与之相对应的真值，从而具有可降低成本的优点。
但是，在此方法中，在虚拟世界中获取的学习图像与真实世界的图像不同，因此，也具有对于在虚拟世界中学习的卷积神经网络的可靠性低的问题。
发明内容
本发明的目的在于，解决如上所述的问题。
本发明的再一目的在于，提供通过使用照片风格转换来用于运行时间输入转换的学习方法，使得在虚拟世界中学习的卷积神经网络用于真实世界。
本发明的另一目的在于，提供作为从虚拟世界获取的虚拟图像和用于测试的图像将相同风格的实际图像用作学习图像的学习方法。
用于实现如上所述的本发明的目的并实现后述的本发明的特征性效果的本发明的特征性结构如下。
根据本发明的一实施方式，提供一种方法，用于学习主卷积神经网络(CNN，Convolutional Neural Network)，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：步骤(a)，学习装置获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分；以及步骤(b)，上述学习装置执行第一学习流程(b1)及第二学习流程(b2)，上述第一学习流程(b1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值(GT，Ground-Truth)自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(b2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分。
在一实施例中，上述步骤(b2)包括：步骤(b21)，上述学习装置使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的特定风格特征地图，在上述步骤(ii)中，通过向上述第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的特定内容特征地图；步骤(b22)，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向噪声图像适用上述支持卷积神经网络运算来生成一个以上的第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第一更新特征地图来生成至少一个第一更新损失，在上述步骤(ii-2)中，通过上述第一更新损失来更新上述噪声图像，从而生成至少一个第一更新图像；步骤(b23)，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第K更新特征地图来生成至少一个第K更新损失，在上述步骤(ii-2)中，通过上述第K更新损失来更新上述第K-1图像，从而生成至少一个第K更新图像；以及步骤(b24)，将上述学习装置通过执行上述步骤(b22)及上述步骤(b23)而生成的第N更新图像作为特定第二学习图像来输出，其中，K为1至N的整数。
在一实施例中，在上述步骤(b22)中，上述学习装置使上述支持损失层执行流程(i)及流程(ii)，在上述流程(i)中，通过使用上述第一更新特征地图和上述特定风格特征地图来生成一个以上的第一风格损失，在上述流程(ii)中，通过使用上述第一更新特征地图和上述特定内容特征地图来生成一个以上的第一内容损失，从而生成包括上述第一风格损失及上述第一内容损失在内的上述第一更新损失。
在一实施例中，在上述步骤(b22)中，上述学习装置使上述支持损失层通过以梯度下降方式(gradient-descent scheme)使用上述第一更新损失来更新上述噪声图像，并执行步骤(i)及步骤(ii)，在上述步骤(i)中，相比于上述噪声图像的风格特性，使上述第一更新图像的风格特性与上述特定第一基本图像的风格特性更相似，在上述步骤(ii)中，相比于上述噪声图像的内容特性，使上述第一更新图像的内容特性与上述特定第二基本图像的内容特性更相似。
在一实施例中，在上述步骤(b)中，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使上述主卷积神经网络通过使用上述第一学习图像的特定数量及与之相对应的上述第一真值自动驾驶源信息来学习上述参数，从而执行上述第一学习流程，在上述步骤(ii)中，使上述主卷积神经网络通过使用上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来对上述参数进行微细调整，从而执行上述第二学习流程。
在一实施例中，在上述步骤(b)中，上述学习装置执行步骤(i)，使上述主卷积神经网络通过使用(i-1)以与被管理者预设的特定数有关的特定第一学习图像的数的比例为基础的上述第一学习图像中的一个以上的特定第一学习图像及(i-2)与之相对应的上述第一真值自动驾驶源信息的一部分来在初期学习上述参数，从而执行上述第一学习流程，上述学习装置执行步骤(ii)，使上述主卷积神经网络同时使用上述第一学习图像、与之相对应的上述第一真值自动驾驶源信息以及上述第二学习图像、与之相对应的上述第二真值自动驾驶源信息来重新学习上述参数，从而执行上述第二学习流程。
在一实施例中，在上述步骤(b2)中，上述第一基本图像为选自于上述第一学习图像中的图像，上述第二基本图像为通过搭载于上述实际车辆的至少一个摄像头拍摄与上述实际车辆相对应的实际行驶情状况的图像，在上述至少一个第一基本图像为一个的情况下，上述第二学习图像分别与各个上述第二基本图像相对应。
在一实施例中，在上述步骤(b1)中，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成第一自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过使用自身参数来在所输入的值适用至少一个主卷积，在上述步骤(i-2)中，将其输出向它的下一个自主驱动神经元传递，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述输出层通过向上述第一自动驾驶特征地图适用至少一个输出运算来生成上述第一预测自动驾驶源信息，从而向上述第一学习图像适用上述主卷积神经网络运算。
根据本发明的再一实施方式，提供一种方法，用于测试主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：步骤(a)，包括步骤(1)及步骤(2)，在上述步骤(1)中，学习装置获取与预设的虚拟世界中的与虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，在上述步骤(2)中，上述学习装置执行第一学习流程(2-1)及第二学习流程(2-2)，上述第一学习流程(2-1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(2-2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，在完成学习的状态下，测试装置使上述支持卷积神经网络通过参照(i)与测试用虚拟世界中的测试用虚拟车辆的测试用虚拟行驶相对应的至少一个测试用第一基本图像及(ii)搭载于与上述测试装置联动来进行工作的测试用实际车辆的至少一个测试用摄像头获取的至少一个测试用第二基本图像来生成测试图像；以及步骤(b)，上述测试装置使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述测试图像来生成测试用预测自动驾驶源信息。
在一实施例中，本发明还包括步骤(c)，上述测试装置向自动驾驶应用程序模块传递上述测试用预测自动驾驶源信息来支持上述测试用实际车辆的自动驾驶。
在一实施例中，上述步骤(a)包括：步骤(a1)，上述测试装置使包括于上述支持卷积神经网络的支持卷积层执行流程(i)及流程(ii)，在上述流程(i)中，通过向上述测试用第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的测试用特定风格特征地图，在上述流程(ii)中，通过向上述测试用第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的测试用特定内容特征地图；步骤(a2)，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用噪声图像适用上述支持卷积神经网络运算来生成一个以上的测试用第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第一更新特征地图来生成至少一个测试用第一更新损失，在上述步骤(ii-2)中，通过上述测试用第一更新损失来更新上述噪声图像，从而生成至少一个测试用第一更新图像；步骤(a3)，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的测试用第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第K更新特征地图来生成至少一个测试用第K更新损失，在上述步骤(ii-2)中，通过上述测试用第K更新损失来更新上述测试用第K-1图像，从而生成至少一个测试用第K更新图像；以及步骤(a4)，上述测试装置将通过执行上述步骤(a2)及上述步骤(a3)而生成的测试用第N更新图像作为上述测试图像来输出，其中，K为1至N的整数。
在一实施例中，在上述步骤(b)之后还包括步骤(d)，当获取上述测试用第二基本图像时，若在第T时序之后的第T+1时序通过上述测试用摄像头获取测试用追加第二基本图像，则上述测试装置使上述支持卷积神经网络执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照上述测试用第一基本图像及上述测试用追加第二基本图像来生成追加测试图像，在上述步骤(ii)中，通过使用上述追加测试图像来生成测试用追加预测自动驾驶源信息。
在一实施例中，在上述步骤(b)中，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成测试用自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过利用自身参数在所接收的至少一个值适用至少一个主卷积运算，在上述步骤(i-2)中，向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使上述主卷积神经网络的上述输出层通过向上述测试用自动驾驶特征地图适用至少一个输出运算来生成上述测试用预测自动驾驶源信息，从而向上述测试图像适用上述主卷积神经网络运算。
根据本发明的另一实施方式，提供一种装置，用于学习主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于运行上述指令，上述处理器执行步骤(I)及步骤(II)，在上述步骤(I)中，获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，在上述步骤(II)中，执行第一学习流程(II1)及第二学习流程(II2)，上述第一学习流程(II1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络额参数的至少一部分，上述第二学习流程(II2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分。
在一实施例中，上述流程(II2)包括：流程(II21)，使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的特定风格特征地图，在上述步骤(ii)中，通过向上述第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的特定内容特征地图；流程(II22)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向噪声图像适用上述支持卷积神经网络运算来生成一个以上的第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第一更新特征地图来生成至少一个第一更新损失，在上述步骤(ii-2)中，通过上述第一更新损失来更新上述噪声图像，从而生成至少一个第一更新图像；流程(II23)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第K更新特征地图来生成至少一个第K更新损失，在上述步骤(ii-2)中，通过上述第K更新损失来更新上述第K-1图像，从而生成至少一个第K更新图像；以及流程(II24)，将通过执行上述流程(II22)及上述流程(II23)而生成的第N更新图像作为特定第二学习图像来输出，其中，K为1至N的整数。
在一实施例中，在上述流程(II22)中，上述处理器使上述支持损失层执行流程(i)及流程(ii)，在上述流程(i)中，通过使用上述第一更新特征地图和上述特定风格特征地图来生成一个以上的第一风格损失，在上述流程(ii)中，通过使用上述第一更新特征地图和上述特定内容特征地图来生成一个以上的第一内容损失，从而生成包括上述第一风格损失及上述第一内容损失在内的上述第一更新损失。
在一实施例中，在上述流程(II22)中，上述处理器使上述支持损失层以梯度下降方式使用上述第一更新损失来更新上述噪声图像，并执行步骤(i)及步骤(ii)，在上述步骤(i)中，相比于上述噪声图像的风格特性，使上述第一更新图像的风格特性比上述特定第一基本图像的风格特性更相似，在上述步骤(ii)中，相比于上述噪声图像的内容特性，使上述第一更新图像的内容特性比上述特定第二基本图像的内容特性更相似。
在一实施例中，在上述流程(II)中，上述处理器执行步骤(i)及步骤(ii)，在上述步骤(i)中，使上述主卷积神经网络通过使用上述第一学习图像的特定数量及与之相对应的上述第一真值自动驾驶源信息来学习上述参数，从而执行上述第一学习流程，在上述步骤(ii)中，使上述主卷积神经网络通过使用上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来对上述参数进行微细调整，从而执行上述第二学习流程。
在一实施例中，在上述流程(II)中，上述处理器执行步骤(i)，使上述主卷积神经网络通过使用(i-1)以与被管理者预设的特定数有关的特定第一学习图像的数的比例为基础的上述第一学习图像中的一个以上的特定第一学习图像及(i-2)与之相对应的上述第一真值自动驾驶源信息的一部分来在初期学习上述参数，从而执行上述第一学习流程，之后，上述处理器执行步骤(ii)，使上述主卷积神经网络同时使用上述第一学习图像及与之相对应的上述第一真值自动驾驶源信息以及上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来重新学习上述参数，从而执行上述第二学习流程。
在一实施例中，在上述流程(II2)中，上述第一基本图像为选自于上述第一学习图像中的图像，上述第二基本图像为通过搭载于上述实际车辆的至少一个摄像头拍摄与上述实际车辆相对应的实际行驶情状况的图像，在上述至少一个第一基本图像为一个的情况下，上述第二学习图像分别与各个上述第二基本图像相对应。
在一实施例中，在上述流程(II1)中，上述处理器执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成第一自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过使用自身参数来在所输入的值适用至少一个主卷积，在上述步骤(i-2)中，将其输出向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述输出层通过向上述第一自动驾驶特征地图适用至少一个输出运算来生成上述第一预测自动驾驶源信息，从而向上述第一学习图像适用上述主卷积神经网络运算。
根据本发明的还有一实施方式，提供一种装置，用于测试主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于运行上述指令，上述处理器执行流程(I)及流程(II)，上述流程(I)执行步骤(1)及步骤(2)，在上述步骤(1)中，获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，上述步骤(2)执行第一学习流程(2-1)及第二学习流程(2-2)，上述第一学习流程(2-1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(2-2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆额实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，在完成学习的状态下，测试装置使上述支持卷积神经网络通过参照(i)与测试用虚拟世界中的测试用虚拟车辆的测试用虚拟行驶相对应的至少一个测试用第一基本图像及(ii)搭载于与上述测试装置联动来进行工作的测试用实际车辆的至少一个测试用摄像头获取的至少一个测试用第二基本图像来生成测试图像，在流程(II)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述测试图像来生成测试用预测自动驾驶源信息。
在一实施例中，上述处理器还执行流程(III)，通过向自动驾驶应用程序模块传递上述测试用预测自动驾驶源信息来支持上述测试用实际车辆的自动驾驶。
在一实施例中，上述流程(I)包括：流程(I1)，使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述测试用第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的测试用特定风格特征地图，在上述步骤(ii)中，通过向上述测试用第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的测试用特定内容特征地图；流程(I2)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用噪声图像适用上述支持卷积神经网络运算来生成一个以上的测试用第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第一更新特征地图来生成至少一个测试用第一更新损失，在上述步骤(ii-2)中，通过上述测试用第一更新损失来更新上述噪声图像，从而生成至少一个测试用第一更新图像；流程(I3)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的测试用第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第K更新特征地图来生成至少一个测试用第K更新损失，在上述步骤(ii-2)中，通过上述测试用第K更新损失来更新上述测试用第K-1图像，从而生成至少一个测试用第K更新图像；以及流程(I4)，将通过执行上述流程(I2)及上述流程(I3)而获取的测试用第N更新图像作为上述测试图像来输出，其中，K为1至N的整数。
在一实施例中，在上述流程(II)之后，上述处理器还执行流程(IV)，当获取上述测试用第二基本图像时，若在第T时序之后的第T+1时序通过上述测试用摄像头获取测试用追加第二基本图像，则使上述支持卷积神经网络执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照上述测试用第一基本图像及上述测试用追加第二基本图像来生成追加测试图像，在上述步骤(ii)中，通过使用上述追加测试图像来生成测试用追加预测自动驾驶源信息。
在一实施例中，在上述流程(II)中，上述处理器包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成测试用自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过利用自身参数在所接收的至少一个值适用至少一个主卷积运算，在步骤(i-2)中，向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使上述主卷积神经网络的上述输出层通过向上述测试用自动驾驶特征地图适用至少一个输出运算来生成上述测试用预测自动驾驶源信息，从而向上述测试图像适用上述主卷积神经网络运算。
本发明提供通过使用照片风格转换来用于运行时间输入转换的学习方法，来具有可将在虚拟世界中学习的卷积神经网络用于实际自动驾驶的效果。
并且，本发明具有可提供作为从虚拟世界获取的虚拟图像和用于测试的图像将相同风格的实际图像用作学习图像的学习方法的效果。
并且，本发明具有能够以低成本有效地学习可在真实世界顺畅地执行自动驾驶的卷积神经网络的效果。
附图说明
为了说明本发明实施例，所附的以下附图仅为本发明的实施例中的一部分，本发明所属技术领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下，通过这些附图获得其他附图。
图1为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的用于执行学习方法的学习装置的结构的图。
图2为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的学习方法的流程图。
图3为示出用于生成本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的学习方法所使用的第二学习图像的方式的图。
图4为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的测试方法的流程图。
具体实施方式
将以本发明能够实施的特定实施例为例并参照附图对本发明进行详细说明。为了普通技术人员能够充分实施本发明而详细说明这些实施例。本发明的各种实施例虽然互不相同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可以实现为另一实施例。并且，应理解，所公开的每个实施例中的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不用于限定本发明，只要能够进行适当的说明，本发明的范围应根据与发明要求保护范围等同的所有范围和所附的发明要求保护范围而被限定。附图中类似的附图标记在多个方面指类似的功能。
并且，在本发明的详细说明及发明要求保护范围中，术语“包括”及其变形并非意图为排除其他技术特征、附加物、结构要素或步骤等。普通技术人员可以从本说明书得知本发明的其他目的、优点及特性的一部分，且可以在实施本发明的过程中得知一部分。以下例示及附图仅作为实例来提供，而本发明并不限定于此。
本发明中所提及的各种图像可以包括柏油马路或非柏油马路的相关图像，在这种情况下，可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。本发明中所提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，在这种情况下，可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。
以下，为了使本发明所属技术领域的普通技术人员容易实施本发明，参照附图详细地说明本发明的优选实施例。
图1为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的用于执行学习方法的学习装置的结构的图。
参照图1，学习装置100可包括用于之后详细说明的自动驾驶的主卷积神经网络130及支持卷积神经网络140。主卷积神经网络130及支持卷积神经网络140的输入输出及运算过程可分别通过至少一个通信部110及至少一个处理器120进行。但是，在图1中省略了通信部110及处理器120的具体连接关系。在此情况下，存储器115可处于存储后述的各种指令的状态，处理器120运行存储于存储器115的指令，处理器120可通过执行之后说明的流程来执行本发明。如上所述，即使记述学习装置100，并不排除学习装置100包括用于实施本发明的组合式处理器的情况，上述组合式处理器组合有媒介、处理器及存储器。
以上，对根据本发明的一实施例执行的学习装置100的结构进行了说明，以下，对执行学习装置100的学习方法进行说明。
图2为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的学习方法的流程图。
参照图2，学习装置100可获取一个以上的第一学习图像中的至少一部分(步骤S01)。之后，学习装置100可并列执行两个流程。
首先，学习装置100可使主卷积神经网络130通过参照第一学习图像来生成第一预测自动驾驶源信息(步骤S02-1)。之后，学习装置100可使主卷积神经网络130通过参照第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成第一自动驾驶损失(步骤S02-2)。并且，学习装置100可使主卷积神经网络130执行用于学习主卷积神经网络参数的至少一部分的第一学习流程(步骤S02-3)。
其次，学习装置100可使支持卷积神经网络140通过参照至少一个第一基本图像及一个以上的第二基本图像来生成一个以上的第二学习图像(步骤S03-1)。并且，学习装置100可使支持卷积神经网络140通过参照第二学习图像来生成第二预测自动驾驶源信息(步骤S03-2)。之后，学习装置100可使支持卷积神经网络140通过参照第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成第二自动驾驶损失(步骤S03-3)。并且，学习装置100可使支持卷积神经网络140执行第二学习流程，上述第二学习流程可通过使用第二自动驾驶损失来学习主卷积神经网络130参数中的至少一部分(步骤S03-4)。
以下，更加详细地说明如上所述的第一学习流程及第二学习流程。
与第一学习流程相关地，学习装置100可使包括于主卷积神经网络130的主卷积层及输出层通过参照与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的第一学习图像来生成一个以上的第一预测自动驾驶源信息。其中，可在虚拟行驶中的虚拟车辆的观点拍摄被所编程的计算机模拟的虚拟世界来获取第一学习图像。因此，相比于上述实际图像，这种图像的色度高、对比度大、相对省略物体的细节，可以为具有光线的路径多少有些非现实的特性的图像。第一预测自动驾驶源信息为在之后所要说明的测试步骤中向自动驾驶应用程序模块传递的信息，可意味着成为自动驾驶的基本的参考信息。如一例，自动驾驶源信息可包括与第一学习图像有关的分段信息，如另一例，可包括与第一学习图像有关的客体检测信息。但是，本发明并不限定于此。
为了生成如上所述的第一预测自动驾驶源信息，学习装置100可使包括于主卷积神经网络130的卷积层的一个以上的自动驾驶卷积神经元执行流程来生成第一自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过利用自身参数在所输入的值适用至少一个主卷积，在上述步骤(i-2)中，将其输出向自身的下一个自主驱动神经元传递。之后，学习装置100可使包括于上述主卷积神经网络的上述输出层通过向上述第一自动驾驶特征地图适用至少一个输出运算来生成上述第一预测自动驾驶源信息。其中，根据如上所述的一例，在第一预测自动驾驶源信息包括分段信息的情况下，输出层呈解卷积层的形态，输出运算可以为解卷积运算。根据如上所述的另一例，在第一预测自动驾驶源信息包括客体信息的情况下，输出层可包括池化层及全连接(FC，Fully-Connected)层，输出运算可以为池化运算及全连接运算。
以上，说明了第一学习流程，以下，说明第二学习流程。
第二学习流程与第二学习图像相关。并且，第二学习图像通过使用第一基本图像及第二基本图像来借助支持卷积神经网络140生成。其中，第一基本图像可以为与第一学习图像相对应的图像，即，可以为虚拟世界的图像，第二基本图像可与真实世界中的实际车辆在实际行驶中获取的图像相对应。如一例，第一基本图像可选自于第一学习图像中，第二基本图像可以为选自于与通过搭载于实际车辆的摄像头获取的实际行驶情状况有关的图像中的一个。其中，在仅选择一个第一基本图像的情况下，第二学习图像可分别与各个第二基本图像相对应。
在获取如上所述的第一基本图像及第二基本图像后，学习装置100使包括于支持卷积神经网络140的支持卷积层执行流程(i)及流程(ii)，在上述流程(i)中，通过向上述第一特定基本图像适用至少一个支持卷积神经网络运算来生成一个以上的特定风格特征地图，在上述流程(ii)中，通过向上述第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的特定内容特征地图。其中，两个流程是独立的，可并列执行。之后对特定风格特征地图及特定内容特征地图分别进行说明，可以为分别所要生成的第二特定学习图像的风格及成为与其内容有关的参考的特征地图。
之后，学习装置100可使包括于支持卷积神经网络140的支持卷积层通过向噪声图像适用上述支持卷积神经网络运算来生成一个以上的第一更新特征地图，之后，可使包括于上述支持卷积神经网络的支持损失层通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第一更新特征地图来生成至少一个第一更新损失。其中，噪声图像可以为为了生成第二特定学习图像而使用的背景图像。简而言之，如画画时使用的画布的图像。
具体地，学习装置100可使支持损失层执行流程(i)及流程(ii)，在上述流程(i)中，通过使用上述第一更新特征地图和上述特定风格特征地图来生成一个以上的第一风格损失，在上述流程(ii)中，通过使用上述第一更新特征地图和上述特定内容特征地图来生成一个以上的第一内容损失。之后，学习装置100可合并上述第一风格损失及上述第一内容损失来生成上述第一更新损失。其中，为了生成第一风格损失，支持损失层可通过向第一更新特征地图适用风格运算来生成第一变形更新特征地图，之后，可算出第一变形更新特征地图与特定风格特征地图之间的差异。并且，为了生成第一内容损失，支持损失层可算出第一更新特征地图与特定内容特征地图之间的差异。
之后，学习装置100可使支持损失层通过使用第一更新损失来更新噪声图像，从而生成至少一个第一更新图像。具体地，可使支持损失层能够以梯度下降方式使用上述第一更新损失来更新上述噪声图像。通过执行更新流程，相比于上述噪声图像的风格特性，使上述第一更新图像的风格特性与上述特定第一基本图像的风格特性更相似。并且，相比于上述噪声图像的内容特性，使上述第一更新图像的内容特性与上述特定第二基本图像的内容特性更相似。
参照图3具体说明通过支持卷积神经网络执行的上述流程。
图3为示出用于生成本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界学习的自动驾驶用卷积神经网络的学习方法所使用的第二学习图像的方式的图。
参照图3，通过算出第一更新特征地图中的一个301与特定风格特征地图中的一个302之间的差异，可知生成第一风格损失中的一个，通过算出第一更新特征地图中的一个301与特定内容特征地图中的一个303之间的差异，可知生成第一内容损失中的一个。并且，可确认，通过利用第一更新损失来更新噪声图像。
可通过执行与上述过程相同的过程来更新第一更新图像并生成第二更新图像，可通过更新第二更新图像来生成第三更新图像，进而，可生成第N更新图像，并可将其作为第二特定学习图像来输出。其中，N为预设的整数。更具体地，学习装置100可执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图及上述第K更新特征地图来生成至少一个第K更新损失，在上述步骤(ii-2)中，通过上述第K更新损失来更新上述第K-1图像，从而生成至少一个第K更新图像。其中，K为1至N的整数。
如上所述的第二特定学习图像的生成方式与以将普通画转换为梵高画风格的实验结果而注明的Gatys et al.的2016年论文“Image Style Transfer UsingConvolutional Neural Networks”相似，普通技术人员可通过该论文轻松理解如上所述的说明。
如上所述，若生成包括特定第二学习图像的第二学习图像，则与第一学习图像相同地，可用于学习主卷积神经网络130。简而言之，作为第二学习流程，学习装置100可执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(ii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络参数的至少一部分。这种第二学习流程与第一学习流程相似，因此，将省略更详细的说明。
以上，说明了第一学习流程及第二学习流程，以下，对第一学习流程和第二学习流程以何种方式联动来被执行进行说明。
首先，根据一实施例，可同时执行第一学习流程及第二学习流程。即，若获取第一学习图像后生成第二学习图像，则这两种学习图像可用于学习主卷积神经网络130参数中的至少一部分。
根据再一实施例，首先执行第一学习流程来学习主卷积神经网络130参数中的至少一部分，之后，通过执行第二学习流程来对参数进行微细调整。即，学习装置100可执行步骤(i)及步骤(ii)，在上述步骤(i)中，可使上述主卷积神经网络通过使用上述第一学习图像的特定数量及与之相对应的上述第一真值自动驾驶源信息来学习上述参数，从而执行上述第一学习流程，在上述步骤(ii)中，可使上述主卷积神经网络通过使用上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来对上述参数进行微细调整，从而执行上述第二学习流程。
或者，根据另一实施例、第一学习流程可通过使用第一学习图像的一部分来在初期学习参数中的至少一部分，之后，第二学习流程通过使用第一学习图像及第二学习图像来重新学习参数中的至少一部分。即，学习装置100可使主卷积神经网络130通过使用上述第一学习图像中的一个以上的特定第一学习图像及与之相对应的上述第一真值自动驾驶源信息的一部分来在初期学习上述参数，从而执行上述第一学习流程，之后，使上述主卷积神经网络同时使用上述第一学习图像及与之相对应的上述第一真值自动驾驶源信息、上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来重新学习上述参数，从而执行上述第二学习流程。
以下，参照图4说明如何测试通过以上过程完成学习的主卷积神经网络130。
图4为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络测试方法的流程图。
参照图4，本发明的测试方法执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照与虚拟行驶相对应的至少一个测试用第一基本图像及实时获取的至少一个测试用第二基本图像来生成测试图像，在上述步骤(ii)中，向学习的主卷积神经网络130输入测试图像，来将其输出，即，测试用预测自动驾驶源信息向自动驾驶应用程序模块传递。以下，对此进行更详细的说明。
即，执行步骤(1)及步骤(2)，在上述步骤(1)中，学习装置获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，在上述步骤(2)中，上述学习装置执行第一学习流程(2-1)及第二学习流程(2-2)，上述第一学习流程(2-1)执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络参数的至少一部分，上述第二学习流程(2-2)执行步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络参数的至少一部分，在完成学习的状态下，测试装置使上述支持卷积神经网络通过参照(i)与测试用虚拟世界中的测试用虚拟车辆的测试用虚拟行驶相对应的至少一个测试用第一基本图像及(ii)搭载于与上述测试装置联动来进行工作的测试用实际车辆的至少一个测试用摄像头获取的至少一个测试用第二基本图像来生成测试图像。
之后，上述测试装置可使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述测试图像来生成测试用预测自动驾驶源信息。
并且，测试装置可通过向自动驾驶应用程序模块传递测试用预测自动驾驶源信息来支持上述测试用实际车辆的自动驾驶。在此情况下，自动驾驶应用程序模块可以为通过使用与测试图像有关的图像分段信息或客体检测信息来使用自动驾驶的模块，这并不是本发明的主要范围，因此，将省略详细说明。
当执行测试方法时，与执行学习方法时不同地，其延迟(latency)非常重要。因此，可固定单数的测试用第一基本图像，当实时通过测试用摄像头获取图像时，可将其作为测试用第二基本图像来向支持卷积神经网络140输入。即，在测试装置中，当获取上述测试用第二基本图像时，若在第T时序之后的第T+1时序通过上述测试用摄像头获取测试用追加第二基本图像，则上述测试装置使上述支持卷积神经网络执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照上述测试用第一基本图像及上述测试用追加第二基本图像来生成追加测试图像，在上述步骤(ii)中，通过使用上述追加测试图像来生成测试用追加预测自动驾驶源信息。
根据以上方法，本发明提供了降低标签费用并呈现高的自动驾驶性能的自动驾驶车辆。
以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序命令的形态实现并存储在计算机可读记录介质。上述计算机可读记录介质可以单独包括程序命令、数据文件、数据结构等或者可以包括它们的组合。上述计算机可读记录介质中记录的程序命令可以是为了本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。作为计算机可读记录介质的例，包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光记录介质、光磁软盘(floptical disk)等磁光介质(magneto-optical media)、以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。作为程序命令的例，不仅包括由编译器制作的机器语言代码，而且还包括利用解析器等能够由计算机执行的高级语言代码。上述硬件装置为了执行本发明的处理而能够以一个以上软件模块运行，反之亦然。
以上，通过具体结构要素等特定事项和所限定的实施例及附图进行了说明，但这仅用于提供对本发明的更全面的理解，而本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员可以从这些记载进行各种修改及变形。
因此，本发明的思想并不局限于上述所说明的实施例，发明要求保护范围及其等同或等价变形的所有内容均属于本发明的思想范畴内。

Claims (26)

1.一种方法，用于学习主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：
步骤(a)，学习装置获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分；以及
步骤(b)，上述学习装置执行第一学习流程(b1)及第二学习流程(b2)，上述第一学习流程(b1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(b2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分。
2.根据权利要求1所述的方法，其特征在于，
上述步骤(b2)包括：
步骤(b21)，上述学习装置使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的特定风格特征地图，在上述步骤(ii)中，通过向上述第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的特定内容特征地图；
步骤(b22)，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向噪声图像适用上述支持卷积神经网络运算来生成一个以上的第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第一更新特征地图来生成至少一个第一更新损失，在上述步骤(ii-2)中，通过上述第一更新损失来更新上述噪声图像，从而生成至少一个第一更新图像；
步骤(b23)，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第K更新特征地图来生成至少一个第K更新损失，在上述步骤(ii-2)中，通过上述第K更新损失来更新上述第K-1图像，从而生成至少一个第K更新图像；以及
步骤(b24)，将上述学习装置通过执行上述步骤(b22)及上述步骤(b23)而生成的第N更新图像作为特定第二学习图像来输出，
其中，K为1至N的整数。
3.根据权利要求2所述的方法，其特征在于，在上述步骤(b22)中，上述学习装置使上述支持损失层执行流程(i)及流程(ii)，在上述流程(i)中，通过使用上述第一更新特征地图和上述特定风格特征地图来生成一个以上的第一风格损失，在上述流程(ii)中，通过使用上述第一更新特征地图和上述特定内容特征地图来生成一个以上的第一内容损失，从而生成包括上述第一风格损失及上述第一内容损失在内的上述第一更新损失。
4.根据权利要求2所述的方法，其特征在于，在上述步骤(b22)中，上述学习装置使上述支持损失层通过以梯度下降方式使用上述第一更新损失来更新上述噪声图像，并执行步骤(i)及步骤(ii)，在上述步骤(i)中，相比于上述噪声图像的风格特性，使上述第一更新图像的风格特性与上述特定第一基本图像的风格特性更相似，在上述步骤(ii)中，相比于上述噪声图像的内容特性，使上述第一更新图像的内容特性与上述特定第二基本图像的内容特性更相似。
5.根据权利要求1所述的方法，其特征在于，在上述步骤(b)中，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使上述主卷积神经网络通过使用上述第一学习图像的特定数量及与之相对应的上述第一真值自动驾驶源信息来学习上述参数，从而执行上述第一学习流程，在上述步骤(ii)中，使上述主卷积神经网络通过使用上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来对上述参数进行微细调整，从而执行上述第二学习流程。
6.根据权利要求1所述的方法，其特征在于，
在上述步骤(b)中，
上述学习装置执行步骤(i)，使上述主卷积神经网络通过使用(i-1)以与被管理者预设的特定数有关的特定第一学习图像的数的比例为基础的上述第一学习图像中的一个以上的特定第一学习图像及(i-2)与之相对应的上述第一真值自动驾驶源信息的一部分来在初期学习上述参数，从而执行上述第一学习流程，
上述学习装置执行步骤(ii)，使上述主卷积神经网络同时使用上述第一学习图像、与之相对应的上述第一真值自动驾驶源信息以及上述第二学习图像、与之相对应的上述第二真值自动驾驶源信息来重新学习上述参数，从而执行上述第二学习流程。
7.根据权利要求1所述的方法，其特征在于，在上述步骤(b2)中，上述第一基本图像为选自于上述第一学习图像中的图像，上述第二基本图像为通过搭载于上述实际车辆的至少一个摄像头拍摄与上述实际车辆相对应的实际行驶情状况的图像，在上述至少一个第一基本图像为一个的情况下，上述第二学习图像分别与各个上述第二基本图像相对应。
8.根据权利要求1所述的方法，其特征在于，在上述步骤(b1)中，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成第一自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过使用自身参数来在所输入的值适用至少一个主卷积，在上述步骤(i-2)中，将其输出向它的下一个自主驱动神经元传递，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述输出层通过向上述第一自动驾驶特征地图适用至少一个输出运算来生成上述第一预测自动驾驶源信息，从而向上述第一学习图像适用上述主卷积神经网络运算。
9.一种方法，用于测试主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：
步骤(a)，包括步骤(1)及步骤(2)，在上述步骤(1)中，学习装置获取与预设的虚拟世界中的与虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，在上述步骤(2)中，上述学习装置执行第一学习流程(2-1)及第二学习流程(2-2)，上述第一学习流程(2-1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(2-2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，在完成学习的状态下，测试装置使上述支持卷积神经网络通过参照(i)与测试用虚拟世界中的测试用虚拟车辆的测试用虚拟行驶相对应的至少一个测试用第一基本图像及(ii)搭载于与上述测试装置联动来进行工作的测试用实际车辆的至少一个测试用摄像头获取的至少一个测试用第二基本图像来生成测试图像；以及
步骤(b)，上述测试装置使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述测试图像来生成测试用预测自动驾驶源信息。
10.根据权利要求9所述的方法，其特征在于，还包括步骤(c)，上述测试装置向自动驾驶应用程序模块传递上述测试用预测自动驾驶源信息来支持上述测试用实际车辆的自动驾驶。
11.根据权利要求9所述的方法，其特征在于，
上述步骤(a)包括：
步骤(a1)，上述测试装置使包括于上述支持卷积神经网络的支持卷积层执行流程(i)及流程(ii)，在上述流程(i)中，通过向上述测试用第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的测试用特定风格特征地图，在上述流程(ii)中，通过向上述测试用第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的测试用特定内容特征地图；
步骤(a2)，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用噪声图像适用上述支持卷积神经网络运算来生成一个以上的测试用第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第一更新特征地图来生成至少一个测试用第一更新损失，在上述步骤(ii-2)中，通过上述测试用第一更新损失来更新上述噪声图像，从而生成至少一个测试用第一更新图像；
步骤(a3)，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的测试用第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第K更新特征地图来生成至少一个测试用第K更新损失，在上述步骤(ii-2)中，通过上述测试用第K更新损失来更新上述测试用第K-1图像，从而生成至少一个测试用第K更新图像；以及
步骤(a4)，上述测试装置将通过执行上述步骤(a2)及上述步骤(a3)而生成的测试用第N更新图像作为上述测试图像来输出，
其中，K为1至N的整数。
12.根据权利要求9所述的方法，其特征在于，在上述步骤(b)之后还包括步骤(d)，当获取上述测试用第二基本图像时，若在第T时序之后的第T+1时序通过上述测试用摄像头获取测试用追加第二基本图像，则上述测试装置使上述支持卷积神经网络执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照上述测试用第一基本图像及上述测试用追加第二基本图像来生成追加测试图像，在上述步骤(ii)中，通过使用上述追加测试图像来生成测试用追加预测自动驾驶源信息。
13.根据权利要求9所述的方法，其特征在于，在上述步骤(b)中，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成测试用自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过利用自身参数在所接收的至少一个值适用至少一个主卷积运算，在上述步骤(i-2)中，向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使上述主卷积神经网络的上述输出层通过向上述测试用自动驾驶特征地图适用至少一个输出运算来生成上述测试用预测自动驾驶源信息，从而向上述测试图像适用上述主卷积神经网络运算。
14.一种装置，用于学习主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，
包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，用于运行上述指令，
上述处理器执行步骤(I)及步骤(II)，在上述步骤(I)中，获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，在上述步骤(II)中，执行第一学习流程(II1)及第二学习流程(II2)，上述第一学习流程(II1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络额参数的至少一部分，上述第二学习流程(II2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分。
15.根据权利要求14所述的装置，其特征在于，
上述流程(II2)包括：
流程(II21)，使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的特定风格特征地图，在上述步骤(ii)中，通过向上述第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的特定内容特征地图；
流程(II22)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向噪声图像适用上述支持卷积神经网络运算来生成一个以上的第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第一更新特征地图来生成至少一个第一更新损失，在上述步骤(ii-2)中，通过上述第一更新损失来更新上述噪声图像，从而生成至少一个第一更新图像；
流程(II23)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第K更新特征地图来生成至少一个第K更新损失，在上述步骤(ii-2)中，通过上述第K更新损失来更新上述第K-1图像，从而生成至少一个第K更新图像；以及
流程(II24)，将通过执行上述流程(II22)及上述流程(II23)而生成的第N更新图像作为特定第二学习图像来输出，
其中，K为1至N的整数。
16.根据权利要求15所述的装置，其特征在于，在上述流程(II22)中，上述处理器使上述支持损失层执行流程(i)及流程(ii)，在上述流程(i)中，通过使用上述第一更新特征地图和上述特定风格特征地图来生成一个以上的第一风格损失，在上述流程(ii)中，通过使用上述第一更新特征地图和上述特定内容特征地图来生成一个以上的第一内容损失，从而生成包括上述第一风格损失及上述第一内容损失在内的上述第一更新损失。
17.根据权利要求15所述的装置，其特征在于，在上述流程(II22)中，上述处理器使上述支持损失层以梯度下降方式使用上述第一更新损失来更新上述噪声图像，并执行步骤(i)及步骤(ii)，在上述步骤(i)中，相比于上述噪声图像的风格特性，使上述第一更新图像的风格特性比上述特定第一基本图像的风格特性更相似，在上述步骤(ii)中，相比于上述噪声图像的内容特性，使上述第一更新图像的内容特性比上述特定第二基本图像的内容特性更相似。
18.根据权利要求14所述的装置，其特征在于，在上述流程(II)中，上述处理器执行步骤(i)及步骤(ii)，在上述步骤(i)中，使上述主卷积神经网络通过使用上述第一学习图像的特定数量及与之相对应的上述第一真值自动驾驶源信息来学习上述参数，从而执行上述第一学习流程，在上述步骤(ii)中，使上述主卷积神经网络通过使用上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来对上述参数进行微细调整，从而执行上述第二学习流程。
19.根据权利要求14所述的装置，其特征在于，
在上述流程(II)中，
上述处理器执行步骤(i)，使上述主卷积神经网络通过使用(i-1)以与被管理者预设的特定数有关的特定第一学习图像的数的比例为基础的上述第一学习图像中的一个以上的特定第一学习图像及(i-2)与之相对应的上述第一真值自动驾驶源信息的一部分来在初期学习上述参数，从而执行上述第一学习流程，
上述处理器执行步骤(ii)，使上述主卷积神经网络同时使用上述第一学习图像及与之相对应的上述第一真值自动驾驶源信息以及上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来重新学习上述参数，从而执行上述第二学习流程。
20.根据权利要求14所述的装置，其特征在于，在上述流程(II2)中，上述第一基本图像为选自于上述第一学习图像中的图像，上述第二基本图像为通过搭载于上述实际车辆的至少一个摄像头拍摄与上述实际车辆相对应的实际行驶情状况的图像，在上述至少一个第一基本图像为一个的情况下，上述第二学习图像分别与各个上述第二基本图像相对应。
21.根据权利要求14所述的装置，其特征在于，在上述流程(II1)中，上述处理器执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成第一自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过使用自身参数来在所输入的值适用至少一个主卷积，在上述步骤(i-2)中，将其输出向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述输出层通过向上述第一自动驾驶特征地图适用至少一个输出运算来生成上述第一预测自动驾驶源信息，从而向上述第一学习图像适用上述主卷积神经网络运算。
22.一种装置，用于测试主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，
包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，用于运行上述指令，
上述处理器执行流程(I)及流程(II)，上述流程(I)执行步骤(1)及步骤(2)，在上述步骤(1)中，获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，上述步骤(2)执行第一学习流程(2-1)及第二学习流程(2-2)，上述第一学习流程(2-1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(2-2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆额实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，在完成学习的状态下，测试装置使上述支持卷积神经网络通过参照(i)与测试用虚拟世界中的测试用虚拟车辆的测试用虚拟行驶相对应的至少一个测试用第一基本图像及(ii)搭载于与上述测试装置联动来进行工作的测试用实际车辆的至少一个测试用摄像头获取的至少一个测试用第二基本图像来生成测试图像，在流程(II)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述测试图像来生成测试用预测自动驾驶源信息。
23.根据权利要求22所述的装置，其特征在于，上述处理器还执行流程(III)，通过向自动驾驶应用程序模块传递上述测试用预测自动驾驶源信息来支持上述测试用实际车辆的自动驾驶。
24.根据权利要求22所述的装置，其特征在于，
上述流程(I)包括：
流程(I1)，使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述测试用第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的测试用特定风格特征地图，在上述步骤(ii)中，通过向上述测试用第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的测试用特定内容特征地图；
流程(I2)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用噪声图像适用上述支持卷积神经网络运算来生成一个以上的测试用第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第一更新特征地图来生成至少一个测试用第一更新损失，在上述步骤(ii-2)中，通过上述测试用第一更新损失来更新上述噪声图像，从而生成至少一个测试用第一更新图像；
流程(I3)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用第K-1更新图像适用上述支持卷积神经网络运算来生成一个以上的测试用第K更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第K更新特征地图来生成至少一个测试用第K更新损失，在上述步骤(ii-2)中，通过上述测试用第K更新损失来更新上述测试用第K-1图像，从而生成至少一个测试用第K更新图像；以及
流程(I4)，将通过执行上述流程(I2)及上述流程(I3)而获取的测试用第N更新图像作为上述测试图像来输出，
其中，K为1至N的整数。
25.根据权利要求22所述的装置，其特征在于，在上述流程(II)之后，上述处理器还执行流程(IV)，当获取上述测试用第二基本图像时，若在第T时序之后的第T+1时序通过上述测试用摄像头获取测试用追加第二基本图像，则使上述支持卷积神经网络执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照上述测试用第一基本图像及上述测试用追加第二基本图像来生成追加测试图像，在上述步骤(ii)中，通过使用上述追加测试图像来生成测试用追加预测自动驾驶源信息。
26.根据权利要求22所述的装置，其特征在于，在上述流程(II)中，上述处理器包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成测试用自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过利用自身参数在所接收的至少一个值适用至少一个主卷积运算，在步骤(i-2)中，向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使上述主卷积神经网络的上述输出层通过向上述测试用自动驾驶特征地图适用至少一个输出运算来生成上述测试用预测自动驾驶源信息，从而向上述测试图像适用上述主卷积神经网络运算。
CN202010077089.7A 2019-01-30 2020-01-23 用于虚拟世界中学习的卷积神经网络的方法和装置 Active CN111507175B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798837P 2019-01-30 2019-01-30
US62/798,837 2019-01-30
US16/731,080 2019-12-31
US16/731,080 US10635938B1 (en) 2019-01-30 2019-12-31 Learning method and learning device for allowing CNN having trained in virtual world to be used in real world by runtime input transformation using photo style transformation, and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
CN111507175A true CN111507175A (zh) 2020-08-07
CN111507175B CN111507175B (zh) 2023-04-07

Family

ID=70332405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077089.7A Active CN111507175B (zh) 2019-01-30 2020-01-23 用于虚拟世界中学习的卷积神经网络的方法和装置

Country Status (5)

Country Link
US (1) US10635938B1 (zh)
EP (1) EP3690718B1 (zh)
JP (1) JP6856957B2 (zh)
KR (1) KR102375278B1 (zh)
CN (1) CN111507175B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021150033A1 (en) * 2020-01-23 2021-07-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
KR102483738B1 (ko) * 2021-01-11 2022-12-30 연세대학교 산학협력단 제로 스타일 로스를 이용한 도메인 적응 장치 및 방법
US11250298B1 (en) * 2021-03-26 2022-02-15 Stradavision, Inc. Methods for training and testing perception network by using images obtained from multiple imaging devices having diverse specifications and learning device and testing device using the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048266A (ja) * 2006-08-18 2008-02-28 Matsushita Electric Ind Co Ltd 車載画像処理装置及びその視点変換情報生成方法
CN105034950A (zh) * 2014-05-02 2015-11-11 现代自动车株式会社 使用成像装置调节图像的系统和方法
JP2017162438A (ja) * 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
US20180173942A1 (en) * 2016-12-16 2018-06-21 Samsung Electronics Co., Ltd. Method and apparatus for generating facial expression and training method for generating facial expression
US20180232585A1 (en) * 2017-02-16 2018-08-16 Samsung Electronics Co., Ltd. Autonomous vehicle control method and apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017004803A1 (en) * 2015-07-08 2017-01-12 Xiaoou Tang An apparatus and a method for semantic image labeling
WO2018064794A1 (en) * 2016-10-05 2018-04-12 Intel Corporation General purpose input/output data capture and neural cache system for autonomous machines
US10678846B2 (en) * 2017-03-10 2020-06-09 Xerox Corporation Instance-level image retrieval with a region proposal network
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10345822B1 (en) * 2018-01-26 2019-07-09 Ford Global Technologies, Llc Cognitive mapping for vehicles
US10984286B2 (en) * 2018-02-02 2021-04-20 Nvidia Corporation Domain stylization using a neural network model
TWI666595B (zh) * 2018-02-26 2019-07-21 財團法人工業技術研究院 物件標示系統及方法
US20190332109A1 (en) * 2018-04-27 2019-10-31 GM Global Technology Operations LLC Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
US10908609B2 (en) * 2018-04-30 2021-02-02 Toyota Research Institute, Inc. Apparatus and method for autonomous driving
US10297070B1 (en) * 2018-10-16 2019-05-21 Inception Institute of Artificial Intelligence, Ltd 3D scene synthesis techniques using neural network architectures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048266A (ja) * 2006-08-18 2008-02-28 Matsushita Electric Ind Co Ltd 車載画像処理装置及びその視点変換情報生成方法
CN105034950A (zh) * 2014-05-02 2015-11-11 现代自动车株式会社 使用成像装置调节图像的系统和方法
JP2017162438A (ja) * 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
US20180173942A1 (en) * 2016-12-16 2018-06-21 Samsung Electronics Co., Ltd. Method and apparatus for generating facial expression and training method for generating facial expression
US20180232585A1 (en) * 2017-02-16 2018-08-16 Samsung Electronics Co., Ltd. Autonomous vehicle control method and apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LUONA YANG ET AL: "Real-to-Virtual Domain Unification for End-to-End Autonomous Driving" *
XINLEI PAN ET AL: "Virtual to Real Reinforcement Learning for Autonomous Driving" *

Also Published As

Publication number Publication date
JP6856957B2 (ja) 2021-04-14
JP2020123344A (ja) 2020-08-13
US10635938B1 (en) 2020-04-28
EP3690718A1 (en) 2020-08-05
KR20200094653A (ko) 2020-08-07
EP3690718B1 (en) 2022-07-13
CN111507175B (zh) 2023-04-07
KR102375278B1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
US10373026B1 (en) Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
US10408939B1 (en) Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
US10373023B1 (en) Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation
US10325201B1 (en) Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
CN111507175B (zh) 用于虚拟世界中学习的卷积神经网络的方法和装置
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
US10325179B1 (en) Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
KR102296509B1 (ko) 자율 주행 자동차의 레벨 4를 충족시키기 위해 영역의 클래스에 따라 모드를 전환하여 그리드 셀 별로 가중 컨벌루션 필터를 이용한 감시용 이미지 세그멘테이션 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10890916B2 (en) Location-specific algorithm selection for optimized autonomous driving
US10395392B1 (en) Learning method and learning device for strategic transforming RGB training image sets into non-RGB training image sets, to be used for learning object detection on objects of images in non-RGB format, by using cycle GAN, resulting in significantly reducing computational load and reusing data
KR102375286B1 (ko) Gan을 이용해 가상 세계에 대한 가상 데이터로부터 나온 트레이닝 데이터를 생성하여, 자율 주행용 뉴럴 네트워크의 학습 프로세스에 필요한 어노테이션 비용을 줄이는 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
CN111462131A (zh) 一种注意力驱动图像分割的方法和设备
CN111476082B (zh) 在线批次归一化、在线学习及持续学习的方法和装置
US10311336B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10902297B1 (en) Method for auto-labeling test image by using class-agnostic refinement module, and auto-labeling device using the same
US10339424B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10460210B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
CN115619829A (zh) 一种无人机目标跟踪方法、系统、介质、设备及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant