CN111460879B - 利用网格生成器的神经网络运算方法及使用该方法的装置 - Google Patents

利用网格生成器的神经网络运算方法及使用该方法的装置 Download PDF

Info

Publication number
CN111460879B
CN111460879B CN201911310674.0A CN201911310674A CN111460879B CN 111460879 B CN111460879 B CN 111460879B CN 201911310674 A CN201911310674 A CN 201911310674A CN 111460879 B CN111460879 B CN 111460879B
Authority
CN
China
Prior art keywords
test
neural network
learning
specific
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911310674.0A
Other languages
English (en)
Other versions
CN111460879A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111460879A publication Critical patent/CN111460879A/zh
Application granted granted Critical
Publication of CN111460879B publication Critical patent/CN111460879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了根据区域类别来切换模式以满足自动驾驶汽车4级而利用网格生成器的神经网络运算方法及使用该方法的装置，该方法包括以下步骤：计算装置(a)使配对检测器检测出测试用配对，获取与所述测试用配对相关的类别信息和位置信息；(b)使所述网格生成器参考与所述测试用配对相关的所述位置信息来生成区块信息；(c)使神经网络参考利用与学习用配对相关的信息来学习的学习用参数来确定测试用参数；以及(d)使所述神经网络利用各所述测试用参数，将所述神经网络运算应用到测试图像中，输出一个以上的神经网络结果。

Description

利用网格生成器的神经网络运算方法及使用该方法的装置
技术领域
本发明涉及为了根据测试图像内的区域类别来切换模式以满足自动驾驶汽车4级而使用网格生成器的神经网络运算方法和利用该方法的计算装置，具体来说，利用所述网格生成器的神经网络运算方法，包括以下步骤：(a)若获取到测试图像，则使配对检测器检测出一个以上的测试用配对，获取与所述测试用配对相关的类别信息和位置信息，所述测试用配对包括在所述测试图像上存在的测试用对象和与所述测试用对象相对应的测试用非对象；(b)使所述网格生成器参考与所述测试用配对相关的所述位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；(c)使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到包含各所述测试用配对的所述子区块中的至少一部分中，所述学习用参数是利用与学习用配对相关的信息来学习的，所述学习用配对具有和与所述测试用配对相关的所述类别信息相同或相似的类别信息；以及(d)使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
背景技术
深度卷积神经网络(Deep Convolution Neural Networks；Deep CNN)是深度学习的惊人发展的核心。CNN已经在90年代用于解决文字识别问题，但是近年来广泛用于机器学习(Machine Learning)。例如，CNN在2012年ImageNet图像分类竞赛(ImageNet LargeScale Visual Recognition Challenge)中击败了其他竞争对手并赢得了冠军。从那时起，CNN已成为机器学习领域中非常有用的工具。
CNN还广泛用于自动驾驶领域。在自动驾驶环境中，大多数输入图像具有典型且相似的布置，主要包括输入图像中间的车道和左右两侧的人行道等。因此，用于自动驾驶的CNN使用具有如输入图像的构成要素那样的典型布置、例如典型的构成要素的训练图像来学习参数。
然而，上述学习过程具有很大的缺点。即，当输入图像的布置与训练图像的典型布置不同时，CNN运算效率低下。例如，在转弯的情况下，与具有典型布置的训练图像不同，测试图像的中间没有车道，由于CNN的参数针对车道位于图像中间的输入图像进行了优化，因此，使用上述参数无法正确计算测试图像。
发明内容
发明所要解决的课题
本发明的目的在于解决上述问题。
本发明的另一个目的在于，提供一种参考与至少一个以上的测试用配对相关的类别信息来确定测试用参数的方法，由此输出最优化的神经网络结果，其中，测试用配对包括子区块中的至少一部分分别包含的测试用非对象和测试用对象。
用于解决课题的手段
为了实现如上所述的本发明的目的并实现后述的本发明的特定效果，本发明的特定构成如下。
根据本发明的一个方式，公开了一种利用网格生成器的神经网络运算方法，其特征在于，包括以下步骤：(a)计算装置若获取到测试图像，则使配对检测器检测出一个以上的测试用配对，获取与所述测试用配对相关的类别信息和位置信息，所述测试用配对包括在所述测试图像上存在的测试用对象和与所述测试用对象相对应的测试用非对象；(b)所述计算装置使所述网格生成器参考与所述测试用配对相关的所述位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；(c)所述计算装置使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到包含各所述测试用配对的所述子区块中的至少一部分中，所述学习用参数是利用与学习用配对相关的信息来学习的，所述学习用配对具有和与所述测试用配对相关的所述类别信息相同或相似的类别信息；以及(d)所述计算装置使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
在一个实施例中，在所述步骤(b)中，所述网格生成器使用动态模板来划分所述测试图像，提供至少一个以上的边界线被调整的所述动态模板，使得(i)所述测试用配对中的至少一个被包含在所述动态模板的所述子区块的所述至少一部分的每一个中。
在一个实施例中，所述网格生成器管理与所述动态模板相关的信息，所述动态模板包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分，其中一部分边界线是可调整的。
在一个实施例中，所述动态模板包括行组和一个以上的列组，所述行组具有(i)上行组、(ii)包括所述列组中的至少一部分的中间行组、以及(iii)下行组，所述测试用配对中的至少一个被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
在一个实施例中，在所述步骤(a)之前，还包括以下步骤：(a0)所述计算装置使所述神经网络利用与一个以上的训练图像所包含的各所述学习用配对相关的信息，学习所述学习用参数。
在一个实施例中，在所述步骤(a0)中，所述神经网络利用与各所述学习用配对相关的信息来学习所述学习用参数，并且将与所述学习用配对相关的类别信息与对应于所述学习用配对的学习用参数相关联地进行存储，所述与各所述学习用配对相关的信息被包含在所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
在一个实施例中，在各所述训练图像中，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像中的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分分别低于或等于预设的阈值，则将其选定为所述训练图像。
在一个实施例中，在所述步骤(c)中，(i)当特定测试用对象的面积超过所述特定测试用对象所属的特定子区块所包含的特定测试用非对象的面积时，所述计算装置确定包括所述特定测试用对象和所述特定测试用非对象的特定测试用配对具有第一类别信息，并且使所述神经网络参考所述学习用参数中的至少一个第一特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，(ii)当所述特定测试用对象的所述面积小于或等于所述特定测试用非对象的所述面积时，所述计算装置确定包括所述特定测试用对象和所述特定测试用非对象的特定测试用配对具有第二类别信息，并且使所述神经网络参考所述学习用参数中的至少一个第二特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数。
在一个实施例中，在所述步骤(d)中，所述计算装置使所述神经网络利用所述测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像，以输出所述神经网络结果。
在一个实施例中，所述测试图像表示道路行驶情况，所述测试用对象表示可能出现在道路上的物体，所述神经网络结果用于自动驾驶。
根据本发明的另一方式，公开了一种计算装置，用于利用网格生成器的神经网络运算，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：(I)使配对检测器检测出一个以上的测试用配对，获取与所述测试用配对相关的类别信息和位置信息，所述测试用配对包括在所述测试图像上存在的测试用对象和与所述测试用对象相对应的测试用非对象；(II)使所述网格生成器参考与所述测试用配对相关的所述位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；(III)使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到包含各所述测试用配对的所述子区块中的至少一部分中，所述学习用参数是利用与学习用配对相关的信息来学习的，所述学习用配对具有和与所述测试用配对相关的所述类别信息相同或相似的类别信息；以及(IV)使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
在一个实施例中，在所述处理(II)中，所述网格生成器利用动态模板来划分所述测试图像，提供至少一个以上的边界线被调整的所述动态模板，使得(i)所述测试用配对中的至少一个被包含在所述动态模板的所述子区块的所述至少一部分的每一个中。
在一个实施例中，所述网格生成器管理与所述动态模板相关的信息，所述动态模板包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分，其中一部分边界线是可调整的。
在一个实施例中，所述动态模板包括行组和一个以上的列组，所述行组具有(i)上行组、(ii)包括所述列组中的至少一部分的中间行组、以及(iii)下行组，所述测试用配对中的至少一个被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
在一个实施例中，在所述处理(I)之前，还执行以下处理：(0)所述处理器使所述神经网络利用与一个以上的训练图像所包含的各所述学习用配对相关的信息，学习所述学习用参数。
在一个实施例中，在所述处理(0)中，所述神经网络利用与各所述学习用配对相关的信息来学习所述学习用参数，并且将与所述学习用配对相关的类别信息与对应于所述学习用配对的学习用参数相关联地进行存储，所述与各所述学习用配对相关的信息被包含在所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
在一个实施例中，在各所述训练图像中，当将所述第一分割区域中所述第k分割区域的位置信息称为第一位置信息中第k位置信息时，如果所述训练图像中的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分分别低于或等于预设的阈值，则将其选定为所述训练图像。
在一个实施例中，在所述处理(III)中，(i)当特定测试用对象的面积超过所述特定测试用对象所属的特定子区块所包含的特定测试用非对象的面积时，所述处理器确定包括所述特定测试用对象和所述特定测试用非对象的特定测试用配对具有第一类别信息，并且使所述神经网络参考所述学习用参数中的至少一个第一特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块使使用的所述测试用参数中的至少一个特定测试用参数，(ii)当所述特定测试用对象的所述面积小于或等于所述特定测试用非对象的所述面积时，所述处理器确定包括所述特定测试用对象和所述特定测试用非对象的特定测试用配对具有第二类别信息，并且使所述神经网络参考所述学习用参数中的至少一个第二特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数。
在一个实施例中，在所述处理(IV)中，所述处理器使所述神经网络利用所述测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像，以输出所述神经网络结果。
在一个实施例中，所述测试图像表示道路行驶情况，所述测试用对象表示可能出现在道路上的物体，所述神经网络结果用于自动驾驶。
发明效果
根据本发明，提供如下方法：利用与子区块所包含的学习用配对相关的信息来确定测试用参数，所述与子区块所包含的学习用配对相关的信息具有与测试用配对的类别信息相同或相似的类别信息，由此具有能够输出最优化的神经网络结果的效果。
附图说明
本发明的实施例的说明中所用的以下附图仅仅是本发明实施例中的一部分，本领域技术人员在不进行发明操作的情况下，也能够根据这些附图来得出其他附图。
图1是示出用于根据本发明而使用网格生成器执行神经网络运算方法的计算装置的构成的图。
图2是示出用于根据本发明而输出神经网络结果的过程的图。
图3是示出具有用于根据本发明而学习神经网络的学习用参数的典型布置的训练图像的图。
图4A是示出根据本发明而能够有效地适用利用网格生成器的神经网络运算方法的测试图像的图。
图4B是示出根据本发明而通过动态模板生成子区块的测试图像的图。
具体实施方式
后述的针对本发明的详细描述参照附图，该附图是作为例示本发明可实施的特定实施例而图示的。这些实施例被详细说明以使本领域技术人员足以实施本发明。应该理解的是，本发明的各种实施例虽然彼此不同，但并不是相互排斥的。例如，在不脱离本发明的精神和范围内，可以通过其他实施例来实现这里描述的特定形状、结构和特性。另外，应当理解的是，在不脱离本发明的精神和范围的情况下，可以改变每一个公开的实施例中的各个构成要素的位置或配置。因此，以下的详细描述不应被视为具有限制意义，如果适当地描述，则本发明的范围仅由所附权利要求以及与这些权利要求所主张范围的等同的全部范围来限定。附图中相同的附图标记在若干方面中指相同或相似的功能。
另外，在本发明的整个说明书和权利要求书中，词语“包括”及其变形并不旨在排除其他技术特征、附加物等、构成要素等或步骤等。对于本领域技术人员来说，本发明的其他目的、优点和特征的一部分可以从本说明书中得出、其他一部分从本发明的实施中得出。以下示例和附图是以举例说明的方式提供的，并不旨在限制本发明。
本发明中提到的各种图像可以包括与铺砌或未铺砌道路相关的图像，并且在这种情况下，可以包括可能出现在道路环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此，并且本发明中提到的各种图像可以是与道路无关的图像(例如，与未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关的图像)，在这种情况下，可以象征可能出现在未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此。
以下，为了使本领域技术人员能够容易地实施本发明，参考附图详细描述本发明的优选实施例。
作为参考，在下面的描述中，为了避免混淆，在与学习过程相关的术语中附加了词语“学习用”，在与测试过程相关的术语中附加了词语“测试用”。
图1是示出用于根据本发明而使用网格生成器执行神经网络运算方法的计算装置的构成的图。
参照图1，计算装置100可以包括配对检测器(pair detector)130、网格生成器140以及神经网络150。配对检测器130、网格生成器140以及神经网络150的各种数据输入/输出处理和计算处理可以分别由通信部110和处理器120执行。然而，在图1中，省略了对通信部110和处理器120之间的连接关系的详细描述。另外，计算装置100还可以包括存储器115，存储器115能够存储用于执行后述的处理的计算机可读指令(computer readableinstruction)。作为一个示例，处理器、存储器、介质(medium)等可以集成到一个处理器中发挥作用。
如上所述，描述了计算装置100的构成，以下将描述根据本发明而利用网格生成器140导出神经网络结果的过程。
图2是示出用于根据本发明而输出神经网络结果的过程的图。
参照图2，可以看出：若获取到测试图像，则以配对检测器130、网格生成器140以及神经网络150的顺序执行处理。可以将测试图像输入到配对检测器130，并且可以将由配对检测器130生成的与一个以上的测试用配对相关的一个以上的位置信息和测试图像输入到网格生成器140，测试用配对包括测试用非对象和测试用对象。最终，由配对检测器130生成的与测试用配对相关的类别信息和由网格生成器140生成的区块信息以及测试图像可以被输入到神经网络150。此后，神经网络150可以参考测试用参数来输出神经网络结果，测试用参数是使用与测试用配对相关的类别信息和区块信息来确定的。
具体来说，若通过通信部110获取到表示道路行驶状况的测试图像，则计算装置100使配对检测器130检测测试图像上存在的测试用配对，从而获得与测试用配对相关的类别信息以及与测试用配对相关的位置信息，与测试用配对相关的位置信息包括与测试用对象及其对应的测试用非对象的配对在测试图像上位于哪个位置相关的信息。
在配对检测器130获取到与测试用配对相关的位置信息和与测试用配对相关的类别信息之后，计算装置100使网格生成器140参考与测试用配对相关的位置信息，将测试图像划分为多个子区块，并生成区块信息，该区块信息包括与测试图像中的子区块相关的信息。在子区块中的一部分中可能存在配对中的至少一部分，该配对包括例如道路和汽车这样配对的测试用对象和测试用非对象。网格生成器140可以使用动态模板(dynamictemplate)将测试图像划分为子区块。
具体来说，网格生成器140可以管理与动态模板相关的信息，并且动态模板可以包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分，其中的一些是可调整的。
作为一个示例，第一方向可以是平行于测试图像的水平轴的方向，第二方向可以是平行于测试图像的垂直轴的方向，但不限于此，每一个方向可以是倾斜方向，甚至可以是由特定函数来确定的曲线方向。
另外，动态模板可以包括行组和一个以上的列组。作为一个示例，行组具有(i)上行组、(ii)包括列组中的至少一部分的中间行组、以及(iii)下行组。中间行组包括列组中的至少一部分的原因是：通常，重要的对象大多数位于测试图像的中心。
如上所述，动态模板的构成是预先设定的，当网格生成器140使用动态模板划分测试图像时，可以提供一个以上的边界线被调整的动态模板。作为一个示例，可以提供如下动态模板：子区块的至少一部分中的每一个中包括测试用配对中的至少一个。区块信息可以包括与被调整后的边界线的位置相关的信息。
另一方面，计算装置100可以使网格生成器参考与测试用对象相关的位置信息来生成区块信息，并且可以通过与上述方法类似的方法来生成。例如，可以提供如下动态模板：使得子区块的至少一部分中的每一个中包括测试用对象的至少一个。获取与测试用对象相关的位置信息的方法也可以和获取与测试用配对相关的位置信息的方法相似。
若如上所述那样生成区块信息，则计算装置100可以使神经网络150确定测试用参数。
为了描述确定测试用参数的过程，将描述学习神经网络的学习用参数的过程。
在通信部110获取测试图像之前，计算装置100可以使神经网络150使用包含在一个以上的训练图像中的关于各学习用配对的信息，学习学习用参数。学习用配对可以包括学习用对象和学习用非对象。各训练图像可以包括在道路行驶情况下可能出现的典型布置。为了说明这种典型布置，参考图3。
图3是示出具有用于根据本发明而学习神经网络的学习用参数的典型布置的训练图像的图。
参照图3，可以看到车道-汽车部分位于上述例示的训练图像300的中心，人行道-行人部分位于其左侧和右侧，而天空部分位于上部。用于学习神经网络150的参数的训练图像可以与上述例示的训练图像300相似。
为了描述上述例示的训练图像300的构成，先看一下学习用位置信息和分割区域的术语。
分割区域是指学习用非对象所处的区域，是指分别设置有车道-汽车部分、人行道-行人部分以及天空部分的各区域。学习用位置信息可以包括与分割区域的中心坐标相关的信息。
在这种情况下，在各训练图像中，当将第一分割区域至第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果训练图像中的每一个的第一位置信息的相对偏差至第k位置信息的相对偏差中的至少一部分分别低于或等于预设的阈值，则可以将其选定为训练图像而用于学习过程中。
在学习过程中，神经网络150并不是使用每一个训练图像中包括的所有区域来学习学习用参数，而是使用训练图像中包括的第一至第k分割区域中的至少一部分分割区域中的每一个所包含的与各学习用配对相关的信息来学习学习用参数，并且可以将关于学习用配对的类别信息与对应于学习用配对的学习用参数相关联地存储。
例如，可以假设神经网络150使用多个如图3的所例示的训练图像那样的训练图像来学习学习用参数。在这种情况下，第一分割区域310是天空部分，第二分割区域320是左侧的人行道-行人部分，第三分割区域330是车道-汽车部分，第四分割区域340是右侧的人行道-行人部分。神经网络150可以使用第三分割区域330来学习与车道-汽车部分相对应的学习用参数，并且将关于学习用车道-汽车部分的类别信息与对应于车道-汽车部分的参数相关联地存储。与此类似地，在确定与人行道-行人部分对应的学习用参数中的一部分时，可以使用第二分割区域320和第四分割区域340，并且可以存储与包括人行道和行人的学习用配对相关的类别信息。
如上所述，描述了神经网络150的学习过程，以下将描述确定测试用参数的过程。
若神经网络150的学习过程完成，则可以存储学习用参数和关于与其对应的配对的类别信息。之后，若通信部110获取到测试图像、并且配对检测器130和网格生成器140所执行的处理完成，则计算装置100可以使神经网络150参考学习用参数来确定测试用参数，该学习用参数是利用与学习用配对相关的信息来学习的，该学习用配对具有与测试用配对的类别信息相同或相似的类别信息。
测试用参数参考学习用参数来将神经网络运算应用到包含各测试用配对的子区块中的至少一部分中的每一个中，该学习用参数是利用与学习用配对相关的信息来学习的，该学习用配对具有与测试用配对的类别信息相同或相似的类别信息。
如果要说明这样的处理，则神经网络150可以使用由配对检测器130获取的子区块中的至少一部分中的每一个所包含的有关各配对的信息，该各配对包括测试用非对象和测试用对象。
例如，可以假设与车道-汽车部分相对应的特定学习用参数和与包括车道和汽车的学习用配对相关的类别信息被一起存储的情况。在这种情况下，如果判断为包括车道和汽车的特定测试用配对位于测试图像中的特定子区块中，则参考特定学习用参数来确定特定测试用参数，该特定学习用参数是利用与学习用配对相关的信息来学习的，该学习用配对具有与特定测试用配对的类别信息相同或相似的类别信息。
当在子区块的一部分中仅存在测试用非对象或者在子区块的另一部分中仅存在测试用对象时，附加学习参数可以用于确定要应用到如上所述那样对应的子区块中的测试用参数的一部分，该附加学习参数是分别使用学习用非对象和学习用对象学习的。由于上述情况在本发明中不是重要的问题，因此将省略其详细描述。
这样的方法与以往的方法相比有效的原因在于：即使在测试图像中出现的测试用配对的构成要素多种多样时，也能够最优化测试用参数。这些优点基于如下方法：使用(i)与测试用配对相关的类别信息和(ii)学习用参数来确定测试用参数，该学习用参数是利用学习用配对学习的，且对应于与测试用配对相关的类别信息。例如，在一般情况下，车道(学习用非对象)可以对应于汽车(学习用对象)，因此CNN 200可以使用具有如下学习用配对的测试图像来学习学习用参数，该学习用配对与如上所述的车道(学习用非对象)和汽车(学习用对象)的配对那样来示出的示例相似。在传统的方法中，当测试用配对不常见时，例如，车道(测试用非对象)和行人(测试用对象)配对或人行道(测试用非对象)和汽车(测试用对象)配对的情况下，因为测试用配对和学习用配对不同，所以无法最优化测试用参数。但是，即使在如上所述那样不常见的情况下使用本发明所提供的上述方法，也可以最优化测试用参数。其原因在于，在本发明中，通过使用具有包括学习用对象和学习用非对象的各种学习用配对的训练图像来学习学习用参数，并利用与包含于测试图像中得学习用配对相关的类别信息来确定测试用参数。
这样的方法与以往的方法相比有效的另一个原因在于，即使在测试图像中包含的构成要素的相对位置与训练图像中包含的构成要素的相对位置不同时，也能够适用适当的测试用参数。
具体来说，将与训练图像中的第一至第k分割区域相对应的第一至第k位置信息中的每一个与测试图像中的第一至第k位置信息中的每一个进行比较，在其偏差之中至少一部分超过第二阈值时，可以更有效地应用本发明，但是不限于此。
图4A是示出根据本发明而能够有效地适用利用网格生成器的神经网络运算方法的测试图像的图。
参照图4A，与图3不同地，可以确认车道-汽车部分位于左侧，而人行道-行人部分位于右侧。在这种情况下，由于测试图像中包含的车道-汽车部分的位置与训练图像中包含的车道-汽车部分的位置不同，因此，通过以往的方法来生成的神经网络运算结果并不能被最优化。从而，存在如下缺点：成为测试用参数未被最优化的状态，从而导致较差的结果。但是，如果将本发明的方法应用于这种情况下的测试图像中，则被最优化的参数应用到子区块的至少一部分的每一个中，从而生成最优化的神经网络运算的结果。这可以参照图4B看出。
图4B是示出根据本发明而通过动态模板生成子区块的测试图像的图。
参照图4B，示出了中间行中心的包含车道-汽车部分的子区块530和位于中间行的右侧的包含人行道-行人部分的子区块540。由于该子区块，使用训练图像所包含的车道-汽车部分学习的学习用参数可以被应用到子区块530中，并且使用训练图像所包含的人行道-行人部分学习的学习用参数可以被应用到子区块540中。
另一方面，测试用参数还可以参考将特定子区块中包含的特定测试用非对象面积与特定测试用对象面积进行比较的信息来确定。
为了描述如上的确定测试用参数的过程，将描述学习学习用参数的过程。
描述学习学习用参数的过程如下：神经网络150可以参考将在第一至第k分割区域的每一个分割区域中包含的特定学习用非对象面积和特定学习用对象面积进行比较的信息，学习与特定子区块相对应的学习用参数，并且存储关于特定学习用配对的类别信息，该特定学习用配对包括特定学习用对象和学习用非对象。与此对应地，当特定学习用对象的面积超过特定学习用非对象的面积时，神经网络150学习至少一个第一特定学习用参数，并且相关联地存储第一类别信息，第一类别信息与特定学习用对象的相对比率大的情况相对应。相反，当特定学习用对象的面积小于或等于特定学习用非对象的面积时，神经网络150学习至少一个第二特定学习用参数，并且相关联地存储第二类别信息，该第二类别信息与特定学习用对象的相对比率小的情况相对应。
在这里，第一类别信息和第二类别信息相似，但是不同点在于，特定学习用非对象相对于特定学习用对象的比率不同，其中一个大而另一个小。例如，假设存在第一学习用配对和第二学习用配对，该第一学习用配对包括与车道(学习用非对象)相比相对大的汽车(学习用对象)，该第二学习用配对包括与车道(学习用非对象)相比相对小的汽车(学习用对象)，在这种情况下，第一类别信息可以对应于第一学习用配对，第二类别信息可以对应于第二学习用配对。
具体来说，当特定测试用对象的面积超过与特定测试用对象一起被包含在特定子区块中的特定测试用非对象的面积时，计算装置100确定包括特定测试用对象和特定测试用非对象的特定测试用配对具有第一类别信息，并使神经网络参考学习用参数中的至少一个第一特定学习用参数，确定在将神经网络运算应用到特定子区块时使用的、测试用参数中的至少一个特定测试用参数。
相反地，当特定测试用对象的面积小于等于特定测试用非对象的面积时，计算装置确定特定测试用配对具有第二类别信息，并使神经网络参考学习用参数中的至少一个第二特定学习用参数，，确定在将神经网络运算应用到特定子区块时使用的、测试用参数中的至少一个特定测试用参数，该第二特定用参数具有和与特定测试用配对相关的类别信息相同或相似的类别信息。
学习参数通过参考在相同子区块中包含的测试用对象与测试用非对象之间的比率不同的学习用配对来学习，因此，参考将在相同子区块所包含的学习用非对象的面积和学习用对象的面积进行比较的信息来确定测试用参数是高效的。例如，假设学习用参数的一部分包括第一学习用参数和第二学习用参数，并且测试用示例对象的面积超过在测试图像中与测试用示例对象一起被包含在测试用示例配对中的测试用示例非对象的面积时，可以参考第一学习用参数来确定要在测试用示例配对中使用的一部分测试用参数，该第一学习用参数是利用学习用对象面积超过与其对应的学习用非对象的面积的第一学习用配对来学习的，该第二学习用参数是利用学习用对象面积小于或等于与其对应的学习用非对象的面积的第二学习用配对来学习的。
若如上所述那样确定测试用参数，则神经网络运算可以应用于测试图像，神经网络运算可以是卷积运算和反卷积运算。即，计算装置100可以使神经网络150使用测试用参数，将一次以上的卷积运算或一次以上的反卷积运算应用于测试图像，输出神经网络计算结果。
上面提及的本发明的方法可以为了根据图像中区域的类别来切换模式以满足自动驾驶车辆4级而执行。
以上描述的根据本发明的实施例可以以程序指令的形式实现，该程序指令可以由各种计算机部件执行，并且可以记录在计算机可读记录介质中。计算机可读记录介质可以单独或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读记录介质上的程序指令可以是为本发明专门设计和配置的程序指令，或者可以是计算机软件领域的技术人员已知并可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质，诸如光磁软盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及ROM、RAM、闪存等的特别构成为存储并执行程序指令的硬件装置。程序指令的示例不仅包括由编译器生成的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。硬件装置可以配置为作为一个或多个软件模块操作来执行根据本发明的处理，反之亦然。
尽管已经通过诸如具体构成要素等特定部件和有限的实施例和附图来描述了本发明，但这些仅仅是为了更全面地理解本发明而提供的，本发明不限于上述实施例。对于本领域技术人员来说，可以从这些描述中进行各种修改和变更。
因此，本发明的宗旨不应限于上述实施例，并且不仅是后附权利要求，与这些权利要求等同或等价的变形均包含于本发明的宗旨范围内。

Claims (20)

1.一种利用网格生成器的神经网络运算方法，其特征在于，包括以下步骤：
（a）计算装置若获取到测试图像，则使配对检测器检测出一个以上的测试用配对，获取与所述测试用配对相关的类别信息和位置信息，所述测试用配对包括在所述测试图像上存在的测试用对象和与所述测试用对象相对应的测试用非对象；
（b）所述计算装置使所述网格生成器参考与所述测试用配对相关的所述位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；
（c）所述计算装置使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到包含各所述测试用配对的所述子区块中的至少一部分中，所述学习用参数是利用与学习用配对相关的信息来学习的，所述学习用配对具有和与所述测试用配对相关的所述类别信息相同或相似的类别信息；以及
（d）所述计算装置使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
2.如权利要求1所述的神经网络运算方法，其特征在于，
在所述步骤（b）中，
所述网格生成器使用动态模板来划分所述测试图像，提供至少一个以上的边界线被调整的所述动态模板，使得（i）所述测试用配对中的至少一个被包含在所述动态模板的各所述子区块的所述至少一部分中。
3.如权利要求2所述的神经网络运算方法，其特征在于，
所述网格生成器管理与所述动态模板相关的信息，所述动态模板包括（i）第一方向上的至少一个第一边界线和（ii）第二方向上的至少一个第二边界线中的至少一部分，其中一部分边界线是可调整的。
4.如权利要求2所述的神经网络运算方法，其特征在于，
所述动态模板包括行组和一个以上的列组，所述行组具有（i）上行组、（ii）包括所述列组中的至少一部分的中间行组、以及（iii）下行组，所述测试用配对中的至少一个被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
5.如权利要求1所述的神经网络运算方法，其特征在于，
在所述步骤（a）之前，还包括以下步骤：
（a0）所述计算装置使所述神经网络利用与一个以上的训练图像所包含的各所述学习用配对相关的信息，学习所述学习用参数。
6.如权利要求5所述的神经网络运算方法，其特征在于，
在所述步骤（a0）中，
所述神经网络利用与各所述学习用配对相关的信息来学习所述学习用参数，并且将与所述学习用配对相关的类别信息与对应于所述学习用配对的学习用参数相关联地进行存储，所述与各所述学习用配对相关的信息被包含在所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
7.如权利要求6所述的神经网络运算方法，其特征在于，
在各所述训练图像中，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像中的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分分别低于或等于预设的阈值，则将其选定为所述训练图像。
8.如权利要求6所述的神经网络运算方法，其特征在于，
在所述步骤（c）中，
（i）当特定测试用对象的面积超过所述特定测试用对象所属的特定子区块所包含的特定测试用非对象的面积时，所述计算装置确定包括所述特定测试用对象和所述特定测试用非对象的特定测试用配对具有第一类别信息，并且使所述神经网络参考所述学习用参数中的至少一个第一特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，（ii）当所述特定测试用对象的所述面积小于或等于所述特定测试用非对象的所述面积时，所述计算装置确定包括所述特定测试用对象和所述特定测试用非对象的特定测试用配对具有第二类别信息，并且使所述神经网络参考所述学习用参数中的至少一个第二特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数。
9.如权利要求1所述的神经网络运算方法，其特征在于，
在所述步骤（d）中，
所述计算装置使所述神经网络利用所述测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像，输出所述神经网络结果。
10.如权利要求9所述的神经网络运算方法，其特征在于，
所述测试图像表示道路行驶情况，所述测试用对象表示出现在道路上的物体，所述神经网络结果用于自动驾驶。
11. 一种计算装置，用于利用网格生成器的神经网络运算，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：
（I）使配对检测器检测出一个以上的测试用配对，获取与所述测试用配对相关的类别信息和位置信息，所述测试用配对包括在测试图像上存在的测试用对象和与所述测试用对象相对应的测试用非对象；（II）使所述网格生成器参考与所述测试用配对相关的所述位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；（III）使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到包含各所述测试用配对的所述子区块中的至少一部分中，所述学习用参数是利用与学习用配对相关的信息来学习的，所述学习用配对具有和与所述测试用配对相关的所述类别信息相同或相似的类别信息；以及（IV）使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
12.如权利要求11所述的计算装置，其特征在于，
在所述处理（II）中，
所述网格生成器利用动态模板来划分所述测试图像，提供至少一个以上的边界线被调整的所述动态模板，使得（i）所述测试用配对中的至少一个被包含在所述动态模板的各所述子区块的所述至少一部分中。
13.如权利要求12所述的计算装置，其特征在于，
所述网格生成器管理与所述动态模板相关的信息，所述动态模板包括（i）第一方向上的至少一个第一边界线和（ii）第二方向上的至少一个第二边界线中的至少一部分，其中一部分边界线是可调整的。
14.如权利要求12所述的计算装置，其特征在于，
所述动态模板包括行组和一个以上的列组，所述行组具有（i）上行组、（ii）包括所述列组中的至少一部分的中间行组、以及（iii）下行组，所述测试用配对中的至少一个被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
15.如权利要求11所述的计算装置，其特征在于，
在所述处理（I）之前，还执行以下处理：
（0）所述处理器使所述神经网络利用与一个以上的训练图像所包含的各所述学习用配对相关的信息，学习所述学习用参数。
16.如权利要求15所述的计算装置，其特征在于，
在所述处理（0）中，
所述神经网络利用与各所述学习用配对相关的信息来学习所述学习用参数，并且将与所述学习用配对相关的类别信息与对应于所述学习用配对的学习用参数相关联地进行存储，所述与各所述学习用配对相关的信息被包含在所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
17.如权利要求16所述的计算装置，其特征在于，
在各所述训练图像中，当将所述第一分割区域中所述第k分割区域的位置信息称为第一位置信息中第k位置信息时，如果所述训练图像中的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分分别低于或等于预设的阈值，则将其选定为所述训练图像。
18.如权利要求16所述的计算装置，其特征在于，
在所述处理（III）中，
（i）当特定测试用对象的面积超过所述特定测试用对象所属的特定子区块所包含的特定测试用非对象的面积时，所述处理器确定包括所述特定测试用对象和所述特定测试用非对象的特定测试用配对具有第一类别信息，并且使所述神经网络参考所述学习用参数中的至少一个第一特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个的特定测试用参数，（ii）当所述特定测试用对象的所述面积小于或等于所述特定测试用非对象的所述面积时，所述处理器确定包括所述特定测试用对象和所述特定测试用非对象的特定测试用配对具有第二类别信息，并且使所述神经网络参考所述学习用参数中的至少一个第二特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数。
19.如权利要求11所述的计算装置，其特征在于，
在所述处理（IV）中，
所述处理器使所述神经网络利用所述测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像，以输出所述神经网络结果。
20.如权利要求19所述的计算装置，其特征在于，
所述测试图像表示道路行驶情况，所述测试用对象表示出现在道路上的物体，所述神经网络结果用于自动驾驶。
CN201911310674.0A 2019-01-22 2019-12-18 利用网格生成器的神经网络运算方法及使用该方法的装置 Active CN111460879B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/254,525 US10311336B1 (en) 2019-01-22 2019-01-22 Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US16/254,525 2019-01-22

Publications (2)

Publication Number Publication Date
CN111460879A CN111460879A (zh) 2020-07-28
CN111460879B true CN111460879B (zh) 2023-09-26

Family

ID=66673239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911310674.0A Active CN111460879B (zh) 2019-01-22 2019-12-18 利用网格生成器的神经网络运算方法及使用该方法的装置

Country Status (5)

Country Link
US (1) US10311336B1 (zh)
EP (1) EP3686783A1 (zh)
JP (1) JP6856906B2 (zh)
KR (1) KR102325025B1 (zh)
CN (1) CN111460879B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
JP2023528077A (ja) 2020-06-05 2023-07-03 ガティック エーアイ インコーポレイテッド 自律エージェントのコンテキスト認識型意思決定を行うための方法およびシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430715B1 (en) * 2015-05-01 2016-08-30 Adobe Systems Incorporated Identifying and modifying cast shadows in an image
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN107247956A (zh) * 2016-10-09 2017-10-13 成都快眼科技有限公司 一种基于网格判断的快速目标检测方法
CN107506802A (zh) * 2017-10-19 2017-12-22 广东工业大学 一种基于网格的聚类算法及其装置
CN108229446A (zh) * 2018-02-09 2018-06-29 中煤航测遥感集团有限公司 一种区域圈定方法及系统
US10169678B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448484A (en) * 1992-11-03 1995-09-05 Bullock; Darcy M. Neural network-based vehicle detection system and method
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US7398259B2 (en) * 2002-03-12 2008-07-08 Knowmtech, Llc Training of a physical neural network
US7433524B2 (en) * 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
US20050175243A1 (en) * 2004-02-05 2005-08-11 Trw Automotive U.S. Llc Method and apparatus for classifying image data using classifier grid models
US7958063B2 (en) * 2004-11-11 2011-06-07 Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
EP2313863A1 (en) 2008-07-14 2011-04-27 National ICT Australia Limited Detection of vehicles in images of a night time scene
JP5929896B2 (ja) 2011-03-17 2016-06-08 日本電気株式会社 画像認識システム、画像認識方法および画像認識用プログラム
GB2497516A (en) * 2011-12-05 2013-06-19 Univ Lincoln Generating training data for automation of image analysis
US9158995B2 (en) * 2013-03-14 2015-10-13 Xerox Corporation Data driven localization using task-dependent representations
CN104346620B (zh) * 2013-07-25 2017-12-29 佳能株式会社 对输入图像中的像素分类的方法和装置及图像处理系统
US9471853B2 (en) * 2014-05-19 2016-10-18 Jinling Institute Of Technology Method and apparatus for image processing
US9836839B2 (en) * 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
US9904849B2 (en) * 2015-08-26 2018-02-27 Digitalglobe, Inc. System for simplified generation of systems for broad area geospatial object detection
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
US11308350B2 (en) 2016-11-07 2022-04-19 Qualcomm Incorporated Deep cross-correlation learning for object tracking
JP6964234B2 (ja) 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
US10013773B1 (en) * 2016-12-16 2018-07-03 Waymo Llc Neural networks for object detection
US10108850B1 (en) * 2017-04-24 2018-10-23 Intel Corporation Recognition, reidentification and security enhancements using autonomous machines
KR102463175B1 (ko) * 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
US9430715B1 (en) * 2015-05-01 2016-08-30 Adobe Systems Incorporated Identifying and modifying cast shadows in an image
CN107247956A (zh) * 2016-10-09 2017-10-13 成都快眼科技有限公司 一种基于网格判断的快速目标检测方法
CN107506802A (zh) * 2017-10-19 2017-12-22 广东工业大学 一种基于网格的聚类算法及其装置
US10169678B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN108229446A (zh) * 2018-02-09 2018-06-29 中煤航测遥感集团有限公司 一种区域圈定方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FARNOUSH ZOHOURIAN等."Superpixel-based Road Segmentation for Real-time Systems using CNN".《VISAPP 2018 - International Conference on Computer Vision Theory and Applications》.2018,第257-265页. *

Also Published As

Publication number Publication date
US10311336B1 (en) 2019-06-04
JP2020119537A (ja) 2020-08-06
KR102325025B1 (ko) 2021-11-12
EP3686783A1 (en) 2020-07-29
KR20200091321A (ko) 2020-07-30
JP6856906B2 (ja) 2021-04-14
CN111460879A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
US20220212693A1 (en) Method and apparatus for trajectory prediction, device and storage medium
US10628688B1 (en) Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
KR102309708B1 (ko) 인스턴스 세그멘테이션을 이용한 객체의 자세에 따라 모드를 전환할 수 있는 cnn 기반의 수도-3d 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
CN111460879B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
JP6810432B2 (ja) 物体の条件に応じてモードを切り換えることができるｃｎｎ基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似３ｄバウンディングボックスを検出する方法及びこれを利用した装置
CN111507151B (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
CN111460878B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
CN111461318B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
Dumančić et al. Steering Angle Prediction Algorithm Performance Comparison in Different Simulators for Autonomous Driving
Sequeira Perception and intelligent localization for autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant