CN111460878B - 利用网格生成器的神经网络运算方法及使用该方法的装置 - Google Patents

利用网格生成器的神经网络运算方法及使用该方法的装置 Download PDF

Info

Publication number
CN111460878B
CN111460878B CN201911309727.7A CN201911309727A CN111460878B CN 111460878 B CN111460878 B CN 111460878B CN 201911309727 A CN201911309727 A CN 201911309727A CN 111460878 B CN111460878 B CN 111460878B
Authority
CN
China
Prior art keywords
test
neural network
learning
sub
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911309727.7A
Other languages
English (en)
Other versions
CN111460878A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111460878A publication Critical patent/CN111460878A/zh
Application granted granted Critical
Publication of CN111460878B publication Critical patent/CN111460878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了利用网格生成器的神经网络运算方法及使用该方法的装置，该方法包括以下步骤：计算装置(a)使检测器获取测试用对象的位置信息和测试用非对象的类别信息；(b)使网格生成器参考测试用对象位置信息来生成区块信息；(c)使神经网络确定测试用参数，该测试用参数应用到(i)包含各测试用对象和与其对应的测试用非对象的子区块中的至少一部分或者(ii)在子区块中的至少一部分之中各测试用非对象所在的各子区域；(d)使神经网络将神经网络运算应用到测试图像中，输出神经网络结果。

Description

利用网格生成器的神经网络运算方法及使用该方法的装置
技术领域
本发明涉及为了根据测试图像内的区域的类别来切换模式以满足自动驾驶汽车4级而利用网格生成器的神经网络运算方法和利用该方法的装置，具体来说，利用所述网格生成器的神经网络运算方法，包括以下步骤：(a)若获取到测试图像，则使检测器检测出测试图像中存在的测试用对象和测试用非对象，获取所述测试用对象的位置信息和所述测试用非对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用非对象的类别信息包括与存在于所述测试图像中的所述测试用非对象的类别相关的信息；(b)使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；(c)使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到(i)包含各所述测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域，所述学习用参数是利用与各学习用非对象相关的信息学习的，与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息；以及(d)使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
背景技术
深度卷积神经网络(Deep Convolution Neural Networks；Deep CNN)是深度学习的惊人发展的核心。CNN已经在90年代用于解决文字识别问题，但是近年来广泛用于机器学习(Machine Learning)。例如，CNN在2012年ImageNet图像分类竞赛(ImageNet LargeScale Visual Recognition Challenge)中击败了其他竞争对手并赢得了冠军。从那时起，CNN已成为机器学习领域中非常有用的工具。
CNN还广泛用于自动驾驶领域。在自动驾驶环境中，大多数输入图像具有典型且相似的布置，主要包括输入图像中间的车道和左右两侧的人行道。因此，用于自动驾驶的CNN使用具有如输入图像的构成要素那样的典型布置、例如典型的构成要素的训练图像来学习参数。
然而，上述学习过程具有很大的缺点。即，当输入图像的布置与训练图像的典型布置不同时，CNN运算效率低下。例如，在转弯的情况下，与具有典型布置的训练图像不同，测试图像的中间没有车道，由于CNN的参数针对车道位于图像中间的输入图像进行了优化，因此，使用上述参数无法正确计算测试图像。
发明内容
发明所要解决的课题
本发明的目的在于解决上述问题。
本发明的另一个目的在于，提供一种参考与至少一个以上的测试用非对象相关的类别信息、或与子区块中的至少一部分的每一个所包含的一个以上的测试用对象相关的类别信息来确定测试用参数的方法，由此输出最优化的神经网络结果。
用于解决课题的手段
为了实现如上所述的本发明的目的并实现后述的本发明的特定效果，本发明的特定构成如下。
根据本发明的一个方式，公开了一种利用网格生成器的神经网络运算方法，包括以下步骤：(a)计算装置若获取到测试图像，则使检测器检测出测试图像中存在的测试用对象和测试用非对象，获取所述测试用对象的位置信息和所述测试用非对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用非对象的类别信息包括与存在于所述测试图像中的所述测试用非对象的类别相关的信息；(b)所述计算装置使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；(c)所述计算装置使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到(i)包含各所述测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域，所述学习用参数是利用与各学习用非对象相关的信息学习的，与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息；以及(d)所述计算装置使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
在一个实施例中，在所述步骤(b)中，所述网格生成器使用动态模板来划分所述测试图像，提供一个以上的边界线被调整的所述动态模板，使得所述测试用对象中的至少一个被包含在所述动态模板的所述子区块的所述至少一部分的每一个中。
在一个实施例中，所述网格生成器管理与所述动态模板相关的信息，所述动态模板包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分，其中一部分边界线是可调整的。
在一个实施例中，所述动态模板包括行组和一个以上的列组，所述行组具有(i)上行组、(ii)包括所述列组中的至少一部分的中间行组以及(iii)下行组，至少一个所述测试用对象被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
在一个实施例中，在所述步骤(a)之前，还包括以下步骤：(a0)所述计算装置使所述神经网络利用与一个以上的训练图像所包含的各所述学习用非对象相关的信息，学习所述学习用参数。
在一个实施例中，在所述步骤(a0)中，所述神经网络使用与各所述学习用非对象相关的信息来学习所述学习用参数，并且将与所述学习用非对象相关的类别信息与对应于所述学习用非对象的学习用参数相关联地进行存储，与各所述学习用非对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
在一个实施例中，在各所述训练图像上，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则将其选定为所述训练图像。
在一个实施例中，在所述步骤(c)中，(i)当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时，所述计算装置使所述神经网络参考所述学习用参数中的至少一个特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，(ii)当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比大于或等于预设阈值时，所述计算装置使所述神经网络(ii-1)参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分，所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用非对象所在的子区域，(ii-2)参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定所述特定测试用参数的第二部分，所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域，所述追加学习用对象具有与所述特定测试用对象的类别信息相同或相似的类别信息。
在一个实施例中，在所述步骤(d)中，所述计算装置使所述神经网络使用所述测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像上，输出所述神经网络结果。
在一个实施例中，所述测试图像表示道路行驶情况，所述测试用对象是可能出现在道路上的物体，所述神经网络结果用于自动驾驶。
根据本发明的另一方式，公开了一种利用网格生成器的神经网络运算方法，包括以下步骤：(a)计算装置若获取到测试图像，则使检测器检测出在测试图像中存在的测试用对象，获取测试用对象的位置信息和所述测试用对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用对象的类别信息包括与存在于所述测试图像中的所述测试用对象的类别相关的信息；(b)所述计算装置使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包括与所述测试图像中的多个子区块相关的信息；(c)所述计算装置使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到(i)包含各所述测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用对象所在的各子区域，所述学习用参数是利用与各学习用对象相关的信息学习的，与各所述学习用对象相关的信息具有与各所述测试用对象的所述类别信息相同或相似的类别信息；以及(d)所述计算装置使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
在一个实施例中，在所述步骤(a)之前，还包括以下步骤：(a0)所述计算装置使所述神经网络利用与一个以上的训练图像所包含的各所述学习用对象相关的信息，学习所述学习用参数。
在一个实施例中，在所述步骤(a0)中，所述神经网络使用与各所述学习用对象相关的信息来学习所述学习用参数，并且将与所述学习用对象相关的类别信息与对应于所述学习用对象的学习用参数相关联地进行存储，与各所述学习用对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
在一个实施例中，在各所述训练图像上，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则将其选定为所述训练图像。
在一个实施例中，在所述步骤(c)中，(i)当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比大于或等于预设阈值时，所述计算装置使所述神经网络参考所述学习用参数中的至少一个特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，(ii)当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比小于预设阈值时，所述计算装置使神经网络(ii-1)参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分，所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域，(ii-2)参考利用追加学习用非对象来独立学习的至少一个追加学习用参数，确定所述特定测试用参数的第二部分，所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用非对象所在的子区域，所述追加学习用非对象具有与特定测试用非对象的类别信息相同或相似的类别信息。
根据本发明的又一方式，公开了一种计算装置，用于利用网格生成器进行神经网络运算，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：(I)使检测器检测出在测试图像中存在的测试用对象和测试用非对象，获取所述测试用对象的位置信息和所述测试用非对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用非对象的类别信息包括与存在于所述测试图像中的所述测试用非对象的类别相关的信息；(II)使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；(III)使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到(i)包含各所述测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域，所述学习用参数是利用与各学习用非对象相关的信息学习的，与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息；以及(IV)使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
在一个实施例中，在所述处理(II)中，所述网格生成器使用动态模板来划分所述测试图像，提供一个以上的边界线被调整的所述动态模板，使得所述测试用对象中的至少一个被包含在所述动态模板的所述子区块的所述至少一部分的每一个中。
在一个实施例中，所述网格生成器管理与所述动态模板相关的信息，所述动态模板包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分，其中一部分边界线是可调整的。
在一个实施例中，所述动态模板包括行组和一个以上的列组，所述行组具有(i)上行组、(ii)包括所述列组中的至少一部分的中间行组以及(iii)下行组，至少一个所述测试用对象被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
在一个实施例中，在所述处理(I)之前，还执行以下处理：(0)所述处理器使所述神经网络利用与一个以上的训练图像所包含的各所述学习用非对象相关的信息，学习所述学习用参数。
在一个实施例中，在所述处理(0)中，所述神经网络使用与各所述学习用非对象相关的信息来学习所述学习用参数，并且将与所述学习用非对象相关的类别信息与对应于所述学习用非对象的学习用参数相关联地进行存储，与各所述学习用非对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
在一个实施例中，在各所述训练图像上，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则将其选定为所述训练图像。
在一个实施例中，在所述处理(III)中，(i)当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时，所述处理器使所述神经网络参考所述学习用参数中的至少一个特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，(ii)当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比大于或等于预设阈值时，所述处理器使所述神经网络(ii-1)参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分，所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用非对象所在的子区域，(ii-2)参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定所述特定测试用参数的第二部分，所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域，所述追加学习用对象具有与所述特定测试用对象的类别信息相同或相似的类别信息。
在一个实施例中，在所述处理(IV)中，所述处理器使所述神经网络使用所述测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像上，输出所述神经网络结果。
在一个实施例中，所述测试图像表示道路行驶情况，所述测试用对象是可能出现在道路上的物体，所述神经网络结果用于自动驾驶。
根据本发明的又一方式，公开了一种计算装置，用于利用网格生成器进行神经网络运算，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：(I)使检测器检测出在测试图像中存在的测试用对象，获取测试用对象的位置信息和所述测试用对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用对象的类别信息包括与存在于所述测试图像中的所述测试用对象的类别相关的信息；(II)使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包括与所述测试图像中的多个子区块相关的信息；(III)使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到(i)包含各所述测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用对象所在的各子区域，所述学习用参数是利用与各学习用对象相关的信息学习的，与各所述学习用对象相关的信息具有与各所述测试用对象的所述类别信息相同或相似的类别信息；以及(IV)使所述神经网络利用与所述子区块中的每一个对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
在一个实施例中，在所述处理(I)之前，还执行以下处理：(0)所述处理器使所述神经网络利用与一个以上的训练图像所包含的各所述学习用对象相关的信息，学习所述学习用参数。
在一个实施例中，在所述处理(0)中，所述神经网络使用与各所述学习用对象相关的信息来学习所述学习用参数，并且将与所述学习用对象相关的类别信息与对应于所述学习用对象的学习用参数相关联地进行存储，与各所述学习用对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
在一个实施例中，在各所述训练图像上，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则将其选定为所述训练图像。
在一个实施例中，在所述处理(III)中，
(i)当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比大于或等于预设阈值时，所述处理器使所述神经网络参考所述学习用参数中的至少一个特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，(ii)当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比小于预设阈值时，所述处理器使神经网络(ii-1)参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分，所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域，(ii-2)参考利用追加学习用非对象来独立学习的至少一个追加学习用参数，确定所述特定测试用参数的第二部分，所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用非对象所在的子区域，所述追加学习用非对象具有与特定测试用非对象的类别信息相同或相似的类别信息。
发明效果
根据本发明，提供如下方法：利用与子区块所包含的学习用非对象相关的信息来确定测试用参数，与子区块所包含的学习用非对象相关的信息具有与测试用非对象的类别信息相同或相似的类别信息，由此具有能够输出最优化的神经网络结果的效果。
附图说明
本发明的实施例的说明中所用的以下附图仅仅是本发明实施例中的一部分，本领域技术人员在不进行发明操作的情况下，也能够根据这些附图来得出其他附图。
图1是示出用于根据本发明而利用网格生成器执行神经网络运算方法的计算装置的构成的图。
图2是示出用于根据本发明而输出神经网络结果的过程的图。
图3是示出具有用于根据本发明而学习神经网络的学习用参数的典型布置的训练图像的图。
图4A是示出根据本发明而能够有效地适用利用网格生成器的神经网络运算方法的测试图像的图。
图4B是示出根据本发明而通过动态模板生成子区块的测试图像的图。
具体实施方式
后述的针对本发明的详细描述参照附图，该附图是作为例示本发明可实施的特定实施例而图示的。这些实施例被详细说明以使本领域技术人员足以实施本发明。应该理解的是，本发明的各种实施例虽然彼此不同，但并不是相互排斥的。例如，在不脱离本发明的精神和范围内，可以通过其他实施例来实现这里描述的特定形状、结构和特性。另外，应当理解的是，在不脱离本发明的精神和范围的情况下，可以改变每一个公开的实施例中的各个构成要素的位置或配置。因此，以下的详细描述不应被视为具有限制意义，如果适当地描述，则本发明的范围仅由所附权利要求以及与这些权利要求所主张范围的等同的全部范围来限定。附图中相同的附图标记在若干方面中指相同或相似的功能。
另外，在本发明的整个说明书和权利要求书中，词语“包括”及其变形并不旨在排除其他技术特征、附加物等、构成要素等或步骤等。对于本领域技术人员来说，本发明的其他目的、优点和特征的一部分可以从本说明书中得出、其他一部分从本发明的实施中得出。以下示例和附图是以举例说明的方式提供的，并不旨在限制本发明。
本发明中提到的各种图像可以包括与铺砌或未铺砌道路相关的图像，并且在这种情况下，可以包括可能出现在道路环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此，并且本发明中提到的各种图像可以是与道路无关的图像(例如，与未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关的图像)，在这种情况下，可以象征可能出现在未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的对象(例如，如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物)，但并不限于此。
以下，为了使本领域技术人员能够容易地实施本发明，参考附图详细描述本发明的优选实施例。
作为参考，在下面的描述中，为了避免混淆，在与学习过程相关的术语中附加了词语“学习用”，在与测试过程相关的术语中附加了词语“测试用”。
以下，说明本发明的第一实施例。
图1是示出用于根据本发明而利用网格生成器执行神经网络运算方法的计算装置的构成的图。
参照图1，计算装置100可以包括检测器130、网格生成器140以及神经网络150。检测器130、网格生成器140以及神经网络150的各种数据输入/输出处理和计算处理可以分别由通信部110和处理器120执行。然而，在图1中，省略了对通信部110和处理器120之间的连接关系的详细描述。另外，计算装置100还可包括存储器115，存储器115能够存储用于执行后述的处理的计算机可读指令。作为一个示例，处理器、存储器、介质等可以集成到一个处理器中以发挥作用。
如上所述，描述了计算装置100的构成，以下将描述根据本发明而利用网格生成器140导出神经网络结果的过程。
图2是示出用于根据本发明而输出神经网络结果的过程的图。
参照图2，可以看出：若获取到测试图像，以检测器130、网格生成器140和神经网络150的顺序执行处理。可以将测试图像输入到检测器130，并且可以将由检测器130生成的测试用对象的位置信息和测试图像被输入到网格生成器140。最终，由检测器130生成的测试用非对象的类别信息和由网格生成器140生成的区块信息以及测试图像被输入到神经网络150，该测试用非对象的类别信息包括与测试图像上的测试用非对象的类别相关的信息。此后，神经网络150可以参考测试用参数来输出神经网络结果，该测试用参数是参考测试用非对象的类别信息和区块信息来确定的。
具体来说，若通过通信部110获取到表示道路行驶状况的测试图像，则计算装置100使检测器130检测测试图像上存在的测试用非对象和测试用对象，从而获取测试用对象的位置信息和测试用非对象的类别信息，该测试用对象的位置信息包括与测试用对象在测试图像上位于哪个位置相关的信息。
在检测器130获取到测试用对象的位置信息和测试用非对象的类别信息之后，计算装置100可以使网格生成器140参考测试用对象的位置信息，将测试图像划分为多个子区块，以生成区块信息，该区块信息包括与测试图像中的子区块相关的信息。在子区块中的一部分中可能一起存在：如汽车(测试用对象)和车道(测试用非对象)这样的测试用对象以及与其对应的测试用非对象。
网格生成器140可以使用动态模板(dynamic template)将测试图像划分为子区块。
具体来说，网格生成器140可以管理与动态模板相关的信息，并且动态模板可以包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分，其中的一部分是可调整的。
作为一个示例，第一方向可以是平行于测试图像的水平轴的方向，第二方向可以是平行于测试图像的垂直轴的方向，但不限于此，每个方向可以是倾斜方向，甚至可以是由特定函数来确定的曲线方向。
另外，动态模板可以包括行组和一个以上的列组。作为一个示例，行组具有(i)上行组、(ii)包括列组中的至少一部分的中间行组、以及(iii)下行组。中间行组包括列组中的至少一部分的原因是：通常，重要的对象大多数位于测试图像的中心。
如上所述，动态模板的构成是预先设定的，当网格生成器140使用动态模板划分测试图像时，可以提供一个以上的边界线被调整的动态模板。作为一个示例，可以提供如下动态模板：子区块的至少一部分中的每一个中包括测试用对象中的至少一个。区块信息可以包括与被调整后的边界线的位置相关的信息。
若如上所述那样生成区块信息，则计算装置100可以使神经网络150利用与测试用非对象相关的类别信息和区块信息来确定测试用参数。
为了描述确定测试用参数的过程，将描述学习神经网络的学习用参数的过程。
在通信部110获取测试图像之前，计算装置100可以使神经网络150使用包含在一个以上的训练图像中的各学习用非对象的信息，学习学习用参数。各训练图像可以包括在道路行驶情况下可能出现的典型布置。为了说明这种典型的布置，参考图3。
图3是示出具有用于根据本发明而学习神经网络的学习用参数的典型布置的训练图像的图。
参照图3，可以看到车道部分位于上述例示的训练图像300的中心，人行道部分位于其左侧和右侧，而天空部分位于上部。用于学习神经网络150的参数的训练图像可以与上述例示的训练图像300相似。
为了描述上述例示的训练图像300的构成，先看一下学习用位置信息和分割区域的术语。
分割区域是指学习用非对象所处的区域，是指分别设置有车道、人行道和天空部分的各区域。学习用位置信息可以包括分割区域的中心坐标。
在这种情况下，在各训练图像上，当将第一分割区域至第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果训练图像中的每一个的第一位置信息的相对偏差至第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则可以将其选定为训练图像。
在学习过程中，神经网络150并不是使用每一个训练图像中包括的所有区域来学习学习用参数，而是使用训练图像中包括的第一至第k分割区域中的至少一部分分割区域中的每一个所包含的与各学习用非对象相关的信息来学习学习用参数，并且可以将关于学习用非对象的类别信息与对应于学习用非对象的学习用参数相关联地存储。
例如，可以假设神经网络150使用如图3的所例示的训练图像那样的多个训练图像来学习学习用参数。在这种情况下，第一分割区域310是天空部分，第二分割区域320是左侧的人行道部分，第三分割区域330是车道部分，第四分割区域340是右侧的人行道部分。神经网络150可以使用第一分割区域310来学习与天空部分相对应的学习用参数，并且与天空部分的参数相关联地存储关于天空部分的类别信息。与此类似地，在确定与人行道部分对应的学习用参数的一部分时，可以使用第二分割区域320和第四分割区域340，并且可以存储人行道部分的类别信息。
如上所述，描述了神经网络150的学习过程，以下将描述确定测试用参数的过程。
若神经网络150的学习过程完成，则可以存储学习用参数和关于与其对应的非对象的类别信息。之后，若通信部110获取到测试图像、并且检测器130和网格生成器140所执行的处理完成，则计算装置100可以使神经网络150参考学习用参数来确定测试用参数，该学习用参数是利用与学习用非对象相关的信息来学习的，该学习用非对象具有与测试用非对象的类别信息相同或相似的类别信息。
测试用参数用于将神经网络运算应用到(i)包含各测试用对象和与其对应的测试用非对象的子区块中的至少一部分或者(ii)位于在子区块中的至少一部分之中的各子区域且各测试用非对象所在的各子区域。如果测试用参数仅适用于子区域，则参考利用追加学习用对象来独立学习的追加学习用参数来确定至少一个追加测试用参数，该追加学习用对象具有与测试用对象的类别信息相同或相似的类别信息，该至少一个追加测试用参数要适用于各测试用对象所在的各区域中。
为了这样的处理，神经网络150可以使用于由检测器130获取的子区块中的至少一部分中的每一个所包含的测试用非对象中的每一个相关的类别信息。
例如，可以假定与车道部分相对应的特定学习用参数和与车道部分相关的类别信息被一起存储的情况。在这种情况下，如果判断为车道位于测试图像中的特定子区块中，则使用与特定子区块相对应的特定学习用参数来确定特定测试用参数。
这样的方法与以往的方法相比有效的原因在于：即使在测试图像中包含的构成要素的相对位置与训练图像中包含的构成要素的位置不同时，也适用适当的测试用参数。
具体来说，将与训练图像中的第一至第k分割区域相对应的第一至第k位置信息中的每一个与测试图像中的第一至第k位置信息中的每一个进行比较，在其偏差之中至少一部分超过第二阈值时，可以更有效地适用本发明，但是不限于此。
图4A是示出根据本发明而能够有效地适用利用网格生成器的神经网络运算方法的测试图像的图。
参照图4A，与图3不同地，可以确认车道部分位于左侧，而人行道部分位于右侧。在这种情况下，由于测试图像中包含的车道部分位置与训练图像中包含的车道部分位置不同，因此，通过以往的方法来生成的神经网络运算的结果并不能被最优化。从而，存在如下缺点：成为测试用参数未被最优化的状态，从而导致较差的结果。但是，如果将本发明的方法应用于这种情况下的测试图像中，则被最优化的参数应用到子区块的至少一部分的每一个中，从而生成最优化的神经网络运算的结果。这可以参照图4B看出。
图4B是示出根据本发明而通过动态模板生成子区块的测试图像的图。
参照图4B，示出了中间行左侧的包含车道部分的子区块520、中间行中心的包含车道部分的子区块530、位于下行的包含车道部分的子区块550、以及位于中间行右侧的包含人行道部分的子区块540。由于该子区块，可以将使用训练图像中所包含的车道部分学习的学习用参数适用到子区块520、530和550中，并且使用训练图像中所包含的人行道部分学习的学习用参数可以适用到子区块540中。
另一方面，还可以参考如下比率来确定测试用参数，该比率为特定测试用对象在包括该特定测试用对象的特定子区块中所占的面积的比率。
具体来说，当特定测试用对象相对于包括该特定测试用对象的特定子区块的面积之比小于预设阈值时，计算装置100使神经网络150参考学习用参数中的至少一个特定学习用参数，确定在将神经网络运算应用到特定子区块时使用的测试用参数中的至少一个特定测试用参数。
相反地，当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比大于或等于预设阈值时，计算装置100使神经网络150参考学习用参数中的特定学习用参数来确定特定测试用参数的第一部分，该特定测试用参数的第一部分用于将神经网络运算应用到在特定子区块中特定测试用非对象所在的子区域，并且参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定特定测试用参数的第二部分，该特定测试用参数的第二部分用于将神经网络运算应用到在特定子区块中特定测试用对象所在的子区域，该追加学习用对象具有与特定测试用对象的类别信息相同或相似的类别信息。
由于学习用参数是参考学习用非对象来学习的，因此，当特定非对象相对于特定子区块的面积所占的比率高时，可以使用学习用参数来有效地确定测试用参数。在相反的情况下，即，当特定非对象相对于特定子区块所占的面积的比率低时，该特定非对象不能被视为代表该特定子区块，因此，使用学习用参数来确定测试用参数并不是有效的。因此，特定测试用参数的第一部分被应用于特定测试用非对象所在的子区域，而特定测试用参数的第二部分被应用于特定测试用对象所在的子区域。
若如上所述那样确定测试用参数，则神经网络运算可以应用于测试图像，该神经网络运算可以是卷积运算和反卷积运算。即，计算装置100可以使神经网络150使用测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用于测试图像中，输出神经网络运算结果。
接下来，介绍本发明的另一实施例。
上述实施例与另一实施例的最大区别在于：(i)在另一实施例中，测试用参数参考与测试用对象相关的类别信息来确定；(ii)在另一实施例中，学习用参数是利用学习用对象来学习的。例如，如果在测试图像中的特定子区块中存在汽车，则在上述另一实施例中，特定测试用参数可以使用利用包含在训练图像中的汽车来学习的特定学习用参数来确定。一个实施例和另一实施例既有相同的特征也有不同的特征，对其进行重点说明。
首先，从检测器130所执行的处理到网格生成器140所执行的处理，除了由检测器130获取测试用对象的类别信息之外，其与上述一个实施例相似，但是，在另一实施例中，由神经网络150所执行的后续处理与上述一个实施例不同，其中，该测试用对象的类别信息包括与测试图像上的测试用对象的类别相关的信息。
即，在另一个实施例中，计算装置100可以确定测试用参数，，该测试用参数用于将神经网络运算应用到(i)包含各测试用对象和与其对应的测试用非对象的子区块中的至少一部分或者(ii)在子区块中的至少一部分之中所在的子区域、且各测试用对象所在的各子区域，该测试用参数是参考使用与各学习用对象相关的信息学习的学习用参数来确定的，与各学习用对象相关的信息具有与各测试用对象的类别信息相同或相似的类别信息。与一个实施例相比不同之处在于，参考与测试用对象相关的类别信息，而不是非对象，并且学习用参数用于确定要在测试用对象所在的子区域中使用的测试用参数。
在这里，由于上述另一实施例中的神经网络150的学习过程也不同于上述一个实施例，因此，对另一实施例的学习过程进行说明。
在获取测试图像之前，计算装置100使神经网络150使用与各学习用对象相关的信息来学习学习用参数，并且将与学习用对象相关的类别信息与对应于学习用对象的学习参数相关联地进行存储，该与各学习用对象相关的信息被包含在包括于训练图像中的从第一分割区域到第k分割区域的分割区域中的至少一部分的每一个中。
另外，在上述另一实施例中，还参考特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积的比率来确定测试用参数的方法也不同。
具体来说，当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比大于或等于预设阈值时，计算装置100使神经网络150参考学习用参数中的至少一个特定学习用参数，来确定在将神经网络运算应用到特定子区块时使用的测试用参数中的至少一个特定测试用参数。
与此不同，当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时，计算装置100使神经网络150参考学习用参数中的特定学习用参数来确定特定测试用参数的第一部分，该特定测试用参数的第一部分用于将神经网络运算应用到在特定子区块中特定测试用对象所在的子区域，并且参考利用追加学习用非对象来独立学习的至少一个追加学习用参数来确定特定测试用参数的第二部分，该特定测试用参数的第二部分用于将神经网络运算应用到在特定子区块中特定测试用非对象所在的子区域，该追加学习用非对象具有与特定测试用非对象的类别信息相同或相似的类别信息。
上面未提及的其他实施例的特征，例如神经网络运算过程或动态模板与一个实施例的特征相似，因此将省略其说明。
本发明的方法可以为了根据区域的类别来切换模式以满足自动驾驶车辆4级而执行。
以上描述的根据本发明的实施例可以以程序指令的形式实现，该程序指令可以由各种计算机部件执行，并且可以记录在计算机可读记录介质中。计算机可读记录介质可以单独或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读记录介质上的程序指令可以是为本发明专门设计和配置的程序指令，或者可以是计算机软件领域的技术人员已知并可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质，诸如光磁软盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及ROM、RAM、闪存等的特别构成为存储并执行程序指令的硬件装置。程序指令的示例不仅包括由编译器生成的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。硬件装置可以配置为作为一个或多个软件模块操作来执行根据本发明的处理，反之亦然。
尽管已经通过诸如具体构成要素等特定部件和有限的实施例和附图来描述了本发明，但这些仅仅是为了更全面地理解本发明而提供的，本发明不限于上述实施例。对于本领域技术人员来说，可以从这些描述中进行各种修改和变更。
因此，本发明的宗旨不应限于上述实施例，并且不仅是后附权利要求，与这些权利要求等同或等价的变形均包含于本发明的宗旨范围内。

Claims (30)

1.一种利用网格生成器的神经网络运算方法，其特征在于，包括以下步骤：
（a）计算装置若获取到测试图像，则使检测器检测出测试图像中存在的测试用对象和测试用非对象，获取所述测试用对象的位置信息和所述测试用非对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用非对象的类别信息包括与存在于所述测试图像中的所述测试用非对象的类别相关的信息；
（b）所述计算装置使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；
（c）所述计算装置使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到（i）包含各所述测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者（ii）在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域，所述学习用参数是利用与各学习用非对象相关的信息学习的，与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息；以及
（d）所述计算装置使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
2.如权利要求1所述的神经网络运算方法，其特征在于，
在所述步骤（b）中，
所述网格生成器使用动态模板来划分所述测试图像，提供一个以上的边界线被调整的所述动态模板，使得所述测试用对象中的至少一个被包含在所述动态模板的各所述子区块的所述至少一部分中。
3.如权利要求2所述的神经网络运算方法，其特征在于，
所述网格生成器管理与所述动态模板相关的信息，所述动态模板包括（i）第一方向上的至少一个第一边界线和（ii）第二方向上的至少一个第二边界线中的至少一部分，其中一部分边界线是可调整的。
4.如权利要求2所述的神经网络运算方法，其特征在于，
所述动态模板包括行组和一个以上的列组，所述行组具有（i）上行组、（ii）包括所述列组中的至少一部分的中间行组以及（iii）下行组，至少一个所述测试用对象被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
5.如权利要求1所述的神经网络运算方法，其特征在于，
在所述步骤（a）之前，还包括以下步骤：
（a0）所述计算装置使所述神经网络利用与一个以上的训练图像所包含的各所述学习用非对象相关的信息，学习所述学习用参数。
6.如权利要求5所述的神经网络运算方法，其特征在于，
在所述步骤（a0）中，
所述神经网络使用与各所述学习用非对象相关的信息来学习所述学习用参数，并且将与所述学习用非对象相关的类别信息与对应于所述学习用非对象的学习用参数相关联地进行存储，与各所述学习用非对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
7.如权利要求6所述的神经网络运算方法，其特征在于，
在各所述训练图像上，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则将其选定为所述训练图像。
8.如权利要求1所述的神经网络运算方法，其特征在于，
在所述步骤（c）中，
（i）当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时，所述计算装置使所述神经网络参考所述学习用参数中的至少一个特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，（ii）当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比大于或等于预设阈值时，所述计算装置使所述神经网络（ii-1）参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分，所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中特定测试用非对象所在的子区域，（ii-2）参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定所述特定测试用参数的第二部分，所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域，所述追加学习用对象具有与所述特定测试用对象的类别信息相同或相似的类别信息。
9.如权利要求1所述的神经网络运算方法，其特征在于，
在所述步骤（d）中，
所述计算装置使所述神经网络使用所述测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像上，输出所述神经网络结果。
10.如权利要求9所述的神经网络运算方法，其特征在于，
所述测试图像表示道路行驶情况，所述测试用对象是出现在道路上的物体，所述神经网络结果用于自动驾驶。
11.一种利用网格生成器的神经网络运算方法，其特征在于，包括以下步骤：
（a）计算装置若获取到测试图像，则使检测器检测出在测试图像中存在的测试用对象，获取测试用对象的位置信息和所述测试用对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用对象的类别信息包括与存在于所述测试图像中的所述测试用对象的类别相关的信息；
（b）所述计算装置使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包括与所述测试图像中的多个子区块相关的信息；
（c）所述计算装置使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到（i）包含各所述测试用对象和与其对应的测试用非对象的所述子区块中的至少一部分或者（ii）在所述子区块中的所述至少一部分之中各所述测试用对象所在的各子区域，所述学习用参数是利用与各学习用对象相关的信息学习的，与各所述学习用对象相关的信息具有与各所述测试用对象的所述类别信息相同或相似的类别信息；以及
（d）所述计算装置使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
12.如权利要求11所述的神经网络运算方法，其特征在于，
在所述步骤（a）之前，还包括以下步骤：
（a0）所述计算装置使所述神经网络利用与一个以上的训练图像所包含的各所述学习用对象相关的信息，学习所述学习用参数。
13.如权利要求12所述的神经网络运算方法，其特征在于，
在所述步骤（a0）中，
所述神经网络使用与各所述学习用对象相关的信息来学习所述学习用参数，并且将与所述学习用对象相关的类别信息与对应于所述学习用对象的学习用参数相关联地进行存储，与各所述学习用对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分中。
14.如权利要求13所述的神经网络运算方法，其特征在于，
在各所述训练图像上，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则将其选定为所述训练图像。
15.如权利要求14所述的神经网络运算方法，其特征在于，
在所述步骤（c）中，
（i）当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比大于或等于预设阈值时，所述计算装置使所述神经网络参考所述学习用参数中的至少一个特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，（ii）当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比小于预设阈值时，所述计算装置使神经网络（ii-1）参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分，所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域，（ii-2）参考利用追加学习用非对象来独立学习的至少一个追加学习用参数，确定所述特定测试用参数的第二部分，所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中特定测试用非对象所在的子区域，所述追加学习用非对象具有与特定测试用非对象的类别信息相同或相似的类别信息。
16. 一种计算装置，用于利用网格生成器进行神经网络运算，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：
（I）使检测器检测出在测试图像中存在的测试用对象和测试用非对象，获取所述测试用对象的位置信息和所述测试用非对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用非对象的类别信息包括与存在于所述测试图像中的所述测试用非对象的类别相关的信息；
（II）使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包含与所述测试图像中的多个子区块相关的信息；
（III）使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到（i）包含各所述测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者（ii）在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域，所述学习用参数是利用与各学习用非对象相关的信息学习的，与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息；以及
（IV）使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
17.如权利要求16所述的计算装置，其特征在于，
在所述处理（II）中，
所述网格生成器使用动态模板来划分所述测试图像，提供一个以上的边界线被调整的所述动态模板，使得所述测试用对象中的至少一个被包含在所述动态模板的各所述子区块的所述至少一部分中。
18.如权利要求17所述的计算装置，其特征在于，
所述网格生成器管理与所述动态模板相关的信息，所述动态模板包括（i）第一方向上的至少一个第一边界线和（ii）第二方向上的至少一个第二边界线中的至少一部分，其中一部分边界线是可调整的。
19.如权利要求17所述的计算装置，其特征在于，
所述动态模板包括行组和一个以上的列组，所述行组具有（i）上行组、（ii）包括所述列组中的至少一部分的中间行组以及（iii）下行组，至少一个所述测试用对象被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
20.如权利要求16所述的计算装置，其特征在于，
在所述处理（I）之前，还执行以下处理：
（0）所述处理器使所述神经网络利用与一个以上的训练图像所包含的各所述学习用非对象相关的信息，学习所述学习用参数。
21.如权利要求20所述的计算装置，其特征在于，
在所述处理（0）中，
所述神经网络使用与各所述学习用非对象相关的信息来学习所述学习用参数，并且将与所述学习用非对象相关的类别信息与对应于所述学习用非对象的学习用参数相关联地进行存储，与各所述学习用非对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
22.如权利要求21所述的计算装置，其特征在于，
在各所述训练图像上，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则将其选定为所述训练图像。
23.如权利要求16所述的计算装置，其特征在于，
在所述处理（III）中，
（i）当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时，所述处理器使所述神经网络参考所述学习用参数中的至少一个特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，（ii）当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比大于或等于预设阈值时，所述处理器使所述神经网络（ii-1）参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分，所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中特定测试用非对象所在的子区域，（ii-2）参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定所述特定测试用参数的第二部分，所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域，所述追加学习用对象具有与所述特定测试用对象的类别信息相同或相似的类别信息。
24.如权利要求16所述的计算装置，其特征在于，
在所述处理（IV）中，
所述处理器使所述神经网络使用所述测试用参数，将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像上，输出所述神经网络结果。
25.如权利要求24所述的计算装置，其特征在于，
所述测试图像表示道路行驶情况，所述测试用对象是出现在道路上的物体，所述神经网络结果用于自动驾驶。
26. 一种计算装置，用于利用网格生成器进行神经网络运算，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被构成为执行所述指令，所述指令用于执行以下处理：
（I）使检测器检测出在测试图像中存在的测试用对象，获取测试用对象的位置信息和所述测试用对象的类别信息，所述测试用对象的位置信息包括与所述测试用对象在所述测试图像上位于哪个位置相关的信息，所述测试用对象的类别信息包括与存在于所述测试图像中的所述测试用对象的类别相关的信息；
（II）使网格生成器参考所述测试用对象的位置信息来生成区块信息，所述区块信息包括与所述测试图像中的多个子区块相关的信息；
（III）使神经网络参考学习用参数来确定测试用参数，所述测试用参数用于将所述神经网络运算应用到（i）包含各所述测试用对象和与其对应的测试用非对象的所述子区块中的至少一部分或者（ii）在所述子区块中的所述至少一部分之中各所述测试用对象所在的各子区域，所述学习用参数是利用与各学习用对象相关的信息学习的，与各所述学习用对象相关的信息具有与各所述测试用对象的所述类别信息相同或相似的类别信息；以及
（IV）使所述神经网络利用与所述子区块中的每一个对应的各所述测试用参数，将所述神经网络运算应用到所述测试图像中，输出一个以上的神经网络结果。
27.如权利要求26所述的计算装置，其特征在于，
在所述处理（I）之前，还执行以下处理：
（0）所述处理器使所述神经网络利用与一个以上的训练图像所包含的各所述学习用对象相关的信息，学习所述学习用参数。
28.如权利要求27所述的计算装置，其特征在于，
在所述处理（0）中，
所述神经网络使用与各所述学习用对象相关的信息来学习所述学习用参数，并且将与所述学习用对象相关的类别信息与对应于所述学习用对象的学习用参数相关联地进行存储，与各所述学习用对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分中。
29.如权利要求28所述的计算装置，其特征在于，
在各所述训练图像上，当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时，如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值，则将其选定为所述训练图像。
30.如权利要求29所述的计算装置，其特征在于，
在所述处理（III）中，
（i）当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比大于或等于预设阈值时，所述处理器使所述神经网络参考所述学习用参数中的至少一个特定学习用参数，确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数，（ii）当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比小于预设阈值时，所述处理器使神经网络（ii-1）参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分，所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域，（ii-2）参考利用追加学习用非对象来独立学习的至少一个追加学习用参数，确定所述特定测试用参数的第二部分，所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中特定测试用非对象所在的子区域，所述追加学习用非对象具有与特定测试用非对象的类别信息相同或相似的类别信息。
CN201911309727.7A 2019-01-22 2019-12-18 利用网格生成器的神经网络运算方法及使用该方法的装置 Active CN111460878B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/254,500 2019-01-22
US16/254,500 US10339424B1 (en) 2019-01-22 2019-01-22 Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles

Publications (2)

Publication Number Publication Date
CN111460878A CN111460878A (zh) 2020-07-28
CN111460878B true CN111460878B (zh) 2023-11-24

Family

ID=67069340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911309727.7A Active CN111460878B (zh) 2019-01-22 2019-12-18 利用网格生成器的神经网络运算方法及使用该方法的装置

Country Status (5)

Country Link
US (1) US10339424B1 (zh)
EP (1) EP3686799A1 (zh)
JP (1) JP6856905B2 (zh)
KR (1) KR102326278B1 (zh)
CN (1) CN111460878B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037300A1 (en) * 2014-09-10 2016-03-17 Xiaoou Tang Method and system for multi-class object detection
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN107506802A (zh) * 2017-10-19 2017-12-22 广东工业大学 一种基于网格的聚类算法及其装置
CN108229446A (zh) * 2018-02-09 2018-06-29 中煤航测遥感集团有限公司 一种区域圈定方法及系统
US10169678B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433524B2 (en) * 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
AU2009270324A1 (en) 2008-07-14 2010-01-21 National Ict Australia Limited Detection of vehicles in images of a night time scene
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5929896B2 (ja) 2011-03-17 2016-06-08 日本電気株式会社 画像認識システム、画像認識方法および画像認識用プログラム
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
US11308350B2 (en) 2016-11-07 2022-04-19 Qualcomm Incorporated Deep cross-correlation learning for object tracking
JP6964234B2 (ja) 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
WO2018138603A1 (en) * 2017-01-26 2018-08-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
US10824938B2 (en) * 2017-04-24 2020-11-03 Intel Corporation Specialized fixed function hardware for efficient convolution
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US11227108B2 (en) * 2017-09-11 2022-01-18 Nec Corporation Convolutional neural network architecture with adaptive filters
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
WO2016037300A1 (en) * 2014-09-10 2016-03-17 Xiaoou Tang Method and system for multi-class object detection
CN107506802A (zh) * 2017-10-19 2017-12-22 广东工业大学 一种基于网格的聚类算法及其装置
US10169678B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN108229446A (zh) * 2018-02-09 2018-06-29 中煤航测遥感集团有限公司 一种区域圈定方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FARNOUSH ZOHOURIAN等."Superpixel-based Road Segmentation for Real-time Systems using CNN".《VISAPP 2018 - International Conference on Computer Vision Theory and Applications》.2018,第257-265页. *

Also Published As

Publication number Publication date
KR102326278B1 (ko) 2021-11-15
CN111460878A (zh) 2020-07-28
JP6856905B2 (ja) 2021-04-14
US10339424B1 (en) 2019-07-02
JP2020119536A (ja) 2020-08-06
EP3686799A1 (en) 2020-07-29
KR20200091320A (ko) 2020-07-30

Similar Documents

Publication Publication Date Title
US20220212693A1 (en) Method and apparatus for trajectory prediction, device and storage medium
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN111460879B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
KR20200094652A (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
US10423840B1 (en) Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
CN111489368B (zh) 利用实例分割检测基于cnn的伪3d边界的方法及装置
JP2020121714A (ja) 最近の走行経路に対する軌跡基盤行動分析を遂行して、車両のモードを手動走行モードから自律走行モードに変更するか否かを判断する学習方法及び学習装置
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
DE102020110392A1 (de) Vorrichtung zum ermitteln eines spurwechselpfads eines autonomen fahrzeugs und verfahren dafür
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
JP2020119519A (ja) 物体の条件に応じてモードを切り換えることができるｃｎｎ基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似３ｄバウンディングボックスを検出する方法及びこれを利用した装置
KR20200031994A (ko) Cnn 기반 차선 검출을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111507151B (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
CN111460878B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
CN111461318B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
Yang et al. A novel vision-based framework for real-time lane detection and tracking
KR102224778B1 (ko) 횡 필터 마스크를 이용하여 자율 주행 차량의 주행 경로를 계획하기 위해 차선 요소를 검출하는 방법 및 장치
Dumančić et al. Steering Angle Prediction Algorithm Performance Comparison in Different Simulators for Autonomous Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant