CN111488786B - 基于cnn的监视用客体检测器的方法及装置 - Google Patents

基于cnn的监视用客体检测器的方法及装置 Download PDF

Info

Publication number
CN111488786B
CN111488786B CN201911291795.5A CN201911291795A CN111488786B CN 111488786 B CN111488786 B CN 111488786B CN 201911291795 A CN201911291795 A CN 201911291795A CN 111488786 B CN111488786 B CN 111488786B
Authority
CN
China
Prior art keywords
learning
test
interest
output
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911291795.5A
Other languages
English (en)
Other versions
CN111488786A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111488786A publication Critical patent/CN111488786A/zh
Application granted granted Critical
Publication of CN111488786B publication Critical patent/CN111488786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于能够根据客体尺度转换模式的CNN的监视用客体检测器的学习方法。本发明提供一种学习方法，包括以下步骤：学习装置(a)使卷积层对图像应用卷积运算而输出特征图，并且使RPN输出图像内的ROI；(b)使池化层按相应尺度池化特征图上的各个ROI区域，从而使第1FC层输出第二特征向量，并且使第2FC层输出类信息和回归信息；以及(c)使损失层参照类信息、回归信息及与类信息、回归信息对应的GT来生成类损失和回归损失。

Description

基于CNN的监视用客体检测器的方法及装置
技术领域
本发明涉及一种基于能够根据客体尺度转换模式的CNN(Convolutional NeuralNetwork，卷积神经网络)的监视用客体检测器的学习方法及学习装置以及利用其的测试方法及测试装置，更详细而言，涉及一种如下的学习方法及学习装置以及利用其的测试方法及测试装置，该学习方法为基于所述CNN的所述客体检测器的学习方法，包括：步骤a：在输入包含至少一个客体的训练图像的情况下，学习装置使至少一个卷积层对所述训练图像应用至少一次卷积运算以输出至少一个特征图，并且使区域建议网络(Region ProposalNetwork，RPN)利用所述特征图来输出所述训练图像内的k个感兴趣区域(Region OfInterest，ROI)；步骤b：所述学习装置(i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述特征图上与所述k个ROI对应的各个区域以按相应尺度分别输出与所述k个ROI分别对应的k个第一特征向量，(ii)使与所述各个池化层对应的各个第1全连接层(Fully Connected Layer，FC Layer)按相应尺度分别利用所述k个第一特征向量以按相应尺度分别输出k个第二特征向量，(iii)使至少一个第2FC层按相应尺度分别利用所述k个第二特征向量以输出与所述k个ROI分别对应的各个类信息和各个回归信息；以及步骤c：所述学习装置使第一损失层参照所述各个类信息、所述各个回归信息及与所述各个类信息、所述各个回归信息对应的第1真实值(Ground Truth，GT)来生成与所述k个ROI对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2FC层、所述第1FC层及所述卷积层。
背景技术
对于机器学习(Machine Learning)来说，卷积神经网络(Convolutional NeuralNetwork；CNN或ConvNet)是已成功应用到视觉图像分析的深度前馈人工神经网络(Deep,Feed-Forward Artificial Neural Network)的一类(Class)。
图1表示现有技术所涉及的使用CNN的学习过程。
图1是表示将学习装置所预测到的边界框(Bounding Box)和与此对应的GT的边界框相比较的过程的图。
参照图1，现有的学习装置预测边界框并将该预测到的边界框与GT的边界框相比较而获取至少一个损失值。在此，损失值是指预测到的边界框与GT的边界框之间的差值。例如，图1中的损失值可包含dxc，dyc，dw，dh。
首先，图1的学习装置获取RGB图像并将该RGB图像输入到卷积层中。在RGB图像通过卷积层之后，生成特征图，使得RGB图像的宽度和高度缩小，但信道数量增加。
图1的学习装置能够通过将特征图输入到区域建议网络而生成建议盒，并且通过对包含在与特征图上的建议盒对应的区域中的像素数据应用最大池化(Max Pooling)或平均池化(Average Pooling)运算中的至少一者而生成经池化的特征图。在此，最大池化为针对各个细部区域从与此对应的建议盒内的各个细部区域中将最大值分别选定为每个细部区域的代表值的方法，平均池化为针对各个细部区域将与此对应的建议盒内的关于各个细部区域的各个平均值计算为各个代表值的方法。
接着，图1的学习装置将经池化的特征图输入到FC层(Fully Connected Layer，全连接层)中。此时，学习装置能够使FC层通过分类运算来确认所述RGB图像上的客体的种类是什么。经池化的特征图也可以称作“特征向量(Feature Vector)”。
此外，通过FC层和损失值来预测输入的RGB图像上的至少一个边界框，并且将预测到的边界框和与此对应的GT的边界框相比较来获取所述损失。在此，GT的边界框为准确地包含图像上的客体的边界框，通常人类能够直接生成该GT的边界框。
最后，图1的学习装置执行反向传播的同时，为了减少损失值，能够调整FC层的至少一个参数及卷积层的至少一个参数。在调整CNN的参数之后，能够预测与测试图像上的新客体对应的新边界框。
但是，在由卷积层输出的特征图上与ROI对应的区域被池化为单一尺度(SingleScale)时，若只利用池化为单一尺度的特征图则会限制信息的有效表达。因此，为了更准确地检测客体，需要利用更多的特征，由此具有不仅用于检测客体的运算数量增加而且性能下降的缺点。
因此，本发明提供一种能够通过使具有彼此不同的尺度的池化层分别执行各个池化运算而缩减运算数量的学习方法。
发明内容
技术问题
本发明的目的是解决上述问题。
此外，本发明的另一目的是提供一种能够通过使具有彼此不同的尺度的池化层分别执行各个池化运算而缩减运算量的学习方法及学习装置、利用该学习装置的测试方法及测试装置。
技术方案
为了达到如上所述的本发明的目的并实现后述的本发明的特征效果，本发明的特征结构如下所述。
根据本发明的一方面，一种基于CNN的客体检测器的学习方法，其特征在于，包括：步骤a：在输入包含至少一个客体的训练图像的情况下，学习装置使至少一个卷积层对所述训练图像应用至少一次卷积运算以输出至少一个特征图，并且使RPN利用所述特征图来输出所述训练图像内的k个ROI；步骤b：所述学习装置i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述特征图上与所述k个ROI对应的各个区域以按相应尺度分别输出与所述k个ROI分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1FC层按相应尺度分别利用所述k个第一特征向量而按相应尺度分别输出k个第二特征向量，iii)使至少一个第2FC层按相应尺度分别利用所述k个第二特征向量而输出与所述k个ROI分别对应的各个类信息和各个回归信息；以及步骤c：所述学习装置使第一损失层参照所述各个类信息、所述各个回归信息及与所述各个类信息、所述各个回归信息对应的第1GT来生成与所述k个ROI对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2FC层、所述第1FC层及所述卷积层。
在一实施例中，所述k个ROI是由所述RPN从预设候选ROI中选择的，在所述步骤a后，所述学习装置使第二损失层参照所述候选ROI及与所述候选ROI对应的第2GT来生成ROI损失，从而通过利用所述ROI损失的反向传播来学习所述RPN。
在一实施例中，所述第2FC层包括第2_1FC层及第2_2FC层，在所述步骤b中，所述学习装置i)使所述第2_1FC层按由所述各个第1FC层输出的相应尺度分别连接所述k个第二特征向量而输出第三特征向量，ii)使所述第2_2FC层利用所述第三特征向量来输出与所述k个ROI对应的所述各个类信息和所述各个回归信息。
在一实施例中，在所述步骤c中，所述学习装置按由所述各个第1FC层输出的相应尺度利用与所述k个第二特征向量分别对应的所述各个类损失和所述各个回归损失中的至少一部分来学习所述各个第1FC层。
在一实施例中，所述学习装置对所述各个类损失和所述各个回归损失应用各个加权值并通过反向传播来学习所述各个第1FC层，并且以关于所述各个第1FC层对所述各个类损失和所述各个回归损失的贡献度的信息为参考来确定所述各个加权值。
在一实施例中，所述学习装置按由所述各个第1FC层输出的相应尺度使各个所述第二特征向量的信道数量彼此相同。
在一实施例中，所述学习装置使由所述各个第1FC层输出的所述第二特征向量的总信道数量小于预设数量。
根据本发明的另一方面，一种基于CNN的客体检测器的测试方法，其特征在于，包括：步骤a：在学习装置1)使至少一个卷积层对训练图像应用至少一次卷积运算而输出至少一个学习用特征图，并且使RPN利用所述学习用特征图来输出所述训练图像内的k个ROI，2)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述学习用特征图上与k个学习用ROI对应的各个区域而按相应尺度分别输出与所述k个学习用ROI分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1FC层按相应尺度分别利用k个学习用第一特征向量而按相应尺度分别输出k个学习用第二特征向量，iii)并且使至少一个第2FC层按相应尺度分别利用所述k个学习用第二特征向量而输出与所述k个学习用ROI分别对应的各个学习用类信息和各个学习用回归信息，3)并且使第一损失层参照所述各个学习用类信息、所述各个学习用回归信息及与所述各个学习用类信息、所述各个学习用回归信息对应的第1GT来生成与所述k个学习用ROI对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2FC层、所述第1FC层及所述卷积层的状态下，测试装置i)使所述卷积层对测试图像应用至少一次卷积运算而输出至少一个测试用特征图，ii)并且使所述RPN利用所述测试用特征图来输出所述测试图像内的m个测试用ROI；以及步骤b：所述测试装置i)使具有互不相同的池化尺度的所述各个池化层按相应尺度池化所述测试用特征图上与所述m个测试用ROI对应的各个区域而按相应尺度分别输出与所述m个测试用ROI分别对应的m个测试用第一特征向量，ii)使与所述各个池化层对应的所述各个第1FC层按相应尺度分别利用所述m个测试用第一特征向量而按相应尺度分别输出m个测试用第二特征向量，iii)并且使所述第2FC层按相应尺度分别利用所述m个测试用第二特征向量而输出与所述m个测试用ROI分别对应的各个测试用类信息和各个测试用回归信息。
在一实施例中，所述k个学习用ROI是由所述RPN从预设学习用候选ROI中选择的，在过程1)后，所述学习装置使第二损失层参照所述学习用候选ROI及与所述学习用候选ROI对应的第2GT来生成ROI损失，从而通过利用所述ROI损失的反向传播来学习所述RPN。
在一实施例中，所述第2FC层包括第2_1FC层及第2_2FC层，在所述步骤b中，所述测试装置i)使所述第2_1FC层按由所述各个第1FC层输出的相应尺度分别连接所述m个测试用第二特征向量而输出测试用第三特征向量，ii)使所述第2_2FC层利用所述测试用第三特征向量来输出与所述m个测试用ROI对应的所述各个测试用类信息和所述各个测试用回归信息。
在一实施例中，在过程3)中，所述学习装置按由所述各个第1FC层输出的相应尺度利用与所述k个学习用第二特征向量分别对应的所述各个类损失和所述各个回归损失中的至少一部分来学习所述各个第1FC层。
在一实施例中，所述学习装置对所述各个类损失和所述各个回归损失应用各个加权值并通过反向传播来学习所述各个第1FC层，并且以关于所述各个第1FC层对所述各个类损失和所述各个回归损失的贡献度的信息为参考来确定所述各个加权值。
在一实施例中，所述测试装置按由所述各个第1FC层输出的相应尺度使各个所述测试用第二特征向量的信道数量彼此相同。
在一实施例中，所述测试装置使由所述各个第1FC层输出的所述测试用第二特征向量的总信道数量小于预设数量。
根据本发明的又一方面，一种基于CNN的客体检测器的学习装置，包括：至少一个存储器，其用于存储指令；以及至少一个处理器，其被配置为运行用于执行以下过程的所述指令：过程I)使至少一个卷积层对包含至少一个客体的训练图像应用至少一次卷积运算以输出至少一个特征图，并且使RPN利用所述特征图来输出所述训练图像内的k个ROI；过程II)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述特征图上与所述k个ROI对应的各个区域以按相应尺度分别输出与所述k个ROI分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1FC层按相应尺度分别利用所述k个第一特征向量而按相应尺度分别输出k个第二特征向量，iii)使至少一个第2FC层按相应尺度分别利用所述k个第二特征向量而输出与所述k个ROI分别对应的各个类信息和各个回归信息；过程III)使第一损失层参照所述各个类信息、所述各个回归信息及与所述各个类信息、所述各个回归信息对应的第1GT来生成与所述k个ROI对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2FC层、所述第1FC层及所述卷积层。
在一实施例中，所述k个ROI是由所述RPN从预设候选ROI中选择的，在所述过程I)后，所述处理器使第二损失层参照所述候选ROI及与所述候选ROI对应的第2GT来生成ROI损失，从而通过利用所述ROI损失的反向传播来学习所述RPN。
在一实施例中，所述第2FC层包括第2_1FC层及第2_2FC层，在所述过程II)中，所述处理器i)使所述第2_1FC层按由所述各个第1FC层输出的相应尺度分别连接所述k个第二特征向量而输出第三特征向量，ii)使所述第2_2FC层利用所述第三特征向量来输出与所述k个ROI对应的所述各个类信息和所述各个回归信息。
在一实施例中，在所述过程III)中，所述处理器按由所述各个第1FC层输出的相应尺度利用与所述k个第二特征向量分别对应的所述各个类损失和所述各个回归损失中的至少一部分来学习所述各个第1FC层。
在一实施例中，所述处理器对所述各个类损失和所述各个回归损失应用各个加权值并通过反向传播来学习所述各个第1FC层，并且以关于所述各个第1FC层对所述各个类损失和所述各个回归损失的贡献度的信息为参考来确定所述各个加权值。
在一实施例中，所述处理器按由所述各个第1FC层输出的相应尺度使各个所述第二特征向量的信道数量彼此相同。
在一实施例中，所述处理器使由所述各个第1FC层输出的所述第二特征向量的总信道数量小于预设数量。
根据本发明的又一方面，一种基于CNN的客体检测器的测试装置，包括：至少一个存储器，其用于存储指令；以及至少一个处理器，在学习装置1)使至少一个卷积层对训练图像应用至少一次卷积运算而输出至少一个学习用特征图，并且使RPN利用所述学习用特征图来输出所述训练图像内的k个ROI，2)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述学习用特征图上与k个学习用ROI对应的各个区域而按相应尺度分别输出与所述k个学习用ROI分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1FC层按相应尺度分别利用k个学习用第一特征向量而按相应尺度分别输出k个学习用第二特征向量，iii)并且使至少一个第2FC层按相应尺度分别利用所述k个学习用第二特征向量而输出与所述k个学习用ROI分别对应的各个学习用类信息和各个学习用回归信息，3)并且使第一损失层参照所述各个学习用类信息、所述各个学习用回归信息及与所述各个学习用类信息、所述各个学习用回归信息对应的第1GT来生成与所述k个学习用ROI对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2FC层、所述第1FC层及所述卷积层的状态下，所述至少一个处理器被配置为运行用于执行以下过程的所述指令：过程I)i)使所述卷积层对测试图像应用至少一次卷积运算而输出至少一个测试用特征图，ii)并且使所述RPN利用所述测试用特征图来输出所述测试图像内的m个测试用ROI；以及过程II)i)使具有互不相同的池化尺度的所述各个池化层按相应尺度池化所述测试用特征图上与所述m个测试用ROI对应的各个区域而按相应尺度分别输出与所述m个测试用ROI分别对应的m个测试用第一特征向量，ii)使与所述各个池化层对应的所述各个第1FC层按相应尺度分别利用所述m个测试用第一特征向量而按相应尺度分别输出m个测试用第二特征向量，iii)并且使所述第2FC层按相应尺度分别利用所述m个测试用第二特征向量而输出与所述m个测试用ROI分别对应的各个测试用类信息和各个测试用回归信息。
在一实施例中，所述k个学习用ROI是由所述RPN从预设学习用候选ROI中选择的，在所述过程1)后，所述学习装置使第二损失层参照所述学习用候选ROI及与所述学习用候选ROI对应的第2GT来生成ROI损失，从而通过利用所述ROI损失的反向传播来学习所述RPN。
在一实施例中，所述第2FC层包括第2_1FC层及第2_2FC层，在所述过程II)中，所述处理器i)使所述第2_1FC层按由所述各个第1FC层输出的相应尺度分别连接所述m个测试用第二特征向量而输出测试用第三特征向量，ii)使所述第2_2FC层利用所述测试用第三特征向量来输出与所述m个测试用ROI对应的所述各个测试用类信息和所述各个测试用回归信息。
在一实施例中，在所述过程3)中，所述学习装置按由所述各个第1FC层输出的相应尺度利用与所述k个学习用第二特征向量分别对应的所述各个类损失和所述各个回归损失中的至少一部分来学习所述各个第1FC层。
在一实施例中，所述学习装置对所述各个类损失和所述各个回归损失应用各个加权值并通过反向传播来学习所述各个第1FC层，并且以关于所述各个第1FC层对所述各个类损失和所述各个回归损失的贡献度的信息为参考来确定所述各个加权值。
在一实施例中，所述处理器按由所述各个第1FC层输出的相应尺度使各个所述测试用第二特征向量的信道数量彼此相同。
在一实施例中，所述处理器使由所述各个第1FC层输出的所述测试用第二特征向量的总信道数量小于预设数量。
有益效果
本发明具有如下的效果：通过使具有互不相同的池化尺度的各个池化层按相应尺度池化特征图上的与ROI对应的区域，从而能够使用按各种尺度池化的特征图上的更多特征。
本发明具有如下的又一效果：由于使用更少量的信道来执行运算，因此能够提高计算运算性能。
附图说明
为了说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分，本发明所属技术领域的具有普通知识的人员“以下，称为“普通技术人员”在未实现发明工作的情况下可以以该附图为基础得到其他图。
图1是表示在现有技术所涉及的学习过程中学习装置预测边界框并将该预测到的边界框和与此对应的GT边界框相比较的过程的图。
图2是本发明的一实施例所涉及的基于CNN学习客体检测器的学习装置的框图。
图3是表示本发明的一实施例所涉及的基于CNN学习客体检测器的过程的图。
图4是表示本发明的一实施例所涉及的基于CNN测试客体检测器的测试装置的框图。
图5是表示本发明的一实施例所涉及的基于CNN测试客体检测器的过程的图。
具体实施方式
后述的对本发明的详细说明参照作为示例图示能够实施本发明的具体实施例的附图。详细说明这些实施例，使得本领域技术人员能够实施本发明。应理解为本发明的多种实施例虽然彼此不同但没必要相互排斥。例如，在此记载的特定形状、结构及特性与一实施例相关联，在不脱离本发明的精神及范围的情况下可以以其他实施例实现。此外，应理解为在不脱离本发明的精神及范围的情况下能够变更各个公开实施例内的个别结构要素的位置或布置。因此，后述的详细说明不应视为限定性含义，在适当说明的情况下，本发明的范围仅由所附的权利要求和与该权利要求所主张的内容均等的所有范围来限定。在附图中，相似的附图标记在各个方面上指代相同或相似的功能
此外，在本发明的详细说明及权利要求中，“包括”这一词语及其变形并非用来去除其他技术特征、附加物、结构要素或步骤。对于本领域普通技术人员而言，能够部分地从本发明的说明书以及部分地本发明的实施中显然得知本发明的其他目的、优点及特性。以下示例及附图作为实例提供，并不是用来限定本发明。
本发明中提到的各种图像可包括与铺装或未铺装的道路相关的图像，在该情况下能够假定出现在道路环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机或无人机等的飞行器以及其他障碍物)，但本发明并不一定限定于此，本发明中提到的各种图像还可以是与道路无关的图像(例如，与非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关联的图像)，在该情况下能够假定有可能出现在非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机和无人机等的飞行器以及其他障碍物)，但并不一定限定于此。
下面，参照附图对本发明的优选实施例进行详细说明，使得本发明所属技术领域的普通技术人员能够容易实施本发明。
图2是本发明的一实施例所涉及的学习装置100的框图。
如图2所示，本发明的一实施例所涉及的学习装置100可包括通信部110和处理器120。根据情况，可进一步包括数据库130。此外，学习装置可进一步包括存储器115，该存储器115能够存储用于执行下一个过程的计算机可读指令。根据一实施例，处理器、存储器或介质等可被集成为集成处理器。
在此，本发明的学习装置100为数字设备，只要是搭载有处理器并具备各种运算执行能力的数字设备，则能够作为本发明所涉及的学习装置100采用。
通信部110能够获取包含至少一个客体的训练图像。此时，能够从数据库130中获取训练图像。
处理器120执行以下过程：(a)使至少一个卷积层(Convolutional Layer)对训练图像应用至少一次卷积运算而输出至少一个特征图，并且使RPN利用特征图来输出训练图像内的k个ROI；(b)(i)使具有互不相同的池化尺度(Pooling Scale)的池化层(PoolingLayer)按相应尺度池化特征图上与k个ROI对应的各个区域而按相应尺度分别输出与k个ROI分别对应的k个第一特征向量(Feature Vector)，(ii)使与各个池化层对应的各个第1FC层(Fully Connected Layer)按相应尺度分别利用k个第一特征向量而按相应尺度分别输出k个第二特征向量，(iii)并且使至少一个第2FC层按相应尺度分别利用k个第二特征向量而输出与k个ROI分别对应的各个类(Class)信息和各个回归(Regression)信息；以及(c)使第一损失层(Loss Layer)参照各个类信息、各个回归信息及与各个类信息、各个回归信息对应的第1GT来生成与k个ROI对应的类损失(Class Loss)和回归损失(RegressionLoss)，从而通过利用类损失和回归损失的反向传播来学习第2FC层、第1FC层及卷积层。将在后面通过详细说明对此进行详细描述。
在此，能够通过学习装置100的通信部110访问数据库130，并且数据库130能够记录回归信息等，该回归信息表示关于GT(例如，表示客体为汽车还是步行者等的类信息)及边界框的位置的信息。
下面，参照图3对利用以上述方式构成的本发明的一实施例所涉及的学习装置100且使用具有互不相同尺度的各个池化层来学习基于CNN的客体检测器的方法进行说明则如下所述。
首先，在输入包含至少一个客体的训练图像的情况下，学习装置100使卷积层10对训练图像应用至少一次卷积运算而输出至少一个特征图。
并且，学习装置100使RPN 20利用特征图来输出训练图像内的k个ROI。在此，k个ROI选自预设候选ROI。
接着，学习装置100通过使具有互不相同的尺度的各个池化层30按相应尺度池化特征图上与由RPN 20输出的k个ROI分别对应的各个区域而按相应尺度分别输出与k个ROI分别对应的k个第一特征向量。此时，虽然在图3的例子中分别图示了具有互不相同的尺度的三个池化层30，但本发明并不限定于此。此外，池化尺度大的第一特征向量可具有比池化尺度小的第一特征向量更多的信息。
并且，在从各个池化层30按各个尺度分别输出与k个ROI对应的k个第一特征向量的情况下，学习装置100使与各个池化层30分别对应的各个第1FC层40按相应尺度利用k个第一特征向量而按k个相应尺度分别输出第二特征向量。在图3的例子中，虽然第1FC层40的数量表示为三个，但这起因于池化层30的数量为三个，本发明并不限定于此。
此外，针对由各个第1FC层40输出的相应尺度，各个第二特征向量的信道数量可以彼此相同。作为一例，如图3示，由各个第1FC层40输出的第二特征向量的信道数量可以是128，但并不限定于此。
此外，由第1FC层40输出的第二特征向量的总信道数量可以小于预设数量。作为一例，如图3所示，由第1FC层40输出的第二特征向量的总信道数量可以是384(128+128+128)，但并不限定于此。在该情况下，由于执行本发明所涉及的运算的信道数量为384个，比一般运算具有4,096个信道的特征向量的现有方法少，因此能够提高学习装置100的运算能力。
之后，学习装置100将k个第二特征向量分别输入到第2FC层50，从而使第2FC层50按k个相应尺度利用各个第二特征向量来输出与k个ROI分别对应的各个类信息和各个回归信息。
此时，第2FC层50可包含第2_1FC层51及第2_2FC层55。第2_1FC层51能够通过连接(Concatenating)由各个第1FC层40输出的各个第二特征向量而输出第三特征向量。第2_2FC层55可利用第三特征向量来输出与k个ROI对应的各个类信息和各个回归信息。
接着，学习装置100能够使第一损失层60参照各个类信息、各个回归信息及与各个类信息、各个回归信息对应的第1GT来生成与k个ROI对应的类损失和回归损失，并且通过利用类损失和回归损失的反向传播来学习第2FC层、第1FC层及卷积层。
此时，学习装置100能够按由各个第1FC层40输出的k个相应尺度利用与第二特征向量分别对应的各个类损失和各个回归损失来学习各个第1FC层40。换言之，学习装置100能够通过对各个类损失和各个回归损失应用各个加权值并通过反向传播来学习各个第1FC层40，并且以关于各个第1FC层40对各个类损失和各个回归损失的贡献度的信息为参考来确定各个加权值。
此外，学习装置100能够使第二损失层21参照候选ROI及与候选ROI对应的第2GT来获取ROI损失，并且通过利用获取到的ROI损失的反向传播来学习RPN。在输出候选ROI组的情况下能够随时执行这种RPN学习。此外，ROI损失可包含ROI类损失和ROI回归损失。
图4示意性地表示本发明的一实施例所涉及的测试基于CNN的客体检测器的测试装置400的框图。
如图4所示，本发明的一实施例所涉及的测试装置400可包括通信部401和处理器402。在图中区分表达测试装置400和学习装置100，但测试装置400和学习装置100也可以相同的装置。此外，学习装置可进一步包括存储器403，该存储器403能够存储用于执行下一个过程的计算机可读指令。根据一实施例，处理器、存储器或介质等可被集成为集成处理器。
作为参考，为了在以下说明中避免混淆，“学习用”这一文句附加到与前述说明的学习过程相关联的术语，“测试用”这一文句附加到与测试用过程相关联的术语。
在(1)学习装置(i)使卷积层对训练图像应用卷积运算来输出学习用特征图，(ii)使RPN利用学习用特征图来输出训练图像内的k个ROI，(2)学习装置(i)使具有互不相同的池化尺度的各个池化层按相应尺度池化学习用特征图上与k个学习用ROI对应的各个区域而按相应尺度分别输出与k个学习用ROI分别对应的k个第一特征向量，(ii)使与各个池化层对应的各个第1FC层按相应尺度分别利用k个学习用第一特征向量而按相应尺度分别输出k个学习用第二特征向量，(iii)并且使第2FC层按相应尺度分别利用学习用第二特征向量而输出与k个学习用ROI分别对应的各个学习用类信息和各个学习用回归信息，(3)并且使第一损失层参照各个学习用类信息、各个学习用回归信息及与各个学习用类信息、各个学习用回归信息对应的第1GT来生成与k个学习用ROI对应的类损失和回归损失，从而通过利用类损失和回归损失的反向传播来学习第2FC层、第1FC层及卷积层的状态下，通信部401能够获取包含至少一个测试用客体的测试图像。
处理器420能够执行：(1)第一过程，(i)使卷积层对测试图像应用卷积运算而输出至少一个测试用特征图，(ii)并且使RPN利用测试用特征图来输出测试图像内的m个测试用ROI；以及(2)第二过程，(i)使具有互不相同的池化尺度的各个池化层按相应尺度池化测试用特征图上与m个测试用ROI对应的各个区域而按相应尺度分别输出与m个测试用ROI分别对应的m个测试用第一特征向量，(ii)使与各个池化层对应的各个第1FC层按相应尺度分别利用m个测试用第一特征向量而按相应尺度分别输出m个测试用第二特征向量，(iii)并且使第2FC层按相应尺度分别利用m个测试用第二特征向量而输出与m个测试用ROI分别对应的各个测试用类信息和各个测试用回归信息。
在此，作为在测试装置400中由RPN输出的ROI数量的m个可以小于或等于作为在学习装置100中由RPN输出的ROI数量的k个，但并不限定于此。
参照图5对利用如此构成的测试装置400且使用本发明的一实施例所涉及的具有互不相同的池化尺度的各个池化层来测试基于CNN的客体检测器的方法进行说明则如下所述。在以下说明中，对学习方法中的能够容易理解的部分省略详细说明。
首先，如果在通过参照图3说明的学习方法来学习第2FC层450、第1FC层440及卷积层410的状态下，输入测试图像，则测试装置400使卷积层410对测试图像应用至少一次卷积运算来输出至少一个测试用特征图。
通过利用RPN 420输入由卷积层410输出的测试用特征图，从而测试装置400使RPN420利用测试用特征图来输出与测试图像对应的m个测试用ROI。
接着，测试装置400使具有互不相同的池化尺度的池化层430按相应尺度池化测试用特征图上与m个测试用ROI分别对应的各个区域而按相应尺度分别输出与m个测试用ROI对应的m个第一测试用特征向量。此时，虽然在图5的例子中分别图示了具有互不相同的池化尺度的三个池化层430，但本发明并不限定于此。此外，池化尺度大的第一测试用特征向量可具有比池化尺度小的第一测试用特征向量更多的信息。
并且，测试装置400使与各个池化层430对应的各个第1FC层440按m个相应尺度利用各个第一测试用特征向量，来按m个相应尺度分别输出第二测试用特征向量。在图5的例子中，虽然第1FC层440的数量表示为三个，但这起因于池化层430的数量为三个，本发明并不限定于此。
此外，针对由各个第1FC层440输出的相应尺度，各个第二测试用特征向量的各个信道数量可以相同。作为一例，如图5所示，针对由各个第1FC层440输出的相应尺度，第二测试用特征向量的各个信道数量可以为128，但并不限定于此。
此外，由各个第1FC层440输出的第二测试用特征向量的总信道数量可以小于预设数量。作为一例，如图5所示，由各个第1FC层440输出的第二测试用特征向量的总信道数量可以是384(128+128+128)，但并不限定于此。在该情况下，由于执行本发明所涉及的总运算的信道数量为384个，比一般运算具有4,096信道的特征向量的现有方法少，因此能够提高测试装置400的运算能力。
之后，测试装置400使第2FC层450按相应尺度分别利用m个第二测试用特征向量来输出与m个测试用ROI分别对应的各个测试用类信息和各个测试用回归信息。
此时，第2FC层450可包含第2_1FC层451及第2_2FC层455。第2_1FC层451能够通过连接由各个第1FC层440输出的各个第二特征向量而输出第三测试用特征向量。第2_2FC层455可利用第三测试用特征向量来输出与m个ROI对应的各个测试用类信息和各个测试用回归信息。
本发明所涉及的学习方法和测试方法能够利用能够根据客体尺度转换模式的CNN而用于监视。根据模式能够调节各种层的加权值和/或各种损失的加权值。
此外，以上说明的本发明所涉及的实施例可以以能够通过各种计算机结构要素执行的程序命令的形态实现，并且存储在计算机可读记录介质中。所述计算机可读记录介质可以单独或组合包含程序命令、数据文件、数据结构等。存储在所述计算机可读记录介质中的程序命令是为本发明而特别设计并构成的，但也可以是计算机软件领域的技术人员公知而能够使用的程序命令。计算机可读记录介质的例子包含如硬盘、软盘及磁带的磁介质、如CD-ROM、DVD的光记录介质、如软式光盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及如ROM、RAM、快闪存储器等的为了存储及执行程序命令而特别构成的硬件装置。作为程序命令的例子不仅包含如由编译器生成的机器代码，还包含使用解释器等能够由计算机运行的高级语言代码。为了执行本发明所涉及的处理，所述硬件装置可被构成为以一个以上软件模块实现操作，反之也同样。
以上，通过如具体结构要素等的特定事项和限定的实施例及附图对本发明进行了说明，但这只是为了有助于本发明的更全面的理解而提供的，本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员基于这种记载可进行各种修改及变形。
因此，本发明的思想并非由上述说明的实施例限定，权利要求书及与该权利要求书均等或等价变形的所有内容属于本发明的思想范畴。
[附图标记说明]
100：学习装置
110：通信部
120：处理器
130：数据库
400：测试装置
410：通信部
420：处理器。

Claims (28)

1.一种基于卷积神经网络CNN的客体检测器的学习方法，其特征在于，包括：
步骤a：在输入包含至少一个客体的训练图像的情况下，学习装置使至少一个卷积层对所述训练图像应用至少一次卷积运算以输出至少一个特征图，并且使区域建议网络RPN利用所述特征图来输出所述训练图像内的k个感兴趣区域；
步骤b：所述学习装置i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述特征图上与所述k个感兴趣区域对应的各个区域而按相应尺度分别输出与所述k个感兴趣区域分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1全连接层按相应尺度分别利用所述k个第一特征向量而按相应尺度分别输出k个第二特征向量，iii)使至少一个第2全连接层按相应尺度分别利用所述k个第二特征向量而输出与所述k个感兴趣区域分别对应的各个类信息和各个回归信息；以及
步骤c：所述学习装置使第一损失层参照所述各个类信息、所述各个回归信息及与所述各个类信息、所述各个回归信息对应的第1真实值GT来生成与所述k个感兴趣区域对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2全连接层、所述第1全连接层及所述卷积层，
其中，在所述步骤c中，所述学习装置按由所述各个第1全连接层输出的相应尺度利用与所述k个第二特征向量分别对应的各个所述类损失和各个所述回归损失中的至少一部分来学习所述各个第1全连接层。
2.根据权利要求1所述的学习方法，其特征在于，
所述k个感兴趣区域是由所述RPN从预设候选感兴趣区域中选择的，
在所述步骤a后，所述学习装置使第二损失层参照所述候选感兴趣区域及与所述候选感兴趣区域对应的第2GT来生成感兴趣区域损失，从而通过利用所述感兴趣区域损失的反向传播来学习所述RPN。
3.根据权利要求1所述的学习方法，其特征在于，
所述第2全连接层包括第21全连接层及第22全连接层，
在所述步骤b中，所述学习装置i)使所述第21全连接层按由所述各个第1全连接层输出的相应尺度分别连接所述k个第二特征向量而输出第三特征向量，ii)使所述第22全连接层利用所述第三特征向量来输出与所述k个感兴趣区域对应的所述各个类信息和所述各个回归信息。
4.根据权利要求1所述的学习方法，其特征在于，
所述学习装置对各个所述类损失和各个所述回归损失应用各个加权值并通过反向传播来学习所述各个第1全连接层，并且以关于所述各个第1全连接层对各个所述类损失和各个所述回归损失的贡献度的信息为参考来确定所述各个加权值。
5.根据权利要求1所述的学习方法，其特征在于，
所述学习装置按由所述各个第1全连接层输出的相应尺度使各个所述第二特征向量的信道数量彼此相同。
6.根据权利要求1所述的学习方法，其特征在于，
所述学习装置使由所述各个第1全连接层输出的所述第二特征向量的总信道数量小于预设数量。
7.一种基于卷积神经网络CNN的客体检测器的测试方法，其特征在于，包括：
步骤a：在学习装置已经执行如下过程的状态下：过程1)使至少一个卷积层对训练图像应用至少一次卷积运算而输出至少一个学习用特征图，并且使区域建议网络RPN利用所述学习用特征图来输出所述训练图像内的k个感兴趣区域，过程2)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述学习用特征图上与k个学习用感兴趣区域对应的各个区域而按相应尺度分别输出与所述k个学习用ROI感兴趣区域分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1全连接层按相应尺度分别利用k个学习用第一特征向量而按相应尺度分别输出k个学习用第二特征向量，iii)并且使至少一个第2全连接层按相应尺度分别利用所述k个学习用第二特征向量而输出与所述k个学习用感兴趣区域分别对应的各个学习用类信息和各个学习用回归信息，过程3)并且使第一损失层参照所述各个学习用类信息、所述各个学习用回归信息及与所述各个学习用类信息、所述各个学习用回归信息对应的第1真实值GT来生成与所述k个学习用感兴趣区域对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2全连接层、所述第1全连接层及所述卷积层，测试装置i)使所述卷积层对测试图像应用至少一次卷积运算而输出至少一个测试用特征图，ii)并且使所述RPN利用所述测试用特征图来输出所述测试图像内的m个测试用感兴趣区域；以及
步骤b：所述测试装置i)使具有互不相同的池化尺度的所述各个池化层按相应尺度池化所述测试用特征图上与所述m个测试用感兴趣区域对应的各个区域而按相应尺度分别输出与所述m个测试用感兴趣区域分别对应的m个测试用第一特征向量，ii)使与所述各个池化层对应的所述各个第1全连接层按相应尺度分别利用所述m个测试用第一特征向量而按相应尺度分别输出m个测试用第二特征向量，iii)并且使所述第2全连接层按相应尺度分别利用所述m个测试用第二特征向量而输出与所述m个测试用感兴趣区域分别对应的各个测试用类信息和各个测试用回归信息，
其中，在过程3)中，所述学习装置按由所述各个第1全连接层输出的相应尺度利用与所述k个学习用第二特征向量分别对应的各个所述类损失和各个所述回归损失中的至少一部分来学习所述各个第1全连接层。
8.根据权利要求7所述的测试方法，其特征在于，
所述k个学习用感兴趣区域是由所述RPN从预设学习用候选感兴趣区域中选择的，
在所述过程1)后，所述学习装置使第二损失层参照所述学习用候选感兴趣区域及与所述学习用候选感兴趣区域对应的第2GT来生成感兴趣区域损失，从而通过利用所述感兴趣区域损失的反向传播来学习所述RPN。
9.根据权利要求7所述的测试方法，其特征在于，
所述第2全连接层包括第21全连接层及第22全连接层，
在所述步骤b中，所述测试装置i)使所述第21全连接层按由所述各个第1全连接层输出的相应尺度分别连接所述m个测试用第二特征向量而输出测试用第三特征向量，ii)使所述第22全连接层利用所述测试用第三特征向量来输出与所述m个测试用感兴趣区域对应的所述各个测试用类信息和所述各个测试用回归信息。
10.根据权利要求7所述的测试方法，其特征在于，
所述学习装置对各个所述类损失和各个所述回归损失应用各个加权值并通过反向传播来学习所述各个第1全连接层，并且以关于所述各个第1全连接层对各个所述类损失和各个所述回归损失的贡献度的信息为参考来确定所述各个加权值。
11.根据权利要求7所述的测试方法，其特征在于，
所述测试装置按由所述各个第1全连接层输出的相应尺度使各个所述测试用第二特征向量的信道数量彼此相同。
12.根据权利要求7所述的测试方法，其特征在于，
所述测试装置使由所述各个第1全连接层输出的所述测试用第二特征向量的总信道数量小于预设数量。
13.一种基于卷积神经网络CNN的客体检测器的学习装置，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其被配置为运行用于执行以下过程的所述指令：过程I)使至少一个卷积层对包含至少一个客体的训练图像应用至少一次卷积运算以输出至少一个特征图，并且使区域建议网络RPN利用所述特征图来输出所述训练图像内的k个感兴趣区域；过程II)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述特征图上与所述k个感兴趣区域对应的各个区域以按相应尺度分别输出与所述k个感兴趣区域分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1全连接层按相应尺度分别利用所述k个第一特征向量而按相应尺度分别输出k个第二特征向量，iii)使至少一个第2全连接层按相应尺度分别利用所述k个第二特征向量而输出与所述k个感兴趣区域分别对应的各个类信息和各个回归信息；过程III)使第一损失层参照所述各个类信息、所述各个回归信息及与所述各个类信息、所述各个回归信息对应的第1真实值GT来生成与所述k个感兴趣区域对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2全连接层、所述第1全连接层及所述卷积层，
其中，在所述过程III)中，所述处理器按由所述各个第1全连接层输出的相应尺度利用与所述k个第二特征向量分别对应的各个所述类损失和各个所述回归损失中的至少一部分来学习所述各个第1全连接层。
14.根据权利要求13所述的学习装置，其特征在于，
所述k个感兴趣区域是由所述RPN从预设候选感兴趣区域中选择的，
在所述过程I)后，所述处理器使第二损失层参照所述候选感兴趣区域及与所述候选感兴趣区域对应的第2GT来生成感兴趣区域损失，从而通过利用所述感兴趣区域损失的反向传播来学习所述RPN。
15.根据权利要求13所述的学习装置，其特征在于，
所述第2全连接层包括第21全连接层及第22全连接层，
在所述过程II)中，所述处理器i)使所述第21全连接层按由所述各个第1全连接层输出的相应尺度分别连接所述k个第二特征向量而输出第三特征向量，ii)使所述第22全连接层利用所述第三特征向量来输出与所述k个感兴趣区域对应的所述各个类信息和所述各个回归信息。
16.根据权利要求13所述的学习装置，其特征在于，
所述处理器对各个所述类损失和各个所述回归损失应用各个加权值并通过反向传播来学习所述各个第1全连接层，并且以关于所述各个第1全连接层对各个所述类损失和各个所述回归损失的贡献度的信息为参考来确定所述各个加权值。
17.根据权利要求13所述的学习装置，其特征在于，
所述处理器按由所述各个第1全连接层输出的相应尺度使各个所述第二特征向量的信道数量彼此相同。
18.根据权利要求13所述的学习装置，其特征在于，
所述处理器使由所述各个第1全连接层输出的所述第二特征向量的总信道数量小于预设数量。
19.一种基于卷积神经网络CNN的客体检测器的测试装置，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，在学习装置已经执行如下过程的状态下：过程1)使至少一个卷积层对训练图像应用至少一次卷积运算而输出至少一个学习用特征图，并且使区域建议网络RPN利用所述学习用特征图来输出所述训练图像内的k个感兴趣区域，过程2)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述学习用特征图上与k个学习用感兴趣区域对应的各个区域而按相应尺度分别输出与所述k个学习用感兴趣区域分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1全连接层按相应尺度分别利用k个学习用第一特征向量而按相应尺度分别输出k个学习用第二特征向量，iii)并且使至少一个第2全连接层按相应尺度分别利用所述k个学习用第二特征向量而输出与所述k个学习用感兴趣区域分别对应的各个学习用类信息和各个学习用回归信息，过程3)并且使第一损失层参照所述各个学习用类信息、所述各个学习用回归信息及与所述各个学习用类信息、所述各个学习用回归信息对应的第1真实值GT来生成与所述k个学习用感兴趣区域对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2全连接层、所述第1全连接层及所述卷积层，所述至少一个处理器被配置为运行用于执行以下过程的所述指令：过程I)i)使所述卷积层对测试图像应用至少一次卷积运算而输出至少一个测试用特征图，ii)并且使所述RPN利用所述测试用特征图来输出所述测试图像内的m个测试用感兴趣区域；以及过程II)i)使具有互不相同的池化尺度的所述各个池化层按相应尺度池化所述测试用特征图上与所述m个测试用感兴趣区域对应的各个区域而按相应尺度分别输出与所述m个测试用感兴趣区域分别对应的m个测试用第一特征向量，ii)使与所述各个池化层对应的所述各个第1全连接层按相应尺度分别利用所述m个测试用第一特征向量而按相应尺度分别输出m个测试用第二特征向量，iii)并且使所述第2全连接层按相应尺度分别利用所述m个测试用第二特征向量而输出与所述m个测试用感兴趣区域分别对应的各个测试用类信息和各个测试用回归信息，
其中，在所述过程3)中，所述学习装置按由所述各个第1全连接层输出的相应尺度利用与所述k个学习用第二特征向量分别对应的各个所述类损失和各个所述回归损失中的至少一部分来学习所述各个第1全连接层。
20.根据权利要求19所述的测试装置，其特征在于，
所述k个学习用感兴趣区域是由所述RPN从预设学习用候选感兴趣区域中选择的，
在所述过程1)后，所述学习装置使第二损失层参照所述学习用候选感兴趣区域及与所述学习用候选感兴趣区域对应的第2GT来生成感兴趣区域损失，从而通过利用所述感兴趣区域损失的反向传播来学习所述RPN。
21.根据权利要求19所述的测试装置，其特征在于，
所述第2全连接层包括第21全连接层及第22全连接层，
在所述过程II)中，所述处理器i)使所述第21全连接层按由所述各个第1全连接层输出的相应尺度分别连接所述m个测试用第二特征向量而输出测试用第三特征向量，ii)使所述第22全连接层利用所述测试用第三特征向量来输出与所述m个测试用感兴趣区域对应的所述各个测试用类信息和所述各个测试用回归信息。
22.根据权利要求19所述的测试装置，其特征在于，
所述学习装置对各个所述类损失和各个所述回归损失应用各个加权值并通过反向传播来学习所述各个第1全连接层，并且以关于所述各个第1全连接层对各个所述类损失和各个所述回归损失的贡献度的信息为参考来确定所述各个加权值。
23.根据权利要求19所述的测试装置，其特征在于，
所述处理器按由所述各个第1全连接层输出的相应尺度使各个所述测试用第二特征向量的信道数量彼此相同。
24.根据权利要求19所述的测试装置，其特征在于，
所述处理器使由所述各个第1全连接层输出的所述测试用第二特征向量的总信道数量小于预设数量。
25.一种基于卷积神经网络CNN的客体检测器的学习方法，其特征在于，包括：
步骤a：在输入包含至少一个客体的训练图像的情况下，学习装置使至少一个卷积层对所述训练图像应用至少一次卷积运算以输出至少一个特征图，并且使区域建议网络RPN利用所述特征图来输出所述训练图像内的k个感兴趣区域；
步骤b：所述学习装置i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述特征图上与所述k个感兴趣区域对应的各个区域而按相应尺度分别输出与所述k个感兴趣区域分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1全连接层按相应尺度分别利用所述k个第一特征向量而按相应尺度分别输出k个第二特征向量，iii)使至少一个第2全连接层按相应尺度分别利用所述k个第二特征向量而输出与所述k个感兴趣区域分别对应的各个类信息和各个回归信息；以及
步骤c：所述学习装置使第一损失层参照所述各个类信息、所述各个回归信息及与所述各个类信息、所述各个回归信息对应的第1真实值GT来生成与所述k个感兴趣区域对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2全连接层、所述第1全连接层及所述卷积层，
其中，所述k个感兴趣区域是由所述RPN从预设候选感兴趣区域中选择的，并且
其中，在所述步骤a后，所述学习装置使第二损失层参照所述候选感兴趣区域及与所述候选感兴趣区域对应的第2GT来生成感兴趣区域损失，从而通过利用所述感兴趣区域损失的反向传播来学习所述RPN。
26.一种基于卷积神经网络CNN的客体检测器的测试方法，其特征在于，包括：
步骤a：在学习装置已经执行如下过程的状态下：过程1)使至少一个卷积层对训练图像应用至少一次卷积运算而输出至少一个学习用特征图，并且使区域建议网络RPN利用所述学习用特征图来输出所述训练图像内的k个感兴趣区域，过程2)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述学习用特征图上与k个学习用感兴趣区域对应的各个区域而按相应尺度分别输出与所述k个学习用ROI感兴趣区域分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1全连接层按相应尺度分别利用k个学习用第一特征向量而按相应尺度分别输出k个学习用第二特征向量，iii)并且使至少一个第2全连接层按相应尺度分别利用所述k个学习用第二特征向量而输出与所述k个学习用感兴趣区域分别对应的各个学习用类信息和各个学习用回归信息，过程3)并且使第一损失层参照所述各个学习用类信息、所述各个学习用回归信息及与所述各个学习用类信息、所述各个学习用回归信息对应的第1真实值GT来生成与所述k个学习用感兴趣区域对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2全连接层、所述第1全连接层及所述卷积层，测试装置i)使所述卷积层对测试图像应用至少一次卷积运算而输出至少一个测试用特征图，ii)并且使所述RPN利用所述测试用特征图来输出所述测试图像内的m个测试用感兴趣区域；以及
步骤b：所述测试装置i)使具有互不相同的池化尺度的所述各个池化层按相应尺度池化所述测试用特征图上与所述m个测试用感兴趣区域对应的各个区域而按相应尺度分别输出与所述m个测试用感兴趣区域分别对应的m个测试用第一特征向量，ii)使与所述各个池化层对应的所述各个第1全连接层按相应尺度分别利用所述m个测试用第一特征向量而按相应尺度分别输出m个测试用第二特征向量，iii)并且使所述第2全连接层按相应尺度分别利用所述m个测试用第二特征向量而输出与所述m个测试用感兴趣区域分别对应的各个测试用类信息和各个测试用回归信息，
其中，所述k个学习用感兴趣区域是由所述RPN从预设学习用候选感兴趣区域中选择的，并且
其中，在所述过程1)后，所述学习装置使第二损失层参照所述学习用候选感兴趣区域及与所述学习用候选感兴趣区域对应的第2GT来生成感兴趣区域损失，从而通过利用所述感兴趣区域损失的反向传播来学习所述RPN。
27.一种基于卷积神经网络CNN的客体检测器的学习装置，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其被配置为运行用于执行以下过程的所述指令：过程I)使至少一个卷积层对包含至少一个客体的训练图像应用至少一次卷积运算以输出至少一个特征图，并且使区域建议网络RPN利用所述特征图来输出所述训练图像内的k个感兴趣区域；过程II)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述特征图上与所述k个感兴趣区域对应的各个区域以按相应尺度分别输出与所述k个感兴趣区域分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1全连接层按相应尺度分别利用所述k个第一特征向量而按相应尺度分别输出k个第二特征向量，iii)使至少一个第2全连接层按相应尺度分别利用所述k个第二特征向量而输出与所述k个感兴趣区域分别对应的各个类信息和各个回归信息；过程III)使第一损失层参照所述各个类信息、所述各个回归信息及与所述各个类信息、所述各个回归信息对应的第1真实值GT来生成与所述k个感兴趣区域对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2全连接层、所述第1全连接层及所述卷积层，
其中，所述k个感兴趣区域是由所述RPN从预设候选感兴趣区域中选择的，并且
其中，在所述过程I)后，所述处理器使第二损失层参照所述候选感兴趣区域及与所述候选感兴趣区域对应的第2GT来生成感兴趣区域损失，从而通过利用所述感兴趣区域损失的反向传播来学习所述RPN。
28.一种基于卷积神经网络CNN的客体检测器的测试装置，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，在学习装置已经执行如下过程的状态下：过程1)使至少一个卷积层对训练图像应用至少一次卷积运算而输出至少一个学习用特征图，并且使区域建议网络RPN利用所述学习用特征图来输出所述训练图像内的k个感兴趣区域，过程2)i)使具有互不相同的池化尺度的各个池化层按相应尺度池化所述学习用特征图上与k个学习用感兴趣区域对应的各个区域而按相应尺度分别输出与所述k个学习用感兴趣区域分别对应的k个第一特征向量，ii)使与所述各个池化层对应的各个第1全连接层按相应尺度分别利用k个学习用第一特征向量而按相应尺度分别输出k个学习用第二特征向量，iii)并且使至少一个第2全连接层按相应尺度分别利用所述k个学习用第二特征向量而输出与所述k个学习用感兴趣区域分别对应的各个学习用类信息和各个学习用回归信息，过程3)并且使第一损失层参照所述各个学习用类信息、所述各个学习用回归信息及与所述各个学习用类信息、所述各个学习用回归信息对应的第1真实值GT来生成与所述k个学习用感兴趣区域对应的类损失和回归损失，从而通过利用所述类损失和所述回归损失的反向传播来学习所述第2全连接层、所述第1全连接层及所述卷积层，所述至少一个处理器被配置为运行用于执行以下过程的所述指令：过程I)i)使所述卷积层对测试图像应用至少一次卷积运算而输出至少一个测试用特征图，ii)并且使所述RPN利用所述测试用特征图来输出所述测试图像内的m个测试用感兴趣区域；以及过程II)i)使具有互不相同的池化尺度的所述各个池化层按相应尺度池化所述测试用特征图上与所述m个测试用感兴趣区域对应的各个区域而按相应尺度分别输出与所述m个测试用感兴趣区域分别对应的m个测试用第一特征向量，ii)使与所述各个池化层对应的所述各个第1全连接层按相应尺度分别利用所述m个测试用第一特征向量而按相应尺度分别输出m个测试用第二特征向量，iii)并且使所述第2全连接层按相应尺度分别利用所述m个测试用第二特征向量而输出与所述m个测试用感兴趣区域分别对应的各个测试用类信息和各个测试用回归信息，
其中，所述k个学习用感兴趣区域是由所述RPN从预设学习用候选感兴趣区域中选择的，并且
其中，在所述过程1)后，所述学习装置使第二损失层参照所述学习用候选感兴趣区域及与所述学习用候选感兴趣区域对应的第2GT来生成感兴趣区域损失，从而通过利用所述感兴趣区域损失的反向传播来学习所述RPN。
CN201911291795.5A 2019-01-25 2019-12-16 基于cnn的监视用客体检测器的方法及装置 Active CN111488786B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/258,248 US10402686B1 (en) 2019-01-25 2019-01-25 Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
US16/258,248 2019-01-25

Publications (2)

Publication Number Publication Date
CN111488786A CN111488786A (zh) 2020-08-04
CN111488786B true CN111488786B (zh) 2023-09-08

Family

ID=67769938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911291795.5A Active CN111488786B (zh) 2019-01-25 2019-12-16 基于cnn的监视用客体检测器的方法及装置

Country Status (5)

Country Link
US (1) US10402686B1 (zh)
EP (1) EP3686807A3 (zh)
JP (1) JP6856904B2 (zh)
KR (1) KR102320995B1 (zh)
CN (1) CN111488786B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726303B1 (en) * 2019-01-30 2020-07-28 StradVision, Inc. Learning method and learning device for switching modes of autonomous vehicle based on on-device standalone prediction to thereby achieve safety of autonomous driving, and testing method and testing device using the same
CN110648322B (zh) * 2019-09-25 2023-08-15 杭州智团信息技术有限公司 一种子宫颈异常细胞检测方法及系统
CN112308156B (zh) * 2020-11-05 2022-05-03 电子科技大学 一种基于对抗学习的两阶段图像变化检测方法
CN114092813B (zh) * 2021-11-25 2022-08-05 中国科学院空天信息创新研究院 一种工业园区图像提取方法、系统、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
CN108052881A (zh) * 2017-11-30 2018-05-18 华中科技大学 一种实时检测施工现场图像中多类实体对象的方法及设备
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN108416394A (zh) * 2018-03-22 2018-08-17 河南工业大学 基于卷积神经网络的多目标检测模型构建方法
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6413949B1 (en) * 1995-06-07 2002-07-02 D-Pharm, Ltd. Prodrugs with enhanced penetration into cells
US9665802B2 (en) * 2014-11-13 2017-05-30 Nec Corporation Object-centric fine-grained image classification
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US10303977B2 (en) * 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
US10354159B2 (en) * 2016-09-06 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network
US10678846B2 (en) * 2017-03-10 2020-06-09 Xerox Corporation Instance-level image retrieval with a region proposal network
US10621725B2 (en) * 2017-04-12 2020-04-14 Here Global B.V. Small object detection from a large image
JP6847424B2 (ja) * 2018-11-30 2021-03-24 株式会社ポコアポコネットワークス 検出装置、検出方法、コンピュータプログラム及び学習モデル

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
CN108052881A (zh) * 2017-11-30 2018-05-18 华中科技大学 一种实时检测施工现场图像中多类实体对象的方法及设备
CN108416394A (zh) * 2018-03-22 2018-08-17 河南工业大学 基于卷积神经网络的多目标检测模型构建方法

Also Published As

Publication number Publication date
KR102320995B1 (ko) 2021-11-03
EP3686807A2 (en) 2020-07-29
KR20200092848A (ko) 2020-08-04
JP2020119520A (ja) 2020-08-06
US10402686B1 (en) 2019-09-03
EP3686807A3 (en) 2020-08-19
JP6856904B2 (ja) 2021-04-14
CN111488786A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111488786B (zh) 基于cnn的监视用客体检测器的方法及装置
KR102396272B1 (ko) Avm 및 강화 학습을 이용하여 자율 주행의 안전성을 달성하기 위한 어텐션-드리븐 알고리즘을 이용한 리소스 할당을 위한 방법 및 장치
CN111008999B (zh) 用包含跟踪网络的cnn跟踪对象的方法和使用该方法的装置
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
CN111461106B (zh) 基于可重配置网络的对象检测方法及装置
US11010668B2 (en) Method and device for attention-driven resource allocation by using reinforcement learning and V2X communication to thereby achieve safety of autonomous driving
CN111462193B (zh) 用于多摄像机或环绕视图监控的对象检测方法及装置
US10402692B1 (en) Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN111507152B (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
CN111507887B (zh) 对具有非rgb格式的图像客体进行探测学习的方法和装置
CN111507459B (zh) 降低神经网络的注解费用的方法和装置
US10325185B1 (en) Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same
JP6890855B2 (ja) Ａｖｍを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝
CN111507151B (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
JP2021111388A (ja) ニューラル・ネットワーク・アーキテクチャ・サーチ・システム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant