CN111507151A - 使得能够评价自动行驶客体检测过程的支援方法及装置 - Google Patents

使得能够评价自动行驶客体检测过程的支援方法及装置 Download PDF

Info

Publication number
CN111507151A
CN111507151A CN202010015507.XA CN202010015507A CN111507151A CN 111507151 A CN111507151 A CN 111507151A CN 202010015507 A CN202010015507 A CN 202010015507A CN 111507151 A CN111507151 A CN 111507151A
Authority
CN
China
Prior art keywords
specific
feature map
roi
representative
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010015507.XA
Other languages
English (en)
Other versions
CN111507151B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507151A publication Critical patent/CN111507151A/zh
Application granted granted Critical
Publication of CN111507151B publication Critical patent/CN111507151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请公开为了提示对于自动行驶的理论根据而支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的方法。即，公开一种方法，其特征在于，包括：(a)计算装置使包含于之前完成学习的客体检测CNN(Convolutional Neural Network)的一个以上卷积层对输入于其的一个以上的参照图像适用一个以上卷积运算以生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI(region of interest)池化层池化对应于所述参照卷积特征图上的ROI的值中至少一部分生成参照ROI池化的特征图的步骤；以及(b)所述计算装置使代表选择单元参照关于所述参照图像上的所述ROI中包含的客体的类的信息分类所述参照ROI池化的特征图后，按每个类生成至少一个代表特征图的步骤。

Description

使得能够评价自动行驶客体检测过程的支援方法及装置
技术领域
本发明涉及用于自动行驶车辆的方法及装置，更具体来讲涉及为了提示对于自动行驶的理论根据而支援使得管理者能够评价客体检测器的客体检测过程的方法及装置。
背景技术
深度卷积神经网络(Deep Convolution Neural Networks；Deep CNNs)是深度学习领域发生的惊人的发展核心。CNNs为了解决文字识别问题而自90年代以来开始使用，而像目前广泛使用是则多亏近来的研究结果。这种深度CNN在2012年ImageNet图像分类比赛打败其他竞争者获胜。自那以后CNN在机器学习领域成为了非常有用的工具。
最近，CNN广泛用于自动行驶领域。CNN在自动行驶车辆能够执行支援所述自动行驶的多种功能，例如语义(semantic)分割及客体检测等功能，其利用数万张学习数据组学习后搭载于自动行驶车辆。
但是，车辆工作期间很难判断所述CNN是否在稳定地工作。了解所述CNN是否在稳定地工作非常重要，这是因为所述CNN不稳定地工作的情况下，需要告知驾驶员使得所述驾驶员记录其为何种问题以在之后能够提高所述CNN。
作为现有技术，存在对具有满足特定条件的构成的所述CNN，提示对所述CNN的客体检测结果的根据的方法。然而，所述现有技术的所述特定条件非常有限，因此具有很难适用于一般情况的缺点。即，所述CNN必须是使用类激活图(Class Activation Map)的构成。因此，实际状况为没有能够探测具有一般构成的所述CNN是否在稳定工作的现有技术。
发明内容
技术问题
本发明的目的在于解决上述问题。
本发明的目的在于通过提供使用对各客体的各代表特征图评价客体检测器的各检测过程的方法，提示用于自动行驶的理论根据。
技术方案
用于达成如上所述的本发明的目的且实现后述的本发明的特征性效果的本发明的特征性构成如下。
根据本发明一方面，公开一种方法，是为了提示对于自动行驶的理论根据，支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的方法，其特征在于，包括：(a)计算装置使包含于之前完成学习的客体检测CNN(Convolutional NeuralNetwork)的一个以上卷积层对输入于其的一个以上的参照图像适用一个以上卷积运算以生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI(regionof interest，感兴趣区域)池化层从与所述客体检测CNN联动的RPN(Region ProposalNetwork，区域生成网络)获取关于所述参照卷积特征图上的ROI的信息，池化对应于所述ROI的值中至少一部分生成一个以上的参照ROI池化的特征图的步骤；及(b)所述计算装置使代表选择单元参照关于所述参照图像上的所述ROI中包含的客体的类的信息分类所述参照ROI池化的特征图后，按每个类生成至少一个代表特征图，以支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的步骤。
在一个实施例中，特征在于，所述(b)步骤之前，所述计算装置使所述代表选择单元(i)分析包含于所述客体检测CNN的至少一个FC(fully connected，完全连接)层的FC神经元之间的关系、(ii)获取生成特定最终FC输出值的特定FC神经元的参数的特定组，其中特定最终FC输出值用于判断关于对应于输入至所述FC层的特征图的客体的信息是否对应于特定类，之后，(iii)参照所述参数的所述特定组生成特定整合参数向量，在所述(b)步骤，所述计算装置使所述代表选择单元对对应于所述特定类的一个以上的特定参照ROI池化的特征图适用使用所述特定整合参数向量的向量运算，生成一个以上的特定参照FC特征图后，参照所述特定参照FC特征图生成对应于所述特定类的至少一个特定代表特征图。
在一个实施例中，特征在于，根据以下数式生成所述特定整合参数向量，
Figure BDA0002358721090000031
所述数式中，Wc表示对应于所述特定类c的所述特定整合参数向量，fk(x,y)表示对应于在所述参照图像中一个位于坐标(x,y)的所述ROI中一个的所述特定参照ROI池化的特征图中一个所包含的第k信道的值，Sc表示所述特定最终FC输出值，n表示所述特定参照ROI池化的特征图的信道的个数。
在一个实施例中，特征在于，在所述(b)步骤，所述计算装置使所述代表选择单元通过计算包含于所述特定参照FC特征图的各要素的各个平均，生成所述特定代表特征图。
在一个实施例中，特征在于，还包括(c)所述计算装置使所述代表选择单元参照所述特定代表特征图选择所述特定参照FC特征图中至少一部分，通过将对应于选择的所述特定参照FC特征图的所述参照图像中一部分设定为对应于所述特定类的特定参照图像，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的步骤。
在一个实施例中，特征在于，在所述(c)步骤，所述计算装置使所述代表选择单元生成关于所述特定代表特征图与所述特定参照FC特征图之间的距离的信息后，为了设定所述特定代表图像选择从所述特定代表特征图的距离最短的所述特定参照FC特征图中的一部分，其中，关于选择的所述特定参照FC特征图的个数与所述特定参照FC特征图的个数的特定比例是预设的。
在一个实施例中，特征在于，在所述(b)步骤，所述计算装置使所述代表选择单元通过参照关于所述类的信息分类所述参照ROI池化的特征图后，计算对应于属于特定类的客体的特定参照ROI池化的特征图中所包含的各要素的各个平均，生成对应于所述特定类的至少一个特定代表特征图。
在一个实施例中，特征在于，在所述(a)步骤之前，所述计算装置在获取到一个以上的训练图像的情况下，使所述客体检测CNN对所述训练图像适用所述卷积层、所述ROI池化层及FC层的运算生成学习用输出值后，使得执行利用所述学习用输出值及对应于其的GT(Ground Truth，地面实况)的反向传播(backpropagation)，学习关于所述卷积层、所述ROI池化层及所述FC层中至少一部分的参数，其中所述训练图像包括所述参照图像中至少一部分。
根据本发明的另一方面，公开一种方法，是为了提示对于自动行驶的理论根据，支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的测试方法，其特征在于，包括：(a)准备装置(1)使包含于之前完成学习的客体检测CNN(Convolutional Neural Network)的一个以上卷积层对输入于其的一个以上的参照图像适用一个以上卷积运算生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI(region of interest)池化层从与所述客体检测CNN联动的RPN获取关于所述参照卷积特征图上的ROI的信息，池化对应于所述ROI的值中至少一部分生成一个以上的参照ROI池化的特征图，(2)使代表选择单元参照关于所述参照图像上的所述ROI中包含的客体的类的信息分类所述参照ROI池化的特征图后，按每个类生成至少一个代表特征图，支援使得所述管理者能够评价所述客体检测C NN的所述检测过程的状态下，测试装置在获取到测试图像的情况下，使所述客体检测CNN利用其包含的所述卷积层、所述ROI池化层及FC层生成一个以上的测试ROI池化的特征图的步骤；及(b)所述测试装置使评价单元参照对应于测试用特定客体的特定类的至少一个特定代表特征图及特定测试ROI池化的特征图，生成对应于关于所述测试图像中包含的测试用客体中所述测试用特定客体的客体检测结果的可信度分数的步骤。
在一个实施例中，特征在于，在所述(b)步骤，利用参照FC特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述测试装置使所述评价单元生成关于对所述特定测试ROI池化的特征图适用FC运算而生成的特定测试FC特征图及所述特定代表特征图之间的距离的信息，使得参照所述距离相关信息生成所述可信度分数。
在一个实施例中，特征在于，在所述(b)步骤，利用参照ROI池化的特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述测试装置使所述评价单元生成关于所述特定代表特征图与所述特定测试ROI池化的特征图之间的距离的信息，使得参照所述距离相关信息生成所述可信度分数。
在一个实施例中，特征在于，还包括：(c)所述测试装置使所述评价单元显示对应于所述特定类的特定代表图像中至少一部分，支援使得所述管理者能够评价所述客体检测CNN的检测过程的步骤。
在一个实施例中，特征在于，利用参照FC特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述测试装置使所述评价单元生成关于使用所述特定测试ROI池化的特征图生成的特定测试FC特征图及对应于所述特定代表图像的特定参照FC特征图之间的距离的信息，为了选择要显示的所述特定代表图像中一部分使得参照所述距离相关信息选择所述特定参照FC特征图中一部分。
在一个实施例中，特征在于，利用所述参照ROI池化的特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述测试装置使所述评价单元生成关于对应于所述特定代表图像的特定参照ROI池化的特征图及所述特定测试ROI池化的特征图之间的距离相关信息后，为了选择要显示的所述特定代表图像中一部分使得参照所述距离相关信息选择所述特定参照FC特征图中一部分。
在一个实施例中，特征在于，在所述(b)步骤，所述测试装置使所述客体检测CNN利用所述FC层获取包含于所述测试图像的所述测试用客体的类相关信息，使所述评价单元参照关于所述测试用客体的类的所述信息中包含的关于所述测试用特定客体的所述特定类的信息选择所述特定代表特征图。
根据本发明的另一方面，公开一种计算装置，是为了提示对于自动行驶的理论根据而支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的计算装置，其特征在于，包括：存储至少一个指令的至少一个存储器；及构成为运行用于执行(I)使包含于之前完成学习的客体检测CNN(Convolutional Neural Network)的一个以上卷积层，对输入于其的一个以上的参照图像适用一个以上卷积运算生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI(region of interest)池化层，从与所述客体检测CNN联动的RPN获取关于所述参照卷积特征图上的ROI的信息，池化对应于所述ROI的值中的至少一部分生成一个以上的参照ROI池化的特征图的过程及(II)使代表选择单元参照所述参照图像上的所述ROI中包含的客体的类相关信息分类所述参照ROI池化的特征图后按每个类生成至少一个代表特征图，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的过程的所述指令的至少一个处理器。
在一个实施例中，特征在于，在所述(II)过程之前，所述处理器使所述代表选择单元(i)分析包含于所述客体检测CNN的至少一个FC(fully connected)层的FC神经元之间的关系、(ii)获取生成特定最终FC输出值的特定FC神经元的参数的特定组，其中特定最终FC输出值用于判断关于对应于输入至所述FC层的特征图的客体的信息是否对应于特定类，之后，(iii)参照所述参数的所述特定组生成特定整合参数向量，在所述(II)过程，所述处理器使所述代表选择单元通过对对应于所述特定类的一个以上的特定参照ROI池化的特征图适用使用所述特定整合参数向量的向量运算，生成一个以上的特定参照FC特征图后，参照所述特定参照FC特征图生成对应于所述特定类的至少一个特定代表特征图。
在一个实施例中，特征在于，根据以下数式生成所述特定整合参数向量，
Figure BDA0002358721090000061
所述数式中，Wc表示对应于所述特定类c的所述特定整合参数向量，fk(x,y)表示对应于在所述参照图像中一个位于坐标(x,y)的所述ROI中一个的所述特定参照ROI池化的特征图中一个所包含的第k信道的值，Sc表示所述特定最终FC输出值，n表示所述特定参照ROI池化的特征图的信道的个数。
在一个实施例中，特征在于，在所述(II)过程，所述处理器使所述代表选择单元通过计算包含于所述特定参照FC特征图的各要素的各个平均，生成所述特定代表特征图。
在一个实施例中，特征在于，所述处理器还执行(III)使所述代表选择单元参照所述特定代表特征图选择所述特定参照FC特征图中至少一部分，将对应于选择的所述特定参照FC特征图的所述参照图像中一部分设定为对应于所述特定类的特定参照图像，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的过程。
在一个实施例中，特征在于，在所述(III)过程，所述处理器使所述代表选择单元生成关于所述特定代表特征图与所述特定参照FC特征图之间的距离的信息后，为了设定所述特定代表图像选择从所述特定代表特征图的距离最短的所述特定参照FC特征图中的一部分，其中，关于选择的所述特定参照FC特征图的个数与所述特定参照FC特征图的个数的特定比例是预设的。
在一个实施例中，特征在于，在所述(II)过程，所述处理器使所述代表选择单元通过参照关于所述类的信息分类所述参照ROI池化的特征图后，计算对应于属于特定类的客体的特定参照ROI池化的特征图中所包含的各要素的各个平均，生成对应于所述特定类的至少一个特定代表特征图。
在一个实施例中，特征在于，在所述(I)过程之前，所述处理器在获取到一个以上的训练图像的情况下，使所述客体检测CNN对所述训练图像适用所述卷积层、所述ROI池化层及FC层的运算生成学习用输出值后，使得执行利用所述学习用输出值及对应于其的GT(Ground Truth)的反向传播(backprop agation)，学习关于所述卷积层、所述ROI池化层及所述FC层中至少一部分的参数，其中所述训练图像包括所述参照图像中至少一部分。
根据本发明的另一方面，公开一种测试装置，是为了提示对于自动行驶的理论根据而支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的测试装置，其特征在于，包括：存储至少一个指令的至少一个存储器；及构成为运行用于执行(I)准备装置(1)使包含于之前完成学习的客体检测CNN(Convolutional NeuralNetwork)的一个以上卷积层对输入于其的一个以上的参照图像适用一个以上卷积运算生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI(region ofinterest)池化层从与所述客体检测CNN联动的RPN获取关于所述参照卷积特征图上的ROI的信息，池化对应于所述ROI的值中至少一部分生成一个以上的参照ROI池化的特征图，(2)使代表选择单元参照关于所述参照图像上的所述ROI中包含的客体的类的信息分类所述参照ROI池化的特征图后，按每个类生成至少一个代表特征图，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的状态下，获取到测试图像的情况下，使所述客体检测CNN利用其包含的所述卷积层、所述ROI池化层及FC层生成一个以上的测试ROI池化的特征图的过程及(II)使评价单元参照对应于测试用特定客体的特定类的至少一个特定代表特征图及特定测试ROI池化的特征图，生成对应于关于所述测试图像中包含的测试用客体中所述测试用特定客体的客体检测结果的可信度分数的过程的所述指令的至少一个处理器。
在一个实施例中，特征在于，在所述(II)过程，利用参照FC特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述处理器使所述评价单元生成关于对所述特定测试ROI池化的特征图适用FC运算而生成的特定测试FC特征图及所述特定代表特征图之间的距离的信息，使得参照所述距离相关信息生成所述可信度分数。
在一个实施例中，特征在于，在所述(II)过程，利用参照ROI池化的特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述处理器使所述评价单元生成关于所述特定代表特征图与所述特定测试ROI池化的特征图之间的距离的信息，使得参照所述距离相关信息生成所述可信度分数。
在一个实施例中，特征在于，所述处理器还执行(III)使所述评价单元显示对应于所述特定类的特定代表图像中至少一部分，支援使得所述管理者能够评价所述客体检测CNN的检测过程。
在一个实施例中，特征在于，利用参照FC特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述处理器使所述评价单元生成关于使用所述特定测试ROI池化的特征图生成的特定测试FC特征图及对应于所述特定代表图像的特定参照FC特征图之间的距离的信息，为了选择要显示的所述特定代表图像中一部分使得参照所述距离相关信息选择所述特定参照FC特征图中一部分。
在一个实施例中，特征在于，利用所述参照ROI池化的特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述处理器使所述评价单元生成关于对应于所述特定代表图像的特定参照ROI池化的特征图及所述特定测试ROI池化的特征图之间的距离相关信息后，为了选择要显示的所述特定代表图像中一部分使得参照所述距离相关信息选择所述特定参照FC特征图中一部分。
在一个实施例中，特征在于，在所述(II)过程，所述处理器使所述客体检测CNN利用所述FC层获取包含于所述测试图像的所述测试用客体的类相关信息，使所述评价单元参照关于所述测试用客体的类的所述信息中包含的、关于所述测试用特定客体的所述特定类的信息选择所述特定代表特征图。
技术效果
本发明提供使用对于各客体的各个代表特征图评价客体检测器的各个判断结果的方法，具有能够提示关于自动行驶的可信性的根据的效果。
附图说明
为了用于说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分而已，本发明所属技术领域的一般技术人员(以下“普通技术人员”)在未经过创造性劳动的情况下可基于这些附图得到其他附图。
图1是简要示出本发明的一个实施例的为了提示对于自动行驶的理论而执行支援使得管理者能够评价客体检测器的客体检测过程的方法的计算装置的构成的示意图；
图2是简要示出本发明的一个实施例的为了提示对于自动行驶的理论根据而执行支援使得管理者能够评价客体检测器的客体检测过程的方法的包含于所述计算装置的客体检测CNN的构成的示意图；
图3是简要示出关于本发明的一个实施例的为了提示对于自动行驶的理论根据而支援使得管理者能够评价客体检测器的客体检测过程的方法的准备过程中的流程的示意图；
图4是简要示出关于本发明的一个实施例的为了提示对于自动行驶的理论根据而支援使得管理者能够评价客体检测器的客体检测过程的方法的测试过程中的流程的示意图。
具体实施方式
为了明确本发明的目的、技术方案及优点，以下参见例示能够实施本发明的特定实施例的附图对本发明进行详细说明。通过详细说明这些实施例使得本领域普通技术人员足以实施本发明。
并且，在本发明的具体说明及权利要求中，“包括”这一术语及其变形并非将其他技术特征、附加物、构成要素或步骤除外。普通技术人员能够从本说明书获知本发明的其他目的、优点及特性中的一部分，并且一部分可从本发明的实施获知。以下例示及附图作为实例提供，目的并非限定本发明。
并且，本发明包括本说明书中示出的实施例的所有可能的组合。本发明的多种实施例虽各不相同，但无需相互排斥。例如，在此记载的特定形状、结构及特性在一个实施例中不超出本发明的技术思想及范围的前提下可以通过其他实施例实现。另外，应理解在不超出本发明的技术思想及范围的前提下，公开的各实施例内的个别构成要素的位置或配置是可以变更的。因此以下具体说明并非以限定为目的，确切来讲，本发明的范围为权利要求所记载的范围及与之等同的所有范围。在附图中类似的附图标记在各方面表示相同或类似的功能。
本发明所述的各种图像可包括铺装或非铺装道路相关图像，该情况下可想到道路环境中可能出现的物体(例如，汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此，本发明所述的各种图像还可以是与道路无关的图像(例如，非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内相关的图像)，该情况下，可想到非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此。
作为参考，为了防止在以下说明中发生混淆，对与学习过程相关的术语添加术语“学习用”或“训练”，对与测试过程相关的术语添加术语“测试用”或“测试”。
以下，为了使得本发明所属技术领域的普通技术人员能够轻易地实施本发明，参见关于本发明的优选实施例的附图进行具体说明。
图1是简要示出本发明的一个实施例的为了提示对于自动行驶的理论根据而执行支援使得管理者能够评价客体检测器的客体检测过程的方法的计算装置的构成的示意图。
参见图1，计算装置100可以包括至少一个客体检测CNN 200、代表选择单元300及评价单元400。在此，所述客体检测CNN 200、所述代表选择单元300及所述评价单元400的输入输出及运算过程可以分别由包含于所述计算装置100的通信部110及处理器120进行。并且，包含于所述计算装置100的存储器115可以是存储了后述多种指令的状态，所述处理器120能够运行存储在所述存储器115的所述指令，可通过运行后述所述指令执行本发明的过程。并非因为描述了这样的所述计算装置100就排除所述计算装置100包括处理器、存储器、介质或其他运算要素的整合装置。
在此，参见图2说明所述客体检测CNN 200的构成。
图2是简要示出本发明的一个实施例的为了提示关于自动行驶的理论根据而执行支援使得管理者能够评价客体检测器的客体检测过程的方法的包含于所述计算装置的客体检测CNN的构成的示意图。
在此，所述客体检测CNN 200可以包括至少一个卷积层210、至少一个ROI池化层220及至少一个FC层230。所述卷积层210可通过对输入于所述客体检测CNN 200的至少一个输入图像适用一个以上卷积运算生成至少一个特征图，所述ROI池化层220可在所述卷积特征图上对对应于所述各个ROI的各区域适用一个以上的池化运算。之后，所述FC层230可对对应于各个所述ROI的各ROI池化的特征图适用一个以上的FC运算，生成包括关于所述输入图像的各客体的各边界框和与其对应的类相关信息。所述客体检测CNN 200可能在适用本发明的一个实施例的方法之前已完成学习。
所述客体检测CNN 200以外，之后将详细说明所述代表选择单元300及所述评价单元400。
图3是简要示出关于本发明的一个实施例的为了提示关于自动行驶的理论根据而支援使得管理者能够评价客体检测器的客体检测过程的方法的准备过程中的流程的示意图。
参见图3，首先，所述计算装置100可以支援使得获取用于生成一个以上的代表特征图的一个以上的参照图像或其它装置获取一个以上的参照图像。在此，所述参照图像可以包括所述客体检测CNN 200为了学习客体检测而使用过的训练图像中至少一部分。具体地，所述训练图像可以输入于所述客体检测CNN 200，通过所述卷积层210、所述ROI池化层220及所述FC层230进行运算生成学习用结果值。并且，可通过执行利用所述学习用结果值及对应于其的GT的反向传播(backpropagation)学习所述卷积层210、所述ROI池化层220及所述FC层230中至少一部分的参数。如上适用所述训练图像后，所述训练图像中至少一部分可包含于所述参照图像。但是，本发明的范围不限定于此。
获取到这样的参照图像的情况下，所述计算装置100可以使所述客体检测CNN 200对所述参照图像适用各层的各个运算。具体地，所述卷积层210可以对所述参照图像适用所述卷积运算以生成对应于所述参照图像的一个以上的参照卷积特征图。并且，在执行这种过程的同时，支援所述客体检测CNN 200的RPN可以在所述参照图像上生成作为被推定为存在各个所述客体的区域的所述ROI，并将所述ROI传递至所述客体检测CNN 200。之后，所述ROI池化层220可以在所述参照特征图上对对应于各个所述ROI的各区域值适用所述池化运算生成一个以上的参照ROI池化的特征图。
生成所述参照ROI池化的特征图的情况下，所述计算装置100可以向所述代表选择单元300传递所述参照ROI池化的特征图。所述代表选择单元300可以参照所述参照图像上的对应的ROI中包含的客体类相关信息，按类分别分类所述参照ROI池化的特征图。可从对应于各个所述参照图像的各个GT获得这种信息。之后，所述代表选择单元300可以利用各个所述参照ROI池化的特征图生成按各类的各个所述代表特征图，以下对此详细说明。
作为一例，所述代表选择单元300可以计算具有属于特定类的客体的特定参照ROI池化的特征图中包含的各构成要素的各个平均，生成将所述平均作为其构成要素的关于所述特定类的特定代表特征图。
作为另一例，作为用于生成关于所述特定类的所述特定代表特征图的先行过程，所述代表选择单元300可以分析包含于所述FC层230的FC神经元之间的关系，获取对应于所述FC神经元中至少一部分的参数组。具体地，所述代表选择单元300可以获取用于生成特定最终FC输出值的特定FC神经元的参数的特定组。所述特定最终FC输出值可以是用于判断对应于输出的特征图的客体是否包含于特定类的值。之后，获取到这种特定组的情况下，所述代表选择单元300可以参照所述特定组生成特定整合参数向量。之后，所述代表选择单元300可以对对应于所述特定类的所述特定参照ROI池化的特征图适用利用所述特定整合参数向量的一个以上的向量运算生成特定参照FC特征图。作为一例，所述向量运算可包括所述特定整合参数向量与所述特定参照ROI池化的特征图的乘法。之后，所述代表选择单元300可以计算关于所述特定参照FC特征图中包含的各构成要素的各个平均，生成将所述平均作为其构成要素的关于特定类的特定代表特征图。
例如，图3的所述客体检测CNN 200可将输入到自身的图像中包含的客体分类为汽车、行人、摩托车等，之后生成对应于汽车类、行人类及摩托类的各代表特征图。图3中，w1,w2,…,wn等可以表示包含于以上说明的所述FC层230的所述参数中对应于所述行人c的所述类行人。其结果，可如此参照所述参数生成对应于所述行人类的所述特定整合参数向量。
为了更加具体地说明所述过程，将此用数式表示如下。
Figure BDA0002358721090000121
在此，Wc可以表示关于所述特定类c的所述特定整合参数向量，fk(x,y)可以表示对应于在所述参照图像中一个位于坐标(x,y)的所述ROI中一个的所述特定参照ROI池化的特征图中一个所包含的第k信道的值。并且Sc可以表示所述特定最终FC输出值，n可以表示所述特定参照ROI池化的图的信道的个数。参照上述数式能够理解生成所述特定整合参数向量的过程。
进一步地，所述计算装置100可以分别参照按各类的所述代表特征图获取按各类的代表图像。即，所述计算装置100可以使所述代表选择单元300选择关于所述特定类的为了生成所述特定代表特征图所使用的特征图中至少一部分，将对应于选择的所述特征图的所述参照图像中一部分设定为关于所述特定类的特定代表图像。具体地，所述计算装置100可以使所述代表选择单元300生成关于对应于所述特定类的所述特定代表特征图和生成所述特定代表特征图方面所使用的所述特征图之间的距离的信息，可以设定所述参照图像中对应于距离最短的所述特征图的所述参照图像中的一部分。作为参考，可以预设关于所述训练图像的个数的所述参照图像中所述一部分的个数的比例。
例如，如前述的一例的结果，所述代表选择单元300可以生成关于所述特定代表特征图与所述特定参照ROI池化的特征图之间的距离的所述信息。如前述的另一例的结果，所述代表选择单元300可以生成关于所述特定代表特征图与所述特定参照FC特征图之间的距离的信息。两个例子的之后的过程相同。
其结果，可以生成所述客体检测CNN 200能够检测的按类的所述代表特征图及所述代表图像。以下，将说明所述计算装置100利用所述代表特征图执行所述测试过程的方式。
图4是简要示出关于本发明的一个实施例的为了提示关于自动行驶的理论根据而支援使得管理者能够评价客体检测器的客体检测过程的方法的测试过程中的流程的示意图。
参见图4，所述计算装置100能够支援使得获取至少一个测试图像或其他装置获取至少一个测试图像。作为一例，所述计算装置100安装于所述自动行驶车辆的情况下，所述测试图像可以是所述自动行驶车辆运行的过程中通过摄像头获取的图像中的一个。获取到所述测试图像的情况下，所述计算装置100可以使所述客体检测CNN 200对所述测试图像适用各层的各个运算。具体地，所述卷积层210可以对所述测试图像适用所述卷积运算生成对应于所述测试图像的一个以上的测试卷积特征图。并且，在执行这种过程的同时，支援所述客体检测CNN 200的RPN可以在所述测试图像上生成作为被推定为存在各个测试用客体的区域的测试用ROI，并将所述测试用ROI传递至所述客体检测CNN 200。之后，所述ROI池化层220可以在所述测试卷积特征图上对对应于各个所述测试用ROI的各区域适用所述池化运算生成一个以上的测试ROI池化的特征图。
之后，所述FC层230可对各测试ROI池化的特征图适用所述FC运算生成各个测试FC特征图，能够生成关于包括所述测试图像上的所述各个测试用客体的各个测试用边界框的信息和关于各个测试用客体的各类的信息。在此，关于客体的各类的所述信息可以包括关于所述测试用特定客体的所述特定类的信息。即，所述测试装置能够使所述客体检测CNN200使用所述FC层230获取关于所述测试图像中包含的所述测试用客体的类的信息，使所述评价单元使用关于所述测试用客体的所述类的信息选择所述代表特征图。
在此，已经使用所述参照ROI池化的特征图生成了所述代表特征图的情况下，所述计算装置100可以使所述评价单元400生成关于(i)对应于测试用特定客体的、所述测试ROI池化的特征图中特定测试ROI池化的特征图与(ii)对应于被推定为包含所述测试用特定客体的所述特定类的所述特定代表特征图之间的距离的信息，可以使得参照关于所述距离的所述信息生成关于所述测试用特定客体的特定可信度分数。
或者，已经使用所述参照FC特征图生成了所述代表特征图的情况下，所述计算装置100可以使所述评价单元400生成关于(i)对应于所述测试用特定客体的、所述测试FC特征图中特定测试FC特征图与(ii)特定代表特征图之间的距离的信息，可以使得参照关于所述距离的所述信息生成关于所述测试用特定客体的所述特定可信度分数。
在此，可以通过计算作为两个所述特征图之间的距离的L1距离或作为L-p距离的欧几里德距离(Euclidean distance)生成关于所述距离的所述信息，但本发明的范围并非限定于此。
并且，在计算所述特定可信度分数的过程的基础上，所述计算装置100还可以使所述评价单元400获取对应于所述特定类的所述特定代表图像中至少一部分作为由管理者确认或显示于管理者的图像。
在此，已经利用所述参照ROI池化的特征图生成了所述代表特征图的情况下，所述评价单元400可以使得生成关于对应于所述特定代表图像的所述特定参照ROI池化的特征图及所述特定测试ROI池化的特征图之间的距离的信息后，为了选择要显示的所述特定代表图像中一部分而可以参照所述距离相关信息选择所述特定参照ROI池化的特征图中一部分。在此，所述特定代表图像可以对应于所述特定参照ROI池化的特征图。为了确定给所述管理者显示时的顺序可以参照关于所述距离的这种信息。
反面，已经使用所述参照FC特征图生成了所述代表特征图的情况下，所述评价单元400可以使得生成关于对应于所述特定代表图像的所述特定参照FC特征图及所述特定测试FC特征图之间的距离的信息后，参照所述距离相关信息选择所述特定参照FC特征图中一部分从而选择要显示的所述特定代表图像中一部分。在此，所述特定代表图像可以对应于所述特定参照FC特征图。为了确定给所述管理者显示时的顺序可以参照关于所述距离的这种信息。
上述说明的测试方法将与联动的所述准备过程同时说明。在以下说明中将说明准备装置及测试装置。所述准备装置及所述测试装置可以是与所述计算装置100相同的计算装置，但也可以不相同。例如，所述准备装置可以是所述计算装置100，但所述测试装置可以是另外的计算装置。
首先，所述准备装置(1)使包含于之前完成学习的所述客体检测CNN 200的所述卷积层210，对输入于其的所述参照图像适用所述卷积运算生成所述参照卷积特征图后，使包含于所述客体检测CNN 200的所述ROI(region of interest)池化层220从与所述客体检测CNN联动的所述RPN获取关于所述参照卷积特征图上的所述ROI的信息，池化对应于所述ROI的值中至少一部分生成一个以上的参照ROI池化的特征图，(2)使所述代表选择单元300参照所述参照图像上的所述ROI中包含的客体的类相关信息分类所述参照ROI池化的特征图后，每个类生成至少一个代表特征图，以支援使得所述管理者能够评价所述客体检测CNN的检测过程的状态下，所述测试装置获取到所述测试图像的情况下，可以使所述客体检测CNN200利用包含于其的所述卷积层210、所述ROI池化层220及FC层230生成所述测试ROI池化的特征图。
之后，所述测试装置可以使评价单元400参照对应于测试用特定客体的特定类的所述特定代表特征图及所述特定测试ROI池化的特征图生成对应于关于所述测试图像中包含的测试用客体中所述测试用特定客体的客体检测结果的所述特定可信度分数。
以下将说明用于通过执行各客体的过程判断各客体的所述判别可信度的生成了所述图像以后的过程。
首先，所述计算装置100安装于所述自动行驶车辆的情况下，所述可信度分数可以用作告知驾驶员的用途。即，所述可信度分数为特定临界值以下的情况下，所述客体检测CNN 200不再可信，因此所述驾驶员可被告知能够控制所述自动行驶车辆且更新所述客体检测CNN 200。
并且，显示的所述特定图像中所述至少一部分可以在所述程序员维修所述客体检测CNN 200时提供帮助，使得掌握所述客体检测CNN 200以何种方式、如何错误地工作。
本发明涉及利用可说明的AI的自动行驶系统。所述可说明的AI判断判别过程，因此程序员能够更加简便地构建包括所述可说明的AI的自动行驶系统且图谋功能安全。例如，学习的DNN(Deep Neural Network)能够从输入于自身的图像提取特征图，可通过比较所述特征图和与其对应的代表特征图生成两个所述特征图之间的类似分数，其可由程序员分析。因此，本发明可为了对故障的抵抗力及在极限状况下变动的鲁棒性而使用。
以上说明的本发明的实施例可实现为能够通过多种计算机构成要素执行的程序命令的形态存储在计算机可读存储介质中。所述计算机可读存储介质可包括程序指令、数据文件、数据结构等或其组合。存储在所述计算机可读存储介质中的程序指令可以是为本发明而专门设计和构成的，但也可以是计算机软件领域的技术人员公知使用的。计算机可读存储介质例如可以是硬盘、软盘及磁带之类的磁介质、CD-ROM、DVD之类的光存储介质、软光盘(floptical disk)之类的磁-光介质(magneto-optical media)及ROM、RAM、闪速存储器等为了存储和执行程序命令而专门构成的硬件装置。并且，程序命令的例不仅包括通过编译器得到的机器代码，还包括能够通过解释器由计算机运行的高级语言代码。所述硬件装置可构成为为了执行本发明的处理而作为一个以上的软件模块工作，反之相同。
以上通过本发明的具体构成要素等特定事项与限定的实施例及附图进行了说明，但是其目的只是用于帮助更全面地理解本发明，本发明并不限定于上述实施例，本发明所属领域的普通技术人员可根据以上记载想到多种修改及变形。
因此本发明的思想不应局限于以上说明的实施例，所述权利要求范围及与该权利要求范围等同或等价变形的所有一切都属于本发明思想的范畴。

Claims (30)

1.一种方法，是为了提示对于自动行驶的理论根据而支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的方法，其特征在于，包括：
(a)计算装置使包含于之前完成学习的客体检测CNN的一个以上卷积层对输入于其的一个以上的参照图像适用一个以上卷积运算以生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI池化层从与所述客体检测CNN联动的RPN获取关于所述参照卷积特征图上的ROI的信息，池化对应于所述ROI的值中至少一部分生成一个以上的参照ROI池化的特征图的步骤；以及
(b)所述计算装置使代表选择单元参照关于所述参照图像上的所述ROI中包含的客体的类的信息分类所述参照ROI池化的特征图后，按每个类生成至少一个代表特征图，以支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的步骤。
2.根据权利要求1所述的方法，其特征在于：
所述(b)步骤之前，所述计算装置使所述代表选择单元(i)分析包含于所述客体检测CNN的至少一个FC层的FC神经元之间的关系、(ii)获取生成特定最终FC输出值的特定FC神经元的参数的特定组，其中特定最终FC输出值用于判断关于对应于输入至所述FC层的特征图的客体的信息是否对应于特定类，之后，(iii)参照所述参数的所述特定组生成特定整合参数向量，
在所述(b)步骤，所述计算装置使所述代表选择单元通过对对应于所述特定类的一个以上的特定参照ROI池化的特征图适用使用所述特定整合参数向量的向量运算，生成一个以上的特定参照FC特征图后，参照所述特定参照FC特征图生成对应于所述特定类的至少一个特定代表特征图。
3.根据权利要求2所述的方法，其特征在于：
根据以下数式生成所述特定整合参数向量，
Figure FDA0002358721080000011
所述数式中，Wc表示对应于所述特定类c的所述特定整合参数向量，fk(x,y)表示对应于在所述参照图像中一个位于坐标(x,y)的所述ROI中一个的所述特定参照ROI池化的特征图中一个所包含的第k信道的值，Sc表示所述特定最终FC输出值，n表示所述特定参照ROI池化的特征图的信道的个数。
4.根据权利要求2所述的方法，其特征在于：
在所述(b)步骤，所述计算装置使所述代表选择单元通过计算包含于所述特定参照FC特征图的各要素的各个平均，生成所述特定代表特征图。
5.根据权利要求2所述的方法，其特征在于，还包括：
(c)所述计算装置使所述代表选择单元参照所述特定代表特征图选择所述特定参照FC特征图中至少一部分，通过将对应于选择的所述特定参照FC特征图的所述参照图像中一部分设定为对应于所述特定类的特定参照图像，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的步骤。
6.根据权利要求5所述的方法，其特征在于：
在所述(c)步骤，所述计算装置使所述代表选择单元生成关于所述特定代表特征图与所述特定参照FC特征图之间的距离的信息后，为了设定所述特定代表图像选择从所述特定代表特征图的距离最短的所述特定参照FC特征图中的一部分，其中，关于选择的所述特定参照FC特征图的个数与所述特定参照FC特征图的个数的特定比例是预设的。
7.根据权利要求1所述的方法，其特征在于：
在所述(b)步骤，所述计算装置使所述代表选择单元通过参照关于所述类的信息分类所述参照ROI池化的特征图后，计算对应于属于特定类的客体的特定参照ROI池化的特征图中所包含的各要素的各个平均，生成对应于所述特定类的至少一个特定代表特征图。
8.根据权利要求1所述的方法，其特征在于：
在所述(a)步骤之前，所述计算装置在获取到一个以上的训练图像的情况下，使所述客体检测CNN对所述训练图像适用所述卷积层、所述ROI池化层及FC层的运算生成学习用输出值后，使得执行利用所述学习用输出值及对应于其的GT的反向传播，学习关于所述卷积层、所述ROI池化层及所述FC层中至少一部分的参数，其中所述训练图像包括所述参照图像中至少一部分。
9.一种方法，是为了提示对于自动行驶的理论根据而支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的测试方法，其特征在于，包括：
(a)准备装置(1)使包含于之前完成学习的客体检测CNN的一个以上卷积层对输入于其的一个以上的参照图像适用一个以上卷积运算生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI池化层从与所述客体检测CNN联动的RPN获取关于所述参照卷积特征图上的ROI的信息，池化对应于所述ROI的值中至少一部分生成一个以上的参照ROI池化的特征图，(2)使代表选择单元参照关于所述参照图像上的所述ROI中包含的客体的类的信息分类所述参照ROI池化的特征图后，按每个类生成至少一个代表特征图，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的状态下，测试装置在获取到测试图像的情况下，使所述客体检测CNN利用其包含的所述卷积层、所述ROI池化层及FC层生成一个以上的测试ROI池化的特征图的步骤；以及
(b)所述测试装置使评价单元参照对应于测试用特定客体的特定类的至少一个特定代表特征图及特定测试ROI池化的特征图，生成对应于关于所述测试图像中包含的测试用客体中所述测试用特定客体的客体检测结果的可信度分数的步骤。
10.根据权利要求9所述的方法，其特征在于：
在所述(b)步骤，利用参照FC特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述测试装置使所述评价单元生成关于对所述特定测试ROI池化的特征图适用FC运算而生成的特定测试FC特征图及所述特定代表特征图之间的距离的信息，使得参照所述距离相关信息生成所述可信度分数。
11.根据权利要求9所述的方法，其特征在于：
在所述(b)步骤，利用参照ROI池化的特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述测试装置使所述评价单元生成关于所述特定代表特征图与所述特定测试ROI池化的特征图之间的距离的信息，使得参照所述距离相关信息生成所述可信度分数。
12.根据权利要求9所述的方法，其特征在于，还包括：
(c)所述测试装置使所述评价单元显示对应于所述特定类的特定代表图像中至少一部分，支援使得所述管理者能够评价所述客体检测CNN的检测过程的步骤。
13.根据权利要求12所述的方法，其特征在于：
利用参照FC特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述测试装置使所述评价单元生成关于使用所述特定测试ROI池化的特征图生成的特定测试FC特征图及对应于所述特定代表图像的特定参照FC特征图之间的距离的信息，为了选择要显示的所述特定代表图像中一部分使得参照所述距离相关信息选择所述特定参照FC特征图中一部分。
14.根据权利要求12所述的方法，其特征在于：
利用所述参照ROI池化的特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述测试装置使所述评价单元生成关于对应于所述特定代表图像的特定参照ROI池化的特征图及所述特定测试ROI池化的特征图之间的距离相关信息后，为了选择要显示的所述特定代表图像中一部分使得参照所述距离相关信息选择所述特定参照FC特征图中一部分。
15.根据权利要求9所述的方法，其特征在于：
在所述(b)步骤，所述测试装置使所述客体检测CNN利用所述FC层获取包含于所述测试图像的所述测试用客体的类相关信息，使所述评价单元参照关于所述测试用客体的类的所述信息中包含的关于所述测试用特定客体的所述特定类的信息选择所述特定代表特征图。
16.一种计算装置，是为了提示对于自动行驶的理论根据而支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的计算装置，其特征在于，包括：
至少一个存储器，其存储至少一个指令；以及
至少一个处理器，其构成为运行用于执行(I)使包含于之前完成学习的客体检测CNN的一个以上卷积层，对输入于其的一个以上的参照图像适用一个以上卷积运算生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI池化层，从与所述客体检测CNN联动的RPN获取关于所述参照卷积特征图上的ROI的信息，池化对应于所述ROI的值中的至少一部分生成一个以上的参照ROI池化的特征图的过程及(II)使代表选择单元参照所述参照图像上的所述ROI中包含的客体的类相关信息分类所述参照ROI池化的特征图后按每个类生成至少一个代表特征图，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的过程的所述指令。
17.根据权利要求16所述的计算装置，其特征在于：
在所述(II)过程之前，所述处理器使所述代表选择单元(i)分析包含于所述客体检测CNN的至少一个FC层的FC神经元之间的关系、(ii)获取生成特定最终FC输出值的特定FC神经元的参数的特定组，其中特定最终FC输出值用于判断关于对应于输入至所述FC层的特征图的客体的信息是否对应于特定类，之后，(iii)参照所述参数的所述特定组生成特定整合参数向量，
在所述(II)过程，所述处理器使所述代表选择单元通过对对应于所述特定类的一个以上的特定参照ROI池化的特征图适用使用所述特定整合参数向量的向量运算，生成一个以上的特定参照FC特征图后，参照所述特定参照FC特征图生成对应于所述特定类的至少一个特定代表特征图。
18.根据权利要求17所述的计算装置，其特征在于：
根据以下数式生成所述特定整合参数向量，
Figure FDA0002358721080000051
所述数式中，Wc表示对应于所述特定类c的所述特定整合参数向量，fk(x,y)表示对应于在所述参照图像中一个位于坐标(x,y)的所述ROI中一个的所述特定参照ROI池化的特征图中一个所包含的第k信道的值，Sc表示所述特定最终FC输出值，n表示所述特定参照ROI池化的特征图的信道的个数。
19.根据权利要求17所述的计算装置，其特征在于：
在所述(II)过程，所述处理器使所述代表选择单元通过计算包含于所述特定参照FC特征图的各要素的各个平均，生成所述特定代表特征图。
20.根据权利要求17所述的计算装置，其特征在于：
所述处理器还执行(III)使所述代表选择单元参照所述特定代表特征图选择所述特定参照FC特征图中至少一部分，将对应于选择的所述特定参照FC特征图的所述参照图像中一部分设定为对应于所述特定类的特定参照图像，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的过程。
21.根据权利要求20所述的计算装置，其特征在于：
在所述(III)过程，所述处理器使所述代表选择单元生成关于所述特定代表特征图与所述特定参照FC特征图之间的距离的信息后，为了设定所述特定代表图像选择从所述特定代表特征图的距离最短的所述特定参照FC特征图中的一部分，其中，关于选择的所述特定参照FC特征图的个数与所述特定参照FC特征图的个数的特定比例是预设的。
22.根据权利要求16所述的计算装置，其特征在于：
在所述(II)过程，所述处理器使所述代表选择单元通过参照关于所述类的信息分类所述参照ROI池化的特征图后，计算对应于属于特定类的客体的特定参照ROI池化的特征图中所包含的各要素的各个平均，生成对应于所述特定类的至少一个特定代表特征图。
23.根据权利要求16所述的计算装置，其特征在于：
在所述(I)过程之前，所述处理器在获取到一个以上的训练图像的情况下，使所述客体检测CNN对所述训练图像适用所述卷积层、所述ROI池化层及FC层的运算生成学习用输出值后，使得执行利用所述学习用输出值及对应于其的GT的反向传播，学习关于所述卷积层、所述ROI池化层及所述FC层中至少一部分的参数，其中所述训练图像包括所述参照图像中至少一部分。
24.一种测试装置，是为了提示对于自动行驶的理论根据而支援使得至少一个管理者能够评价一个以上的客体检测器的一个以上的检测过程的测试装置，其特征在于，包括：
至少一个存储器，其存储至少一个指令；以及
至少一个处理器，其构成为运行用于执行(I)准备装置(1)使包含于之前完成学习的客体检测CNN的一个以上卷积层对输入于其的一个以上的参照图像适用一个以上卷积运算生成一个以上的参照卷积特征图后，使包含于所述客体检测CNN的一个以上的ROI池化层从与所述客体检测CNN联动的RPN获取关于所述参照卷积特征图上的ROI的信息，池化对应于所述ROI的值中至少一部分生成一个以上的参照ROI池化的特征图，(2)使代表选择单元参照关于所述参照图像上的所述ROI中包含的客体的类的信息分类所述参照ROI池化的特征图后，按每个类生成至少一个代表特征图，支援使得所述管理者能够评价所述客体检测CNN的所述检测过程的状态下，获取到测试图像的情况下，使所述客体检测CNN利用其包含的所述卷积层、所述ROI池化层及FC层生成一个以上的测试ROI池化的特征图的过程及(II)使评价单元参照对应于测试用特定客体的特定类的至少一个特定代表特征图及特定测试ROI池化的特征图，生成对应于关于所述测试图像中包含的测试用客体中所述测试用特定客体的客体检测结果的可信度分数的过程的所述指令。
25.根据权利要求24所述的测试装置，其特征在于：
在所述(II)过程，利用参照FC特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述处理器使所述评价单元生成关于对所述特定测试ROI池化的特征图适用FC运算而生成的特定测试FC特征图及所述特定代表特征图之间的距离的信息，使得参照所述距离相关信息生成所述可信度分数。
26.根据权利要求24所述的测试装置，其特征在于：
在所述(II)过程，利用参照ROI池化的特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述处理器使所述评价单元生成关于所述特定代表特征图与所述特定测试ROI池化的特征图之间的距离的信息，使得参照所述距离相关信息生成所述可信度分数。
27.根据权利要求24所述的测试装置，其特征在于：
所述处理器还执行(III)使所述评价单元显示对应于所述特定类的特定代表图像中至少一部分，支援使得所述管理者能够评价所述客体检测CNN的检测过程。
28.根据权利要求27所述的测试装置，其特征在于：
利用参照FC特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述处理器使所述评价单元生成关于使用所述特定测试ROI池化的特征图生成的特定测试FC特征图及对应于所述特定代表图像的特定参照FC特征图之间的距离的信息，为了选择要显示的所述特定代表图像中一部分使得参照所述距离相关信息选择所述特定参照FC特征图中一部分。
29.根据权利要求27所述的测试装置，其特征在于：
利用所述参照ROI池化的特征图生成了包含所述特定代表特征图的代表特征图的情况下，所述处理器使所述评价单元生成关于对应于所述特定代表图像的特定参照ROI池化的特征图及所述特定测试ROI池化的特征图之间的距离相关信息后，为了选择要显示的所述特定代表图像中一部分使得参照所述距离相关信息选择所述特定参照FC特征图中一部分。
30.根据权利要求24所述的测试装置，其特征在于：
在所述(II)过程，所述处理器使所述客体检测CNN利用所述FC层获取包含于所述测试图像的所述测试用客体的类相关信息，使所述评价单元参照关于所述测试用客体的类的所述信息中包含的、关于所述测试用特定客体的所述特定类的信息选择所述特定代表特征图。
CN202010015507.XA 2019-01-31 2020-01-07 使得能够评价自动行驶客体检测过程的支援方法及装置 Active CN111507151B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799139P 2019-01-31 2019-01-31
US62/799,139 2019-01-31
US16/724,424 2019-12-23
US16/724,424 US10713815B1 (en) 2019-01-31 2019-12-23 Method and device for supporting administrators to processes of object detectors to provide logical driving

Publications (2)

Publication Number Publication Date
CN111507151A true CN111507151A (zh) 2020-08-07
CN111507151B CN111507151B (zh) 2023-08-18

Family

ID=69192004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010015507.XA Active CN111507151B (zh) 2019-01-31 2020-01-07 使得能够评价自动行驶客体检测过程的支援方法及装置

Country Status (5)

Country Link
US (1) US10713815B1 (zh)
EP (1) EP3690733A1 (zh)
JP (1) JP6853543B2 (zh)
KR (1) KR102313129B1 (zh)
CN (1) CN111507151B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7324757B2 (ja) * 2018-01-10 2023-08-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
CN112766687B (zh) * 2021-01-12 2024-02-27 北京化工大学 一种基于深度cnn的飞机总装物料配送优先级分配方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
US20170169315A1 (en) * 2015-12-15 2017-06-15 Sighthound, Inc. Deeply learned convolutional neural networks (cnns) for object localization and classification
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
JP2018077829A (ja) * 2016-11-09 2018-05-17 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
US20180158189A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. System and method for a deep learning machine for object detection
CN108416394A (zh) * 2018-03-22 2018-08-17 河南工业大学 基于卷积神经网络的多目标检测模型构建方法
JP2018534694A (ja) * 2015-11-04 2018-11-22 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475331B (zh) * 2016-02-17 2022-04-05 英特尔公司 用于对象检测的方法、装置、系统和计算机可读介质
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
KR102585216B1 (ko) * 2017-12-14 2023-10-05 삼성전자주식회사 영상 인식 방법 및 그 장치
US10955842B2 (en) * 2018-05-24 2021-03-23 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10678253B2 (en) * 2018-05-24 2020-06-09 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
JP7135504B2 (ja) 2018-07-02 2022-09-13 カシオ計算機株式会社 画像識別装置、画像識別方法及びプログラム
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US10410120B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
JP2018534694A (ja) * 2015-11-04 2018-11-22 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク
US20170169315A1 (en) * 2015-12-15 2017-06-15 Sighthound, Inc. Deeply learned convolutional neural networks (cnns) for object localization and classification
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
JP2018077829A (ja) * 2016-11-09 2018-05-17 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
US20180158189A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. System and method for a deep learning machine for object detection
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
CN108416394A (zh) * 2018-03-22 2018-08-17 河南工业大学 基于卷积神经网络的多目标检测模型构建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AVANTI SHRIKUMAR ET AL.: "Learning Important Features Through Propagating Activation Differences" *
GE LIU ET AL.: "Visualizing Feature Maps in Deep Neural Networks using DeepResolve A Genomics Case Study" *
RAMPRASAATH R. SELVARAJU ET AL.: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization" *
SHAOQING REN ET AL.: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks" *

Also Published As

Publication number Publication date
EP3690733A1 (en) 2020-08-05
KR20200095359A (ko) 2020-08-10
CN111507151B (zh) 2023-08-18
KR102313129B1 (ko) 2021-10-18
JP2020126621A (ja) 2020-08-20
US20200250853A1 (en) 2020-08-06
JP6853543B2 (ja) 2021-03-31
US10713815B1 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
EP3690717B1 (en) Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10373026B1 (en) Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
JP6857370B2 (ja) ターゲット物体予測ネットワーク及びターゲット物体統合ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に係る最適化のための再構成可能なネットワーク基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
JP6846070B2 (ja) 自律走行ネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法及び学習装置、そしてこれを用いたテスティング方法及びテスティング装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｆｕｎｃｔｉｏｎａｌ ｓａｆｅｔｙ ｂｙ ｗａｒｎｉｎｇ ｄｒｉｖｅｒ ａｂｏｕｔ ｐｏｔｅｎｔｉａｌ ｄａｎｇｅｒｏｕｓ ｓｉｔｕａｔｉｏｎ ｂｙ ｕｓｉｎｇ ｅｘｐｌａｉｎａｂｌｅ ａｉ ｗｈｉｃｈ ｖｅｒｉｆｉｅｓ ｄｅｔｅｃｔｉｏｎ ｐｒｏｃｅｓｓｅｓ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ ｎｅｔｗｏｒｋ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6962605B2 (ja) 連続学習を利用して検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及びこれを利用した装置
CN111507373B (zh) 执行无缝参数变更的方法及装置
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
CN110879961A (zh) 利用车道模型的车道检测方法和装置
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
CN111507151B (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
CN111507152A (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
JP6903352B2 (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｅｎｓｏｒ ｆｕｓｉｏｎ ｂｙ ｕｓｉｎｇ ｍｅｒｇｉｎｇ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｌｅａｒｎｓ ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ｝
CN110909588B (zh) 基于cnn的用于车道线检测的方法和装置
CN111460879B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant