CN108960405A - 识别系统、通用特征值提取单元以及识别系统构成方法 - Google Patents

识别系统、通用特征值提取单元以及识别系统构成方法 Download PDF

Info

Publication number
CN108960405A
CN108960405A CN201810124247.2A CN201810124247A CN108960405A CN 108960405 A CN108960405 A CN 108960405A CN 201810124247 A CN201810124247 A CN 201810124247A CN 108960405 A CN108960405 A CN 108960405A
Authority
CN
China
Prior art keywords
neural network
identifying system
input
output
identification mission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810124247.2A
Other languages
English (en)
Inventor
佐藤育郎
安倍满
土井浩史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Publication of CN108960405A publication Critical patent/CN108960405A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供识别系统、通用特征值提取单元以及识别系统构成方法，的目的在于在将传感器值作为输入使用神经网络进行识别的识别系统中，降低研发成本。识别系统(100)具备：传感器处理单元SPU(10)，其通过进行感测而输出传感器值；任务专门化单元TSU(30)，包含：物体检测部(31)，进行基于传感器值的物体检测任务，以及语义分割部(32)，进行基于传感器值的语义分割任务；以及通用特征值提取单元GEU(20)，其配置于传感器处理单元(10)和任务专门化单元(30)之间，且配置有将传感器值作为输入，提取输入至物体检测部(31)以及语义分割部(32)的通用特征值的通用神经网络。

Description

识别系统、通用特征值提取单元以及识别系统构成方法
本申请要求2017年5月18日向日本国申请的专利申请号为2017-098641的优先权，该申请的内容通过引用而编入本说明书。
技术领域
本发明涉及一种基于传感器值进行识别处理的识别系统，该识别系统中使用的通用特征值提取单元以及识别系统构成方法。
背景技术
作为基于传感器值进行识别处理的识别系统，使用神经网络等机器学习模型从传感器值取得特征值而进行识别的识别系统广为人知(例如，非专利文献1)。这样的识别系统应用于例如车辆的自动驾驶、驾驶辅助等车辆驾驶控制。
在车辆驾驶控制中，例如，作为传感器值取得摄像头的图像和毫米波雷达的检测值等，并将其输入神经网络等机器学习模型，从而得到标识识别、行人检测、白色标线检测等的结果，车辆基于这些识别结果(即，机器学习模型的输出)而被控制。作为车辆的控制有基于标识识别结果的限速、基于行人检测结果的自动紧急刹车、基于白色标线检测结果的车道保持(lane keeping)等。
例如，这些标识识别、行人检测及白色标线检测均对于通过摄像头拍摄得到的图像(拍摄图像)进行识别处理。通过将拍摄图像输入至为标识识别而构成的已经学习的神经网络，得到标识的识别结果，并且，通过将拍摄图像输入至为行人检测而构成的已经学习的神经网络，得到行人检测结果，通过将拍摄图像输入至为白色标线的检测而构成的已经学习的神经网络，得到白色标线检测结果。
【非专利文献1】Iasonas Kokkinos、“UberNet:Training a‘Universal’Convolutional Neural Network for Low-，Mid-,and High-Level Vision usingDiverse Datasets and Limited Memory”、arXiv:1609.02132v1[cs.CV]、7Sep 2016；
【非专利文献2】田向权、关根优年，《关于神经网络的硬件安装及其系统化的研究》，日本神经回路学会杂志，Vol.20、No.4(2013)、p.166-173；
【非专利文献3】田中爱久、黑柳喫、岩田彰，《用于FPGA的神经网络的硬件化方法》，电子情报通信学会技术研究报告，NC、Neurocomputing100(688)、p.175-182、2001-03-16、一般社团法人电子情报通信学会；
【非专利文献4】秋山泰，《神经网络的硬件》，Operations·Research，1992年7月号，p.342-346。
发明内容
技术问题
为了得到高精度的神经网络，需要大量的学习数据，另外，为了学习所准备好的大量的学习数据需要较长的运算时间。以往，因为这些神经网络必须根据每个识别任务(标识识别、行人检测、白色标线检测等)准备多个，所以研发成本(包含费用成本、时间成本、作业负担成本)较高，用于更新识别系统的更新成本也较高。
特别是，在如进行自动驾驶和驾驶辅助的车辆一样通过执行多个识别任务来得到车辆的控制值的系统中，例如，相同的拍摄图像被利用于多个识别任务，在各个识别任务中，虽然对于拍摄图像进行了同样的特征值提取运算，但根据每个识别任务准备了独立的神经网络。
本发明的目的在于，在将传感器值作为输入使用神经网络进行识别的识别系统中，降低研发成本。
技术方案
本发明的一个方面的识别系统，其具有如下构成，该构成包括：感测单元，通过进行感测而输出传感器值；任务专门化单元，包括：第1识别处理部，进行基于所述传感器值的第1识别任务，以及第2识别处理部，进行基于所述传感器值的第2识别任务；通用特征值提取单元，其配置于所述感测单元和所述任务专门化单元之间，且配置有将所述传感器值作为输入，提取输入至所述第1识别处理部以及所述第2识别处理部的通用特征值的通用神经网络。
根据该构成，可以使用通用神经网络进行共同使用于第1识别任务和第2识别任务的通用特征值提取，因此可以降低研发成本。
所述通用特征值提取单元可以配置于与所述任务专门化单元为不同个体的半导体芯片上。
根据该构成，可以分别研发通用特征值提取单元和任务专门化单元，可以降低研发管理成本。
所述通用特征值提取单元中的所述通用神经网络可以在半导体芯片中由硬件构成。
根据该构成，能够以低功耗、低发热量、高速地进行通用特征值提取单元中的特征值提取。另外，在由硬件构成通用神经网络的情况下，虽然更新该通用神经网络时的成本会提高，但是通过软件来安装任务专门化单元的各个部分，更新任务专门化单元的各个部分，可以抑制成本而更新识别系统。
所述第1识别处理部，可以构成为包含所述第1识别任务用神经网络，其将从所述通用特征值提取单元输出的通用特征值作为输入，将所述识别处理结果作为输出。
根据该构成，将通用神经网络和第1识别任务用神经网络串联使用，从而可以从传感器值得到第1识别任务的识别结果。
所述感测单元可以具备：传感器，用于获取传感器值；以及预处理部，对于传感器值进行预处理。
根据该构成，在预处理中，可以得到适合于输入至通用神经网络的传感器值。
所述通用特征值提取单元可以具备离散器，其将所述通用神经网络的各层的输入分解为整数基。
根据该构成，可以高速地进行通用特征值的提取。
所述通用神经网络可以具有整数权重。
根据该构成也可以高速地进行通用特征值的提取。
所述通用特征值提取单元可以具备离散器，其将所述通用神经网络的各层的输入分解为整数基，所述通用神经网络可以构成为保持离散化为2值或者3值的权重，通过逻辑运算来处理内部运算的一部分至全部，通过非线性激活函数转换所述逻辑运算的结果，并将所述转换结果传递给下一层。
根据该构成也可以高速地进行通用特征值的提取。
所述通用特征值提取单元，可以具备通信模块，或者可以连接于通信模块，且可以基于通过通信模块接收的信息，更新所述通用神经网络的权重。
根据该构成，可以通过通信远程更新通用特征值提取单元的通用神经网络的权重。
本发明的一个方面的通用特征值提取单元，具有如下构成，其配置于感测单元和任务专门化单元之间，且配置有将所述传感器值作为输入，提取在所述第1识别处理部以及所述第2识别处理部中共同使用的通用特征值的通用神经网络；所述感测单元通过进行感测而输出传感器值；所述任务专门化单元包括：第1识别处理部，进行基于所述传感器值的第1识别任务，以及第2识别处理部，进行基于所述传感器值的第2识别任务。
根据该构成，可以使用通用神经网络进行用于第1识别任务和第2识别任务的通用特征值的计算，因此相比可以执行相同的识别任务并且在任务之间不使用通用特征值的构成，作为系统整体可以使运算器的规模变小，且可以降低研发成本。
本发明的一个方面的识别系统构成方法为构成上述识别系统的识别系统构成方法，具有将进行所述第1识别任务的已经学习的识别器的输入以及输出的数据、以及进行所述第2识别任务的已经学习的识别器的输入以及输出的数据作为学习数据集使用来学习所述通用神经网络的构成。
为了学习通用神经网络(具体地说，是确定权重参数)，需要大量的学习数据集。在本识别系统中，因为由通用特征值提取单元承担特征值提取的至少一部分，由任务专门化单元进行第1识别任务以及第2识别任务的各个识别结果的输出，所以为了学习通用神经网络，需要第1识别任务用学习数据集和第2识别任务用学习数据集。根据识别任务的种类准备学习数据集较为困难，因此根据上述构成，将进行所述第1识别任务的已经学习的识别器的输入以及输出的数据、以及进行所述第2识别任务的已经学习的识别器的输入以及输出的数据作为学习数据集使用。由于这种已经学习的识别器易于获得，因此作为结果，较容易地获得用于学习通用神经网络的学习数据集。这样，通过使用第1识别任务用学习数据集和第2识别任务用学习数据集，各个识别任务可以学习包含通用神经网络的end-to-end，能够以符合第1识别任务以及第2识别任务的任意一个的方式学习通用神经网络。
作为所述识别器，可以使用整合多个识别器的识别结果来得到所述输出的数据的集成识别器。
据此，可以得到更高精度的学习数据集。
本发明的一个方面的识别系统构成方法为构成上述识别系统的识别系统构成方法，可以将进行所述第1识别任务的已经学习的识别器的输入以及输出的数据作为学习数据集使用来学习所述第1识别任务用神经网络。
根据该构成，可以较容易地得到所述第1识别任务用神经网络的学习数据集。
作为所述识别器，可以使用整合多个识别器的识别结果来得到所述输出的数据的集成识别器。
根据该构成，可以得到更高精度的学习数据集。
本发明的一个方面的识别系统构成方法为构成上述识别系统的识别系统构成方法，其具有包括如下工序的构成，以所述通用神经网络的输入与所述第1识别任务用神经网络的输出之间的关系使得进行所述第1识别任务的已经学习的识别器的输入与输出之间的关系更加近似的方式，并且，以所述通用神经网络的输入与所述第2识别任务用神经网络的输出之间的关系使得进行所述第2识别任务的已经学习的识别器的输入与输出之间的关系更加近似的方式，更改所述通用神经网络的结构。
根据该构成，以使现有的已经学习的识别器近似的方式，更改通用神经网络的结构。
本发明的一个方面的识别系统构成方法为构成上述识别系统的识别系统构成方法，其具有包括如下工序的构成，以所述通用神经网络的输入与所述第1识别任务用神经网络的输出之间的关系使得所述第1识别任务的已经学习的识别器的输入与输出之间的关系更加近似的方式，更改所述第1识别任务用神经网络的结构。
根据该构成，以使现有的已经学习的识别器近似的方式，更改第1识别任务用神经网络的结构。
发明效果
根据本发明，可以使用通用神经网络进行用于第1识别任务和第2识别任务的通用特征值提取，因此可以降低研发成本。
附图说明
图1为示出实施方式的识别系统的构成的框图。
图2为示出实施方式的特征值提取部的硬件电路的框图。
图3为说明实施方式的识别系统的构成方法的图。
符号说明
10 传感器处理单元(Sensor Processing Unit：SPU)
11 传感器
12 预处理部
20 通用特征值提取单元(Generic-feature Extraction Unit：GEU)
21 特征值提取部
30 任务专门化单元(Task-Specific Units：TSU)
31 物体检测部
32 语义分割部
41 ACC判断处理部
42 AEB判断处理部
51 已经学习的物体检测器
52 已经学习的语义分割器
61 物体检测学习装置
62 语义分割学习装置
71 GEU学习装置
100 识别系统
具体实施方式
以下，关于本发明的实施方式的识别系统，参照附图进行说明。另外，以下说明的实施方式显示实施本发明的情况的一例，而并不把本发明限定于以下说明的具体构成。在实施本发明时，可以根据实施方式适当地采用具体的构成。
本实施方式的识别系统，安装于车辆，进行用于控制车辆的识别处理。该识别处理的结果使用于取得用于控制车辆的控制值。通过使用了该控制值的控制，车辆可以进行自动驾驶或者各种驾驶辅助。
图1为示出实施方式的识别系统的构成的框图。识别系统100具备传感器处理单元(Sensor Processing Unit：SPU)10、通用特征值提取单元(Generic-feature ExtractionUnit：GEU)20、以及任务专门化单元(Task-Specific Units：TSU)30。
SPU10具备：传感器11，通过进行感测而得到传感器值；预处理部12，对于通过传感器11得到的传感器值进行预处理，并以适合于特征值提取部21的输入的形式进行编码。预处理部12，作为预处理，可以进行将传感器周期与其他处理器的周期结合的处理和/或从时间序列的传感器值提取统计量和特征值的处理和/或减少数据量的处理。
在本实施方式中，传感器11为单目摄像头，作为传感器值取得由二维阵列的受光量数据组成的拍摄图像数据。另外，预处理部12将拍摄图像数据转换为MPEG格式，通过缓冲多个帧的拍摄图像数据并排列于时间序列，生成时间序列的拍摄图像数据。单目摄像头11，以拍摄车辆的前方的方式，而设置于车辆。
GEU20具备特征值提取部21，其从通过SPU10得到的传感器值提取特征值。GEU20配置于与SPU10以及TSU30为不同个体的半导体芯片上。特征值提取部21由神经网络构成。该神经网络使用硬件电路而构成。关于神经网络的硬件安装，提出了各种方法(例如，参照非专利文献2～4)。
特征值提取部21，作为神经网络的输出而输出特征值，将其输出至TSU30的物体检测部31以及语义分割部32。这样，因为由特征值提取部21输出的特征值共同使用于物体检测部31以及语义分割部32，在本说明书中将该特征值还称为通用特征值，将安装于特征值提取部21的神经网络还称为通用神经网络。
图2为示出特征值提取部21的硬件电路的框图。如图2所示，特征值提取部21具备：离散器211、输入层212、线性耦合层213、输出层214、以及权重存储部215。在权重存储部215中存储有通用神经网络的各层中的权重向量wi(i＝1～N)。这里，N相当于通用神经网络层的深度(层数)。
来自SPU10的传感器值首先输入至离散器211。离散器211通过将传感器值分解为整数基并离散化，得到输入层212。对于输入层212使用权重存储部215的权重向量wi进行线性变换，作为加权和得到线性耦合层213。线性耦合层213被输入至非线性激活函数(S形函数等)，进行非线性激活，得到输出层214。作为输出层214得到的向量成分通过非线性激活作为浮点数(floating-point number)而得到。该输出层214返回离散器211，再通过离散器211分解为整数基。从i＝1到i＝N重复N次(N层)，最后得到的输出层214作为通用特征值从特征值提取部21输出。
在权重存储部215中，权重向量wi为整数向量，向量元素被离散化为2值(例如，0、1)或者3值(例如，-1、0、1)为佳。另外，如上所述，离散器211将输入值分解为整数基。这样，通过减小在通用神经网络中处理的特征值的比特数(例如，8比特)，除了可以减轻运算负荷之外，通过用硬件电路构成通用神经网络，既能高速提取特征值提取部21中的通用特征值，又能抑制特征值提取部21中的耗电量为较低，还可以抑制发热量。特别是，通过将权重向量wi作为2值或者3值的向量，可以通过逻辑运算来处理特征值提取部21中的运算的一部分至全部，可以享受更加使运算负荷减轻、运算高速化、低功耗化、低発热量化的好处。
虽然省略了图示，GEU20可以包含通信模块，或者连接于通信模块。此时，通信模块可以进行无线通信。如上所述，特征值提取部21由硬件电路构成，虽然不能更改由其构成的通用神经网络的结构，但是可以更新存储于权重存储部215的权重向量wi。例如，在TSU30，进行了追加利用通用特征值的新的任务的更新的情况下，随着该更新也可以更新通用神经网络的权重。
TSU30，在本实施方式中，作为多个识别处理部，具备物体检测部31以及语义分割部32。各识别处理部中的识别处理(在本实施方式中，为物体检测和语义分割)在本说明书中称为“特定识别任务”。虽然TSU30的多个识别处理部(在本实施方式中，为物体检测部31以及语义分割部32)中的各个特定识别任务彼此不同，但是物体检测部31以及语义分割部32均由通过GEU20提取的通用特征值作为输入的神经网络构成。
作为物体检测部31安装的神经网络，将物体检测的结果作为输出，在本说明书中称之为物体检测用神经网络。另外，作为语义分割部32安装的神经网络，将语义分割的结果作为输出，在本说明书中称之为用于语义分割的神经网络。
通过串联特征值提取部21的通用神经网络和物体检测部31的物体检测用神经网络，构成从传感器值(拍摄图像数据)得到物体检测结果的神经网络。另外，通过串联特征值提取部21的通用神经网络和语义分割部32的语义分割用神经网络，构成从传感器值(拍摄图像数据)得到语义分割结果的神经网络。
物体检测部31检测人物(行人)以及车辆，作为识别结果，对于拍摄图像数据，输出包围人物(行人)的矩形框和包围车辆的矩形框。包围人物的矩形框的数据被赋予表示人物的标签，包围车辆的矩形框的数据被赋予表示车辆的标签。语义分割部32，通过语义分割，按照每个被摄体的语义(种类)的区域分割拍摄图像数据，作为识别结果，输出按照每个被摄体的语义分割的区域的信息。各区域被赋予表示被摄体的语义的标签。
TSU30由通用处理器构成，物体检测部31的物体检测用神经网络以及语义分割部32的语义分割用神经网络由软件构成。这样，通过使用通用处理器并通过软件来实现专门化为特定识别任务(在本实施方式中，为物体检测任务和语义分割任务)的部分即各个识别处理部，在得到用于各个任务的更佳的新神经网络的情况下，通过更新该软件，能够以低成本采用该更佳的新神经网络。
即，如上所述，由于用于得到通用特征值的特征值提取部21由硬件电路构成，因此在出厂后不能更改神经网络的结构，但是由于进行专门化为各个特定识别任务的处理的各个识别处理部由软件构成，因此能够以低成本进行更新。
虽然省略了图示，TSU30可以包含通信模块，或者连接于通信模块。此时，通信模块可以进行无线通信。物体检测部31的物体检测用神经网络以及语义分割部32的语义分割用神经网络，可以通过分别通过通信模块接收的数据，更新或者替换。
通过物体检测部31以及语义分割部32得到的各个识别结果输入至进行主动巡航控制(Active Clues Control：ACC)的判断处理的ACC判断处理部41。另外，通过物体检测部31以及语义分割部32得到的各个识别结果还被输入至进行自动紧急刹车(AutonomousEmergency Braking：AEB)的判断处理的AEB判断处理部42。
ACC判断处理部41，基于物体检测的结果和语义分割的结果判断车辆的控制方针，取得用于控制车辆的控制值。另外，AEB判断处理部42，基于物体检测的结果和语义分割的结果判断车辆的控制方针，取得用于控制车辆的控制值。另外，可以进一步设置综合判断部，其综合判断通过ACC判断处理部41判断的车辆的控制方针和通过AEB判断处理部42判断的车辆的控制方针，取得最终的用于车辆控制的控制值。
如上所述，由于物体检测任务中的识别结果用于ACC判断处理部41中的判断(ACC判断)和AEB判断处理部42中的判断(AEB判断)，因此在物体检测部31的物体检测用神经网络中，可以通过准备用于ACC判断的权重和用于AEB判断的权重而切换两者，从而取得用于ACC判断的识别结果和用于AEB判断的识别结果，并将其分别输出至对应的判断处理部。
关于语义分割部32也同样，在语义分割用神经网络中，可以通过准备用于ACC判断的权重和用于AEB判断的权重而切换两者，从而取得用于ACC判断的识别结果和用于AEB判断的识别结果，并将其分别输出至对应的判断处理部。
在这些情况下，对于相同的传感器值，可以分别适用用于ACC判断的权重和用于AEB判断的权重，以取得用于ACC判断的识别结果和用于AEB判断的识别结果的方式进行权重的切换，或者，例如可以每得到新的传感器值时进行权重的切换。另外，多种类权重的切换，可以按照如上午/下午那样的时间段进行，也可以根据使用识别系统100的国家或者地区进行。
接下来，对识别系统100的构成方法进行说明。图3为说明识别系统100的构成方法的图，特别是，对于通用神经网络以及各个特定识别任务用神经网络(在本实施方式中，为物体检测用神经网络以及语义分割用神经网络)的学习进行说明的图。
在本实施方式的识别系统100的特定识别任务(物体检测以及语义分割)中，因为对于拍摄图像数据进行分类为预先准备的识别结果候选的识别处理，所以需要监督式学习(Supervised Learning)。
通常，在神经网络的监督式学习中，需要准备由输入数据和相对于该输入数据的真值(即，理想的输出数据)组成的学习数据集。学习时，利用误差反向传播法(backpropagation method)，其通过求得向应学习的神经网络输入输入数据得到的输出数据和真值的误差并反向传播误差来调整神经网络的权重。
在本实施方式的识别系统100中，原则上，也如上所述一样进行学习。通常，真值需要人工标记。例如，人物检测，需要操作人员观察图像，进行用框围住显示人物(行人)的部位的作业，在语义分割(Semantic Segmentation)中，需要描绘图像上所有物体的轮廓。在此，必须对于例如数万至数十万的学习用图像数据进行这样的作业。这样，准备用于监督式学习的学习数据集的作业成本极大。
另外，本实施方式中，如上所述，因为通用神经网络被多个特定识别任务所共享，所以需要使用各个特定识别任务的学习数据集来学习通用神经网络。假如，在只准备多个特定识别任务中一部分特定识别任务的学习数据集的情况下，虽然为了提高该特定识别任务的精度，通过误差反向传播法学习通用神经网络，但是未准备学习数据集的特定识别任务的精度得不到提高，精度可能会降低。因此，本实施方式的识别系统100，需要关于多个特定识别任务的全部，由输入值和相对于该输入值的真值的大量的组合组成的学习数据集。
因此，在本实施方式中，每个特定识别任务，通过向已经学习的识别器输入输入数据来得到输出数据，并将那些输入数据和输出数据作为学习数据集使用，进行学习。为此，根据每个特定识别任务准备已经学习的识别器。在本实施方式中，准备用于物体检测任务的已经学习的识别器和用于语义分割任务的已经学习的识别器。这些识别器，只要是现有的识别器即可，在由神经网络组成的识别器之外，也可以是例如通过支持向量机(SupportVector Machine：SVM)进行识别的识别器。
这样，通过使用已经学习的识别器，只要准备大量的输入数据(图像数据)，即使不对其进行人工标记，也可以得到输出数据，可以将此种输入数据和输出数据的组作为学习数据集进行学习。另外，对于共享通用神经网络的多个特定识别任务的全部，准备这样的学习数据集也变得容易。这意味着，本实施方式的串联通用神经网络和特定识别任务用神经网络的识别系统100接近该已经学习的识别器的精度。
如图3所示，在本实施方式中，准备多个用于物体检测的学习用图像和多个用于语义分割的学习用图像。另外，作为用于物体检测的学习用以及用于语义分割的学习用，也可以使用相同的学习用图像。
应学习的特征值提取部21，从用于物体检测的学习图像中提取通用特征值，并将其输入至应学习的物体检测部31。另一方面，已经学习的物体检测器51也从相同的用于物体检测的学习用图像中得到识别结果(将此视为真值)。物体检测学习装置61，比较已经学习的物体检测器51的输出(识别结果)和物体检测部31的输出(识别结果)，求得相对于已经学习的物体检测器51的输出的物体检测部31的输出的误差。物体检测学习装置61，基于该误差，利用误差反向传播法学习物体检测用神经网络。
同样地，应学习的特征值提取部21，从用于语义分割的学习图像中提取通用特征值，并将其输入至应学习的语义分割部32。另一方面，已经学习的语义分割器52也从相同的用于语义分割的学习用图像中得到识别结果(将此视为真值)。语义分割学习装置62，比较已经学习的语义分割器52的输出(识别结果)和语义分割部32的输出(识别结果)，求得相对于已经学习的语义分割器52的输出的语义分割部32的输出的误差。语义分割学习装置62，基于该误差，利用误差反向传播法学习语义分割用神经网络。
GEU学习装置71，通过将相对于已经学习的物体检测器51的输出的物体检测部31的输出的误差以及相对于已经学习的语义分割器52的输出的语义分割部32的输出的误差全部传播给特征值提取部21，学习通用神经网络。
这样，已经学习的识别器(在本实施方式中，为已经学习的物体检测器51以及已经学习的语义分割器52)，将这些输出视为真值，准备学习数据集，所以这些已经学习的识别器的识别精度较高为佳。因此，这些已经学习的识别器可以采用整合多个识别器的识别结果(例如，取平均值、取最大值、取投票数等)而得到更高精度的识别结果的集成识别器。
另外，除了这样机械地得到的学习数据集之外，也可以使用通过人工标记准备的学习数据集。
另外，在即使通过所准备的学习数据集调整权重向量精度也不提高的情况下，更改通用神经网络和各个特定识别任务用神经网络的结构。在这种情况下，在结构更改后的识别系统100中，相对于输入数据得到的识别结果以使已经学习的识别器的输入输出关系能够更加近似的方式更改神经网络的结构。
具体地说，在各个特定识别任务的精度均不佳的情况下，更改通用神经网络的结构，在部分特定识别任务的精度较佳而其他特定识别任务的精度不佳的情况下，更改该精度不佳的特定识别任务用神经网络的构成。
如上所述，根据本实施方式的识别系统100，为了执行各个特定识别任务，分别构成进行提取特征值的处理的特征值提取部21和通过进行专门化为各个特定识别任务的处理而得到识别结果的识别处理部(物体检测部31以及语义分割部32)，在特征值提取部21中，采用提取在各个特定识别任务中共同使用的通用特征值的构成，所以在研发识别系统100时，可以得到以下研发管理上的好处，即，分开特征值提取部21中通用神经网络的研发和各个特定识别任务用神经网络的研发，而可以分别并列进行。另外，因为特征值提取部21的通用神经网络由多种特定识别任务共享，所以可以抑制研发成本。
另外，由于将配置有特征值提取部21的GEU20由与SPU10以及TSU30为不同个体的专用芯片构成，而特征值提取部21由硬件电路构成，因此即使在识别任务中也可以将运算量特别多的特征值的计算硬件化，据此，可以抑制耗电量和发热量为较低，并且能够进行高速的特征值计算。另外，由于将通用神经网络硬件化，因此频繁的更改乃至更新在成本方面较为不利，但是通过使用通用处理器由软件构成TSU30中的各个识别处理部，可以应对频繁的更改乃至更新。
另外，因为通用神经网络和各个特定识别任务用神经网络被串联连接，所以通过使用误差反向传播法等现有的神经网络的学习方法的end-to-end的学习，可以进行各个神经网络的学习。
另外，在上述实施方式中，作为传感器11，虽然使用了单目摄像头，但是在基于其他传感器的传感器值的识别处理中也可以采用与上述相同的构成。作为其他传感器，可以采用以下传感器等，例如，GPS接收机，其接收GPS信号并作为传感器值输出位置信息；立体照相机(stereo camera)，其进行2个视点的拍摄，并作为传感器值输出立体图像；毫米波雷达，其通过照射毫米波段的电波并感测其反射波，作为传感器值输出到物体的距离；激光扫描仪，其通过照射激光并感测其反射光，作为传感器值输出物体的立体形状；超声波传感器，其通过发送超声波并接收被反射的超声波，作为传感器值输出到物体的距离；陀螺仪传感器，其作为传感器值输出角速度；温度传感器，其作为传感器值输出气温；速度传感器，其作为传感器值输出速度；雨滴传感器，其作为传感器值输出雨滴量。
另外，在车辆上设置有多种传感器的情况下，按照每个传感器构成SPU10，在GEU20中，可以配置有分别对应于各个SPU10的多个特征值提取部21。另外，在GEU20中，可以通过合成从来自多种传感器的多个传感器值中分别提取的特征值，并将其进一步输入至神经网络，从而得到通用特征值。
另外，上述关于各个识别处理部进行说明的权重的切换，在GEU20中的特征值提取部21中也可以同样地进行。
另外，SPU10的预处理部12，可以使用神经网络编码传感器值。
另外，在上述实施方式的识别系统100中，使用从相同的传感器值(拍摄图像数据)中提取的通用特征值，作为特定识别任务，进行了物体检测任务和语义分割任务2个识别任务，但是从同样的传感器值提取的通用特征值可以在3个以上的识别任务中共享。
产业上的可利用性
本发明作为基于传感器值进行识别处理的识别系统等较有用。

Claims (16)

1.一种识别系统，其特征在于，具备：
感测单元，通过进行感测而输出传感器值；
任务专门化单元，包括：第1识别处理部，进行基于所述传感器值的第1识别任务，以及第2识别处理部，进行基于所述传感器值的第2识别任务；以及
通用特征值提取单元，其配置于所述感测单元和所述任务专门化单元之间，且配置有将所述传感器值作为输入，提取输入至所述第1识别处理部以及所述第2识别处理部的通用特征值的通用神经网络。
2.根据权利要求1所述的识别系统，其特征在于，所述通用特征值提取单元配置于与所述任务专门化单元为不同个体的半导体芯片上。
3.根据权利要求2所述的识别系统，其特征在于，所述通用特征值提取单元中的所述通用神经网络在所述半导体芯片中由硬件构成。
4.根据权利要求1至3中任一项所述的识别系统，其特征在于，所述第1识别处理部包括所述第1识别任务用的神经网络，其将从所述通用特征值提取单元输出的通用特征值作为输入，并将所述第1识别任务的结果作为输出。
5.根据权利要求1至4中任一项所述的识别系统，其特征在于，所述感测单元具备：传感器，获取传感器值；以及预处理部，对于所述传感器值进行预处理。
6.根据权利要求1至5中任一项所述的识别系统，其特征在于，所述通用特征值提取单元具备离散器，其将所述通用神经网络的各层的输入分解为整数基。
7.根据权利要求1至5中任一项所述的识别系统，其特征在于，所述通用神经网络具有整数权重。
8.根据权利要求1至5中任一项所述的识别系统，其特征在于，
所述通用特征值提取单元具备离散器，其将所述通用神经网络的各层的输入分解为整数基，
所述通用神经网络保持离散化为2值或者3值的权重，通过逻辑运算来处理内部运算的一部分至全部，通过非线性激活函数转换所述逻辑运算的结果，并将所述转换结果传递给下一层。
9.根据权利要求1至8中任一项所述的识别系统，其特征在于，所述通用特征值提取单元具备通信模块，或者连接于通信模块，并且基于通过所述通信模块接收的信息，更新所述通用神经网络的权重。
10.一种通用特征值提取单元，其特征在于，
其配置于感测单元和任务专门化单元之间，所述感测单元通过进行感测而输出传感器值，所述任务专门化单元包括第1识别处理部，进行基于所述传感器值的第1识别任务；以及第2识别处理部，进行基于所述传感器值的第2识别任务，
且配置有将所述传感器值作为输入，提取所述第1识别处理部以及所述第2识别处理部共同使用的通用特征值的通用神经网络。
11.一种识别系统构成方法，其构成权利要求1所述的识别系统，其特征在于，
将进行所述第1识别任务的已经学习的识别器的输入以及输出的数据、以及进行所述第2识别任务的已经学习的识别器的输入以及输出的数据作为学习数据集使用来学习所述通用神经网络。
12.根据权利要求11所述的识别系统构成方法，其特征在于，作为所述识别器使用整合多个识别器的识别结果而得到所述输出的数据的集成识别器。
13.一种识别系统构成方法，其构成权利要求4所述的识别系统，其特征在于，
将进行所述第1识别任务的已经学习的识别器的输入以及输出的数据作为学习数据集使用来学习所述第1识别任务用神经网络。
14.根据权利要求13所述的识别系统构成方法，其特征在于，作为所述识别器使用整合多个识别器的识别结果而得到所述输出的数据的集成识别器。
15.一种识别系统构成方法，其构成权利要求4所述的识别系统，其特征在于，包括以下工序，
以所述通用神经网络的输入与所述第1识别任务用神经网络的输出之间的关系使得进行所述第1识别任务的已经学习的识别器的输入与输出之间的关系更加近似的方式，并且，以所述通用神经网络的输入与所述第2识别任务用神经网络的输出之间的关系使得进行所述第2识别任务的已经学习的识别器的输入与输出之间的关系更加近似的方式，更改所述通用神经网络的结构。
16.一种识别系统构成方法，其构成权利要求4所述的识别系统，其特征在于，
包括以下工序，
以所述通用神经网络的输入与所述第1识别任务用神经网络的输出之间的关系使得进行所述第1识别任务的已经学习的识别器的输入与输出之间的关系更加近似的方式，更改所述第1识别任务用神经网络的结构。
CN201810124247.2A 2017-05-18 2018-02-07 识别系统、通用特征值提取单元以及识别系统构成方法 Pending CN108960405A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017098641A JP6802756B2 (ja) 2017-05-18 2017-05-18 認識システム、共通特徴量抽出ユニット、及び認識システム構成方法
JP2017-098641 2017-05-18

Publications (1)

Publication Number Publication Date
CN108960405A true CN108960405A (zh) 2018-12-07

Family

ID=64271849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810124247.2A Pending CN108960405A (zh) 2017-05-18 2018-02-07 识别系统、通用特征值提取单元以及识别系统构成方法

Country Status (4)

Country Link
US (1) US10769479B2 (zh)
JP (1) JP6802756B2 (zh)
CN (1) CN108960405A (zh)
DE (1) DE102018102791A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021258698A1 (zh) * 2020-06-22 2021-12-30 珠海格力电器股份有限公司 扫地机数据处理方法、装置、设备及计算机可读介质
US11320927B2 (en) 2019-05-08 2022-05-03 Elan Microelectronics Corporation Control system for a touch device and method thereof
TWI788651B (zh) * 2019-05-08 2023-01-01 義隆電子股份有限公司 用於觸控裝置的控制系統及其方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741354B2 (en) * 2017-08-25 2023-08-29 Ford Global Technologies, Llc Shared processing with deep neural networks
US20200242771A1 (en) * 2019-01-25 2020-07-30 Nvidia Corporation Semantic image synthesis for generating substantially photorealistic images using neural networks
JP7240916B2 (ja) * 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7289483B2 (ja) * 2019-06-17 2023-06-12 株式会社オレンジテクラボ 情報処理装置、情報処理方法及び情報処理プログラム
CN111062401A (zh) * 2019-09-27 2020-04-24 商汤国际私人有限公司 堆叠物体的识别方法及装置、电子设备和存储介质
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
KR102424538B1 (ko) * 2021-01-26 2022-07-27 삼성전자주식회사 영상 복원 방법 및 장치
KR20220123864A (ko) 2021-03-02 2022-09-13 주식회사 에이치엘클레무브 학습모델 융합 기반 객체검출 장치 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5285523A (en) * 1990-09-25 1994-02-08 Nissan Motor Co., Ltd. Apparatus for recognizing driving environment of vehicle
CN101219521A (zh) * 2006-11-30 2008-07-16 松下电工株式会社 用于整个机床监测的装置
JP2016139176A (ja) * 2015-01-26 2016-08-04 シャープ株式会社 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム
JP2017059207A (ja) * 2015-09-18 2017-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像認識方法
CN106548127A (zh) * 2015-09-18 2017-03-29 松下电器（美国）知识产权公司 图像识别方法
CN106652999A (zh) * 2015-10-29 2017-05-10 三星Sds株式会社 语音识别系统以及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538636B2 (en) * 1995-06-07 2013-09-17 American Vehicular Sciences, LLC System and method for controlling vehicle headlights
JP4220595B2 (ja) * 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
US7496547B2 (en) * 2005-06-02 2009-02-24 Microsoft Corporation Handwriting recognition using a comparative neural network
JP5659361B1 (ja) * 2013-07-04 2015-01-28 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US9202144B2 (en) * 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
JP6330385B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
US9346167B2 (en) * 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9870617B2 (en) * 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
US9811756B2 (en) * 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes
US9786177B2 (en) * 2015-04-10 2017-10-10 Honda Motor Co., Ltd. Pedestrian path predictions
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
JP6657834B2 (ja) 2015-11-19 2020-03-04 日本電気株式会社 通信システム、通信分析方法および蓄積サーバ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5285523A (en) * 1990-09-25 1994-02-08 Nissan Motor Co., Ltd. Apparatus for recognizing driving environment of vehicle
CN101219521A (zh) * 2006-11-30 2008-07-16 松下电工株式会社 用于整个机床监测的装置
JP2016139176A (ja) * 2015-01-26 2016-08-04 シャープ株式会社 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム
JP2017059207A (ja) * 2015-09-18 2017-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像認識方法
CN106548127A (zh) * 2015-09-18 2017-03-29 松下电器（美国）知识产权公司 图像识别方法
CN106652999A (zh) * 2015-10-29 2017-05-10 三星Sds株式会社 语音识别系统以及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320927B2 (en) 2019-05-08 2022-05-03 Elan Microelectronics Corporation Control system for a touch device and method thereof
TWI788651B (zh) * 2019-05-08 2023-01-01 義隆電子股份有限公司 用於觸控裝置的控制系統及其方法
WO2021258698A1 (zh) * 2020-06-22 2021-12-30 珠海格力电器股份有限公司 扫地机数据处理方法、装置、设备及计算机可读介质

Also Published As

Publication number Publication date
US10769479B2 (en) 2020-09-08
JP2018195097A (ja) 2018-12-06
US20180336430A1 (en) 2018-11-22
DE102018102791A1 (de) 2018-11-22
JP6802756B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
CN108960405A (zh) 识别系统、通用特征值提取单元以及识别系统构成方法
Kampffmeyer et al. Urban land cover classification with missing data modalities using deep convolutional neural networks
Zheng et al. Enhancing RF sensing with deep learning: A layered approach
US11443522B2 (en) Processing sensor information for object detection
CN114091554A (zh) 一种训练集处理方法和装置
Warren et al. Towards visual teach and repeat for GPS-denied flight of a fixed-wing UAV
Jiao et al. Smart fusion of multi-sensor ubiquitous signals of mobile device for localization in GNSS-denied scenarios
Huang et al. Non-model-based monocular pose estimation network for uncooperative spacecraft using convolutional neural network
Müller et al. Efficient probabilistic localization for autonomous indoor airships using sonar, air flow, and IMU sensors
Roveda et al. Robot end-effector mounted camera pose optimization in object detection-based tasks
Pokhrel Drone obstacle avoidance and navigation using artificial intelligence
Tippetts et al. An on-board vision sensor system for small unmanned vehicle applications
Kampffmeyer et al. Urban land cover classification with missing data using deep convolutional neural networks
He et al. Visual positioning system for small-scaled spherical robot in underwater environment
Helgesen Sensor fusion for detection and tracking of maritime vessels
Song et al. Underwater terrain-aided navigation based on multibeam bathymetric sonar images
Poddar et al. Tuning of GPS aided attitude estimation using evolutionary algorithms
Jordan et al. Quasi real-time autonomous satellite detection and orbit estimation
WO2022212031A1 (en) Controlling asynchronous fusion of spatio-temporal multimodal data
Baeza et al. Data fusion, a multidisciplinary technique
Kestur et al. MangoGAN: a general adversarial network-based deep learning architecture for mango tree crown detection
US11609344B2 (en) Systems and methods for utilizing a machine learning model to determine a determined location of a vehicle based on a combination of a geographical location and a visual positioning system location
Latif et al. Evaluation of Bio-inspired SLAM algorithm based on a Heterogeneous System CPU-GPU
Despond Non-Cooperative Spacecraft Pose Estimation Using Convolutional Neural Networks
Kaniewski et al. Simulation and Analysis of Particle Filter Based Slam System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination