CN110287756A - 识别装置以及车辆系统 - Google Patents

识别装置以及车辆系统 Download PDF

Info

Publication number
CN110287756A
CN110287756A CN201810985804.XA CN201810985804A CN110287756A CN 110287756 A CN110287756 A CN 110287756A CN 201810985804 A CN201810985804 A CN 201810985804A CN 110287756 A CN110287756 A CN 110287756A
Authority
CN
China
Prior art keywords
mentioned
constituent element
identification device
classification
discrimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810985804.XA
Other languages
English (en)
Inventor
渡边友树
宋妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Publication of CN110287756A publication Critical patent/CN110287756A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)

Abstract

本发明的实施方式涉及识别装置以及车辆系统。用少计算量以与神经网络同等的识别率高效地识别对象的标记。一个实施方式涉及的识别装置具备第1辨别部、设定取得部以及第2辨别部。上述第1辨别部根据所输入的观测数据，来辨别对象的构成要素的有无。上述设定取得部取得表示类别与构成要素的有无之间的关系的设定信息。上述第2辨别部基于由上述设定取得部所得到的设定信息和由上述第1辨别部辨别出的构成要素的有无，来辨别上述对象的类别。

Description

识别装置以及车辆系统
本申请以日本专利申请2018-051486(申请日：3/19/2018)为基础，根据该申请享受优先权。本申请通过参照该申请而包含该申请的全部内容。
技术领域
本发明的实施方式涉及识别(recognition)装置以及车辆系统。
背景技术
例如在从图像中识别交通标志的情况下，一般会使用神经网络。当作为识别对象的交通标志的图像输入到神经网络时，会输出与该图像对应的交通标志的类别作为辨别结果。
神经网络为了识别各种对象而需要巨大的信息量，计算量也多。另外，在追加学习新对象的情况下，需要进行与该对象相关的各种参数输入。
发明内容
本发明所要解决的问题在于，提供能够用少计算量以与神经网络同等的识别率高效地识别对象的标记的识别装置以及车辆系统。
一个实施方式涉及的识别装置具备第1辨别(identification)部、设定取得部以及第2辨别部。上述第1辨别部根据所输入的观测数据，来辨别对象的构成要素的有无。上述设定取得部取得表示类别与构成要素的有无之间的关系的设定信息。上述第2辨别部基于由上述设定取得部所得到的设定信息和由上述第1辨别部辨别出的构成要素的有无，来辨别上述对象的类别。
根据上述构成的识别装置，能够用少计算量以与神经网络同等的识别率高效地识别对象的标记。
附图说明
图1是表示第1实施方式涉及的识别装置的功能构成的框图。
图2是表示上述第1实施方式中的交通标志和构成要素的一例的图。
图3是表示上述第1实施方式中的引导显示的一例的图。
图4是表示上述第1实施方式中的识别装置的处理工作的流程图。
图5是表示在使用卷积神经网络作为上述第1实施方式中的辨别器的情况下的输入输出的关系的图。
图6是表示上述第1实施方式中的标记的种类与构成要素的有无之间的关系的图。
图7是用于对上述第1实施方式中的第2分数的算出方法进行说明的图。
图8是表示第2实施方式涉及的车辆系统的功能构成的框图。
图9是示意性地表示在上述第2实施方式中对车辆搭载了识别装置的情况下的构成的图。
图10是表示上述第2实施方式的车辆系统中的识别装置的处理工作的流程图。
图11是表示上述第1以及第2实施方式中的识别装置的硬件构成的一例的图。
标号说明
100识别装置；101对象输入部；102要素辨别部；103设定取得部；104类别辨别部；105输出部；106存储部；107辨别器；200车辆系统；201存储部；202通信部；203显示器；204扬声器；205外部传感器；206内部传感器；207控制部；208动力部；300车辆。
具体实施方式
以下，参照附图对各实施方式进行说明。
(第1实施方式)
图1是表示第1实施方式涉及的识别装置的功能构成的框图。
本实施方式中的识别装置100例如是根据由利用摄像头拍摄到的图像等所提供的对象的构成要素来识别该对象的类别的装置。在此所说的“对象”指的是用于通过图形和/或文字等传达信息的标记，也包含标志。
识别装置100具备对象输入部101、要素辨别部102、设定取得部103、类别辨别部104、输出部105以及存储部106。
对象输入部101输入对象的观测数据。要素辨别部102用作第1辨别部。该要素辨别部102使用辨别器107，根据由对象输入部101输入了的观测数据来辨别对象的构成要素的有无，辨别器107机器学习了与各种对象相关的构成要素。
设定取得部103取得表示类别与构成要素的有无之间的关系的设定信息。类别辨别部104用作第2辨别部。该类别辨别部104基于由设定取得部103得到的设定信息和由要素辨别部102辨别出的构成要素的有无，辨别对象的类别。
输出部105输出类别辨别部104的辨别结果。在存储部106中，存储有后述的要素辨别部102和/或类别辨别部104的辨别处理中所需的各种信息。
在此，以交通标志为例来作为标记，对标记与构成要素的关系进行说明。
图2是表示交通标志和构成要素的一例的图。第1列表示交通标志，第2列表示其构成要素。
第1行和第2行是在日本使用的速度限制的交通标志。此外，在附图上没有表现出颜色，但这些交通标志实际上由红色圆圈和黑色文字所构成。
第1行的交通标志表示速度的上限为时速60千米，由红色圆圈和数字“60”构成。第2行的交通标志表示速度的下限为时速30千米，由红色圆圈、数字“30”和下划线构成。
只要有这些规则的知识，例如对于由红色圆圈和数字“40”构成的交通标志表示速度的上限为时速40千米和/或由红色圆圈、数字“10”和下划线构成的交通标志表示速度的下限为时速10千米，即便过去没有见过该交通标志也能够理解。
第3～5行是在欧美使用的速度限制的交通标志。可知它们也由构成要素的组合来设计而成。
在此，以交通标志为例进行了说明，但本发明设为对象的标记不限定于交通标志，也可以是用涂料绘制在路面的道路标记、用灯光的颜色和/或形状传达信息的信号器。
除此之外，还将如下为了向人们传达信息而设计的布告物全体作为对象：用于告知各种窗口、紧急出口等的所在地的引导显示；和/或允许/禁止吸烟等的设施的用于传达面向利用者的注意事项、禁止事项的布告等。
在图3中，作为引导显示的一例，示出在店铺等表示厕所的所在地的标记。
第1行的标记用男士记号和女士记号来表示男厕和女厕的所在地。第2行的标记用男士记号来表示男厕的所在地。此外，男士记号多使用蓝色和/或黄色，女士记号多使用红色和/或粉色。
一般而言，在利用卷积神经网络例如识别交通标志的情况下，权重成为最大的交通标志的种类会作为识别结果输出。然而，由于交通标志存在庞大的种类，因而不得不在归一化层输出与交通标志的种类数量相同数量的大量的权重，计算量会增多。
虽然交通标志中存在庞大的种类，但人们即使不一个一个地识别所有交通标志也能够理解它的意思。这是因为：交通标志和/或指示牌等标记是为了向人们传达信息而设计的，存在相同种类的标记中使用相同的颜色和/或相同的图形作为构成要素这一规则，人懂得规则来作为知识。
在本实施方式的识别装置100中，着眼于这种规则，以交通标志等标记作为对象，高效地对其进行识别。
以下，详细地对识别装置100的处理工作进行说明。
图4是表示识别装置100的处理工作的流程图。
首先，对象输入部101输入对象的观测数据(步骤S11)。观测数据例如是从摄像头获得的标记的图像和表示标记位置的坐标信息、和/或基于坐标信息预先仅截取(剪切)了标记部分的图像等。
另外，也可以通过雷达和/或传感器等取得观测数据。或者，也可以通过通信介质和/或记录介质取得观测数据。
接着，要素辨别部102使用预先训练了的辨别器107，根据观测数据来辨别标记的构成要素的有无。如图2以及图3中例示的那样，构成要素是相同意思的标记所共用的形状、文字、颜色、它们的位置。
在此，例如使用神经网络作为辨别器107。尤其优选可获得高辨别性能的卷积神经网络(Convolutional Neural Network：CNN或者ConvNet)。除此之外，也可以使用支持向量机(Support Vector Machine：SVM)等。
此外，关于卷积神经网络和/或支持向量机，由于是公知的，因而在此省略其详细的说明。
辨别器107的参数事先从存储部106和/或通过通信从外部加载到要素辨别部102，或者在处理时从存储部106逐次进行加载。
要素辨别部102利用辨别器107，对于标记的构成要素算出表示存在的可能性的分数(以下称为第1分数)(步骤S12)。
此外，第1分数的值域优选：在0～1的范围内归一化，并进而以使“与存在对应的分数”和“与不存在对应的分数”的合计成为1的方式进行归一化，如此在后述的类别辨别部104中将变得易于处理。
在此，对辨别器107的训练进行说明。
辨别器107由使用成为输入的观测数据的样本、和成为输出的构成要素的有无的数据的样本的机器学习来训练。
但是，意思和图形/文字不必限于一对一的对应。
例如，图2所示的第4行和第5行的交通标志虽然都表示速度的上限为80英里，但是以不同的文字表示。因此，辨别器107辨别的构成要素基于形状、文字、颜色、位置中的任一者的相似而作为分类的集合。该方法具有辨别器107的辨别性能在构成要素的外观相似的情况下易于提高的优点。
作为另一方法，也能够与形状、文字、颜色和/或位置无关地，将与相同的意思对应的构成要素汇总分类。
例如如果是图2的第1行和第2行所示的构成要素，那么被分类为表示日本的速度限制的构成要素。该方法具有：由于构成要素的种类减少因而能够将后述的类别辨别部104中使用的设定信息的记述简化的优点。
不管怎样，只要被分类为标记能够由构成要素的组合来表现、构成要素的种类数比标记的全部种类数少，就能够大幅地削减辨别器107的计算量。
将使用卷积神经网络作为辨别器107的情况下的输入输出的关系示于图5。
在卷积神经网络中，利用被称为反向传播(Backpropagation)的手法进行训练。这是下述手法：输入观测数据和/或根据观测数据算出的特征量，修正卷积层的权重以使得反复进行卷积层等的运算所算出的值与输出的目标值之间的误差变小。
通常，在卷积神经网络中，在将各种标记(包含标志)的信息作为样本进行训练的情况下，输出成为标记的类别。也就是说，例如如果是图2的第1行的交通标志，那么该交通标志整体作为辨别结果输出。因此，为了消除输入与输出的误差，需要使用大量的样本进行训练。
另一方面，在本实施方式中，对于标记的构成要素，将卷积神经网络的一部分共享来仅算出第1分数，因此能够用少量的样本有效地修正卷积层的权重。
接着，设定取得部103从存储部106或者通过通信从外部取得表示标记的种类与构成要素的有无之间的关系的设定信息(步骤S13)。
“标记的种类与构成要素的有无之间的关系”指的是，按标记的每个类别确定了构成要素的有无的组合的规则。如图6所示，对于标记的各个类别，用表来表现确定了包含哪个构成要素或者不包含哪个构成要素的关系的规则。也可以存在既有包含的情况也有不包含的情况的构成要素。
在图6中，以速度限制的交通标志为例来作为标记的种类，将这些构成要素的组合的规则制成了图表。
例如，关于图2的第4行所示的具有“最高速度80km/h”这一意思的交通标志，作为构成要素，确定有以下：数字“10”：不包含；数字“80”：包含；文字“SPEED”：包含；文字“LIMIT”：包含；文字“MAXIMUM”：两者都有……等。
文字“MAXIMUM”成为“两者都有”是因为，在图2的第5行存在具有相同意思的另一交通标志。
此外，设定形式不限于图6这样的表，也可以用列表和/或决策树等来表现。
接着，类别辨别部104基于通过设定取得部103取得的表示关系的设定信息，根据对通过要素辨别部102辨别出的标记的构成要素所附加的第1分数，算出与类别相关的分数(以下称为第2分数)(步骤S14)。
使用图7，对第2分数的算出方法进行说明。
对于由要素辨别部102辨别出的构成要素，分别附加有表示存在的可能性的第1分数。在图7中，以识别图2的第4行所示的具有“最高速度80km/h”这一意思的交通标志的情况为例。
在要素辨别部102的识别结果中，存在数字“10”的第1分数(有分数)为0.1，不存在数字“10”的第1分数(无分数)为0.9。在图6的表的例子中，数字“10”成为不被包含的设定“-”，因此对于数字“10”，无分数的0.9用在第2分数的计算中。
另外，存在数字“80”的第1分数(有分数)为0.9，不存在数字“80”的第1分数(无分数)为0.1。在图6的表的例子中，数字“80”成为被包含的设定“+”，因此对于数字“80”，有分数即0.9用在第2分数的计算中。
此外，设为：与有无都可以的构成要素(参照图6的“*”)相关的第1分数不用于第2分数的计算。
如此，类别辨别部104对作为要素辨别部102的识别结果所得到的标记的构成要素，参照图6的表来取得第1分数，求取其中的最小值并将其作为第2分数。
使用第1分数的最小值作为第2分数的优点在于，可抑制过度的识别。根据用途，例如也可以使用最大值和/或加权和来算出第2分数。在最大值的情况下具有能抑制未检测出的优点，在加权和的情况下具有对于第1分数的噪声的鲁棒(robust)性提高的优点。
类别辨别部104对成为识别对象的各标记反复进行这种计算，并将最终第2分数成为最大的标记的类别、或者超过预先设定的阈值的标记的类别，作为辨别结果(步骤S15)。
输出部105输出通过类别辨别部104判别出的标记的类别，也输出与其对应的第2分数。在上述步骤S15中，在使用阈值判定类别的情况下，有时会输出多个辨别结果。
如此根据第1实施方式，仅通过预先设定标记的种类与构成要素的有无的关系，就能够用少计算量以与卷积神经网络同等的识别率高效地识别对象的标记。在该情况下，具有如下优点：即使作为对象的标记的种类增加，仅通过增加图6所示的表的种类项目，就能够灵活地应对。
(第2实施方式)
接着，作为第2实施方式，假设将在上述第1实施方式中说明的识别装置搭载于汽车等车辆的情况来进行说明。
图8是表示第2实施方式涉及的车辆系统的功能构成的框图。图中的200表示了车辆系统整体。
车辆系统200构成为：将设置于道路等的交通标志、道路标记、信号器等中的任意一个或者全部作为对象，用识别装置100对它们进行识别。
识别装置100具备对象输入部101、要素辨别部102、设定取得部103、类别辨别部104、输出部105以及存储部106。关于它们的构成，由于与上述第1实施方式同样，因而在此省略其说明。
在车辆系统200中，作为车辆关联的构成要素，具备存储部201、通信部202、显示器203、扬声器204、外部传感器205、内部传感器206、控制部207、动力部208等。它们直接或者间接地连接于识别装置100。
存储部201中存储有车辆的控制中所需的各种信息。此外，也可以为如下构成：预先在该存储部201中存储观测数据和/或关联的设定信息等，根据来自识别装置100的指示适当进行读取。
通信部202以无线或者有线的方式在与外部之间进行数据通信。也可以构成为:经由该通信部202从外部取得识别装置100中所需的信息。
显示器203和扬声器204用作用于将车辆的操作中所需的各种信息提示给操作者的提示部。
外部传感器205中例如包括摄像头、GPS、雷达等。
内部传感器206例如包括车速计、计时器、温度计、触摸面板等输入传感器等。
控制部207进行包括动力部208的驱动控制在内的车辆整体的控制。
动力部208中包括发动机等。
图9中示意性地表示在对汽车等车辆300搭载了识别装置100的情况下的构成。此外，图中的标号与图8相对应。
以下，对搭载于车辆300的识别装置100的处理工作进行说明。
图10是表示车辆系统200中的识别装置100的处理工作的流程图。步骤S21～S24的处理与上述图4的步骤S11～S14同样，因而在此省略其详细的说明。
在第2实施方式中，通过步骤S23取得的设定信息(表)对应于驾驶期间的环境变化而动态地切换(步骤S25)。
例如，在存储部106(或者车辆侧的存储部201)中准备许多表，使其与根据国家和/或地域、道路类别(市区道路、一般道路、高速道路等)、时间段等而变更的规则对应。根据车辆驾驶期间的环境条件动态地变更这些表。
环境条件中包含表示地域边界的标记。再者，环境条件中包含由车速计检测的移动速度、由GPS等检测的当前位置、由计时器计时的当前时刻、由设置于驾驶席等的触摸面板等实现的用户操作等。
通过根据这种环境条件适当地切换关系设定的表，能够准确地识别在驾驶期间根据观测数据获得的对象。
之后的处理与上述第1实施方式是同样的。即，对于作为要素辨别部102的识别结果所得到的标记的构成要素，算出与类别相关的第2分数，将最终第2分数成为最大的类别、或者超过预先设定的阈值的标记类别作为辨别结果而输出(步骤S26～S27)。
从识别装置100输出的辨别结果提供给设置于车辆300的控制部207。控制部207以如下的方式向车辆300的操作者提示辨别结果(步骤S28)。
即，例如假设识别结果是速度限制的交通标志。控制部207将当前车速与作为识别结果所得到的交通标志的限制速度进行比较，在当前车速超过了限制速度的情况下，通过显示器203和/或扬声器204用声音和/或影像来向操作者通知超速。或者，控制部207控制动力部208的驱动以使当前车速符合限制速度。
在此，也可以利用识别结果所含的第2分数，变更提示方法或者动力控制。例如在第2分数比预先设定的值低的情况下，存在误识别的可能性，因此仅提示影像。
另一方面，在第2分数高、误识别的可能性低的情况下，用影像和声音进行提示。再者，也可以根据第2分数的值，使音量和/或音程逐级地变化、使影像的位置和/或大小逐级地变化。
另外，在第2分数比预先设定的值高的情况下，也可以控制为使动力部208的控制量增大从而以短时间接近限制速度。
如此根据第2实施方式，通过在车辆系统中应用上述第1实施方式的识别装置，能够顺应车辆驾驶期间的环境变化而高精度地识别交通标志、道路标记、信号器等对象。通过将其的识别结果提示给车辆的操作者，能够确保驾驶的安全性。
此外，在上述第2实施方式中，以车辆系统为例进行了说明，而例如针对航空器、无人飞行物体等除车辆以外的移动体，也同样能够适用。
(硬件构成)
图11是表示上述第1以及第2实施方式中的识别装置100的硬件构成的一例的图。
识别装置100具备CPU501、非易失性存储器502、主存储器503、通信器件504、I/F(接口)505等。
CPU501是对识别装置100内的各种组件的工作进行控制的硬件处理器。CPU501执行从作为储存器件的非易失性存储器502加载到主存储器503的各种程序。
由CPU501执行的程序中除了操作系统(OS)之外，还包含用于执行图4以及图10的流程图所示的处理工作的程序(以下称为识别处理程序)等。
另外，CPU501例如也执行作为用于硬件控制的程序的基本输入输出系统(BIOS)等。
此外，图1以及图8所示的对象输入部101、要素辨别部102、设定取得部103、类别辨别部104、输出部105的一部分或者全部，通过使CPU501(计算机)执行识别处理程序而实现。
该识别处理程序既可以保存于计算机能够读取的记录介质来分发，或者也可以通过网络下载到识别装置100中。
此外，对象输入部101、要素辨别部102、设定取得部103、类别辨别部104、输出部105的一部分或者全部，既可以由集成电路(Integrated Circuit)等硬件来实现，也可以作为该软件及硬件的组合构成来实现。
通信器件504例如是构成为以有线或者无线方式执行与外部装置的通信的器件。
I/F505进行与外部装置之间的数据的输入输出处理。I/F505用于图8所示的在车辆系统200中组装识别装置100的情况等。
此外，在图11的例子中，仅示出了CPU501、非易失性存储器502、主存储器503、通信器件504、I/F505，但识别装置100例如既可以具备如HDD(Hard Disk Drive，硬盘驱动器)以及SSD(Solid State Drive，固态驱动器)这样的其他存储装置，也可以具备输入装置以及输出装置等。
根据以上叙述的至少一个实施方式，能够提供能用少计算量以与神经网络同等的识别率高效地识别对象的标记的识别装置以及车辆系统。
虽然对本发明的几个实施方式进行了说明，但是这些实施方式是作为例子提出的，并非旨在限定发明的范围。这些新实施方式能够以其他各种方式实施，在不偏离发明宗旨的范围内，可以进行各种省略、替换、变更。这些实施方式和/或其变形包含在发明的范围和/或宗旨中，并且，包含在技术方案所记载的发明和其等同的范围内。
此外，能够将上述实施方式归纳为以下的技术提案。
[技术方案1]
一种识别装置，具备：
第1辨别部，其根据所输入的观测数据，来辨别对象的构成要素的有无；
设定取得部，其取得表示类别与构成要素的有无之间的关系的设定信息；以及
第2辨别部，其基于由上述设定取得部所得到的设定信息和由上述第1辨别部辨别出的构成要素的有无，来辨别上述对象的类别。
[技术方案2]
根据上述技术方案1，
上述第1辨别部使用机器学习了与各种对象相关的构成要素的辨别器，根据上述观测数据来算出与上述对象的构成要素的有无相关的第1分数，
上述第2辨别部基于上述设定信息，根据上述第1分数来算出与上述对象的类别相关的第2分数。
[技术方案3]
根据上述技术方案2，
上述第2分数是上述第1分数的最小值、最大值以及和中的任一者。
[技术方案4]
根据上述技术方案2，
上述辨别器包含神经网络，
上述第1分数的算出，对上述对象的构成要素共享了上述神经网络的一部分。
[技术方案5]
根据上述技术方案1或者2，
上述设定信息中，对各个类别确定有包含构成要素或者不包含构成要素的关系。
[技术方案6]
根据上述技术方案1或者2，
上述构成要素是基于形状、文字、颜色以及位置中的任一者的相似的分类。
[技术方案7]
根据上述技术方案1或者2，
上述构成要素是基于所表达的意思的一致的分类。
[技术方案8]
一种车辆系统，具备识别与车辆有关的对象的识别装置，
上述识别装置具备：
第1辨别部，其根据观测数据来辨别上述对象的构成要素的有无；
设定取得部，其取得表示类别与构成要素的有无之间的关系的设定信息；
第2辨别部，其基于由上述设定取得部所得到的设定信息和根据上述第1辨别部的辨别结果辨别出的构成要素的有无，来辨别上述对象的类别；以及
输出部，其输出上述第2辨别部的辨别结果。
[技术方案9]
根据上述技术方案8，
上述对象中至少包含交通标志、道路标记以及信号器中的任一者。
[技术方案10]
根据上述技术方案8，
上述设定信息根据上述车辆的环境条件来切换。
[技术方案11]
根据上述技术方案10，
上述环境条件中包含上述车辆的当前位置、移动速度以及时刻中的任一者。
[技术方案12]
根据上述技术方案8，
具备将上述第2辨别部的辨别结果提示给上述车辆的操作者的提示部。
[技术方案13]
根据上述技术方案12，
上述提示部基于上述辨别结果动态地变更向上述车辆的操作者进行提示的方法。
[技术方案14]
根据上述技术方案8，
具备基于从上述输出部所输出的辨别结果来控制上述车辆的工作的控制部。
[技术方案15]
一种记录介质，是计算机能够读取的、记录有由计算机执行的程序的记录介质，所述程序用于使上述计算机作为如下部分来工作，所述部分为：
第1辨别部，其根据所输入的观测数据，来辨别对象的构成要素的有无；
设定取得部，其取得表示类别与构成要素的有无之间的关系的设定信息；以及
第2辨别部，其基于由上述设定取得部所得到的设定信息和上述第1辨别部的辨别结果，来辨别上述对象的类别。

Claims (10)

1.一种识别装置，具备：
第1辨别部，其根据所输入的观测数据来辨别对象的构成要素的有无；
设定取得部，其取得表示类别与构成要素的有无之间的关系的设定信息；以及
第2辨别部，其基于由上述设定取得部所得到的设定信息和由上述第1辨别部辨别出的构成要素的有无，来辨别上述对象的类别。
2.根据权利要求1所述的识别装置，
上述第1辨别部使用机器学习了与各种对象相关的构成要素的辨别器，根据上述观测数据来算出与上述对象的构成要素的有无相关的第1分数，
上述第2辨别部基于上述设定信息，根据上述第1分数来算出与上述对象的类别相关的第2分数。
3.根据权利要求2所述的识别装置，
上述第2分数是上述第1分数的最小值、最大值以及和中的任一者。
4.根据权利要求2所述的识别装置，
上述辨别器包含神经网络，
上述第1分数的算出，对上述对象的构成要素共享了上述神经网络的一部分。
5.根据权利要求1或2所述的识别装置，
上述设定信息中对各个类别确定有包含构成要素或者不包含构成要素的关系。
6.根据权利要求1或2所述的识别装置，
上述构成要素是基于形状、文字、颜色以及位置中的任一者的相似的分类。
7.根据权利要求1或2所述的识别装置，
上述构成要素是基于所表达的意思的一致的分类。
8.一种车辆系统，具备识别与车辆有关的对象的识别装置，
上述识别装置具备：
第1辨别部，其根据观测数据来辨别上述对象的构成要素的有无；
设定取得部，其取得表示类别与构成要素的有无之间的关系的设定信息；
第2辨别部，其基于由上述设定取得部所得到的设定信息和根据上述第1辨别部的辨别结果辨别出的构成要素的有无，来辨别上述对象的类别；以及
输出部，其输出上述第2辨别部的辨别结果。
9.根据权利要求8所述的车辆系统，
具备将上述第2辨别部的辨别结果提示给上述车辆的操作者的提示部。
10.根据权利要求8所述的车辆系统，
具备基于从上述输出部所输出的辨别结果来控制上述车辆的工作的控制部。
CN201810985804.XA 2018-03-19 2018-08-28 识别装置以及车辆系统 Pending CN110287756A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018051486A JP6833750B2 (ja) 2018-03-19 2018-03-19 認識装置、車両システム及びプログラム
JP2018-051486 2018-03-19

Publications (1)

Publication Number Publication Date
CN110287756A true CN110287756A (zh) 2019-09-27

Family

ID=63452528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810985804.XA Pending CN110287756A (zh) 2018-03-19 2018-08-28 识别装置以及车辆系统

Country Status (5)

Country Link
US (1) US10984256B2 (zh)
EP (1) EP3543899A1 (zh)
JP (1) JP6833750B2 (zh)
KR (1) KR20190116033A (zh)
CN (1) CN110287756A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947048B (zh) * 2021-01-28 2023-08-04 国网湖南省电力有限公司 一种多变量耦合控制系统的控制方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
CN104951745A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车外环境识别装置
CN106886755A (zh) * 2017-01-19 2017-06-23 北京航空航天大学 一种基于交通标志识别的交叉口车辆违章检测系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554194A (ja) * 1991-08-26 1993-03-05 Nippon Denki Joho Service Kk 文字認識装置
JP4517003B2 (ja) * 2009-04-27 2010-08-04 アジア航測株式会社 道路標識自動認識システム
JP5962442B2 (ja) * 2012-11-02 2016-08-03 アイシン・エィ・ダブリュ株式会社 標識認識システム、標識認識方法、及び標識認識プログラム
KR101445739B1 (ko) 2012-11-13 2014-10-06 한국건설기술연구원 도로표지판의 위치검출 방법
KR101687094B1 (ko) 2015-01-29 2016-12-28 주식회사 만도 교통 표지판 인식 장치 및 교통 표지판 인식 방법
JP2017027227A (ja) * 2015-07-17 2017-02-02 日本電信電話株式会社 ラベル推定関数学習装置、方法、ラベル推定装置、方法及びプログラム
JP6924007B2 (ja) * 2016-08-29 2021-08-25 株式会社デンソーテン 運転支援装置および運転支援方法
US10545029B2 (en) * 2016-12-30 2020-01-28 DeepMap Inc. Lane network construction using high definition maps for autonomous vehicles
US20200151611A1 (en) * 2017-05-26 2020-05-14 Google Llc Machine-Learned Model System
KR101834778B1 (ko) * 2017-05-30 2018-03-07 만도헬라일렉트로닉스(주) 교통 표지판 인식장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951745A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车外环境识别装置
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
CN106886755A (zh) * 2017-01-19 2017-06-23 北京航空航天大学 一种基于交通标志识别的交叉口车辆违章检测系统

Also Published As

Publication number Publication date
JP6833750B2 (ja) 2021-02-24
US20190286917A1 (en) 2019-09-19
JP2019164512A (ja) 2019-09-26
KR20190116033A (ko) 2019-10-14
US10984256B2 (en) 2021-04-20
EP3543899A1 (en) 2019-09-25

Similar Documents

Publication Publication Date Title
EP3272610B1 (en) Information processing system, information processing method, and program
CN110114810B (zh) 信息处理系统、信息处理方法以及存储介质
EP3272611B1 (en) Information processing system, information processing method, and program
Mantouka et al. Identifying driving safety profiles from smartphone data using unsupervised learning
JP6842574B2 (ja) 自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法
US20190344804A1 (en) Information processing system, information processing method, and recording medium
CN107709127B (zh) 驾驶辅助方法和装置、自动驾驶控制装置、车辆、记录介质
US20200406906A1 (en) Subjective Route Comfort Modeling and Prediction
CN109969172A (zh) 车辆控制方法、设备及计算机存储介质
CN104978024A (zh) 用可佩戴计算设备来检测驾驶
US20190344798A1 (en) Information processing system, information processing method, and recording medium
CN108357496A (zh) 自动驾驶控制方法及装置
CN108859938A (zh) 用于自动驾驶车辆的自动车辆应急灯控制的方法和系统
CN108334073A (zh) 使用制动灯保持自动驾驶车辆与跟随车辆之间的距离的方法
CN111613091A (zh) 利用外部驾驶员数据增强移动设备操作
US11654924B2 (en) Systems and methods for detecting and classifying an unsafe maneuver of a vehicle
CN108944939A (zh) 用于提供驾驶指导的方法和系统
USRE49013E1 (en) Systems, methods, and non-transitory computer readable mediums for dynamic selection of advanced approach procedures
KR20210013599A (ko) 지능형 주행 제어 방법 및 장치, 전자 기기
US11908253B2 (en) Dynamic data preservation based on autonomous vehicle performance needs
CN110287756A (zh) 识别装置以及车辆系统
US11221229B1 (en) Autonomous vehicle routing based on predicted location of a disruptive third-party vehicle
CN112109645A (zh) 向车辆用户提供辅助的方法和系统
Yuan et al. Predicting Drivers’ Eyes‐Off‐Road Duration in Different Driving Scenarios
Raksincharoensak et al. Integrated driver modelling considering state transition feature for individual adaptation of driver assistance systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination