CN109844450B - 分类装置、分类方法以及记录介质 - Google Patents
分类装置、分类方法以及记录介质 Download PDFInfo
- Publication number
- CN109844450B CN109844450B CN201780062368.2A CN201780062368A CN109844450B CN 109844450 B CN109844450 B CN 109844450B CN 201780062368 A CN201780062368 A CN 201780062368A CN 109844450 B CN109844450 B CN 109844450B
- Authority
- CN
- China
- Prior art keywords
- light
- information
- pattern
- unit
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
提供分类装置、分类方法以及程序,能够削减生成判定程序所需的时间和成本,并且能够使用红外线等光来检测规定的空间的状态。本发明一个实施方式的分类装置具有:确定部,其安装有进行了如下学习的神经网络:使用投光图案的信息和受光图案的信息对空间的状态进行分类;投光信息取得部,其取得对规定的空间投射出的投光图案的信息并输出到该确定部;以及受光部,其取得接收来自该规定的空间的光而得到的受光图案的信息并输出到该确定部,该确定部输出分类结果,该分类结果是根据该投光信息取得部所取得的该投光图案的信息、和该受光部所接收的该受光图案的信息对该规定的空间的状态进行分类而得到的。
Description
关联发明的相互参照
本申请基于在2016年12月6日申请的日本申请第2016-237056号,在此引用其记载。
技术领域
本发明涉及使用了通过神经网络来进行学习的分类器的分类装置、分类方法以及程序。
背景技术
已经开发出使用红外线等光来检测物体的存在、状态的技术。在专利文献1中公开了使用红外线深度传感器来检测躯体的三维运动的运动体三维运动检测方法。专利文献1所记载的运动体三维运动检测方法是:隔着遮挡可见光并使红外线透过的遮蔽板,在相反侧利用红外线深度传感器按时间序列对运动的运动体的表面的各点进行检测,并用连接线将检测出的该各点的相邻点之间连接起来,从而利用连接线的网格来表示该运动体12的表面。然后,从该网格提取各时间点的运动体12的特征,根据其时间序列的变化来检测该运动体的三维运动。
现有技术文献
专利文献
专利文献1:日本特开2014-59654号公报
发明内容
这里,如专利文献1所记载的运动体三维运动检测方法那样,为了利用红外线等光来检测规定的空间状态,需要对表示该规定的空间状态的信息与光的图案之间的关系进行分析。但是,由于存在直接入射的光的路径和反射的光的路径,所以光的图案有很多并且复杂。因此,在通过通常的编程来编写能够使用光的图案来判定规定的空间状态的判定程序时,会导致时间和成本的增加。
鉴于上述问题,本发明的目的在于,提供能够削减编写判定程序所需的时间和成本并且能够使用红外线等光对规定的空间状态进行分类的分类装置、分类方法以及程序。
本发明的一个方式的分类装置具有:确定部,其安装有进行了如下学习的神经网络:使用投光图案的信息和受光图案的信息对空间的状态进行分类;投光信息取得部,其取得对规定的空间投射出的投光图案的信息并输出到该确定部;以及受光部,其取得接收来自该规定的空间的光而得到的受光图案的信息并输出到该确定部,该确定部输出分类结果,所述分类结果是根据该投光信息取得部所取得的该投光图案的信息、和该受光部所接收的该受光图案的信息对该规定的空间的状态进行分类而得到的。
具有上述结构的分类装置能够削减生成判定程序所学的时间和成本,并且能够使用红外线等光对规定的空间状态进行分类。
在本发明的一个方式的分类装置中,也可以是,其特征在于,该投光信息取得部取得对该规定的空间内的对象投射出的投光图案的信息并输出到该确定部,该受光部取得对该规定的空间内的对象投射出的光的受光图案并输出到该确定部,该确定部输出对该规定的空间内的该对象的存在或状态进行分类而得到的分类结果。
具有上述结构的分类装置通过将针对规定的空间内的对象的光的投光图案和该光的受光图案用于分类,能够对该规定的空间内的对象的存在或状态进行分类。
在本发明的一个方式的分类装置中,也可以是,其特征在于,该确定部安装有进行了如下学习的神经网络:使用针对预先给定的空间的状态投射出的投光图案的信息、和接收来自该预先给定的空间的光而得到的受光图案的信息来对该空间的状态进行分类。
具有上述结构的分类装置通过针对预先给定的空间的状态进行神经网络的学习,能够使该神经网络进行有教师的学习。
在本发明的一个方式的分类装置中,也可以是,其特征在于,该确定部安装有进行了如下学习的神经网络:使用多个投光图案的信息、和接收按照该多个投光图案分别投射出的光而得到的受光图案的信息来对该空间的状态进行分类。
具有上述结构的分类装置使用多个投光图案的信息来进行神经网络的学习,由此,即使投射光的投光部的数量为规定的数量,也能够使用不同的投光图案分别生成学习数据,能够增加该学习数据。
在本发明的一个方式的分类装置中,也可以是,其特征在于,该确定部安装有进行了如下学习的神经网络:使用将该投光图案的信息、该受光图案的信息以及与该空间的状态相关的信息对应起来而得到的学习数据来对该空间的状态进行分类。
具有上述结构的分类装置通过将投光图案的信息、受光图案的信息以及与空间的状态相关的信息对应起来而得到的学习数据,能够使神经网络进行有教师的学习,能够使用红外线等光对规定的空间的状态进行分类。
在本发明的一个方式的分类装置中,也可以是,其特征在于,该确定部安装有进行了如下学习的神经网络:除了使用该投光图案的信息和该受光图案的信息之外,还使用来自辅助传感器的辅助信息来对空间的状态进行分类。
具有上述结构的分类装置除了使用投射和接收红外线等光的传感器之外,还能够通过使用各种辅助传感器来进一步提高规定的空间状态的检测能力。
本发明的一个方式的分类方法的特征在于,包含如下的步骤:确定步骤,安装进行了如下学习的神经网络:使用投光图案的信息和受光图案的信息对空间的状态进行分类;投光信息取得步骤,取得对规定的空间投射出的投光图案的信息并用于该确定步骤;以及受光步骤,取得接收来自该规定的空间的光而得到的受光图案的信息并用于该确定步骤,在该确定步骤中输出分类结果,所述分类结果是根据所取得的该投光图案的信息和所接收的该受光图案的信息对该规定的空间的状态进行分类而得到的。
具有上述结构的分类方法能够削减生成判定程序所需的时间和成本,并且能够使用红外线等光对规定的空间状态进行分类。
本发明的一个方式的程序的特征在于,其使计算机执行如下功能:确定功能,安装进行了如下学习的神经网络:使用投光图案的信息和受光图案的信息对空间的状态进行分类;投光信息取得功能,取得对规定的空间投射出的投光图案的信息并用于该确定功能;以及受光功能,取得接收来自该规定的空间的光而得到的受光图案的信息并用于该确定功能,在该确定功能中输出分类结果,所述分类结果是根据所取得的该投光图案的信息和所接收的该受光图案的信息对该规定的空间的状态进行分类而得到的。
具有上述结构的程序能够削减生成判定程序所需的时间和成本,并且能够使用红外线等光对规定的空间状态进行分类。
发明效果
根据本发明的一个方式的分类装置、分类方法以及程序,能够削减生成判定程序所需的时间和成本,并且能够使用红外线等光对规定的空间状态进行检测。
附图说明
图1是用于对本发明第1实施方式的分类系统的概要进行说明的图。
图2是示出本发明第1实施方式的学习用系统的结构例的图。
图3是示出本发明第1实施方式的学习环境准备装置的结构例的图。
图4是示出本发明第1实施方式的学习装置的结构例的图。
图5是示出本发明第1实施方式的空间状态检测装置的结构例的图。
图6是本发明第1实施方式的学习环境准备装置的动作例。
图7是本发明第1实施方式的学习装置的动作例。
图8是本发明第1实施方式的空间状态检测装置的动作例。
图9是示出本发明第1实施方式的投光图案的例子的图。
图10是示出本发明第1实施方式的投光图案的其他例的图。
图11是示出本发明第1实施方式的受光图案的例子的图。
图12是示出本发明第2实施方式的学习环境准备装置的结构例的图。
图13是示出本发明第2实施方式的空间状态检测装置的结构例的图。
具体实施方式
<第1实施方式>
参照附图对本发明的第1实施方式进行说明。
(概要)
本发明的第1实施方式使用基于传感器的测量信息来进行机器学习,使用通过该机器学习而学习到的检测功能来检测规定的空间状态。
图1是用于对本发明第1实施方式的分类系统的概要进行说明的图。如图1所示,首先,(1)本发明第1实施方式的分类系统通过学习数据生成系统1来进行学习数据的生成。学习数据生成系统1根据传感器对检测对象的测量信息和与规定的空间状态相关的信息,生成教师数据(学习数据)。
接着,(2)学习服务系统2通过由学习数据生成系统1生成的学习数据来进行神经网络中的“带教师的学习”。在学习服务系统2中,通过对神经网络依次输入教师数据(学习数据),对该神经网络的各层的参数(权重)进行调整,生成能够进行理想的输出(分类)的分类器。
然后,(3)空间状态检测装置(分类装置)使用所生成的分类器,在给定了规定的输入(传感器的测量信息)时,对其空间状态(物体的状态)进行分类。
(关于系统结构)
图2是示出本发明第1实施方式的学习用系统的结构例的图。
如图2所示,学习用系统包含学习数据生成系统1、学习服务系统2以及网络3。
网络(NW)3是用于将学习数据生成系统1和学习服务系统2相互连接起来的通信网。NW 3例如是有线网络或无线网络。具体来说,NW 3是无线LAN(wireless LAN:WLAN)、广域网(wide area network:WAN)、ISDNs(integrated service digital networks:综合业务数字网)、无线LANs、LTE(long term evolution:长期演进)、CDMA(code divisionmultiple access:码分多址)等。另外,NW 3并不限于这些例子,例如,可以是公共交换电话网(Public Switched Telephone Network:PSTN)、蓝牙(Bluetooth(注册商标))、卫星通信等,也可以是任意的NW。
(学习数据生成系统1的结构例)
学习数据生成系统1是用于生成学习数据的系统。如图2所示,学习数据生成系统1包含通信部10、学习环境准备装置11、学习数据管理装置12以及学习数据输入装置13。
通信部10是用于执行学习数据生成系统1的通信的通信接口。学习数据管理装置12经由通信部10来发送接收各种数据。
学习数据管理装置12是用于对学习环境准备装置11所生成的教师数据(即,学习数据)进行管理的装置。学习数据管理装置12根据来自学习服务系统2的请求,从学习环境准备装置11读出作为教师数据的学习数据,并通知给该学习服务系统2。
学习数据输入装置13是用于收集与规定的空间状态相关的测量信息或受理输入并对学习环境准备装置11提供该测量信息的装置。规定的空间状态是与作为检测对象的人、物体、机器人等的位置、状态相关的信息。例如,学习数据输入装置13收集投光部的投光图案、受光部的配置图案等测量信息或接受输入,并提供给学习环境准备装置11。
学习环境准备装置11是用于生成作为教师数据的学习数据的装置。学习环境准备装置11所生成的学习数据例如是有教师的学习数据。学习环境准备装置11生成学习数据并提供给学习服务系统2。
(学习环境准备装置11的结构例)
图3是示出本发明第1实施方式的学习环境准备装置11的结构例的图。
如图3所示,学习环境准备装置11包含通信部110、投光部111、投光信息取得部112、受光部113、空间状态信息输入部114、检测部115以及学习数据库(DB)116。
通信部110是用于执行学习环境准备装置11的通信的通信接口。学习数据库116经由通信部110而与检测部115之间进行各种数据的发送接收。
投光部111具有投射红外线等光的功能。投光部111是传感器的一部分。投光部111能够按照规定的图案来投射红外线等光。
投光信息取得部112具有对投光部111投射的红外线等光的投光图案进行检测的功能。另外,投光部111的投光图案可以是预先设定的,也可以是随机的。投光信息取得部112可以取得预先确定的投光图案,也可以通过检测来自投光部111的投光来检测投光图案。
并且,投光信息取得部112具有取得投光部111的投光信息的功能。投光信息是与向对象照射什么样的光相关的信息。投光信息取得部112取得与投光部向对象照射什么样的光相关的信息。例如,输出表示哪个投光元件正点亮的信息。可以包含与亮度、颜色相关的信息。也可以是对这些信息进行组合而得到的投光图案的识别信息。
受光部113具有接收来自投光部111的光的功能。受光部113也可以是多个。受光部113将所接收的光输出到检测部115。另外,在具有多个受光部113的情况下,受光部113的配置能够按照规定的周期或者随机地变更。
空间状态信息输入部114受理与规定的空间状态相关的信息的输入。例如,空间状态信息输入部114受理与作为检测对象的人、物体、机器人等的位置、状态相关的信息的输入。空间状态信息输入部114对检测部115通知与所受理的检测对象的位置、状态相关的信息。
检测部115检测从受光部113输入的光的受光图案。
并且,检测部115将从空间状态信息输入部114通知的(1)与规定的空间状态相关的信息、(2)从投光信息取得部112通知的投光图案、(3)从受光部113通知的受光图案对应起来。检测部115将对应起来而得到的信息通知给学习数据库116。
学习数据库116每当从检测部115接收到通知时,便将(1)与规定的空间状态相关的信息、(2)从投光信息取得部112通知的投光图案以及(3)从受光部113通知的受光图案对应起来进行存储。根据存储于学习数据库116的信息可知晓(1)与检测对象的状态相关的信息,从而该存储于学习数据库116的信息被用作作为教师数据的学习数据。
学习环境准备装置11例如以如下方式生成作为教师数据的学习数据。
动作学习用数据例如是与人的动作(姿势)相关的学习数据。另外,动作学习用数据不限于与人的动作相关的学习数据,可以是任意数据。以下,以动作学习用数据是与人的动作相关的学习数据的情况为例来进行说明。
首先,学习环境准备装置11针对人的多个动作(姿势)来分别取得动作图案。然后,学习环境准备装置11将取得的动作图案作为行动指令信息而通知给人型机器人,使人型机器人执行姿势动作。另外,学习环境准备装置11也可以不使用人型机器人而由人来进行动作,但当使用人型机器人时,由于能够反复地执行姿势动作,所以能够取得多个学习用数据。
学习环境准备装置11针对人型机器人(或人)的多个动作(姿势)中的每一个动作,通过将投光部111的投光图案与受光部113的受光图案对应起来而生成作为教师数据的学习数据。
针对1个动作(姿势),学习环境准备装置11对作为传感器的投光部111的投光图案、受光部113的配置进行变更而生成多个作为教师数据的学习数据。例如,针对1个动作(姿势),学习环境准备装置11根据在汽车的控制台附近的矩形区域中将投光部111和受光部113配置成格子状时的投光图案、受光图案来生成学习数据。另外,以下,例如以人、人型机器人进行动作(姿势)的情况为例来进行说明。
而且,针对其他动作(姿势),学习环境准备装置11也对作为传感器的投光部111的投光图案、受光部113的配置进行变更而生成多个作为教师数据的学习数据。
例如,在对“人踩踏油门”这一空间状态进行学习数据的生成的情况下,首先,学习环境准备装置11针对规定的油门的踩踏方法,通过使投光部111的投光图案、受光部113的受光图案发生变化而生成多个学习数据。
接着,针对与规定的油门的踩踏方法不同的其他踩踏方法,学习环境准备装置11也同样地通过使投光部111的投光图案、受光部113的受光图案发生变化而生成多个学习数据。
学习环境准备装置11反复执行上述操作,针对互相不同的多个油门的踩踏方法,分别通过使投光部111的投光图案、受光部113的受光图案发生变化而生成多个学习数据。其结果是,学习环境准备装置11针对“人踩踏油门”这一空间状态,生成多个教师数据(学习数据)。
如上所述,学习准备环境装置11能够针对人的动作(姿势)来生成多个学习数据。
(学习服务系统2的结构例)
如图2所示,学习服务系统2包含通信部20、学习控制装置21、学习装置22以及学习数据库23。
通信部20是用于执行学习服务系统2的通信的通信接口。学习控制装置21、学习装置22以及学习数据库23经由通信部20来进行各种数据的发送接收。
学习控制装置21是对学习装置22进行学习开始、学习结果的请求的装置。学习控制装置21还具有将从学习装置22取得的学习结果存储于学习数据库23的功能。
学习数据库23具有用于存储学习装置22的学习结果的功能。学习数据库23例如由HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态硬盘驱动器)、闪存等各种存储介质实现。但是,在本发明的第1实施方式中,学习数据库23并不限定于这些。
学习装置22使用由学习环境准备装置11生成的学习数据来学习神经网络。学习装置22使神经网络进行有教师的学习。另外,在本发明的第1实施方式中,学习装置22也可以进行无教师的学习。
(学习装置22的结构例)
图4是示出本发明第1实施方式的学习装置22的结构例的图。学习装置22包含通信部220、学习数据取得部221、神经网络222、学习控制部223以及学习结果输出部224。
通信部220是用于执行学习装置22的通信的通信接口。学习数据取得部221、学习控制部223、学习结果输出部224经由通信部110来进行各种数据的发送接收。
学习数据取得部221经由通信部110来取得由学习数据生成系统1的学习环境准备装置11生成的学习数据。
神经网络222从学习数据取得部221接受学习数据的输入而进行有教师的学习。另外,神经网络222例如是分层型神经网络、深度神经网络。
神经网络222例如是具有分层构造的网络。神经网络222例如由输入层、中间层以及输出层构成,各层具有多个节点。而且,神经网络222通过在输入层与中间层的节点之间和中间层与输出层的节点之间设定任意的权重,能够通过对节点之间的结合状态进行调整而解决分类问题。另外,具有中间层的神经网络222是分层型神经网络。学习装置22通过对神经网络222输入教师数据,对各层的节点的权重进行调整而生成能够进行适当输出的分类器。
神经网络222也可以是具有多个中间层的深度(深层)神经网络。深度(深层)神经网络由输入层、多层的中间层以及输出层构成,各层具有多个节点。并且,深度神经网络在输入层与中间层的节点之间、以及中间层与输出层的节点之间设定任意的权重而对节点之间的结合状态进行调整,从而能够生成可解决分类问题的分类器。
另外,在本发明的第1实施方式中,神经网络222不限于分层型神经网络、深度神经网络,也可以是各节点互相结合的相互结合型的神经网络等。
并且,本发明第1实施方式的神经网络222的模型例如可以是简单感知器、反向传播、支持向量机、Hopfield模型、自组织映射等,但并不限于这些例子,也可以是任意模型。
学习控制部223具有对神经网络222的学习进行管理的功能,对学习数据取得部221指示学习数据的输入。并且,学习控制部223经由学习结果输出部224和通信部220而输出基于神经网络222的学习结果。
学习结果输出部224例如具有暂时保存神经网络222的学习结果并进行汇总输出的功能。基于神经网络222的学习结果例如是能够受理规定的输入并对规定的空间状态进行适当的输出的分类器。
(空间状态检测装置4的结构例)
图5是示出本发明第1实施方式的空间状态检测装置4的结构例的图。如图5所示,空间状态检测装置4包含通信部40、投光部41、投光信息取得部42、受光部43、确定部44以及检测结果输出部45。
通信部40是用于执行空间状态检测装置4的通信的通信接口。确定部44和检测结果输出部45经由通信部110来进行各种数据的发送接收。
投光部41按照规定的投光图案来投射红外线等光。投光部41能够按照规定的图案来投射红外线等光。
投光信息取得部42具有收集投光部41所投射的红外线等光的投光图案的功能。另外,投光部41的投光图案可以是预先确定的,也可以是随机的。投光信息取得部42可以参照存储有该投光图案的存储部(未图示)来取得预先确定的投光图案,也可以经由通信部40从学习数据生成系统1或学习服务系统2取得预先确定的投光图案。并且,投光信息取得部42也可以对来自投光部41的投光进行检测,检测投光图案。
受光部43具有接收来自投光部41的光的功能。受光部43也可以有多个。受光部43将所接收的光输出到确定部44。另外,在存在多个受光部43的情况下,受光部43的配置按照规定的周期或随机地发生变更。
确定部44能够使用通过神经网络222中的学习而生成的分类器,根据投光部41的投光图案和受光部43的受光图案对对象的存在状态进行检测(分类)。并且,确定部44也可以对特定的状态进行检测(分类)。例如,确定部44能够对作为特定的状态的在姿势区域中存在手、在油门踏板或制动踏板上存在脚尖等情况进行检测,并且,还能够对将要踩踏油门踏板或将要踩踏制动踏板等情况进行检测。
并且,确定部44也可以对在把手附近存在手、在变速杆附近存在手、在方向盘附近存在手、手靠近汽车导航装置或音频装置等情况进行检测(分类)。并且,确定部44也可以对存在不是手的物体的情况进行检测(分类)。并且,确定部44也可以对背部倚靠等情况进行检测(分类)。
并且,确定部44也可以对是否有可能对变速杆进行操作、是否处于能够进行转向操作的状态进行检测(分类),也可以通过对规定的动作进行检测(分类)来判定是否需要开始接收语音命令。
检测结果输出部45具有经由通信部40来通知确定部44所检测出的检测结果的功能。
另外,空间状态检测装置4和学习数据生成系统1也可以共同具有起到相同功能的结构。
(动作例)
图6是本发明第1实施方式的学习环境准备装置11的动作例。如上所述,学习环境准备装置11是用于生成作为教师数据的学习数据的装置。
投光部111投射红外线等光(S101)。然后,投光信息取得部112收集投光部111所投射的红外线等光的投光图案(S102)。
受光部113接收来自投光部111的光(S103),并输出到检测部115(S104)。
检测部115检测从受光部113输入的光的受光图案(S105)。
空间状态信息输入部114受理与作为检测对象的人、物体、机器人等的位置、状态相关的信息的输入(S106)。空间状态信息输入部114受理与投射红外线等光时的作为检测对象的人、物体、机器人等的位置、状态相关的信息的输入。
然后,检测部115将(1)从空间状态信息输入部114通知的与规定的空间状态相关的信息、(2)从投光信息取得部112通知的投光图案以及(3)从受光部113通知的受光图案对应起来(S107)。然后,检测部115向学习数据库116通知该对应(学习数据)(S108)。
另外,学习数据库116每当从检测部115接收到通知时,便将(1)与检测对象的状态相关的信息、(2)从投光信息取得部112通知的投光图案以及(3)从受光部113通知的受光图案对应起来进行存储。
如上所述,学习环境准备装置11能够生成作为教师数据的学习数据。另外,学习环境准备装置11针对多个“与检测对象的位置、状态相关的信息”分别生成学习数据。
图7是本发明第1实施方式的学习装置22的动作例。另外,学习装置22的各动作能够通过学习装置22的学习控制部223的控制来执行。
学习数据取得部221经由通信部110来取得由学习数据生成系统1的学习环境准备装置11生成的学习数据(S201)。
神经网络222从学习数据取得部221受理学习数据的输入而进行有教师的学习(S202)。学习装置22通过对神经网络222输入教师数据来调整各层的节点的权重,从而生成能够进行适当输出的分类器。
学习控制部223经由学习结果输出部224和通信部220来输出基于神经网络222的学习结果(S203)。基于神经网络222的学习结果例如是能够受理规定的输入并进行适当的输出的分类器。
如上所述,学习装置22能够使神经网络222进行带教师的学习,在受理了规定的输入的情况下,能够生成可输出适当的空间状态的分类器。
图8是本发明第1实施方式的空间状态检测装置4的动作例。
投光部41按照规定的投光图案来投射红外线等光(S301)。投光信息取得部42收集投光部41所投射的红外线等光的投光图案(S302)。
受光部43接收来自投光部41的光(S303),并输出到确定部44(S304)。
确定部44通过利用神经网络222的学习而生成的分类器,根据投光部41的投光图案和受光部43的受光图案,对规定的空间状态进行检测(S305)。
检测结果输出部45具有经由通信部40来通知确定部44所检测出的检测结果的功能(S306)。
如上所述,本发明的第1实施方式根据传感器对检测对象的测量信息和与规定的空间状态相关的信息,生成教师数据(学习数据),并使用所生成的教师数据来进行神经网络222的学习,根据作为学习结果的分类器来检测空间状态。因此,能够削减生成判定程序所需的时间和成本,并且能够使用红外线等光来检测规定的空间状态。
(关于传感器)
以下,使用附图对本发明第1实施方式的传感器进行详细说明。
(基本结构)
传感器是在对状态进行检测的规定的空间中检测因物体的存在而受到影响的物理量的装置。例如,传感器是红外线传感器等光传感器,投光部(投光部41或投光部111,以下,省略记载。)朝向受光部(受光部43或受光部113,以下,省略记载。)照射红外线等光,检测光被物体等遮挡的情况。传感器只要能够在规定的空间中进行状态的检测,则也可以是任意装置。例如,传感器用于检测状态的并不限于红外线,也可以是任意波长的光、电磁波、电波、静电电容等。并且,传感器只要能够在对状态进行检测的规定的空间中检测因物体的存在而受到影响的物理量,则也可以用任意的方法进行检测。
并且,传感器例如也可以投射红外线等光来检测该光的反射光。此外,传感器也可以计测所接收的光的时间变化。并且,通过增加投光部和受光部的数量,也能够与错综复杂的空间内的复杂形状的存在状态相关地检测计测信息。
(在传感器中用于检测的光)
用于检测的光可以使用红外线。由于红外线是人眼看不到的,所以通过使用红外线而具有人不会觉察的特性。并且,为了使用人眼可见的特征来进行识别,需要使用可见光。
投光部可以使用投射红外线的发光二极管。投光部可以使用输出用于检测的波长的光或电磁波的任意的发光器件。
另外,用于检测的光并不限定于红外线,可以使用任意的波长的光或电磁波。并且,用于检测的光可以根据要检测的物体的大小来选择任意的波长。例如,波长越短的光越能够检测出细微的特征。具体来说,在使用LSI(Large-Scale Integration:大规模集成)技术对精细的投光部和受光部进行了排列的情况下,波长越短,越能够识别出细微的特征。这种器件(传感器)不使用透镜那样的用于成像的光学系统便能够检测对象的特征。例如,该器件能够检测因对象表面的微细的凹凸而引起的差异。
并且,通过在投光部不发光的时刻使受光部进行动作,能够对环境光和环境光的反射光进行检测。并且,在使用红外线等的投光部发光的时刻,能够通过使受光部进行动作而对从投光部照射的光的反射光及直接光、透过光进行检测。通过对以上方式进行组合,能够使对象的检测变得容易。
另外,即使想要通过相机来进行上述那样的检测,由于该相机的尺寸比发光二极管或光电二极管大,所以设置的自由度小,难以进行该检测。
(传感器的检测方法)
传感器配置在对状态进行检测的规定的空间(即,检测对象空间)中,检测与该检测对象空间状态相关的测量信息。以下,以配置在汽车内或汽车外的传感器为例来进行说明。
传感器在汽车内或汽车外例如配置多个红外线等光的投光部和受光部,从而对光被物体等遮挡的情况等进行检测。传感器例如也可以呈格子状地配置于矩形面板等。例如,在使投光部点亮的情况下,这样的传感器检测由多个受光部分别检测的红外线量。并且,传感器未必需要包含投光部,也可以利用受光部来检测太阳光等环境光。
传感器的投光部能够切换点亮图案。由于来自传感器的投光部的光按照每个点亮图案来改变其照射图案,所以能够根据各种图案来检测测量信息。
例如,在使投光部闪烁的情况下,在该投光部点亮的时刻使受光部进行工作,从而能够利用受光部来接收来自投光部的光。通过使投光部闪烁,能够降低发光所需的能量,并且,能够延长发光二极管等发光器件的寿命。并且,在投光部点亮时,受光部能够通过接收光来检测被照射光时的直接光或反射光。与此相对,当在投光部未点亮的时刻使受光部工作时,能够检测环境光的影响。其结果是,通过从将投光部点亮的情况下的受光部对光的检测量中减去该投光部未点亮的情况下的受光部对光的检测量,能够消除环境光的影响,并且能够得到仅接收了投光部所投射的光的情况下的检测结果。
并且,传感器根据投光部和受光部的安装位置,使检测范围发生变化。因此,通过投光部和受光部的安装位置的组合,能够变更检测范围的变化。
并且,无论从投光部投射的光的形态如何,传感器都使检测范围发生变化。光的形态例如是直线状光束、圆锥/四棱锥型光束、平行光束、放射状光束等。另外,所投射的光的形态并不限于这些例子,也可以是任意形态。
图9是用于对传感器的投光部的配置图案进行说明的图。如图9的(a)和(b)所示,多个投光部可以呈纵向一列或横向一列地配置。并且,多个投光部可以如图9的(c)所示的那样呈十字配置,也可以如图9的(d)所示呈正方形地配置。另外,投光部的配置图案并不限于这些例子,也可以是任意配置。
图10是示出从传感器的投光部投射的光的形态的例子的图。如图10的(a)所示,投光部能够投射直线状光束的光。并且,如图10的(b)所示,投光部也可以投射圆锥形的光束的光。当对图10的(a)和(b)进行比较时,可知即使是来自相同投光部的投光,光的到达范围也会发生变化,由此检测范围发生变化。并且,如图10的(c)所示,投光部也可以投射平行光束的光。此外,如图10的(d)所示,投光部也可以投射放射状光束。在本发明的第1实施方式中,也可以将来自多个投光部的光组合起来而对测量信息进行检测。例如,如图10的(d)所示,通过将放射状光束组合起来,能够进行基于“面”的测量信息的检测。
传感器也可以使来自投光部的光的形态随时间发生变化。例如,也可以每隔0.1秒便交替地投射直线状光束和圆锥形光束。另外,投光部所投射的光的形态并不限于这些例子,也可以是任意的形态。
并且,传感器的检测范围也会根据设置受光部的范围而发生变化。因此,通过将来自投光部的光束的形态和受光部的配置范围组合起来,能够改变传感器的检测范围的变化。
图11是用于示出受光部的配置例的图。如图11的(a)或(b)所示,多个受光部可以呈纵向一列或横向一列地配置。并且,多个受光部也可以如图11的(c)所示的那样呈正方形地配置,还可以如图11的(d)所示的那样呈圆形配置。
并且,传感器也可以使受光部的配置随时间发生变化。例如,也可以每隔0.2秒便重复纵向一列、横向一列、正方形。另外,也可以不实际变更受光部的配置,而是变更多个受光部中的受光的受光部,从而形成与变更了配置的情况同样的状态。例如,在想要以正方形受光的情况下,受光部全部都受光,但在想要以纵向一列受光的情况下,该多个受光部中的一部分受光。另外,受光部的配置并不限于这些例子,也可以是任意配置。
另外,在传感器中,在使投光部所投射的光的形态、受光部的配置随时间发生变化的情况下,为了通过与学习模型的匹配来进行对象的判定,需要将该时间图案输入到判定部。
通过使投光部所投射的光的形态、受光部的配置随时间发生变化,传感器能够关于对象的存在位置、对象的存在方式(存在姿势)、对象的动作、对象的形状、对象的复杂度等检测计测信息。
(反射光、直接光、透过光的检测)
另外,通过对投光部和受光部的配置进行调整,能够检测从该投光部照射的光的反射光、直接光以及透过光中的任意一种。通过对反射光、直接光以及透过光进行组合,物体的识别会变得更加容易。
与此相对,在使用相机的方法中,只能检测照明或环境光的反射光。
例如,由于在车内时人的身体的各部分处于被车的部分包围的状态,所以通过对反射光、直接光以及透过光进行组合,能够识别出更复杂的状态。并且,通过使机器人的手脚或身体等具有投光部和受光部,能够根据手脚的动作所引起的姿势变化而使检测图案发生变化。
例如,在用手抓住物体的状态的学习或检测中,可考虑利用位于与该拇指投光部对置的位置的手指所具有的受光部,对来自相当于拇指的机器人的手指所具有的投光部的直接光和反射光进行检测。通过生成这样的学习数据,能够学习或检测手来到抓住对象的位置的状态。并且,在生成学习数据时,在机器人的手具有受光部的情况下,即使是离检测对象最近的距离,也能够检测来自该检测对象的反射光、透过光或直接光。因此,在使用投光部或受光部的情况下,产生像使用相机的情况那样的死角的情形变得非常少。并且,由于能够检测透过光,所以还能够学习玻璃杯或纸杯等使光透过的物体的特征。因此,能够提高用于识别使光透过的物体和不使光透过的物体的识别能力。并且,通过学习透过特性的差异,还能够提高识别形状相同但材质不同的物体的能力。
(颜色的检测)
并且,投光部使用白色LED等照射白色光的发光器件,从而能够检测人可视觉辨认的物体。并且,投光部使用能够照射特定频带的波长的发光器件,由此,还能够检测对特定颜色的光进行反射的物体。并且,通过基于颜色来学习反射的差异,还能够获得识别出对象的颜色、花纹、所打印的图形等颜色图案的能力。
并且,受光部使用能够检测特定频带的波长的受光器件,由此,还能够检测对特定颜色的光进行反射的物体。
投光部或受光部也可以采用仅使规定频带的光透过的滤光器。例如,当机器人的手具有多个投光部和受光部时,不仅能够检测所接近的对象的形状,还能够检测花纹、符号、字符等颜色图案的差异。由此,例如,能够检测罐装饮料等的朝向。并且,例如,还能够检测手从特定方向接近的情况。例如,在将这样的检测方法应用于护理机器人的情况下,能够识别被护理者的手脚、脸等皮肤露出的部分以及衣服部分,该护理机器人能够进行适当的护理。
(基于颜色的物体识别)
投光部或受光部能够通过检测不同频带的波长而使用多种频带来检测对象,从而能够检测该对象的颜色差异。由此,例如,能够检测对象的各部分的颜色差异。例如,能够识别出对象物、对象动物、对象植物的花纹差异。例如,通过将构成为能够检测蓝色和红色的投光部和受光部并列配置,能够检测红色和蓝色的纵条纹。并且,通过对投光部或受光部的间隔进行调整,能够检测规定的宽度的纵条纹。
并且,通过在每个投光部的位置或每个受光部的位置使用不同频带的波长进行检测,能够检测出对象的每个部分或每个方向的反射色的差异。例如,能够检测出通过阳极氧化处理进行了加工后的金属的表面、彩虹色的虫子、光盘等颜色根据光所入射的方向和反射的方向而不同的物体。并且,通过对对象的动作、投光部和受光部的配置的变化进行组合,能够检测出只有在对象中通过改变方向来视觉辨认才能检测到的特征。
这样的检测无法通过单眼相机来进行。并且,当想要使用相机同时进行多个方向的检测时,需要多个相机,成本显著增大。
(传感器的设置场所)
传感器设置于进行规定的空间状态的检测的区域中。例如,在进行汽车内的状态检测的情况下,传感器设置在该汽车内。并且,在进行汽车外的状态检测的情况下,传感器设置在该汽车外。
传感器例如在对状态进行检测的规定的空间内设置在非平面的突起或凹陷部分等。并且,传感器例如也可以组装在存在于检测状态的规定的空间中的已有的装置或已有的部件等。另外,设定传感器的场所并不限于这些例子,只要处于对状态进行检测的规定的空间内,则也可以是任意场所。
用于监视汽车周围的传感器配置在汽车外,例如设置或组装在前照灯、转向灯、车标、旁通管、前格栅、车门后视镜、车内后视镜的前面等。
并且,用于检测汽车内的对象的传感器配置在汽车内,例如配置或组装在仪表板、支柱传感器、控制台、座椅、音响/汽车导航、按键启动开关、电动车窗开关等。
例如,通过在仪表板上排列传感器的投光部和受光部,能够检测存在于汽车内的前方座椅的对象。在仪表板上存在多个非平面的突起或凹陷部分,但根据配置传感器的位置,从该传感器照射的光的朝向、该传感器能够检测对象的范围会发生变化。因此,传感器的设置是考虑到要检测的对象或要检测的范围而进行的。
并且,用于检测汽车内的对象的传感器例如可以组装于照明部件,也可以组装于前座椅上部的室内灯、中央室内灯、驾驶员座椅聚光灯、驾驶员座椅脚下灯、副驾驶员座椅聚光灯、右后方聚光灯、后部中央聚光灯、左后方聚光灯、驾驶员座椅车门灯、副驾驶员座椅车门灯、右后部车门灯、左后部车门灯等。
(传感器的检测)
设置于汽车内外的传感器例如能够通过投射和接收红外线来收集用于检测是否存在对象的测量信息。并且,传感器能够收集用于检测对象形状的测量信息。对象形状例如是指人或机器人的身体的大小、手脚的长度、头部的形状及其大小、规定的器官的位置及其形状等。规定的器官例如是眼睛、鼻子、嘴等。
并且,传感器能够收集用于检测对象状态的测量信息。传感器例如能够收集用于检测脸的朝向、表情(笑脸、哭脸等)、眨眼等的测量信息。并且,传感器能够收集用于检测左右手臂的状态、上臂的状态(朝向、位置、弯曲等)、手的状态等的测量信息。并且,传感器能够收集用于检测左右脚的状态、躯体的状态(朝向、弯曲等)的测量信息。
并且,传感器能够收集用于检测人、机器人的动作的测量信息,例如,能够收集用于检测在规定的位置附近是否存在身体的特定部位、规定的位置处的身体动作等的测量信息。
(传感器的检测对象)
传感器收集测量信息的对象(检测对象)是规定的空间状态,例如,可举出以下状态。
首先,传感器的检测对象例如是对象的存在与否、存在方式等。例如,传感器将人的存在作为检测对象,具体来说,将汽车内是否存在乘客、每个座椅上是否存在乘客作为检测对象。并且,人的存在方式也是检测对象。例如,是否为就座姿势、或者身体的形状、手脚的位置等也是检测对象。
并且,物体的存在也是检测对象。例如,将物体的存在与否、所存在的物体的种类等作为检测对象。例如,将行李的存在、该行李的大小及该行李的形状(例如,长方体等)作为检测对象。
并且,动作也是检测对象。例如,将与驾驶相关的动作作为检测对象。踏板的操作、转向的操作、换挡操作、针对各种开关的操作是检测对象。与驾驶相关的动作以外的动作也是检测对象。例如,相对于汽车的上车或下车等也是检测对象。在上车时,车门解锁是检测对象,“靠近、门把手的操作、解除车门上锁”等是检测对象。此外,在下车时,例如,安全带的解除是检测对象。
此外,车内的乘客的姿势或用于开关操作的手的动作是检测对象。例如,针对汽车导航装置的操作、针对音响的操作是检测对象。
并且,对移动终端(移动电话或智能手机等)的操作也是检测对象。例如,存在于驾驶员座椅的头部前方附近的智能手机上的物体是检测对象。根据智能手机的位置,驾驶员也有可能在驾驶中操作智能手机,能够对驾驶员进行警告。并且,如果是停止中的智能手机的操作,则例如能够预测进行汽车导航系统与智能手机的连接协作。
并且,通过将汽车内或汽车外的环境以及其环境下的人的行动作为检测对象,也能够对行动进行分类。例如,如果在炎热、晃眼、寒冷等各环境下对人的行动(例如转向操作、制动操作、开关操作等)进行检测,则能够对用于处理与环境对应的行动和状况的行动进行分析/分类。
并且,其他汽车的动作也是检测对象。例如,周围车辆的动作,更详细来说,前方车辆的动作、后方车辆的动作、对面车辆的动作等也是检测对象。并且,车间距离、接近速度、并道的时刻等也可成为检测对象。并且,关于人,驾驶员、同时乘坐的人等乘客、存在于汽车周围的人等也是传感器的检测对象,通过将他们作为检测对象,分类装置能够对人的可疑行为等进行确定。
并且,汽车周围的检测对象例如是前方车辆的存在、行人、建筑物等。例如,传感器将存在于汽车前方的障碍物设为检测对象,由此,分类装置能够推测该障碍物对本车带来危险的程度等。
并且,传感器也可以在规定的状况下将应检测的对象设为检测对象。例如,在本车的前方有其他汽车的情况下,人的跳出、第3个汽车的并道、落下物等成为传感器的检测对象。并且,当在汽车的前方检测到自行车的情况下,该汽车的行进方向或者是否会在同一车道上发生碰撞等是传感器的检测对象。并且,在传感器检测到存在于本车周边的护栏的情况下,处于该护栏外侧的行人和处于内侧的行人是传感器的检测对象,该传感器能够对两者进行区分而设为检测对象。并且,在检测到日照的情况下,人的存在状态成为传感器的检测对象。例如,存在于日光照射的场所的身体部位是传感器的检测对象。
(传感器的检测等级)
也可以在传感器的检测中设定等级。例如,传感器可以设定为将人的存在与否作为检测对象的等级,也可以设定为将人的姿势作为检测对象的等级。并且,可以将人的特定部位的位置设为检测对象。并且,也可以将该特定部位的动作设为检测对象。此外,还可以将姿势的含义作为检测对象。能够通过对传感器的投光部所投射的光的形状、受光部的配置等进行调节来变更传感器的检测等级。
(关于学习数据)
以下,对本发明第1实施方式的动作学习用数据以外的学习数据的变化进行说明。如上所述,学习用数据是由学习环境准备装置11生成并用于神经网络222的学习的数据。
学习数据例如可以是驾驶操作学习用数据。驾驶操作学习用数据是与驾驶者的状态相关的学习数据,是用于对预测驾驶者的踏板操作等行动进行学习的学习数据。对驾驶中的驾驶者安装传感器而取得学习数据。
例如,关于踏板操作学习用数据,学习环境准备装置11在驾驶者的脚部周围设置投光部111和受光部113,从而生成学习数据。并且,关于转向操作学习用数据,学习环境准备装置11将投光部111和受光部113埋入到方向盘中或者在方向盘的周围配置规定数量的投光部111和受光部113,从而生成学习数据。
学习数据例如可以是开关操作学习用数据。开关操作学习用数据是与开关操作相关的学习数据。关于开关操作学习用数据,学习环境准备装置11通过埋入于按键启动开关的投光部111和受光部113来生成学习用数据。
学习数据例如可以是前方物体检测学习用数据。前方物体检测学习用数据是与车辆前方是否存在物体相关的学习数据。关于前方物体检测学习用数据,学习环境准备装置11生成在车辆的前方配置有物体时和未配置物体时的学习用数据。学习环境准备装置11例如将实物或模型实际置于汽车前方的情况下的投光部111的投光图案、受光部113的受光图案对应起来进行存储。配置于车辆前方的物体例如是路面、路面的显示、护栏、天桥、标识等。并且,该物体也可以是卡车、私家车等各种车辆。并且,该物体也可以是行人、动物、自行车等在道路周边移动的物体。
学习数据例如也可以是日照图案检测用数据。日照图案检测用数据是在多个日照下分别与物体的存在、状态相关的学习数据。关于日照图案检测用数据,学习环境准备装置11根据来自太阳或天空的光的图案来生成教师用的学习数据。在该情况下,未必需要投光部111,也可以根据太阳光等环境光的受光图案来生成学习数据。分类装置能够通过学习日照图案来提高识别物体的存在或状态的识别精度。
学习数据例如也可以是隧道检测用数据。隧道检测用数据是与隧道的入口、内部的物体的存在或状态相关的学习数据。学习环境准备装置11对隧道入口附近的学习数据、隧道内部的学习数据等进行学习。
学习数据例如也可以是雨滴检测用数据。雨滴检测用数据是与雨滴的存在、状态相关的学习数据。学习环境准备装置11根据雨量图案来生成学习数据。另外,也可以通过洒水来收集数据。并且,也可以通过使用风洞来设定雨的速度。并且,也收集无雨滴的状态的数据。
学习数据例如可以是通过日照传感器/自动灯光传感器检测出的数据。日照传感器/自动灯光传感器是与汽车外的日照或天气相关的学习数据。学习环境准备装置11在车辆上设置多个作为传感器的投光部111和受光部113,从而取得行驶中和停车中的学习数据。在该情况下,空间状态信息输入部114例如受理日照的有无、天气、位置的识别信息等来作为学习数据。
另外,学习数据并不限于上述例子,也可以是任意学习数据。
(神经网络222的学习)
以下,对本发明第1实施方式的神经网络222的学习进行说明。学习装置22对神经网络222的学习是为了生成分类器而执行的,该分类器用于通过该学习来适当地对规定的空间状态进行分类。
(神经网络222的学习目的)
关于神经网络222的学习目的,例如存在检测对象(即,生成能够对对象的存在进行分类的分类器)的目的、检测特定的状态(即,生成能够对对象的状态进行分类的分类器)的目的。特定的状态是在姿势区域存在手、在油门踏板或制动踏板存在脚尖等,进一步来说,以检测将要踩踏油门踏板、将要踩踏制动踏板等作为目的。
并且,神经网络222的学习目的可以是检测在门把手附近存在手、在变速杆附近存在手、在转向盘附近存在手、手靠近汽车导航装置或音频装置等。并且,神经网络222的学习目的也可以是存在不是手的物体、背部倚靠等。并且,神经网络222的学习也可以是判定是否有可能对变速杆进行操作、是否处于能够进行转向操作的状态、是否需要开始接收语音命令等。
并且,神经网络222的学习目的也可以是在状态1之后检测到处于状态2时对状态3进行的检测(即状态转变的检测)。
(神经网络222的学习内容)
也可以使神经网络222在每个检测区域中学习对状态判定的贡献度较高的传感器组合,学习检测区域的切换。
并且,也可以通过使神经网络222学习适合于特定的状态检测的投光图案,生成能够对动作图案进行分类的分类器。例如,也可以使神经网络222学习适合于特定的状态检测的投光图案。并且,例如,也可以使神经网络222学习中控台附近的手的动作的姿势、用于踏板操作的脚的动作、特定开关的操作等。特定开关的操作例如是打开车内门时的把手的操作等。
通过如上述那样使神经网络222进行学习,能够生成以发动机停止为起点对从后方接近的车辆和打开内门时的把手的操作进行检测的分类器。其结果是,在使用所生成的分类器检测到规定的操作或车辆的存在等的情况下,能够输出警告。并且,也可以使神经网络222学习打开车外门的操作,从而生成能够对打开该车外门的操作进行分类的分类器。然后,在使用所生成的分类器检测到规定的操作的情况下,能够在室外的门把手附近投射光。
此外,还可以使神经网络222学习投光图案的切换、受光图案的切换、投光图案与受光图案的组合。
另外,神经网络222中的学习并不限于这些例子,也可以是任意例子。
(关于应用)
当本发明第1实施方式的分类系统被用于汽车中的对象检测时,能够适用于以下的应用。另外,本发明第1实施方式的分类系统不仅能够用于汽车中的对象检测,还能够用于规定的空间状态的检测,能够适用于各种应用。
1)安全带的警报:本发明第1实施方式的分类系统能够使用在检测汽车乘客的应用中。例如,能够检测汽车乘客的存在与否。因此,能够检测汽车乘客是否系上了安全带。在检测到座椅上有乘客的情况下,当未系安全带时,可以发出警报。另一方面,在座椅上没有乘客的情况下,即使有行李或宠物等,也能够不发出警报。以往,例如,通过对座椅的加重来判定乘客的有无,但在有较重的行李、大型的宠物的情况下,有可能误发出警报。但是,如果使用本发明第1实施方式的分类系统,则能够准确地检测是否有乘客,能够减少误报。
2)防止因误操作而导致误动作:除了上述安全带的警报之外,本发明第1实施方式的分类系统能够使用在用于通过检测乘客的姿势来减少各种误动作的应用中。分类系统例如可以使用在能够检测踏板与油门的踩踏错误从而减少误操作的应用中。在该应用中,例如,乘客进行与通常的动作不同的动作,例如,尽管视线未朝向前方(例如朝下),在检测到将要踩踏油门的动作的情况下,都根据检测出的动作判定为误动作,从而减少与油门相关的情况。由此,例如,在乘客的打瞌睡、意识丧失等情况下,该应用能够抑制汽车的加速度等,防止误操作。
3)汽车周围的监视:本发明第1实施方式的分类系统能够使用在对汽车周围进行监视的应用中。例如,能够通过设置于汽车前方的传感器来监视该汽车的前方,对汽车前方的空间状态进行检测。并且,例如,通过设置于汽车的两侧面(左右)的传感器来监视该汽车的两侧面,能够对汽车的两侧面的空间状态进行检测。此外,还能够通过设置于汽车后方的传感器对汽车后方的空间状态进行检测。
提供上述服务的应用例如也存在利用相机进行监视的方法,但有时也会根据相机的镜头方向而产生死角,无法检测出准确的空间状态。并且,相机的价格高昂,难以设置多个相机。因此,本发明第1实施方式的分类系统比相机便宜,通过设置多个能够利用光线来检测对象的投光部、受光部并对物体进行检测,能够检测出更准确的空间状态。分类系统例如通过在汽车外部的有可能与其他物体碰撞(有可能接触)的最边缘部设置投光部和受光部,即使是相机等无法拍摄到的死角的空间,也能够检测物体的存在与否,能够对汽车的周围准确地进行监视。
并且,本发明第1实施方式的分类系统在对传感器的输出进行调整而测量与汽车隔开的位置的情况下,通过进行停车中的传感检测,能够检测出汽车周围的可疑人物的存在,能够使用在用于检测盗窃预备动作的应用中。
4)机器人的接触防止:同样,本发明第1实施方式的分类系统例如通过在机器人的有可能与其他物体接触的部位设定该投光部和受光部,也能够适用于防止机器人与其他物体接触的应用。
5)日照图案的检测:并且,本发明第1实施方式的分类系统也可以使用在识别日照图案的应用中。例如,分类系统预先学习存在日照的情况下的车内的状况和无日照的情况下的车内的状况,能够通过与目前的观测状态进行比较来掌握汽车内的日照状态。由此,分类系统例如能够掌握车内的温度处于高温等,因此,例如能够结合车内人员的存在检测而适用于防止因小孩留在车内等引起的事故的应用中。
6)其他:并且,本发明第1实施方式的分类系统也可以适用于通过设置于汽车外部的传感器来检测是否进入到隧道中、或者通过对汽车外部的特定位置的特定形状物体进行检测(例如通过检测雨滴)来通知正在下雨之类的应用中。
在上述说明中,对使用了有教师的数据的学习方法进行了说明。另外,在本发明的第1实施方式中,根据作为学习的结果而期待的能力的内容,也可以进行使用了无教师的学习数据的学习。例如,能够使用无教师的学习数据来执行以下所例示的学习。另外,使用了无教师的学习数据的学习当然并不限于下述例子。
例如,关于空间中的物体的存在状态,在用于进行规定的数量的分类以使得类似物体被设为相同分类的学习中,可以进行使用了无教师的学习数据的学习。例如,在能够将人的体型或脚的形状等分类为10组的学习中,可以进行无教师的学习。
并且,例如,关于空间中的物体的动作,在用于进行规定的数量的分类以使得类似物体被设为相同分类的学习中,能够进行使用了无教师的数据的学习。例如,在用于将很多人进行的驾驶操作分组化而分类成20组的学习中,能够进行使用了无教师数据的学习。
如上所述,通过生成评价分类结果的函数来进行学习,能够进行与规定的期待内容对应的学习。另外,除了上述的例子以外,还可以适用于在深度学习中可通过无教师的学习而获得的应用。
<第2实施方式>
参照附图对本发明的第2实施方式进行说明。
本发明的第2实施方式是除了传感器之外还使用辅助传感器来执行学习数据的生成和对象的存在状态的检测的情况的实施方式。除了投射和接收红外线等光的传感器之外,还可以通过使用各种辅助传感器来进一步提高规定的空间状态的检测能力。
图12是示出本发明第2实施方式的学习环境准备装置11的结构例的图。如图12所示,学习环境准备装置11具有辅助传感器117。
并且,图13是示出本发明第2实施方式的空间状态检测装置4的结构例的图。如图13所示,空间状态检测装置4具有辅助传感器46。
(辅助传感器)
在本发明的学习系统中,为了提高检测能力,可以使用辅助传感器。辅助传感器并不限于使用了红外线等光线的传感器,也可以是任意传感器。通过将辅助传感器所检测出的数据使用在学习中,能够使用辅助传感器的信息来检测规定的空间状态。
1)静电电容传感器:辅助传感器例如可以使用静电电容传感器。静电电容传感器是与在第1实施方式中说明的红外线传感器类似的传感器,该静电电容传感器可以作为辅助传感器来使用,也可以代替红外线传感器来使用。
2)车载LAN的信号:辅助传感器也可以是从外部装置取得信息的传感器。辅助传感器例如能够从车载LAN的信号中取得与驾驶操作部的操作相关的信息。根据与驾驶操作部的操作相关的信息,可以掌握转向操作、油门踏板的操作、制动踏板的操作、雨刷的操作等。这些信息有时可作为汽车驾驶员的个人信息,因此,例如也可以在得到汽车驾驶员的允诺之后收集该信息。
3)与车室内设备的操作相关的信息:并且,辅助传感器也可以是取得与驾驶以外的操作相关的信息的传感器。辅助传感器例如能够取得与车室内装备的操作(例如电动车窗或门的上锁等操作)相关的信息。并且,辅助传感器也可以取得与空调的操作、音频装置的操作、导航装置的操作相关的信息。并且,还能够取得与遥控器(remote controller)的操作相关的信息。作为遥控器的操作,例如,存在车门的解锁、行李箱的解锁、发动机起动等。
4)监视装置:并且,辅助传感器也可以是从监视装置取得信息的传感器。监视装置例如是驾驶记录仪等。此外,辅助传感器也可以从汽车内的无线通信终端(例如,移动电话、智能手机等)的操作信息、针对智能手表等便携式器件的操作信息中取得信息。并且,也可以利用IoT(Internet of things:物联网)型的传感器作为辅助传感器。IoT型的传感器的信息例如可以经由车载的网关装置来取得。另外,除了设置在汽车内的传感器以外,IoT型的传感器也可以设置在道路周边等任意位置,能够经由网络将从这些传感器收集的信息用于检测。
5)可穿戴传感器:并且,安装有动作检测对象的传感器也可以作为辅助中心来使用。例如,作为可穿戴传感器,辅助传感器能够收集可从智能手表取得的手臂的运动状况、体温、心跳数等。并且,也可以使用医疗相关装置(例如,血压计、体温计等)作为辅助传感器。此外,机器人或机器所安装的传感器也可以作为辅助传感器。
6)空间内的装置中所设置的传感器:并且,位于检测对象空间的装置所具有的传感器也可以作为辅助传感器来使用。例如,也可以将设置于道路周边的例如速度计、温度计、相机等传感器以及设置在位于检测对象周围的车辆、建筑物等中的例如防盗相机等传感器作为辅助传感器来使用。
7)监视用传感器:并且,对动作检测对象进行监视的传感器也可作为辅助传感器。例如,存在能够对检测对象进行识别/追踪而进行监视的传感器。例如,能够通过面部或ID(Identifier:识别符)来确定个人或个体并对存在位置进行追踪的传感器可以作为辅助传感器来使用。
8)相机、压力传感器等:并且,能够对脸的位置、视线、表情等进行检测的相机等传感器、能够对人的属性(性别、年龄)、感情进行检测的传感器也可以作为辅助传感器来使用。并且,还存在如下的压力传感器:该压力传感器设置于汽车的座椅等,能够根据压力来检测乘客的就座,或者检测放置有行李的情况。
9)声音采集传感器:并且,辅助传感器也可以是能够采集声音的传感器,通过使用该辅助传感器,还能够通过检测周围的状况来进行与周围的状况对应的判定。例如,通过将设置在汽车内的麦克风等声音采集传感器作为辅助传感器来使用,在检测到周围变得安静的情况下,能够掌握该汽车已停车或处于停车状态。
10)测距传感器:并且,用于测量距离的传感器也可以作为辅助传感器来使用。利用测距传感器,能够掌握汽车外的隔开的场所的状况。通过改变测距传感器的朝向、距离的图案,能够检测对象。
11)雨刷控制用传感器:辅助传感器还可以对水检测传感器、相机图像、雨滴传感器进行组合,能够通过该辅助传感器来检测雨滴、降雨状况。
本发明第2实施方式的学习环境准备装置11包含辅助信息取得部118。辅助信息取得部118根据来自辅助传感器117的测量信息来检测辅助信息。辅助信息取得部118将检测到的辅助信息通知给检测部115。
检测部115将(1)从空间状态信息输入部114通知的与检测对象的状态相关的信息、(2)从投光信息取得部112通知的投光图案、(3)从受光部113通知的受光图案以及(4)从辅助信息取得部118通知的辅助信息对应起来。然后,检测部115将该对应通知给学习数据库116。
另外,学习数据库116每当从检测部115接收到通知时,便将(1)与检测对象的状态相关的信息、(2)从投光信息取得部112通知的投光图案、(3)从受光部113通知的受光图案以及(4)从辅助信息取得部118通知的辅助信息对应起来进行存储。
如上所述,学习环境准备装置11也可以考虑加上辅助传感器来生成作为教师数据的学习数据。
并且,空间状态检测装置4的确定部44通过由神经网络的学习生成的分类器,根据投光部41的投光图案、受光部43的受光图案以及辅助传感器46的辅助信息来检测规定的空间状态。
如上所述,空间状态检测装置4也可以考虑加上辅助传感器来检测规定的空间状态。
如上所述,在本发明的第2实施方式中,除了红外线等传感器之外,还使用辅助传感器来检测物体状态,因此能够提高规定的空间状态的检测能力。
另外,上述辅助传感器只不过是个例示,辅助传感器当然也可以使用除此以外的传感器。并且,在本发明的第2实施方式中,也与第1实施方式同样,根据作为学习的结果而期待的能力的内容,也可以进行使用了无教师的学习数据的学习。
基于各附图和实施例对本发明进行了说明,但本领域技术人员应当注意,根据本公开来进行各种变形或修正是容易的。因此,应当注意的是,这些变形和修正包含在本发明的范围内。例如,各手段、各步骤等所包含的功能等能够以理论上不矛盾的方式进行再配置,可以将多个手段、步骤等组合为一个,或者也可以进行分割。并且,也可以对上述实施方式所示的结构进行适当组合。
本发明也可以如以下那样记载。
(附记1)
一种分类装置,其具有:
存储器,其对安装有神经网络的确定部进行存储,该神经网络进行了如下的学习:使用投光图案的信息和受光图案的信息对空间状态进行分类;以及
硬件处理器,其与所述存储器连接,
所述硬件处理器取得对规定的空间投射出的投光图案的信息并输出到所述确定部,
所述硬件处理器取得接收来自所述规定的空间的光而得到的受光图案的信息并输出到所述确定部,
所述硬件处理器输出分类结果,所述分类结果是所述确定部根据所述投光信息取得部所取得的所述投光图案的信息和所述受光部所接收的所述受光图案的信息对所述规定的空间的状态进行分类而得到的。
(附记2)
一种分类方法,该分类方法包含如下的步骤:
确定步骤,安装进行了如下学习的神经网络:使用投光图案的信息和受光图案的信息对空间状态进行分类;
投光信息取得步骤,通过至少1个硬件处理器来取得对规定的空间投射出的投光图案的信息并用于所述确定步骤;
受光步骤,通过至少1个硬件处理器来取得接收来自所述规定的空间的光而得到的受光图案的信息并用于所述确定步骤;以及
通过至少1个硬件处理器在所述确定步骤中输出分类结果的步骤,所述分类结果是根据所取得的所述投光图案的信息和所接收的所述受光图案的信息对所述规定的空间的状态进行分类而得到的。
Claims (8)
1.一种分类装置,其具有:
确定部,其安装有进行了如下学习的神经网络:使用投光图案的信息和受光图案的信息对空间的状态进行分类;
投光部,其通过将投光图案切换成投光的情况和不投光的情况而闪烁地投射光;
投光信息取得部,其取得由所述投光部对规定的空间投射出的投光图案的信息并输出到所述确定部;以及
受光部,其取得接收来自所述规定的空间的光而得到的受光图案的信息并输出到所述确定部,
所述受光部的配置随时间而变化,并且,所述受光部在所述投光部投光的时刻进行动作,由此从所述规定的空间取得反射光、直接光和透过光的受光图案的信息,另一方面,所述受光部在所述投光部未投光的时刻进行动作,由此取得来自所述规定的空间的环境光的受光图案的信息,
所述确定部输出分类结果,所述分类结果是根据所述投光信息取得部所取得的所述投光图案的信息和所述受光部所接收的所述受光图案的信息,对消除所述环境光的影响后的所述规定的空间的状态进行分类而得到的。
2.根据权利要求1所述的分类装置,其中,
所述投光信息取得部取得对所述规定的空间内的对象投射出的投光图案的信息并输出到所述确定部,
所述受光部取得对所述规定的空间内的对象投射出的光的受光图案并输出到所述确定部,
所述确定部输出对所述规定的空间内的所述对象的存在或状态进行分类而得到的分类结果。
3.根据权利要求1或2所述的分类装置,其中,
所述确定部安装有进行了如下学习的神经网络:使用针对预先给定的空间的状态投射出的投光图案的信息、和接收来自该预先给定的空间的光而得到的受光图案的信息对所述空间的状态进行分类。
4.根据权利要求1或2所述的分类装置,其中,
所述确定部安装有进行了如下学习的神经网络:使用多个投光图案的信息、和接收按照该多个投光图案分别投射出的光而得到的受光图案的信息对所述空间的状态进行分类。
5.根据权利要求1或2所述的分类装置,其中,
所述确定部安装有进行了如下学习的神经网络:使用将所述投光图案的信息、所述受光图案的信息以及与所述空间的状态相关的信息对应起来而得到的学习数据对所述空间的状态进行分类。
6.根据权利要求1或2所述的分类装置,其中,
所述确定部安装有进行了如下学习的神经网络:除了使用所述投光图案的信息和所述受光图案的信息之外,还使用来自辅助传感器的辅助信息对空间的状态进行分类。
7.一种分类方法,该分类方法包含如下的步骤:
确定步骤,安装进行了如下学习的神经网络:使用投光图案的信息和受光图案的信息对空间的状态进行分类;
投光步骤,该投光步骤由投光部进行,该投光部通过将投光图案切换成投光的情况和不投光的情况而闪烁地投射光;
投光信息取得步骤,取得由所述投光部对规定的空间投射出的投光图案的信息并用于所述确定步骤;以及
受光步骤,该受光步骤由受光部进行,取得接收来自所述规定的空间的光而得到的受光图案的信息并用于所述确定步骤,
在所述受光步骤中,所述受光部的配置随时间而变化,并且,所述受光部在所述投光部投光的时刻进行动作,由此从所述规定的空间取得反射光、直接光和透过光的受光图案的信息,另一方面,所述受光部在所述投光部未投光的时刻进行动作,由此取得来自所述规定的空间的环境光的受光图案的信息,
在所述确定步骤中输出分类结果,所述分类结果是根据所取得的所述投光图案的信息和所接收的所述受光图案的信息,对消除所述环境光的影响后的所述规定的空间的状态进行分类而得到的。
8.一种记录介质,其记录有计算机可读的程序,该程序使计算机执行如下功能:
确定功能,安装进行了如下学习的神经网络:使用投光图案的信息和受光图案的信息对空间的状态进行分类;
投光功能,该投光功能由投光部实现,该投光部通过将投光图案切换成投光的情况和不投光的情况而闪烁地投射光;
投光信息取得功能,取得由所述投光部对规定的空间投射出的投光图案的信息并用于所述确定功能;以及
受光功能,该受光功能由受光部实现,取得接收来自所述规定的空间的光而得到的受光图案的信息并用于所述确定功能,
在所述受光功能中,所述受光部的配置随时间而变化,并且,所述受光部在所述投光部投光的时刻进行动作,由此从所述规定的空间取得反射光、直接光和透过光的受光图案的信息,另一方面,所述受光部在所述投光部未投光的时刻进行动作,由此取得来自所述规定的空间的环境光的受光图案的信息,
在所述确定功能中输出分类结果,所述分类结果是根据所取得的所述投光图案的信息和所接收的所述受光图案的信息,对消除所述环境光的影响后的所述规定的空间的状态进行分类而得到的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-237056 | 2016-12-06 | ||
JP2016237056A JP2018092489A (ja) | 2016-12-06 | 2016-12-06 | 分類装置、分類方法およびプログラム |
PCT/JP2017/010016 WO2018105138A1 (ja) | 2016-12-06 | 2017-03-13 | 分類装置、分類方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109844450A CN109844450A (zh) | 2019-06-04 |
CN109844450B true CN109844450B (zh) | 2021-06-04 |
Family
ID=62490838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780062368.2A Active CN109844450B (zh) | 2016-12-06 | 2017-03-13 | 分类装置、分类方法以及记录介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11475294B2 (zh) |
EP (1) | EP3553461A4 (zh) |
JP (1) | JP2018092489A (zh) |
CN (1) | CN109844450B (zh) |
WO (1) | WO2018105138A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019030895A1 (ja) * | 2017-08-10 | 2019-02-14 | 三菱電機株式会社 | 識別分類装置および識別分類方法 |
US10906553B2 (en) * | 2018-07-30 | 2021-02-02 | Toyota Motor Engineering & Manufactuiring North America, Inc. | Systems and methods for vehicle acceleration event prediction inhibit |
JP7122943B2 (ja) * | 2018-11-01 | 2022-08-22 | 株式会社Nttドコモ | 学習データ生成装置および学習データ生成方法 |
WO2020110278A1 (ja) * | 2018-11-30 | 2020-06-04 | オリンパス株式会社 | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 |
JP7137761B2 (ja) * | 2019-03-06 | 2022-09-15 | オムロン株式会社 | センサシステム |
JP2020183166A (ja) * | 2019-05-07 | 2020-11-12 | アルパイン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
WO2021156914A1 (ja) * | 2020-02-03 | 2021-08-12 | 三菱電機株式会社 | 注意方向判定装置および注意方向判定方法 |
US11590933B2 (en) | 2020-09-03 | 2023-02-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for controlling operating conditions of vehicle components |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5845000A (en) * | 1992-05-05 | 1998-12-01 | Automotive Technologies International, Inc. | Optical identification and monitoring system using pattern recognition for use with vehicles |
JPH05272925A (ja) * | 1992-03-25 | 1993-10-22 | Toyoda Mach Works Ltd | バイト端縁検出装置 |
US7983817B2 (en) * | 1995-06-07 | 2011-07-19 | Automotive Technologies Internatinoal, Inc. | Method and arrangement for obtaining information about vehicle occupants |
JPH06288913A (ja) * | 1993-04-06 | 1994-10-18 | Fujitsu Ltd | 瓶類分別検査方法 |
JPH085348A (ja) * | 1994-06-20 | 1996-01-12 | Matsushita Electric Ind Co Ltd | 3次元形状検査方法 |
US7738678B2 (en) * | 1995-06-07 | 2010-06-15 | Automotive Technologies International, Inc. | Light modulation techniques for imaging objects in or around a vehicle |
WO2006116758A2 (en) * | 2005-04-28 | 2006-11-02 | Caterpillar Inc. | Systems and methods for maintaining load histories |
JP4229208B1 (ja) | 2007-10-31 | 2009-02-25 | トヨタ自動車株式会社 | 取り付け角度測定装置および取り付け角度測定方法 |
JP5234546B2 (ja) * | 2009-02-20 | 2013-07-10 | 独立行政法人産業技術総合研究所 | 応力発光解析装置、応力発光解析方法、応力発光解析プログラムおよび記録媒体 |
CN102803991B (zh) * | 2009-06-03 | 2014-06-04 | 学校法人中部大学 | 物体检测设备 |
JP2011191221A (ja) * | 2010-03-16 | 2011-09-29 | Sanyo Electric Co Ltd | 物体検出装置および情報取得装置 |
EP3517839B1 (en) * | 2010-11-04 | 2021-09-22 | Digital Lumens Incorporated | Method, apparatus, and system for occupancy sensing |
CN103051381B (zh) * | 2011-10-13 | 2016-08-03 | 内诺兰达公司 | 消除可见光通讯中环境光干扰的方法 |
CN102589419A (zh) * | 2011-11-14 | 2012-07-18 | 施宝忠 | 一种基于psd的测量方法和测量装置 |
JP6014890B2 (ja) | 2012-09-14 | 2016-10-26 | 国立大学法人 奈良先端科学技術大学院大学 | 動体の3次元運動検出装置及び検出方法 |
EP2972075B1 (en) * | 2013-07-02 | 2018-12-26 | Snap-on Incorporated | Wheel alignment with target marking for secure logo validation process |
CN105651776A (zh) * | 2015-12-30 | 2016-06-08 | 中国农业大学 | 基于计算机视觉的牛胴体产肉量自动分级装置与方法 |
CN105872757A (zh) * | 2016-03-24 | 2016-08-17 | 乐视控股(北京)有限公司 | 一种观看电视的安全距离提醒方法及装置 |
-
2016
- 2016-12-06 JP JP2016237056A patent/JP2018092489A/ja active Pending
-
2017
- 2017-03-13 EP EP17878608.3A patent/EP3553461A4/en not_active Withdrawn
- 2017-03-13 CN CN201780062368.2A patent/CN109844450B/zh active Active
- 2017-03-13 WO PCT/JP2017/010016 patent/WO2018105138A1/ja unknown
-
2019
- 2019-04-17 US US16/386,431 patent/US11475294B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11475294B2 (en) | 2022-10-18 |
US20190244101A1 (en) | 2019-08-08 |
WO2018105138A1 (ja) | 2018-06-14 |
EP3553461A1 (en) | 2019-10-16 |
JP2018092489A (ja) | 2018-06-14 |
EP3553461A4 (en) | 2020-01-22 |
CN109844450A (zh) | 2019-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109844450B (zh) | 分类装置、分类方法以及记录介质 | |
US11461636B2 (en) | Neural network applications in resource constrained environments | |
US11447085B2 (en) | 3D time of flight active reflecting sensing systems and methods | |
CN113556975B (zh) | 检测车辆中的对象并获得对象信息的系统、装置和方法 | |
CN108052097B (zh) | 用于训练异构感测系统的方法和异构感测系统 | |
JP4438753B2 (ja) | 車両内状態検知システム,車両内状態検知装置および方法 | |
KR102267331B1 (ko) | 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법 | |
CN110651313A (zh) | 控制装置和控制方法 | |
CN108883725A (zh) | 一种行驶车辆警报系统和方法 | |
US20220276379A1 (en) | Device, measuring device, distance measuring system, and method | |
JP7308573B2 (ja) | システム及びプログラム等 | |
CN111098864B (zh) | 提示方法、装置、自动驾驶车辆及存储介质 | |
TWI748588B (zh) | 測定裝置及測距裝置 | |
JP7289166B2 (ja) | システム及びプログラム等 | |
CN113771869B (zh) | 车辆控制方法和基于可穿戴设备控制车辆的方法 | |
JP2023026427A (ja) | システム及びプログラム等 | |
JP2023061984A (ja) | システム及びプログラム等 | |
JP2001071858A (ja) | 車内の物体の有無と方向を測定する方法 | |
KR20220082173A (ko) | 이미지와 ppg데이터를 이용한 멀티모달 딥러닝기반 ldws 블랙박스 장비 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |