CN114868139A - 信息处理装置、信息处理系统、信息处理方法和信息处理程序 - Google Patents

信息处理装置、信息处理系统、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN114868139A
CN114868139A CN202080088288.6A CN202080088288A CN114868139A CN 114868139 A CN114868139 A CN 114868139A CN 202080088288 A CN202080088288 A CN 202080088288A CN 114868139 A CN114868139 A CN 114868139A
Authority
CN
China
Prior art keywords
sensor information
recognizer
unit
training data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080088288.6A
Other languages
English (en)
Inventor
佐藤竜太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114868139A publication Critical patent/CN114868139A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的目的是提供能够实现学习数据的有效使用的信息处理装置、信息处理系统、信息处理方法和信息处理程序。根据本公开的信息处理装置包括：识别单元(101)，通过预先训练的第一识别器使用由传感器获取的传感器信息执行物体识别处理；和学习数据应用确定单元(22d)，确定传感器信息是否能够作为训练数据应用于与第一识别器不同的第二识别器。

Description

信息处理装置、信息处理系统、信息处理方法和信息处理程序
技术领域
本公开涉及信息处理装置、信息处理系统、信息处理方法和信息处理程序。
背景技术
已经提出通过使用安装在车辆上的车载相机分析捕获图像(具体地说，当车辆行驶时捕获的图像)并确定在车辆行驶方向上是否存在诸如人之类的障碍物的信息处理系统。此外，提出在这种信息处理系统中通过使用通过机器学习训练的识别模型基于捕获图像检测障碍物的技术。另外，在已知配置中，通过机器学习训练的识别模型由例如网络上的服务器建立。
同时，当使用机器学习以基于捕获图像检测障碍物等时，优选偶尔收集训练数据并对识别模型执行重新训练以更新识别模型。例如，服务器经由通信获取和收集通过车辆获得的数据，并且通过使用收集的数据作为训练数据对识别模型执行重新训练，并更新识别模型。更新的识别模型通过通信被传送到车辆。这使得能够在车辆侧通过使用更新的识别模型以更高的精度检测障碍物等。
引文列表
专利文献
专利文献1：JP 2018-202595 A
发明内容
技术问题
然而，为重新训练而传送的数据根据诸如已执行数据传送的区域之类的数据的获取状况具有各种属性，并且，数据利用已限于属性有效的范围。
本公开的目的是，提供能够实现训练数据的有效使用的信息处理装置、信息处理系统、信息处理方法和信息处理程序。
问题的解决方案
为了解决上述问题，根据本公开的一个方面的信息处理装置具有：识别单元，通过使用由传感器获取的传感器信息执行物体识别处理，该物体识别处理由已预训练的第一识别器执行；和训练数据应用确定单元，确定传感器信息是否能够作为训练数据应用于与第一识别器不同的第二识别器。
附图说明
图1是示意性地示出与各实施例相关的驾驶辅助系统的总体图的示例的示意图。
图2是示出根据各实施例的驾驶辅助系统的示例的配置的框图。
图3是示出适用于各实施例的终端设备的硬件配置的示例的框图。
图4是示出适用于实施例的服务器系统的硬件配置的示例的框图。
图5是示出根据第一实施例的驾驶辅助系统的示例的配置的框图。
图6是示出根据第一实施例的服务器系统的功能的示例的功能框图。
图7是示出根据第一实施例的服务器系统中的处理的示例的流程图。
图8是示出根据第一实施例的第一变更例的服务器系统的功能的示例的功能框图。
图9是示出根据第一实施例的服务器系统中的处理的示例的流程图。
图10是示出根据第一实施例的第二变更例的服务器系统的功能的示例的功能框图。
图11是示出基于包含于传感器信息中的图像数据的图像的示例的示意图。
图12是示出根据第一实施例的第二变更例的服务器系统中的处理的示例的流程图。
图13是示出根据第二实施例的驾驶辅助系统的示例的配置的框图。
图14是示出根据第二实施例的终端设备的功能的示例的功能框图。
图15是示出根据第二实施例的终端设备中的处理的示例的流程图。
图16是示出根据第二实施例的第一变更例的终端设备的功能的示例的功能框图。
图17是示出根据第二实施例的第一变更例的终端设备中的处理的示例的流程图。
图18是示出根据第二实施例的第二变更例的终端设备的功能的示例的功能框图。
图19是示出根据第二实施例的第二变更例的终端设备中的处理的示例的流程图。
图20是示出根据第二实施例的第三变更例的终端设备的功能的示例的功能框图。
图21是示出根据第二实施例的第三变更例的终端设备中的处理的示例的流程图。
图22是示出根据第三实施例的驾驶辅助系统的示例的配置的框图。
图23是示出根据第三实施例的终端设备的功能的示例的功能框图。
图24是示出根据第三实施例的终端设备中的处理的示例的流程图。
图25是示出根据第三实施例的第一变更例的终端设备的功能的示例的功能框图。
图26是示出根据第三实施例的第一变更例的终端设备中的处理的示例的流程图。
图27是示出根据第三实施例的第二变更例的终端设备的功能的示例的功能框图。
图28是示出根据第三实施例的第二变更例的终端设备中的处理的示例的流程图。
图29是示出车辆控制系统的示意性配置示例的框图，该车辆控制系统是根据本公开的技术适用于的移动体控制系统的示例。
图30是示出成像单元的安装位置的示例的示图。
具体实施方式
下面参考附图详细描述本公开的实施例。在以下各实施例中，相同的部分由相同的附图标记表示，并且省略其重复描述。
在下文中，按以下顺序描述本公开的实施例。
1.适用于各实施例的技术
1-1.适用于各实施例的系统的总体图
1-2.根据各实施例的系统概要
1-3.硬件配置示例
2.第一实施例
2-1.第一变更例
2-2.第二变更例
3.第二实施例
3-1.第一变更例
3-2.第二变更例
3-3.第三变更例
4.第三实施例
4-1.第一变更例
4-2.第二变更例
5.第四实施例
[1.适用于各实施例的技术]
(1-1.适用于各实施例的系统的总体图)
首先，描述适用于本公开的各实施例的技术。图1是示意性地示出与各实施例相关的驾驶辅助系统的总体图的示例的示意图。在图1中，驾驶辅助系统包括服务器系统2和一个或多个车辆10，同时，服务器系统2和车辆10连接到网络1。网络1为例如用于执行车辆对车辆(V2X)通信的V2X网络。
可以通过使用云系统实现服务器系统2，该云系统包括经由网络相互连接并协同操作的多台计算机和存储设备。服务器系统2不限于此，并且可以由使用单个计算机的服务器设备配置。通过机器学习，服务器系统2可以生成基于传感器信息执行物体识别的识别器。
车辆10配备有连接到网络1的终端设备11。终端设备11具有作为包括例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)和各种接口的信息处理装置的配置，并且还包括基于传感器12的输出执行物体识别处理的识别器。传感器12的示例是相机。在下文中，传感器12被描述为相机12。例如，由服务器系统2生成的识别器经由网络1下载以安装在终端设备11上。识别器的安装不限于此，并且，识别器可以被预先安装在终端设备11上。
终端设备11基于由相机12获取的捕获图像，通过识别器执行物体识别处理。终端设备11可以通过物体识别处理执行车辆10中的驾驶辅助。这里，优选偶尔通过使用新的训练数据更新识别器，以实现识别处理性能的改进。鉴于此，终端设备11经由网络1将基于由相机12获取的捕获图像的图像数据传送到服务器系统2(步骤S1和步骤S2)。
服务器系统2在存储单元20中存储从终端设备11传送的图像数据。存储单元20可以通过采用诸如硬盘驱动器或大型闪速存储器等的存储设备实现，并且进一步累积识别器和用于生成执行物体识别处理的识别器的参数信息。服务器系统2在训练单元3中使用存储在存储单元20中的包括从终端设备11传送的图像数据的各数据作为训练数据(步骤S3)，并执行对识别器的优化和重新训练(步骤S4)。该优化和重新训练生成作为更新后的识别器的重新训练后识别器21(步骤S5)。
服务器系统2经由网络1将生成的重新训练后识别器21传送到终端设备11(步骤S6和步骤S7)。终端设备11通过经由网络1传送的重新训练后识别器21更新现有识别器。以这种方式，通过用新收集的训练数据重新训练现有识别器，能够提高由识别器执行的识别处理的性能。
在这种驾驶辅助系统中，虽然可以设想改进机器学习方法以在识别器上执行重新训练，但通过使用新的训练数据执行重新训练也是有效的。为了通过使用新的训练数据的重新训练提高识别器的性能，希望继续收集有助于性能改进的训练数据(例如，图像数据)。
此时，从终端设备11传送到服务器系统2以用于重新训练的时序数据和图像数据的大小通常较大，这可能增加通信成本。另外，时序数据和图像数据具有各种属性，另外，对于各种因素(诸如例如对于各车辆10以及对于各区域)，属性可能不同。作为示例，关于交通道路标志的识别数据在例如各国家不同，并且，包括在国家A获取的交通道路标志的图像数据可能不能用作用于在国家B识别交通道路标志的训练数据。
本公开的各实施例的目的是使得新的训练数据能够有效地用于重新训练。
(1-2.根据各实施例的系统概要)
接下来，描述根据各实施例的驾驶辅助系统的概要。图2是示出根据各实施例的驾驶辅助系统的示例的配置的框图。在图2中，与各个实施例及其变更例深度相关的部分用粗框表示。
在图2中，除了上述的训练单元3和存储单元20之外，服务器系统2还包括训练数据应用确定单元22。存储单元20累积训练数据并存储多个识别器。如下面详细描述的那样，基于从终端设备11传送的传感器信息，训练数据应用确定单元22从存储在存储单元20中的识别器中指定要通过使用传感器信息重新训练的识别器。服务器系统2将指示由训练数据应用确定单元22指定的识别器的信息传送到终端设备11。
在图2中，终端设备11包括识别单元101、控制单元102、累积确定单元103、累积单元104、存储单元105、累积信息输出单元106、传送确定单元107和通信单元110。终端设备11还可以包括训练数据应用确定单元108。
识别单元101包括例如从服务器系统2下载的识别器，并根据包括基于捕获图像(即，由相机12捕获的图像)的图像数据的传感器信息执行物体识别处理。
此时，识别单元101可以使用RAW数据(原始数据)作为捕获图像，即，由相机12捕获的图像。具体地说，由相机12捕获并用于视觉识别的图像数据通常经受图像处理，诸如去马赛克处理或RGB的各颜色的数据到8位的压缩处理。相比之下，识别处理在通常情况下不需要这种图像处理，尤其是在夜间或远距离识别的情况下，可以通过使用在基本未处理状态下使用相机12的图像传感器的输出的RAW数据获得更高的识别率(识别分数)。识别分数是指示识别程度的值，并且取例如大于等于0且小于等于1的范围。识别分数越高，识别程度越高。
此外，特别是考虑对远处物体的识别，优选相机12的分辨率(图像传感器的分辨率)高。
由识别单元101获得的物体识别结果被传递到执行车辆10的驾驶控制的控制单元102。控制单元102基于从识别单元101传递的物体识别结果执行诸如避开障碍物之类的自动驾驶控制。
这里，传感器信息不仅包括图像数据，还包括元数据，该元数据是关于相机12以及关于使用相机12的成像的属性信息。元数据可以包括例如关于相机性能的信息(诸如相机12的型号、分辨率和帧速率)以及指示在相机12中执行的图像处理(白平衡处理和增益调整处理等)的信息。元数据还可以包括关于车辆10的信息，诸如指示车辆10的车辆类型和目的地的信息、与车辆10的当前位置相关的信息以及车辆10的行驶速度。
累积确定单元103确定是否例如通过累积单元104在作为存储设备的存储单元105中累积从相机12输出的传感器信息。尽管下面描述特定示例，但累积确定单元103例如基于包含于传感器信息中的图像数据或元数据确定是否由累积单元104在存储单元105中累积传感器信息。累积信息输出单元106将在存储单元105中累积的传感器信息输出到外部。累积信息输出单元106可以通过有线通信将传感器信息输出到外部，或者可以通过诸如Wi-Fi(注册商标)或蓝牙(注册商标)之类的无线通信将传感器信息输出到外部。
传送确定单元107确定是否将从相机12输出的传感器信息传送到服务器系统2。例如，传送确定单元107基于识别单元101的识别结果和传感器信息确定是否将传感器信息传送到服务器系统2。在确定将传感器信息传送到服务器系统2时，传送确定单元107将在服务器系统2中从训练数据应用确定单元22传送的指示识别器的信息添加到要传送的传感器信息。由传送确定单元107确定不传送到服务器系统2的传感器信息将由累积单元104累积到存储单元105中。
根据该驾驶辅助系统，传送确定单元107在终端设备11中确定是否传送传感器信息，从而使得能够抑制与传感器信息的传送相关的通信成本。此外，服务器系统2使训练数据应用确定单元22确定要应用从终端设备11传送的传感器信息的识别器，从而使得能够将传感器信息应用到执行与包含于终端设备11中的识别器的识别处理不同的识别处理的识别器，从而导致实现传感器信息的有效使用。
(1-3.硬件配置示例)
接下来，描述适用于各实施例的服务器系统2和终端设备11的硬件配置的示例。图3是示出适用于各实施例的终端设备11的硬件配置的示例的框图。在图3中，终端设备11包括经由总线1030可通信地彼此连接的CPU 1001、ROM 1002、RAM 1003、接口(I/F)1004和1005、通信接口1006和GNSS接收器1007。
CPU 1001根据预先存储在ROM 1002中的程序，通过使用RAM1003作为工作存储器控制终端设备11的整个操作。注意，ROM 1002形成为存储了在CPU 1001的控制下可重写的数据和程序，并且可以存储和更新例如从上述服务器系统2下载的构成识别器的程序。存储设备不限于此，并且，RAM 1003可以包括非易失性区域，并且构成识别器的程序可以存储在RAM 1003的非易失性区域中。
接口1004是用于与相机12通信的接口。从捕获图像(即，由相机12捕获的图像)生成的图像数据和包括图像数据的传感器信息从接口1004被输入到终端设备11。此外，CPU1001可以经由接口1004向相机12发送诸如成像之类的指令。
接口1005是安装终端设备11的车辆10的控制系统的接口。诸如识别器的物体识别结果的之类信息经由接口1005被传递给车辆10的控制系统。接口1005根据CPU 1001的指令控制与网络1的通信。
GNSS接收器1007接收基于全球导航卫星系统(GNSS)的信号，并获取指示当前位置的位置信息。此外，GNSS接收器1007可以与获取当前位置一起获取当前高度和时间。顺便提一下，当配备有终端设备11的车辆10单独包括位置信息获取部件时，通过从位置信息获取部件获取位置信息，能够在终端设备11中省略GNSS接收器1007。
以这种方式，终端设备11包括CPU 1001、ROM 1002、RAM1003和各种接口，并用作计算机(信息处理装置)。
注意，通过在CPU 1001上运行的信息处理程序，实现上述的包含于终端设备11中的识别单元101、累积确定单元103、累积单元104、累积信息输出单元106、传送确定单元107和通信单元110。不限于此，例如，累积确定单元103、累积单元104、累积信息输出单元106、传送确定单元107和通信单元110中的一些或全部可以由彼此协同操作的硬件电路配置。
图4是示出适用于实施例的服务器系统2的硬件配置的示例的框图。在图4中，服务器系统2被示为单个计算机(信息处理装置)。在图4中，服务器系统2包括经由总线2010可通信地彼此连接的CPU 2000、ROM 2001、RAM 2002、存储设备2004和通信接口2005。
CPU 2000根据预先存储在ROM 2001或存储设备2004中的程序，通过使用RAM 2002作为工作存储器控制服务器系统2的整个操作。在CPU 2000下，构成通过与程序对应的机器学习生成的识别器的程序和各参数存储在例如存储设备2004中。
通信接口2005是控制与网络1通信的接口。
注意，通过在CPU 2000上运行的信息处理程序实现上述的包含于服务器系统2中的训练单元3和训练数据应用确定单元22。不限于此，训练单元3和训练数据应用确定单元22中的一些或全部由彼此协同操作的硬件电路配置。
[2.第一实施例]
接下来，描述本公开的第一实施例。在本公开的各实施例中，能够从多个识别器中指定在终端设备11中获取的传感器信息作为用于重新训练的训练数据应用于的识别器。在第一实施例中，在服务器系统2中执行识别器的指定。图5是示出根据第一实施例的驾驶辅助系统的示例的配置的框图。如图5中的着色区域所示，第一实施例使用服务器系统2侧的训练数据应用确定单元22a，而不使用图2所示的终端设备11侧的训练数据应用确定单元108。
在第一实施例中，关于从终端设备11传送的传感器信息，基于预定规则或学习，确定捕获包含于传感器信息中的图像数据时的场景。随后，例如，为各确定的场景指定传感器信息作为训练数据应用于的识别器。
这里，场景表示感测(即，执行相机12的成像)时的情况，并且包括关于成像的地点和环境条件。更具体地说，指示场景的场景信息可以包括以下信息：
·从相机12外部获取的信息，诸如由GNSS接收器1007等获取的当前位置、指示当前时间的信息以及安装在车辆10上的车载系统的系统状态。
·传感器内部信息，诸如存储在相机12中的成像时的曝光时间和白平衡处理。
·从通过感测获得的信息(例如，基于捕获图像的图像数据)基于预定规则估计的信息或通过学习估计的信息。
训练数据应用确定单元22a基于如上所述获取的场景信息，通过基于规则的方法或数据库搜索估计适用的识别器。识别器不限于此，并且训练数据应用确定单元22a可以通过学习基于场景信息直接指定适用的识别器。
图6是示出根据第一实施例的服务器系统2的功能的示例的功能框图。在图6中，服务器系统2包括通信单元200、训练数据应用确定单元22aa、训练数据累积单元201、训练单元202和学习结果利用单元203。另外，训练数据应用确定单元22a包括元数据分析单元221和训练数据确定单元222。通过在CPU 2000上运行的信息处理程序，实现通信单元200、训练数据应用确定单元22a(元数据分析单元221和训练数据确定单元222)、训练数据累积单元201、训练单元202和学习结果利用单元203。
这里，服务器系统2包括多个识别器2101、2102、2103、2104、…注意，在以下描述中，在不需要区分识别器2101、2102、2103、2104、…的情况下，这些识别器由识别器210表示。训练数据累积单元201累积用于生成多个识别器210的训练数据，该累积是对识别器210中的每一个执行的。
通信单元200控制通信接口2005以接收例如从终端设备11传送的传感器信息。元数据分析单元221从传感器信息提取元数据，并分析提取的元数据。训练数据确定单元222基于元数据的分析结果在多个识别器210中指定传感器信息适用于的识别器210。
此时，训练数据确定单元222可以将与包含于已传送传感器信息的终端设备11中的识别器不同的识别器指定为传感器信息适用于的识别器210。例如，训练数据确定单元222确定传感器信息对应于上述场景信息中的哪一个，并根据传感器信息对应于的场景信息指定传感器信息适用于的识别器210。
训练数据确定单元222将指示指定识别器210的信息添加到例如传感器信息，并在训练数据累积单元201中累积获得的传感器信息。
训练单元202通过使用为在训练数据累积单元201中指定的各识别器210累积的训练数据重新训练识别器210，然后更新识别器210。学习结果利用单元203对由训练单元202重新训练和更新的识别器210执行利用处理。例如，学习结果利用单元203将更新后的识别器210传送到相应的终端设备11。
图7是示出根据第一实施例的服务器系统2中的处理的示例的流程图。在第一步骤S100中，服务器系统2通过通信单元200执行通信处理，并接收经由网络1从终端设备11传送的传感器信息。步骤S100中的处理包括接收从多个终端设备11中的每一个传送的各条传感器信息的处理。
在下一步骤S101中，服务器系统2使元数据分析单元221从在步骤S100中的通信处理中获取的各条传感器信息获取图像数据和元数据。在下一步骤S102中，服务器系统2使元数据分析单元221对在步骤S101中获取的各条元数据执行分析处理。
下一步骤S103st表示指示对在步骤S100的通信处理中获取的所有传感器信息执行步骤S103st～步骤S103ed的处理的循环处理的开始。下一步骤S104st表示指示对各条传感器信息的所有应用目标(即，对识别器210中的每一个)执行步骤S104st～步骤S104ed的处理的循环处理的开始。
在步骤S105中，服务器系统2使训练数据确定单元222执行元数据应用确定处理。即，在步骤S105中，训练数据确定单元222基于元数据检查在步骤S100的通信处理中获取的传感器信息中的一条传感器信息(称为目标传感器信息)是否适用于各个识别器210中的目标识别器210。
在下一步骤S106中，当训练数据确定单元222确定了目标传感器信息适用于目标识别器210时(步骤S106，“是”)，处理进行到步骤S107。在步骤S107中，服务器系统2使训练数据累积单元201执行应用目标的训练数据的累积处理。即，在步骤S107中，训练数据累积单元201将目标传感器信息累积为在步骤S106中确定为适用的目标识别器210的训练数据。
在步骤S107的处理之后，服务器系统2使处理从步骤S104ed返回到步骤S104st，并对各个识别器210中的设定为目标识别器210的下一识别器210执行步骤S105和S106的处理。
相反，当在步骤S106中确定目标传感器信息不适用于目标识别器210(步骤S106，“否”)时，处理从步骤S104ed返回到步骤S104st。
在关于目标传感器信息对识别器210中的每一个完成步骤S104st～S104ed的处理后，服务器系统2使处理从步骤S103ed返回到步骤S103st，并且对在步骤S100的通信处理中获取的各条传感器信息中的设定为目标传感器信息的下一传感器信息，重复步骤S103st～S103ed的处理。
在完成对各条传感器信息的步骤S103st～S103ed的处理之后，服务器系统2进行到步骤S108的处理。在步骤S108中，服务器系统2使训练单元202通过使用通过上述处理在训练数据累积单元201中累积的各条传感器信息作为训练数据，对相应的识别器210执行重新训练处理。在完成步骤S108的处理之后，服务器系统2进行到步骤S109的处理，并且使学习结果利用单元203执行在步骤S108中重新训练的各识别器210的利用处理。
以这种方式，在第一实施例中，从各终端设备11传送的各条传感器信息被应用为基于元数据确定适用的识别器210的训练数据。因此，从终端设备11中的每一个传送的各条传感器信息能够作为训练数据，应用于与通过作为传送源的终端设备11用于传感器信息的识别器不同的识别机器，使得能够更高效地利用传感器信息作为训练数据。
(2-1.第一变更例)
接下来，描述第一实施例的第一变更例。第一实施例的第一变更例使用在服务器系统2中执行识别器的指定的配置，其中，服务器系统2从包含于服务器2中的多个识别器210中，将能够转换从终端设备11传送的传感器信息为适用信息的识别器210指定为传感器信息作为训练数据应用于的识别器。在第一实施例的第一变更例中，参考图5描述的根据第一实施例的驾驶辅助系统的配置是适用的。
图8是示出根据第一实施例的第一变更例的服务器系统2的功能的示例的功能框图。如图8所示，第一实施例的第一变更例使用服务器系统2侧的训练数据应用确定单元22b，而不使用图2所示的终端设备11侧的训练数据应用确定单元108。此外，与上述第一实施例的训练数据应用确定单元22a的配置不同，训练数据应用确定单元22b包括域分析单元230、域评估单元231和训练数据确定单元232。
在第一实施例的第一变更例中，服务器系统2通过使用通过域适配获得的适用性，转换传感器信息的域。这里，域表示用于指定目标的区域(类别)，诸如地区(国家等)和环境(白天/晚上和公路/当地道路等)。域适配是将区域(物体、国家、任务等)转换为识别器的目标的技术。作为示例，域适配使得用日本数据训练的识别器能够被美国数据识别。在这种情况下，日本和美国的两个域被转换。
即，根据第一实施例的第一变更例的训练数据应用确定单元22b将要成为识别器210的目标的区域，设定为适于能够域适配的域的组合规则。作为具体示例，假定的域是N个域，即，域#1、#2、#3、…、#N。在N个域中，假定例如存在由有向图表示的可变换域的组合，如下：
·域#1→域#2、域#5、域#7、…
·域#2→域#1、域#3、…
输入了域#i时表示转换为域#j所需的阶段数的步数被定义为S_{ij}。另外，每跳计数的评估值被定义为α(<1)，并且，域#i转换为域#j时的评估值被定义为β_{ij}(<1)。
通过下式(1)获得输入传感器信息的域#a～域#b的评估值Ev。
Ev＝α(S_{ij})+β_{ij} (1)
为评估值Ev设定阈值，并且评估值Ev高于阈值的识别器210被设定为适用的识别器210。
域分析单元230分析由通信单元200从终端设备11接收的传感器信息，并获得与传感器信息相关的域。域分析单元230可以从包含于传感器信息中的图像数据获得域，或者可以从元数据获得域。基于由域分析单元230获得的域，域评估单元231例如通过上述式(1)计算包含于服务器系统2中的各识别器210的评估值Ev。
训练数据确定单元232将由域评估单元231计算的各评估值Ev与阈值进行比较，并将评估值Ev高于阈值的识别器210指定为传感器信息适用于的识别器210。
图9是示出根据第一实施例的第一变更例的服务器系统2中的处理的示例的流程图。在第一步骤S200中，服务器系统2通过通信单元200执行通信处理，并接收经由网络1从终端设备11传送的传感器信息。步骤S200中的处理包括接收从多个终端设备11中的每一个传送的各条传感器信息的处理。
在下一步骤S201中，服务器系统2中的域分析单元230获取在步骤S200的通信处理中接收的传感器信息。在下一步骤S202中，域分析单元230分析在步骤S201中获取的传感器信息，以获得与传感器信息相关的域。
下一步骤S203st表示指示对在步骤S200的通信处理中获取的所有传感器信息执行步骤S203st～步骤S203ed的处理的循环处理的开始。下一步骤S204st表示指示对各条传感器信息的所有应用目标(即，对域转换目标中的每一个)执行步骤S204st～步骤S204ed的处理的循环处理的开始。
在步骤S205中，服务器系统2中的域分析单元230对目标域计算从根据目标传感器信息获得的域的转换路径作为转换目标。在下一步骤S206中，在服务器系统2中，域评估单元231根据上述式(1)计算在步骤S205中计算的域的转换路径的评估值Ev。
在下一步骤S207中，训练数据确定单元232确定在步骤S206中计算的评估值Ev是否超过阈值。
当训练数据确定单元232在步骤S207中确定了评估值Ev超过阈值(步骤S207，“是”)时，处理进行到步骤S208。在步骤S208中，服务器系统2中的训练数据累积单元201执行应用目标的训练数据的累积处理。即，在步骤S208中，训练数据累积单元201将目标传感器信息累积为在步骤S206中确定为适用的目标识别器210的训练数据。
在步骤S208的处理之后，服务器系统2使处理从步骤S204ed返回到步骤S204st，并以各个域中的下一个域作为转换目标的目标域执行步骤S205～S207的处理。
相反，当训练数据确定单元232在步骤S207中确定评估值Ev为阈值或更小(步骤S207，“否”)时，处理从步骤S204ed返回到步骤S204st。
在关于目标传感器信息对域中的每一个完成步骤S204st～S204ed的处理之后，服务器系统2使处理从步骤S203ed返回到步骤S203st，并对在步骤S200的通信处理中获取的传感器信息中的作为目标传感器信息的下一传感器信息，重复步骤S203st～s203d的处理。
在对各条传感器信息完成步骤S203st～S203ed的处理之后，服务器系统2进行到步骤S209的处理。在步骤S209中，服务器系统2使训练单元202通过使用通过上述处理在训练数据累积单元201中累积的各条传感器信息作为训练数据，对相应的识别器210执行重新训练处理。在完成步骤S208的处理之后，服务器系统2进行到步骤S210的处理，并且使学习结果利用单元203执行在步骤S209中重新训练的各识别器210的利用处理。
以这种方式，根据第一实施例的第一变更例，从各终端设备11传送的传感器信息适用于与获取传感器信息时的域不同的域。这使得能够以更高的效率使用传感器信息。
(2-2.第二变更例)
接下来，描述第一实施例的第二变更例。第一实施例的第二变更例使用在服务器系统2中执行识别器的指定的配置，其中，服务器系统2从包含于服务器2中的多个识别器210中，将基于在包含于从终端设备11传送的传感器信息中的图像数据中包括的物体的识别器，指定为传感器信息作为训练数据应用于的识别器。在第一实施例的第二变更例中，参考图5描述的根据第一实施例的驾驶辅助系统的配置是适用的。
图10是示出根据第一实施例的第二变更例的服务器系统2的功能的示例的功能框图。如图10所示，第一实施例的第二变更例使用服务器系统2侧的训练数据应用确定单元22c，而不使用图2所示的终端设备11侧的训练数据应用确定单元108。此外，与上述第一实施例的训练数据应用确定单元22a的配置不同，训练数据应用确定单元22c包括感测分析单元240和训练数据确定单元241。
在图10中，感测分析单元240分析包含于由通信单元200接收的传感器信息中的图像数据。训练数据确定单元241基于由感测分析单元240分析的信息，在多个识别器210中指定传感器信息适用于的识别器210。
更具体地描述这一点。第一实施例的第二变更例分析包含于从终端设备11传送的传感器信息中的图像数据，以获得包含于图像数据中的物体或物体类。随后，对各获得的物体或物体类，使用数据库以搜索传感器信息是否能够作为训练数据应用。作为数据库的组成部分，能够应用一对适用候选识别器和目标物体。在这种情况下，数据库的组成部分不限于列出适用物体的肯定列表，还可以是否定列表(不适用物体的列表)或肯定列表和否定列表的组合。
适用于第一实施例的第二变更例的识别器的数据库的示例包括以下：
·标志识别器：在日本使用时，其他国家的标志的否定列表
·行人检测器：在日本使用时，行人的肯定列表
图11是示出基于包含于传感器信息中的图像数据的图像50的示例的示意图。图11中所示的图像50包括行人51、交通道路标志52和车辆53作为物体。
感测分析单元240分析图像50以检测各物体(行人51、交通道路标志52和车辆53)。这里，作为在日本使用的识别器的目标，讨论检测的行人51和交通路标52是美国的那些的情况。由于基于感测分析单元240的分析结果在图像50中存在他国标志，因此训练数据确定单元241取消选择符号识别器作为传感器信息应用于的识别器。另一方面，由于在图像50中存在行人，因此选择行人检测器作为传感器信息应用于的识别器。
图12是示出根据第一实施例的第二变更例的服务器系统2中的处理的示例的流程图。在第一步骤S300中，服务器系统2通过通信单元200执行通信处理，并接收经由网络1从终端设备11传送的传感器信息。步骤S300中的处理包括接收从多个终端设备11中的每一个传送的各条传感器信息的处理。
在下一步骤S301中，服务器系统2中的感测分析单元240获取在步骤S300的通信处理中接收的传感器信息。在下一步骤S302中，感测分析单元240分析在步骤S301中获取的传感器信息，以获得在包含于传感器信息中的图像数据中包括的物体或物体类。在下文中，将物体描述为从图像数据分析出的物体和物体类中的示例。
下一步骤S303st表示指示对在步骤S300的通信处理中获取的所有传感器信息执行步骤S303st～步骤S303ed的处理的循环处理的开始。下一步骤S304st表示指示对各条传感器信息的所有应用目标(即，对识别器210中的每一个)执行步骤S304st～步骤S304ed的处理的循环处理的开始。
在步骤S305中，在服务器系统2中，基于步骤S302中在包含于目标传感器信息中的图像数据中包括的各物体，训练数据确定单元241检查传感器信息是否适用于各个识别器210中的目标识别器210。
当训练数据确定单元241在步骤S306中确定了目标传感器信息适用于目标识别器210(步骤S306，“是”)时，处理进行到步骤S307。在步骤S307，服务器系统2中的训练数据累积单元201执行应用目标的训练数据的累积处理。即，在步骤S307中，训练数据累积单元201将目标传感器信息累积为在步骤S306中确定为适用的目标识别器210的训练数据。
在步骤S307的处理之后，服务器系统2使处理从步骤S304ed返回到步骤S304st，并且各个识别器210中的下一识别器210被设定为目标识别器210，并且，执行步骤S305和S306的处理。
相反，当训练数据确定单元232在步骤S306中确定了目标传感器信息不适用于目标识别器210(步骤S306，“否”)时，处理从步骤S304ed返回到步骤S304st。
在关于目标传感器信息对识别器210中的每一个完成步骤S304st～S304ed的处理之后，服务器系统2使处理从步骤S303ed返回到步骤S303st，并对在步骤S300的通信处理中获取的传感器信息中的作为目标传感器信息的下一传感器信息，重复步骤S303st～S303ed的处理。
在对各条传感器信息完成步骤S303st～S303ed的处理之后，服务器系统2进行到步骤S308的处理。在步骤S308中，服务器系统2使训练单元202通过使用通过上述处理在训练数据累积单元201中累积的各条传感器信息作为训练数据，对相应的识别器210执行重新训练处理。在完成步骤S308的处理之后，服务器系统2进行到步骤S309的处理，并使学习结果利用单元203执行在步骤S308中重新训练的各识别器210的利用处理。
以这种方式，在第一实施例的第二变更例中，基于在包含于从终端设备11传送的传感器信息中的图像数据中包括的物体或物体类，选择传感器信息适用于的识别器210。这使得能够以更高的效率使用传感器信息。
[3.第二实施例]
接下来，描述本公开的第二实施例。在上面描述的第一实施例及其变更例中，服务器系统2指定从终端设备11传送的传感器信息应用于的识别器210。相反，在第二实施例中，终端设备11指定要传送的传感器信息应用于的识别器210。此外，在第二实施例中，终端设备11确定是否将获取的传感器信息传送到服务器系统2。
图13是示出根据第二实施例的驾驶辅助系统的示例的配置的框图。图13所示的驾驶辅助系统在终端设备11中使用图2所示的训练数据应用确定单元108。在这种情况下，例如，服务器系统2侧的训练数据应用确定单元22将指示包含于服务器系统2中的识别器210的信息传送到终端设备11侧的训练数据应用确定单元108。另外，在下面描述的第二实施例及其变更例中，如图中的着色区域所示，传送确定单元107a发挥中心作用。
例如，与上述第一实施例类似，训练数据应用确定单元108基于包含于从相机12获取的传感器信息中的元数据，确定传感器信息应用于在服务器系统2中包括的识别器210中的哪一个。传送确定单元107a将指示由训练数据应用确定单元108确定的传感器信息应用于的识别器210的信息，添加到要传送到服务器系统2的传感器信息，并将获得的传感器信息传送到服务器系统2。此时，传送确定单元107a例如基于包含于传感器信息中的元数据确定是否将传感器信息传送到服务器系统2。这使得能够实现传感器信息的有效使用以及抑制用于传送传感器信息的通信成本。
图14是示出根据第二实施例的终端设备11的功能的示例的功能框图。在图14中，终端设备11包括成像单元300、识别单元101、识别结果利用单元301、训练数据应用确定单元108a、传送确定单元107a和通信单元110。通过在CPU 1001上运行的信息处理程序，实现成像单元300、识别单元101、训练数据应用确定单元108a、传送确定单元107a和通信单元110。
成像单元300控制相机12以基于捕获图像获取图像数据，并且还获取与成像相关的元数据。成像单元300输出获取的图像数据和元数据作为传感器信息。识别单元101例如通过使用经由网络1从服务器系统2获取的识别器210，对包含于从成像单元300输出的传感器信息中的图像数据执行物体识别处理。识别结果利用单元301包含于配备有终端设备11的车辆10的控制系统中，并且例如根据物体识别处理的结果执行诸如避开障碍物之类的控制。
例如，元数据分析单元250和训练数据确定单元222在功能上分别等同于在第一实施例中描述的元数据分析单元221和训练数据确定单元222。例如，元数据分析单元250从传感器信息提取元数据，并分析提取的元数据。基于对元数据的分析结果，训练数据确定单元251在包含于服务器系统2中的多个识别器210中指定传感器信息适用于的识别器210。
传送确定单元107a确定是否将由成像单元300获取的传感器信息传送到服务器系统2。例如，传送确定单元107a基于传感器信息确定是否传送传感器信息。传送确定不限于此，并且传送确定单元107a可以根据基于传感器信息的识别单元101的识别结果确定是否传送传感器信息。
通信单元110经由网络1将由传送确定单元107a确定为要传送的传感器信息传送到服务器系统2。
图15是示出根据第二实施例的终端设备11中的处理的示例的流程图。在第一步骤S400中，终端设备11通过成像单元300执行成像处理，并从相机12接收包括基于捕获图像的图像数据和与由相机12执行的成像相关的元数据的传感器信息。
在下一步骤S401中，终端设备11使识别单元101基于在步骤S400中的成像处理中获取的传感器信息执行物体识别处理。在下一步骤S402中，终端设备11使识别结果利用单元301通过使用由识别单元101执行的物体识别处理的识别结果执行处理。
在下一步骤S403中，元数据分析单元250从在步骤S400的成像处理中获取的传感器信息获取元数据，然后对获取的元数据执行分析处理。
下一步骤S404st表示循环处理的开始，该循环处理指示对传感器信息的所有应用目标(即，对包含于服务器系统2中的识别器210中的每一个)执行步骤S404st～步骤S404ed的处理。
在步骤S405中，在终端设备11中，由训练数据确定单元251执行元数据应用确定处理。即，在步骤S405中，训练数据确定单元251基于元数据检查在步骤S400中的成像处理中获取的传感器信息是否适用于各个识别器210中的目标识别器210。这里，在第一实施例中描述的确定方法适用于训练数据确定单元251。即，训练数据确定单元251关于传感器信息，基于预定规则或学习，确定捕获包含于传感器信息中的图像数据时的场景，并且例如对各确定的场景指定传感器信息作为训练数据应用于的识别器210。
当训练数据确定单元251在下一步骤S406中确定了传感器信息适用于目标识别器210(步骤S406，“是”)时，处理进行到步骤S407。在步骤S407中，终端设备11中的累积确定单元103执行应用目标的训练数据的累积处理。即，在步骤S407中，累积确定单元103确定累积传感器信息作为在步骤S406中确定为适用的目标识别器210的训练数据。根据该确定，累积单元104在存储单元105中存储并累积传感器信息。
在步骤S407的处理之后，终端设备11使处理从步骤S404ed返回到步骤S404st，并对各个识别器210中的作为目标识别器210的下一识别器210执行步骤S405～S407的处理。
相反，当在步骤S406中确定目标传感器信息不适用于目标识别器210(步骤S406，“否”)时，处理从步骤S404ed返回到步骤S404st。
在关于传感器信息对识别器210中的每一个完成步骤S404st～S404ed的处理之后，终端设备11进行到步骤S408的处理。在步骤S408中，终端设备11确定在步骤S404st～S404ed的处理中由传送确定单元107a确定为传感器信息的应用目标的识别器210的数量是否足够(例如，数量是否超过阈值)。当传送确定单元107a确定被确定为传感器信息的应用目标的识别器210的数量不足时，传送确定单元107a结束根据图15的流程图的一系列处理，而不将传感器信息传送到服务器系统2。
相反，当传送确定单元107a在步骤S408中确定了被确定为传感器信息的应用目标的识别器210的数量足够时，处理进行到步骤S409。在步骤S409中，传送确定单元107a执行传感器信息的传送处理。例如，传送确定单元107a将指示通过步骤S404st～S404ed的处理确定为适用的识别器210中的每一个的信息，添加到在步骤S407中存储在存储单元105中的传感器信息。
在下一步骤S410中，指示各识别器210的信息已添加到的传感器信息从存储单元105被读取，然后由通信单元110经由网络1被传送到服务器系统2。服务器系统2将从终端设备11传送的传感器信息作为用于基于添加到传感器信息的指示识别器210中的每一个的信息来执行识别器210中的每一个的重新训练的训练数据，与识别器210中的每一个相关联地存储在存储单元20中。
以这种方式，第二实施例基于元数据，进行关于从相机12输出的包括基于捕获图像的图像数据并且包括元数据的传感器信息是否适用于服务器系统2的各识别器210的确定。因此，终端设备11可以将从相机12获取的传感器信息作为训练数据应用于与通过终端设备11用于传感器信息的识别器不同的识别机器，从而使得能够更高效地将传感器信息用作训练数据。此外，终端设备11使传送确定单元107a例如基于包含于传感器信息中的元数据，确定是否将传感器信息传送到服务器系统2。这使得能够抑制用于传送传感器信息的通信成本。
尽管以上描述是传送确定单元107a基于包含于传感器信息中的元数据确定是否将传感器信息传送到服务器系统2的示例性情况，但确定不限于该示例。例如，传送确定单元107a可以基于通过识别单元101获得的包含于对传感器信息中包括的图像数据的识别结果中的识别分数，确定是否将传感器信息传送到服务器系统2。在这种情况下，例如，可以设想当识别分数为预定值或更小时传送确定单元107a将传感器信息传送到服务器系统2。在服务器系统2中，可以通过基于具有这种低识别分数的传感器信息实施训练，进一步提高识别性能。
(3-1.第一变更例)
接下来，描述第二实施例的第一变更例。第二实施例的第一变更例是终端设备11基于传感器信息的即时性确定是否将获取的传感器信息传送到服务器系统2的示例。在第二实施例的第一变更例中，参考图13描述的根据第一实施例的驾驶辅助系统的配置是适用的。
更具体地描述这一点。由相机12获取的传感器信息有时同时包括具有显著不同的量级的时间常数的信息。作为示例，在包含于传感器信息的元数据中的关于镜头老化退化校正的信息与基于图像数据执行的行人识别处理之间，从信息的出现到需要响应的点，存在大的时间差异。鉴于此，第二实施例的第一变更例关于目标传感器信息获得各使用目的的立即传送的必要性程度，并且以给予具有立即必要性的传感器信息优先的方式将传感器信息传送到服务器系统2。即时性较小的传感器信息被累积，并且在获取点不被传送。
图16是示出根据第二实施例的第一变更例的终端设备11的功能的示例的功能框图。在图16中，与参考图14描述的根据第二实施例的终端设备11的配置相比，终端设备11具有在训练数据应用确定单元108a和传送确定单元107a之间插入训练数据即时性计算单元152和训练数据即时性确定单元153的配置。
训练数据即时性计算单元151计算由训练数据确定单元251指定应用于识别器210的传感器信息的即时性。例如，训练数据即时性计算单元151根据由训练数据确定单元251指定适用传感器信息的识别器210的使用目的，计算传感器信息的即时性。训练数据即时性确定单元153基于计算的即时性确定传感器信息的即时性。
在上述示例中，识别器210执行与镜头老化校正相关的识别。当识别内容的变化跨度长时，训练数据即时性计算单元152例如基于传感器信息的元数据获得下一校正定时，并计算定时和当前时间之间的差。当计算的差比阈值长时，训练数据即时性确定单元153确定传感器信息具有低即时性。在上述另一示例中，在识别器210执行行人识别的情况下，训练数据即时性确定单元153确定传感器信息的即时性高。
传送确定单元107b根据由训练数据即时性确定单元153确定的即时性确定是否将传感器信息传送到服务器系统2。即，传送确定单元107b确定被确定为具有高即时性的传感器信息将在该点被传送到服务器系统2。相反，传送确定单元107b确定被确定为具有低即时性的传感器信息不需要在该点被传送，并且例如通过累积单元104将传感器信息累积到存储单元105中。
通信单元110立即将由传送确定单元107b确定为被要传送的传感器信息传送到服务器系统2。
图17是示出根据第二实施例的第一变更例的终端设备11中的处理的示例的流程图。在第一步骤S500中，终端设备11通过成像单元300执行成像处理，并从相机12获取传感器信息，该传感器信息包括基于捕获图像的图像数据并且包括与相机12的成像相关的元数据。
在下一步骤S501中，终端设备11使识别单元101基于在步骤S500的成像处理中获取的传感器信息执行物体识别处理。在下一步骤S502中，终端设备11使识别结果利用单元301通过使用在由识别单元101执行的物体识别处理中获得的识别结果执行处理。
在下一步骤S503中，元数据分析单元250从在步骤S500的成像处理中获取的传感器信息获取元数据，并对获取的元数据执行分析处理。
下一步骤S504st表示循环处理的开始，该循环处理指示对传感器信息的所有应用目标(即，对包含于服务器系统2中的识别器210中的每一个)执行步骤S504st～步骤S504ed的处理。
在步骤S505中，在终端设备11中，由训练数据确定单元251执行元数据应用确定处理。即，在步骤S505中，训练数据确定单元251基于元数据检查在步骤S500中的成像处理中获取的传感器信息是否适用于各个识别器210中的目标识别器210。这里，在第一实施例中描述的确定方法适用于训练数据确定单元251。即，训练数据确定单元251关于传感器信息，基于预定规则或学习，确定捕获包含于传感器信息中的图像数据时的场景，并且例如对各确定的场景指定传感器信息作为训练数据应用于的识别器210。
当训练数据确定单元251在下一步骤S506中确定了传感器信息适用于目标识别器210(步骤S506，“是”)时，处理进行到步骤S507。在步骤S507中，终端设备11中的累积确定单元103执行应用目标的训练数据的累积处理。即，在步骤S507中，累积确定单元103确定累积传感器信息作为在步骤S506中确定为适用的目标识别器210的训练数据。根据该确定，累积单元104在存储单元105中存储并累积传感器信息。
在步骤S507的处理之后，终端设备11使处理从步骤S504ed返回到步骤S504st，并对各个识别器210中的作为目标识别器210的下一识别器210执行步骤S505～S507的处理。
相反，当在步骤S506中确定目标传感器信息不适用于目标识别器210(步骤S506，“否”)时，处理从步骤s504ed返回到步骤S504st。
在关于传感器信息对识别器210中的每一个完成步骤S504st～S504ed的处理之后，终端设备11进行到步骤S508的处理。在步骤S508中，终端设备11通过训练数据即时性计算单元152计算传感器信息的即时性。在下一步骤S509中，终端设备11使训练数据即时性确定单元153确定传感器信息的即时性。
在下一步骤S510中，终端设备11使传送确定单元107b基于在步骤S509中确定的即时性确定是否将传感器信息传送到服务器系统2。当确定传感器信息的即时性低时，传送确定单元107b确定不将传感器信息传送到服务器系统2(步骤S510，“否”)，并结束图17的流程图的一系列处理。
相反，当在步骤S510中确定传感器信息的即时性高时，传送确定单元107b确定将传感器信息传送到服务器系统2(步骤S510，“是”)，并进行到步骤S511的处理。在步骤S511中，传送确定单元107b执行传感器信息的传送处理。例如，传送确定单元107b向传感器信息添加指示通过步骤S504st～S504ed的处理确定为适用的识别器210的信息。
在下一步骤S512中，已添加指示各识别器210的信息的传感器信息通过通信单元110经由网络1被传送到服务器系统2。服务器系统2将从终端设备11传送的传感器信息，作为用于基于添加到传感器信息的指示识别器210的信息执行识别器210的重新训练的训练数据，与识别器210相关联地存储在存储单元20中。
以这种方式，在第二实施例的第一变更例中，基于传感器信息的即时性确定是否将传感器信息传送到服务器系统2。这使得能够抑制用于传送传感器信息的通信成本。
(3-2.第二变更例)
接下来，描述第二实施例的第二变更例。第二实施例的第二变更例是终端设备11基于传感器信息的稀有性确定是否所获取的传感器信息传送到服务器系统2的示例。在第二实施例的第二变更例中，可以应用参照图13描述的根据第一实施例的驾驶辅助系统的配置。
更具体地描述这一点。由相机12获取的一些传感器信息是稀有的，并且需要提前收集。例如，关于新引入的道路或交通系统的传感器信息优选尽早反映在训练数据中。为了收集这种传感器信息，预先或偶尔通过诸如V2X之类的通信设定涉及需要提前收集的情况的发生的区域，并且，在该区域中获取的传感器信息被确定为要传送到服务器系统2的信息。
图18是示出根据第二实施例的第二变更例的终端设备11的功能的示例的功能框图。在图18中，与参考图14描述的根据第二实施例的终端设备11的配置相比，终端设备11具有省略训练数据应用确定单元108a并且添加稀有性分析单元310和稀有性确定单元311的配置。
由成像单元300获取的传感器信息经由识别单元101被输入到传送确定单元107e。另一方面，稀有性分析单元310分析由相机12捕获的范围内的事件的稀有性。稀有性确定单元311确定由稀有性分析单元310分析出的事件的稀有性。
例如，稀有性分析单元310通过与外部的通信或用户设定等执行设定包括稀有事件的区域的处理。此外，稀有性分析单元310例如从包含于终端设备11中的GNSS接收器1007获取指示当前位置的位置信息。基于稀有性分析单元310的分析结果，稀有性确定单元311确定由相机12捕获的成像范围是否包括设定区域。例如，基于由稀有性分析单元310获取的指示当前位置的位置信息和设定区域，稀有性确定单元311确定当获取的位置信息对应于设定区域时，在从相机12获取的传感器信息中存在稀有性。
传送确定单元107c根据稀有性确定单元311的确定结果，确定是否将从相机12获取的传感器信息传送到服务器系统2。通信单元110经由网络1将由传送确定单元107c确定为要传送的传感器信息传送到服务器系统2。
图19是示出根据第二实施例的第二变更例的终端设备11中的处理的示例的流程图。在第一步骤S600中，终端设备11通过成像单元300执行成像处理，并从相机12接收包括基于捕获图像的图像数据和与由相机12执行的成像相关的元数据的传感器信息。
在下一步骤S601中，终端设备11使识别单元101基于在步骤S600的成像处理中获取的传感器信息执行物体识别处理。在下一步骤S602中，终端设备11使识别结果利用单元301通过使用在由识别单元101执行的物体识别处理中获得的识别结果执行处理。
在下一步骤S603中，稀有性分析单元310从在步骤S600的成像处理中获取的设定传感器信息获取元数据，并对获取的元数据执行分析处理。在下一步骤S604中，稀有性分析单元310分析稀有性。例如，稀有性分析单元310获取指示当前位置的位置信息和关于设定区域的信息。
在下一步骤S605中，基于步骤S604中的分析结果，稀有性确定单元311确定传感器信息是否适用于通过使用具有稀有性的传感器信息训练的识别器210。例如，在当前位置是对应于基于指示当前位置的位置信息和指示设定区域的信息的区域的位置时，稀有性确定单元311可以确定从相机12获取的传感器信息是具有稀有性的传感器信息。
在下一步骤S606中，当稀有性确定单元311已经确定传感器信息适用于通过使用具有稀有性的传感器信息训练的识别器210(步骤S606，“是”)时，处理进行到步骤S607。在步骤S607中，终端设备11通过传送确定单元107c执行传感器信息的传送处理。例如，传送确定单元107c将指示存在稀有性的信息添加到传感器信息。具有添加的信息的传感器信息通过通信单元110经由网络1被传送到服务器系统2。
另一方面，在在步骤S606中确定传感器信息不适用于通过使用具有稀有性的传感器信息训练的识别器210的情况下，根据图19的流程图的一系列处理终止，不将传感器信息传送到服务器系统2。
以这种方式，在第二实施例的第二变更例中，基于传感器信息的稀有性确定是否将传感器信息传送到服务器系统2。这使得能够抑制用于传送传感器信息的通信成本。
(3-3.第三变更例)
接下来，描述第二实施例的第三变更例。第二实施例的第三变更例是具有避免从多个车辆10传送重复传感器信息的能力的示例。在第二实施例的第三变更例中，参考图13描述的根据第一实施例的驾驶辅助系统的配置是适用的。
即，当具有传感器信息传送功能的多个车辆10相对靠近时，例如，存在多条类似的传感器信息从多个车辆10被传送到服务器系统2的可能性。因此，在第二实施例的第三变更例中，邻近存在的多个车辆10具有向服务器系统2传送彼此不同的数据的能力。更具体地说，在第二实施例的第三变更例中，目标车辆10(以下称为目标车辆)与周围车辆10之间传送和接收要传送的传感器信息的元数据，以抑制从目标车辆传送与已由另一车辆10传送的传感器信息类似的传感器信息。
图20是示出根据第二实施例的第三变更例的终端设备11的功能的示例的功能框图。在图20中，目标车辆的终端设备11包括成像单元300、识别单元101、识别结果利用单元301、传送确定单元107d、通信单元110a、非目标车辆数据累积单元320和存储单元321。并且，与目标车辆相比，其他车辆101、102、103、…分别包括成像单元300、识别单元101、识别结果利用单元301、传送确定单元107和通信单元110。车辆配置不限于此，并且，其他车辆101、102、103、…中的每一个可具有与目标车辆相似的配置。
成像单元300、识别单元101和识别结果利用单元301具有例如等同于图14所示的成像单元300、识别单元101和识别结果利用单元301的功能，因此，这里省略对其的描述。
在图20中，通信单元110a与其他车辆101、102、103、…中的每一个的通信单元110通信，并且获取指示已经由其他车辆101、102、103、…传送到服务器系统2的传感器信息的信息。
例如，在目标车辆中，识别单元101对包含于从相机12获取的传感器信息中的图像数据执行物体识别处理，并将识别结果传递给传送确定单元107d。类似地，在车辆101、102、103、…中的每一个中，识别单元101对包含于从相机12获取的传感器信息中的图像数据执行物体识别处理，并将识别结果传递给传送确定单元107d中的每一个。
通信单元110a与车辆101、102、103、…中的每一个通信，并且请求指示要传送到车辆101、102、103、…中的每一个的传感器信息的信息。响应于该请求，车辆101、102、103、…的传送确定单元107中的每一个例如经由网络1将包含于传感器信息中的元数据和识别结果传送到目标车辆。
在安装在目标车辆上的终端设备11中，通信单元110a将从车辆101、102、103、…中的每一个接收的元数据和识别结果传递至非目标车辆数据累积单元320。非目标车辆数据累积单元320在存储单元321中累积接收的元数据和识别结果。
基于从识别单元101传递的识别结果和包含于传感器信息中的元数据，传送确定单元107d确定是否在存储单元321中累积对应于识别结果和元数据的已传送数据。当数据不被累积时，传送确定单元107d经由通信单元110a将识别结果和元数据传送到服务器系统2。相反，当数据被累积时，识别结果和元数据将不被传送。
以这种方式，通过避免在多个车辆10之间传送重复的传感器信息，可以降低通信成本。
图21是示出根据第二实施例的第三变更例的终端设备11中的处理的示例的流程图。在图21中，部分(a)中所示的步骤S700～S709的处理和部分(b)中所示的步骤S720～S721的处理是例如通过相互不同的线程彼此独立地运行的处理。此外，部分(a)和(b)中的处理是由安装在目标车辆上的终端设备11执行的处理。
首先，描述(b)部分的处理。在步骤S720中，通信单元110a执行用于接收非目标车辆传送信息的接收处理。例如，通信单元110a对其他车辆101、102、103、…中的每一个，请求传送的传感器信息的元数据和基于传感器信息的识别结果。在下一步骤S721中，通信单元110a执行通过非目标车辆数据累积单元320在存储单元321中累积与步骤S720中的请求对应的非目标车辆传送信息的累积处理。例如，响应于步骤S720中的请求，通信单元110a接收从其他车辆101、102、103、…传送的元数据和识别结果的组，并将接收的元数据和识别结果的组传递到非目标车辆数据累积单元320。非目标车辆数据累积单元320在存储单元321中存储并累积从通信单元110a传递的元数据和识别结果的组。
偶尔执行部分(b)中的步骤S720和S721中的处理。
接下来，描述(a)部分的处理。在第一步骤S700中，终端设备11通过成像单元300执行成像处理，并从相机12获取包括基于捕获图像的图像数据并且包括与相机12的成像相关的元数据的传感器信息。
在下一步骤S701中，终端设备11使识别单元101基于在步骤S700的成像处理中获取的传感器信息执行物体识别处理。在下一步骤S702中，终端设备11使识别结果利用单元301通过使用在由识别单元101执行的物体识别处理中获得的识别结果执行处理。此外，识别单元101将识别结果和包含于传感器信息中的元数据传递给传送确定单元107d。
下一步骤S703st指示循环处理的开始，该循环处理指示要在步骤S703st～S703ed中对在部分(b)的步骤S721中累积在存储单元321中的所有非目标车辆数据(识别结果和元数据)执行处理。
在步骤S704中，传送确定单元107d请求非目标车辆数据累积单元320以读取在存储单元321中累积的元数据和识别结果的一个组，并响应于请求获取从存储单元321读取的元数据和识别结果的组。
在下一步骤S705中，传送确定单元107d确定在步骤S704中从存储单元321读取的元数据和识别结果的组是否是接近在步骤S702中从识别单元101传递的元数据和识别结果的组的数据。例如，传送确定单元107d获得各个识别结果之间的相似性，并且当获得的相似性为阈值或更小时，传送确定单元107d可以确定从存储单元321读取的元数据和识别结果的组是接近从识别单元101传递的元数据和识别结果的组的数据。比较方法不限于此，并且可以通过比较(多条)元数据进行确定。
在确定了两个组是彼此接近的数据(步骤S706，“是”)之后，传送确定单元107d进行到步骤S706的处理，并在从存储单元321读取的元数据和识别结果的组中设定非传送标志。在步骤S706的处理之后，传送确定单元107d使处理从步骤S703ed返回到步骤S703st，并对在存储单元321中累积的下一组的元数据和识别结果执行从步骤S704开始的处理。
相反，当已经确定数据的组不是彼此接近的数据(步骤S705，“否”)时，传送确定单元107d使处理从步骤S703ed返回到步骤S703st，并对在存储单元321中累积的下一组的元数据和识别结果执行从步骤S704开始的处理。
在对在存储单元321中累积的元数据和识别结果的所有组完成步骤S704和步骤S705的处理之后，传送确定单元107d进行到步骤S707的处理。
在步骤S707中，传送确定单元107d确定在在存储单元321中累积的元数据和识别结果的所有组中是否存在步骤S706中设定非传送标志的元数据和识别结果的组。当传送确定单元107d确定没有在存储单元321中累积的元数据和识别结果的所有组中设定非传送标志(步骤S707，“是”)时，处理进行到步骤S708。
在步骤S708中，传送确定单元107d将对应于在步骤S702中从识别单元101传递的元数据和识别结果的组的传感器信息传递到通信单元110a，并执行用于将传感器信息传送到服务器系统2的传送处理。在下一步骤S709中，通信单元110a经由网络1将从传送确定单元107d传递的传感器信息传送到服务器系统2。
相反，当在步骤S707中确定在在存储单元321中累积的元数据和识别结果的所有组中存在在步骤S706中设定非传送标志的至少一组的元数据和识别结果(步骤S707，“否”)时，传送确定单元107d结束图21的(a)部分中的流程图的一系列处理，而不执行传感器信息的传送处理。
以这种方式，第二实施例的第三变更例抑制接近于已由其他车辆10传送的传感器信息的传感器信息的传送，从而使得能够降低传送传感器信息的通信成本。
[4.第三实施例]
接下来，描述第三实施例。第三实施例涉及在上述第二实施例中没有传送到服务器系统2的传感器信息，并且适用于第二实施例及其变更例中的任何示例。这里，为了解释，将根据第三实施例的处理描述为应用于上述第二实施例。
图22是示出根据第三实施例的驾驶辅助系统的示例的配置的框图。图22所示的配置相当于参考图13在第二实施例中描述的配置。然而，如图22中作为着色区域所示，累积确定单元103、累积单元104和累积信息输出单元106起主要作用。
具体地说，可能存在这样的情况：在上述第二实施例等中没有传送的传感器信息也是必要的。因此，在第三实施例中，没有传送的传感器信息通过累积单元104存储并累积在存储单元105中。此后，在任意定时，通过不经由因特网等的直接连接(诸如线缆连接或局域网(LAN))从累积信息输出单元106输出传感器信息。
图23是示出根据第三实施例的终端设备11的功能的示例的功能框图。由于基本配置与参考图14描述的根据第二实施例的终端设备11的配置类似，因此省略其详细描述。在根据第三实施例的终端设备11中，传送确定单元107e将被确定为不传送的传感器信息传递到累积单元104，并且累积单元104将接收的传感器信息存储并累积到存储单元105中。当能够收集传感器信息的外部设备被连接时，累积信息输出单元106向累积单元104请求在存储单元105中累积的传感器信息，并将通过累积单元104从存储单元105读取的传感器信息输出到外部设备。
图24是示出根据第三实施例的终端设备11中的处理示例的流程图。在图24中，部分(b)中所示的步骤S820～S821的处理是例如当外部设备连接到累积信息输出单元106时要开始的处理。
首先，描述(a)部分的处理。部分(a)的处理与参考图15描述的根据第二实施例的处理基本上相同。即，在第一步骤S800中，终端设备11通过成像单元300执行成像处理，并从相机12接收包括基于捕获图像的图像数据和与相机12的成像相关的元数据的传感器信息。在下一步骤S801中，终端设备11使识别单元101基于在步骤S800中的成像处理中获取的传感器信息执行物体识别处理。在下一步骤S802中，终端设备11使识别结果利用单元301通过使用通过识别单元101的物体识别处理的识别结果执行处理。
在下一步骤S803中，元数据分析单元250从在步骤S800的成像处理中获取的传感器信息获取元数据，并对获取的元数据执行分析处理。
下一步骤S804st表示循环处理的开始，该循环处理指示对传感器信息的所有应用目标(即，对包含于服务器系统2中的识别器210中的每一个)执行步骤S804st～步骤S804ed的处理。
在步骤S805中，在终端设备11中，由训练数据确定单元251执行元数据应用确定处理。即，在步骤S805中，训练数据确定单元251基于元数据，例如通过使用在第一实施例中描述的确定方法，检查在步骤S800中的成像处理中获取的传感器信息是否适用于各个识别器210中的目标识别器210。
当训练数据确定单元251在下一步骤S806中确定了传感器信息适用于目标识别器210(步骤S806，“是”)时，处理进行到步骤S807。在步骤S807中，终端设备11中的累积确定单元103执行应用目标的训练数据的累积处理。即，在步骤S807中，累积确定单元103确定累积传感器信息作为在步骤S806中确定为适用的目标识别器210的训练数据。根据该确定，累积单元104在存储单元105中存储并累积传感器信息。
在步骤S807的处理之后，终端设备11使处理从步骤S804ed返回到步骤S804st，并对各个识别器210中的作为目标识别器210的下一识别器210执行步骤S805～S807的处理。
相反，当在步骤S806中确定目标传感器信息不适用于目标识别器210(步骤S806，“否”)时，处理从步骤S804ed返回到步骤S804st。
在关于传感器信息对识别器210中的每一个完成步骤S804st～S804ed的处理之后，终端设备11进行到步骤S808的处理。在步骤S808中，终端设备11确定在步骤S804st～S804ed的处理中由传送确定单元107e确定为传感器信息的应用目标的识别器210的数量是否足够(例如，数量是否超过阈值)。
在确定被确定为传感器信息的应用目标的识别器210的数量不足后，传送确定单元107e进行到步骤S811的处理。在步骤S811中，传送确定单元107e执行传感器信息的累积处理。例如，传送确定单元107e指示累积单元104继续保存在步骤S807中在存储单元105中累积的传感器信息。累积处理的结束完成根据图24的部分(a)的流程图的一系列处理。
相反，当传送确定单元107e在步骤S808中确定被确定为传感器信息的应用目标的识别器210的数量足够时，处理进行到步骤S809。在步骤S809中，传送确定单元107e执行传感器信息的传送处理。例如，传送确定单元107e将指示通过步骤S804st～S804ed的处理确定为适用的识别器210中的每一个的信息添加到在步骤S807中存储在存储单元105中的传感器信息。
在下一步骤S810中，指示各识别器210的信息已添加到的传感器信息从存储单元105被读取，然后由通信单元110经由网络1被传送到服务器系统2。累积单元104从存储单元105删除传送的传感器信息。服务器系统2将从终端设备11传送的传感器信息，作为用于基于添加到传感器信息的指示识别器210中的每一个的信息执行识别器210中的每一个的重新训练的训练数据，与识别器210中的每一个相关联地存储在存储单元20中。
描述(b)部分的处理。当通过线缆等直接连接外部设备时，在步骤S820中，累积信息输出单元106执行与外部设备连接的处理。当建立与外部设备的连接时，累积信息输出单元106向累积单元104发出指令，以从存储单元105读取累积的传感器信息。累积信息输出单元106将通过累积单元104从存储单元105读取的各条传感器信息传送到外部设备。
以这种方式，在第三实施例中，没有通过传送确定单元107e传送到服务器系统2的传感器信息可以在任意定时被输出到外部设备。通过这种配置，能够在不增加网络1的通信成本的情况下有效地使用传感器信息。
(4-1.第一变更例)
接下来，描述第三实施例的第一变更例。第三实施例的第一变更例涉及在上述的第二实施例及其变更例中没有传送到服务器系统2的传感器信息，并且适用于第二实施例及其变更例中的任何示例。这里，为了解释，将根据第三实施例的处理描述为应用于上述第二实施例。
在例如使用Wi-Fi(注册商标)热点以连接到网络1的情况下，或者在当具有低通信负载的定时执行通信的情况下，经由网络1将传感器信息从终端设备11传送到服务器系统2的通信成本不同。因此，在第三实施例的第一变更例中，预先设定或者通过诸如V2X之类的通信设定网络通信费用计划(每小时通信费用信息)和通信计划(每小时通信量计划)。另外，累积的传感器信息要在通信成本低的定时、在通信负载不高的时区以及在自己车辆中的通信量小等的情况下被传送。
图25是示出根据第三实施例的第一变更例的终端设备11的功能的示例的功能框图。由于基本配置与参考图14描述的根据第二实施例的终端设备11的配置类似，因此省略其详细描述。在根据第三实施例的第一变更例的终端设备11中，传送确定单元107e将确定为不被传送的传感器信息传递给累积单元104，并且累积单元104将传感器信息存储并累积在存储单元105中。在通信成本低的定时、在通信负载不高的时区或者当自己车辆中的通信量小等时，传送确定单元107e从存储单元105读取累积的传感器信息，并经由网络1将传感器信息传送到服务器系统2。
图26是示出根据第三实施例的第一变更例的终端设备11中的处理的示例的流程图。在图26中，部分(a)中所示的步骤S900～S911的处理和部分(b)中所示的步骤S920～S924的处理是例如通过相互不同的线程彼此独立地运行的处理。
首先，描述(a)部分的处理。部分(a)的处理与参考图15描述的根据第二实施例的处理相同类似。即，在第一步骤S900中，终端设备11通过成像单元300执行成像处理，并从相机12接收包括基于捕获图像的图像数据和与相机12的成像相关的元数据的传感器信息。在下一步骤S901中，终端设备11使识别单元101基于在步骤S900中的成像处理中获取的传感器信息执行物体识别处理。在下一步骤S902中，终端设备11使识别结果利用单元301通过使用通过识别单元101的物体识别处理的识别结果执行处理。
在下一步骤S903中，元数据分析单元250从在步骤S900的成像处理中获取的传感器信息获取元数据，并对获取的元数据执行分析处理。
下一步S904st表示循环处理的开始，该循环处理指示对传感器信息的所有应用目标(即，对包含于服务器系统2中的识别器210中的每一个)执行步骤S904st～步骤S904ed的处理。
在步骤S905中，在终端设备11中，由训练数据确定单元251执行元数据应用确定处理。即，在步骤S905中，训练数据确定单元251基于元数据，例如通过使用在第一实施例中描述的确定方法，检查在步骤S900中的成像处理中获取的传感器信息是否适用于各个识别器210中的目标识别器210。
当训练数据确定单元251在下一步骤S906中确定了传感器信息适用于目标识别器210(步骤S906，“是”)时，处理进行到步骤S907。在步骤S907中，终端设备11中的累积确定单元103执行应用目标的训练数据的累积处理。即，在步骤S907中，累积确定单元103确定累积传感器信息作为在步骤S906中确定为适用的目标识别器210的训练数据。根据该确定，累积单元104在存储单元105中存储并累积传感器信息。
在步骤S907的处理之后，终端设备11使处理从步骤S904ed返回到步骤S904st，并对各个识别器210中的作为目标识别器210的下一识别器210执行步骤S905～S907的处理。
相反，当在步骤S906中确定目标传感器信息不适用于目标识别器210(步骤S906，“否”)时，处理从步骤S904ed返回到步骤S904st。
在关于传感器信息对识别器210中的每一个完成步骤S904st～S904ed的处理之后，终端设备11进行到步骤S908的处理。在步骤S908中，终端设备11确定在步骤S904st～S904ed的处理中由传送确定单元107e确定为传感器信息的应用目标的识别器210的数量是否足够(例如，数量是否超过阈值)。
当传送确定单元107e在步骤S908中确定被确定为传感器信息的应用目标的识别器210的数量不足(步骤S908，“否”)时，处理进行到步骤S911。在步骤S911中，传送确定单元107e执行传感器信息的累积处理。例如，传送确定单元107e指示累积单元104继续保存在步骤S907中在存储单元105中累积的传感器信息。累积处理的结束完成与图26的部分(a)的流程图对应的一系列处理。
相反，当传送确定单元107e在步骤S908中确定被确定为传感器信息的应用目标的识别器210的数量足够(步骤S908，“是”)时，处理进行到步骤S909。在步骤S909中，传送确定单元107e执行传感器信息的传送处理。例如，传送确定单元107e将指示通过步骤S904st～S904ed的处理确定为适用的识别器210中的每一个的信息添加到在步骤S907中存储在存储单元105中的传感器信息。
在下一步骤S910中，指示各识别器210的信息已添加到的传感器信息从存储单元105被读取，然后由通信单元110经由网络1被传送到服务器系统2。累积单元104从存储单元105删除传送的传感器信息。服务器系统2将从终端设备11传送的传感器信息，作为用于基于添加到传感器信息的指示识别器210中的每一个的信息执行识别器210中的每一个的重新训练的训练数据，与识别器210中的每一个相关联地存储在存储单元20中。
接下来，描述(b)部分的处理。在步骤S920中，传送确定单元107e执行通过通信单元110连接到网络1的连接处理。在下一步骤S921中，传送确定单元107e执行估计网络1中的通信成本的估计处理。例如，传送确定单元107e基于关于网络1的连接的通信计划、费用计划、时区和网络1的通信量等估计通信成本。
在下一步骤S922中，传送确定单元107e确定在步骤S921中估计的通信成本是否低，例如，通信成本是否小于预定值。在传送确定单元107e确定估计的通信成本高的情况下(步骤S922，“否”)，传送确定单元107e结束本部分(b)的流程图中的一系列处理，而不传送在存储单元105中累积的传感器信息。
相反，当在步骤S922中确定在步骤S921中估计的通信成本低(步骤S922，“是”)时，传送确定单元107e进行到步骤S923的处理。在步骤S923中，传送确定单元107e执行在存储单元105中累积的传感器信息的传送处理。例如，传送确定单元107e指示累积单元104读取在存储单元105中累积的传感器信息。
在下一步骤S924中，传送确定单元107e通过通信单元110经由网络1将在步骤S923中响应于指令通过累积单元104从存储单元105读取的传感器信息传送到服务器系统2。累积单元104从存储单元105删除传送的传感器信息。
以这种方式，在第三实施例的第一变更例中，根据通信成本，在获取时在存储单元105中累积而未被传送到服务器系统2的传感器信息要经由网络1被传送到服务器系统2。这使得能够降低与传感器信息的传送相关的通信成本。
(4-2.第二变更例)
接下来，描述第三实施例的第二变更例。第三实施例的第二变更例涉及在上述的第二实施例及其变更例中没有被传送到服务器系统2的传感器信息，并且适用于第二实施例及其变更例中的任何示例。这里，为了解释，将根据第三实施例的第二变更例的处理描述为应用于上述第二实施例。
在第三实施例的第二变更例中，对在获取时没有被传送到服务器系统2的传感器信息给予优先级，并根据优先级控制传感器信息的累积。具体地说，传感器信息的优先级有时根据所包括的内容和获取时的状况等而不同。因此，在累积没有被传送到服务器系统2的传感器信息时，累积确定单元103给予传感器信息优先级，并将优先化的传感器信息累积到存储单元105中。当累积传感器信息超过可在累积单元104(存储单元105)中累积的信息量时，累积确定单元103在累积具有较高优先级的传感器信息的同时，从累积的传感器信息中的最低优先级数据依次删除传感器信息。
图27是示出根据第三实施例的第二变更例的终端设备11的功能的示例的功能框图。由于基本配置与参考图14描述的根据第二实施例的终端设备11的配置类似，因此省略其详细描述。在根据第三实施例的第二变更例的终端设备11中，被确定为不被传送的传感器信息被传递到累积确定单元103，并且累积确定单元103对传感器信息给予优先级。累积单元104在存储单元105中存储并累积优先化的传感器信息。此时，当存储单元105没有容量时，累积确定单元103删除存储在存储单元105中的多条传感器信息中的最低优先级的传感器信息。
另外，在通信成本低的定时、在通信负载不高的时区中、当自己车辆中的通信量小等时，传送确定单元107e从存储单元105读取累积的传感器信息，并经由网络1将传感器信息传送到服务器系统2。
图28是示出根据第三实施例的第二变更例的终端设备11中的处理的示例的流程图。注意，在图28中，部分(a)中所示的步骤S1000～S1017的处理和部分(b)中所示的步骤S1030～S1034的处理是通过相互不同的线程彼此独立地运行的处理。
首先，描述(a)部分的处理。在部分(a)的处理中，步骤S1000～S1010的处理与图15的流程图中的步骤S400～S410的处理基本上相同。即，在第一步骤S1000中，终端设备11通过成像单元300执行成像处理，并从相机12接收包括基于捕获图像的图像数据和与相机12的成像相关的元数据的传感器信息。在下一步骤S1001中，终端设备11使识别单元101基于在步骤S1000中的成像处理中获取的传感器信息执行物体识别处理。在下一步骤S1002中，终端设备11使识别结果利用单元301通过使用通过识别单元101的物体识别处理的识别结果执行处理。
在下一步骤S1003中，元数据分析单元250从在步骤S1000中的成像处理中获取的传感器信息获取元数据，并对获取的元数据执行分析处理。
下一步S1004st表示循环处理的开始，该循环处理指示对传感器信息的所有应用目标(即，对包含于服务器系统2中的识别器210中的每一个)执行步骤S1004st～步骤S1004ed的处理。
在步骤S1005中，在终端设备11中，由训练数据确定单元251执行元数据应用确定处理。即，在步骤S1005中，训练数据确定单元251基于元数据，例如通过使用第一实施例中描述的确定方法，检查在步骤S1000中的成像处理中获取的传感器信息是否适用于各个识别器210中的目标识别器210。
当训练数据确定单元251在下一步骤S1006中确定了传感器信息适用于目标识别器210(步骤S1006，“是”)时，处理进行到步骤S1007。在步骤S1007中，终端设备11中的累积确定单元103执行应用目标的训练数据的累积处理。即，在步骤S1007中，累积确定单元103确定累积传感器信息作为在步骤S1006中确定为适用的目标识别器210的训练数据。根据该确定，累积单元104在存储单元105中存储并累积传感器信息。
在步骤S1007的处理之后，终端设备11使处理从步骤S1004ed返回到步骤S1004st，并对各个识别器210中的作为目标识别器210的下一识别器210执行步骤S1005～S1007的处理。
相反，当在步骤S1006中确定目标传感器信息不适用于目标识别器210(步骤S1006，“否”)时，处理从步骤S1004ed返回到步骤S1004st。
在关于传感器信息对各识别器210完成步骤S1004st～S1004ed的处理之后，终端设备11进行到步骤S1008的处理。在步骤S1008中，终端设备11确定在步骤S1004st～S1004ed的处理中由传送确定单元107e确定为传感器信息的应用目标的识别器210的数量是否足够(例如，数量是否超过阈值)。
相反，当传送确定单元107e在步骤S1008中确定被确定为传感器信息的应用目标的识别器210的数量足够(步骤S1008，“是”)时，处理进行到步骤S1009。在步骤S1009中，传送确定单元107e执行传感器信息的传送处理。例如，传送确定单元107e将指示通过步骤S1004st～S1004ed的处理确定为适用的识别器210中的每一个的信息添加到在步骤S1007中存储在存储单元105中的传感器信息中。
在下一步骤S1010中，指示各识别器210的信息已添加到的传感器信息从存储单元105被读取，然后由通信单元110经由网络1被传送到服务器系统2。累积单元104从存储单元105删除传送的传感器信息。服务器系统2将从终端设备11传送的传感器信息，作为用于基于添加到传感器信息的指示识别器210中的每一个的信息执行识别器210中的每一个的重新训练的训练数据，与识别器210中的每一个相关联地存储在存储单元20中。
当传送确定单元107e在步骤S1008中确定被确定为传感器信息的应用目标的识别器210的数量不足(步骤S1008，“否”)时，处理进行到步骤S1011。
在步骤S1011中，累积确定单元103对传感器信息(称为新传感器信息)设定优先级。例如，累积确定单元103可以基于包含于新传感器信息中的元数据设定优先级。此外，累积确定单元103可以基于识别单元101的识别结果对新传感器信息设定优先级。例如，累积确定单元103可以对新传感器信息设定优先级，使得由识别结果指示的识别率越高，给予传感器信息的优先级就越高。
在下一步骤S1012中，累积确定单元103确定在存储单元105中存储新传感器信息的容量是否不足。例如，累积确定单元103向累积单元104询问存储单元105的容量。
当在步骤S1012中确定在存储单元105中存在足够的用于存储新传感器信息的容量(步骤S1012，“否”)时，累积确定单元103进行到步骤S1017的处理。在步骤S1017中，累积确定单元103指示累积单元104将新传感器信息存储在存储单元105中。响应于该指令，存储单元105在存储单元105中存储并累积新传感器信息。在存储单元105中完成传感器信息的存储将结束与部分(a)的流程图对应的一系列处理。
相反，当在步骤S1012中确定在存储单元105中没有足够的用于存储新传感器信息的容量(步骤S1012，“是”)时，累积确定单元103进行到步骤S1013的处理。在步骤S1013中，累积确定单元103指示累积单元104搜索在存储单元105中累积的传感器信息中的设定最低优先级的传感器信息。
在下一步骤S1014中，累积确定单元103将通过步骤S1013中的搜索获得的传感器信息的优先级与新传感器信息的优先级进行比较。当作为比较的结果确定通过步骤S1013中的搜索获得的传感器信息(最低优先级传感器信息)的优先级高于新传感器信息的优先级时(步骤S1014，“当最低优先级数据具有更高优先级时”)，与部分(a)的流程图对应的一系列处理结束。在这种情况下，例如，新传感器信息被丢弃。
相反，当累积确定单元103在步骤S1014中确定新传感器信息的优先级高于最低优先级传感器信息的优先级时(步骤S1014，“当新优先级数据具有更高优先级时”)，处理进行到步骤S1015。在步骤S1015中，累积确定单元103指示累积单元104从存储单元105删除最低优先级传感器信息。响应于该指令，累积单元104从存储单元105删除最低优先级传感器信息。
在下一步骤S1016中，累积确定单元103指示累积单元104将新传感器信息存储在存储单元105中。响应于该指令，存储单元105在存储单元105中存储并累积新传感器信息。在存储单元105中完成传感器信息的存储将结束与部分(a)的流程图对应的一系列处理。
描述(b)部分的处理。根据图28中的部分(b)的处理与根据图26中的部分(b)的处理基本上相同。具体地说，在步骤S1030中，传送确定单元107e执行通过通信单元110连接到网络1的连接处理。在下一步骤S1031中，传送确定单元107e执行估计网络1中的通信成本的估计处理。例如，传送确定单元107e基于关于网络1的连接的通信计划、费用计划、时区和网络1的通信量等估计通信成本。
在下一步骤S1032中，传送确定单元107e确定在步骤S1031中估计的通信成本是否低，例如，通信成本是否小于预定值。在传送确定单元107e确定估计的通信成本高的情况下(步骤S1032，“否”)，传送确定单元107e结束本部分(b)的流程图中的一系列处理，而不传送在存储单元105中累积的传感器信息。
相反，当在步骤S1032中确定在步骤S1031中估计的通信成本低(步骤S1032，“是”)时，传送确定单元107e进行到步骤S1033的处理。在步骤S1033中，传送确定单元107e执行在存储单元105中累积的传感器信息的传送处理。例如，传送确定单元107e指示累积单元104读取在存储单元105中累积的传感器信息。
在下一步骤S1034中，传送确定单元107e通过通信单元110经由网络1将在步骤S1033中响应于指令通过通信单元104从存储单元105读取的传感器信息传送到服务器系统2。累积单元104从存储单元105删除传送的传感器信息。
以这种方式，在第三实施例的第二变更例中，对没有传送到服务器系统2的传感器信息设定优先级，并且当在存储单元105中没有更多用于存储传感器信息的容量时，删除具有低优先级的传感器信息。这使得能够保存存储单元105的存储容量。另外，由于在存储单元105中累积具有高优先级的传感器信息，因此，通过在预定定时读取在存储单元105中存储的传感器信息并将传感器信息传送到服务器系统2，能够实现传感器信息的有效使用，从而降低通信成本。
[5.第四实施例]
根据本公开的技术(本技术)适用于各种产品。根据本公开的技术可以被应用于安装在诸如汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动、飞机、无人机、船舶和机器人之类的移动体中的任何移动体的设备。
图29是示出车辆控制系统的示意性配置示例的框图，该车辆控制系统是根据本公开的技术适用于的移动体控制系统的示例。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图29所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040和集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出微型计算机12051、音频图像输出单元12052和车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元12010用作诸如内燃机或驱动电动机之类的生成车辆的驱动力的驱动力生成设备、将驱动力传递到车轮的驱动力传递机构、调节车辆转向角的转向机构或生成车辆的制动力的制动设备等的控制设备。
车身系统控制单元12020根据各种程序控制安装在车身上的各种设备的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、尾灯、制动灯、转向信号灯或雾灯之类的各种灯的控制设备。在这种情况下，车身系统控制单元12020可以接收从代替钥匙的便携式设备传送的无线电波或来自各种开关的信号的输入。车身系统控制单元12020接收这些无线电波或信号的输入，并控制车辆的门锁设备、电动车窗设备或灯等。
车辆外部信息检测单元12030检测配备有车辆控制系统12000的车辆的外部的信息。例如，成像单元12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像单元12031捕获车辆外部的图像，并接收捕获图像。车辆外部信息检测单元12030可以基于接收的图像执行人、车辆、障碍物、标志或路面上的字符等的物体检测处理或距离检测处理。
成像单元12031是接收光并输出对应于接收光量的电信号的光学传感器。成像单元12031可以将电信号输出为图像，并且也可以输出为距离测量信息。此外，由成像单元12031接收的光可以是可见光或诸如红外线之类的不可见光。
车辆内部信息检测单元12040检测车辆内部信息。车辆内部信息检测单元12040连接到例如检测驾驶员状态的驾驶员状态检测器12041。例如，驾驶员状态检测器12041可以包括对驾驶员成像的相机。车辆内部信息检测单元12040可以基于从驾驶员状态检测器12041输入的检测信息，计算驾驶员的疲劳程度或集中度或者确定驾驶员是否正在打瞌睡。
微型计算机12051可以基于通过车辆外部信息检测单元12030或车辆内部信息检测单元12040获得的车辆外部/内部信息，计算驱动力产生设备、转向机构或制动设备的控制目标值，并且可以向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以出于实现包括车辆的碰撞避免或碰撞缓解、基于车辆间距离的追随行驶、巡航控制、车辆碰撞警告或车辆车道偏离警告等的高级驾驶员辅助系统(ADAS)的功能的目的，执行协同控制。
此外，允许微型计算机12051基于由车辆外部信息检测单元12030或车辆内部信息检测单元12040获得的关于车辆周围环境的信息控制驱动力产生设备、转向机构或制动设备等，从而能够出于车辆在不依赖驾驶员操作的情况下自动行驶的自动驾驶等的目的，执行协同控制。
此外，微型计算机12051可以基于由车辆外部信息检测单元12030获取的车辆外部信息，向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以根据由车辆外部信息检测单元12030感测的前一车辆或迎面车辆的位置控制前照灯，并由此可以执行针对防眩光的协同控制，诸如将远光切换到近光。
音频图像输出单元12052将音频或图像中的至少一种形式的输出信号传送到输出设备，该输出设备能够以视觉或听觉将信息通知给车辆乘员或车辆外部。在图29的示例中，音频扬声器12061、显示单元12062和仪表板12063被示为示例性输出设备。显示单元12062可以包括例如车载显示器和平视显示器中的至少一个。
图30是示出成像单元12031的安装位置的示例的示图。
在图30中，车辆12100具有成像单元12101、12102、12103、12104和12105作为成像单元12031。
例如，成像单元12101、12102、12103、12104和12105被安装在车辆12100上的包括前机头(front nose)、侧镜、后保险杠、后门、车辆内部挡风玻璃上部等的位置。设置在前机头上的成像单元12101和设置在车辆内部挡风玻璃上部的成像单元12105主要获取车辆12100前面的图像。设置在侧镜中的成像单元12102和12103主要获取车辆12100侧面的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100后面的图像。由成像单元12101和12105获取的前面的图像主要用于检测前面的车辆或行人、障碍物、交通灯、交通标志或车道等。
注意，图30示出成像单元12101～12104的成像范围的示例。成像范围12111指示设置在前机头上的成像单元12101的成像范围，成像范围12112和12113分别指示设置在侧镜上的成像单元12102和12103的成像范围，成像范围12114指示设置在后保险杠或后门上的成像单元12104的成像范围。例如，通过叠加由成像单元12101～12104捕获的图像数据，能够获得从上面观看的车辆12100的鸟瞰图像。
成像单元12101～12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101～12104中的至少一个可以是包括多个成像元件的立体相机或者具有用于相位差检测的像素的成像元件。
例如，微型计算机12051可以基于从成像单元12101～12104获得的距离信息，获得到成像范围12111～12114中的三维物体中的每一个的距离以及距离的时间变化(相对于车辆12100的相对速度)，并由此可以提取作为在车辆12100行驶路径上最接近的三维物体以预定速度(例如，0km/h或更高)在与车辆12100基本上相同的方向上行驶的三维物体作为前一车辆。此外，微型计算机12051可以预先设定前一车辆前面要确保的车间距离，并且可以执行自动制动控制(包括后续停止控制)或自动加速控制(包括后续启动控制)等。以这种方式，能够出于车辆自动行驶而不依赖于驾驶员的操作的自动驾驶等的目的执行协同控制。
例如，基于从成像单元12101～12104获得的距离信息，微型计算机12051可以将关于三维物体的三维物体数据分类提取为诸如两轮车辆、常规车辆、大型车辆、行人之类的三维物体和诸如电线杆之类的其他三维物体，并且可以使用这些数据以自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物区分为对车辆12100的驾驶员具有高可见度的障碍物和对驾驶员具有低可见度的障碍物。随后，微型计算机12051确定指示与障碍物中的每一个碰撞的风险的碰撞风险。当碰撞风险为设定值或更大且存在碰撞可能性时，微型计算机12051可以经由音频扬声器12061和显示单元12062向驾驶员输出警报，并且可以经由驱动系统控制单元12010执行强制减速和避开转向，由此实现驾驶辅助以避免碰撞。
成像单元12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定是否在成像单元12101～12104的捕获图像中存在行人识别行人。例如，通过在作为红外相机的成像单元12101～12104的捕获图像中提取特征点的过程，以及通过对指示物体的轮廓的一系列特征点执行图案匹配处理以判别它是否为行人的过程，执行这种行人识别。当微型计算机12051确定在成像单元12101～12104的捕获图像中存在行人并识别行人时，音频图像输出单元12052控制显示单元12062以执行矩形轮廓线的叠加显示，以强调识别的行人。此外，音频图像输出单元12052可以控制显示单元12062以在期望位置上显示指示行人等的图标。
以上，已经描述了根据本公开的技术适用于的车辆控制系统的示例。根据本公开的技术，在所描述的配置中，相机12适用于成像单元12031，并且，终端设备11适用于车辆外部信息检测单元12030。通过将本公开的技术应用于车辆外部信息检测单元12030，能够更高效地使用由相机12获取的传感器信息，从而提高行人等的识别率。此外，通过将第二实施例及其变更例和第三实施例及其变更例应用于车辆外部信息检测单元12030，还能够降低用于传送传感器信息的通信成本。
注意，本技术还可以具有以下配置。
(1)一种信息处理装置，包括：
识别单元，通过使用由传感器获取的传感器信息执行物体识别处理，所述物体识别处理由已预训练的第一识别器执行；和
训练数据应用确定单元，确定所述传感器信息是否能够作为训练数据应用于与所述第一识别器不同的第二识别器。
(2)根据以上(1)所述的信息处理装置，还包括：
传送确定单元，基于所述传感器信息来确定是否将所述传感器信息传送到能够生成所述第一识别器的服务器，以将所述传感器信息作为所述训练数据应用于所述第二识别器。
(3)根据以上(2)所述的信息处理装置，
其中，所述传送确定单元向所述服务器传送多条传感器信息中的、由所述训练数据应用确定单元从所述第二识别器中指定的能够执行识别处理的识别器的数量是预定数量或更多的传感器信息。
(4)根据以上(2)或(3)所述的信息处理装置，
其中，所述传送确定单元向所述服务器传送接下来要在小于预定时间的时间内被更新的传感器信息。
(5)根据以上(2)～(4)中的任一项所述的信息处理装置，
其中，所述传送确定单元向所述服务器传送以低于预定频率的频率出现的传感器信息。
(6)根据以上(2)～(5)中的任一项所述的信息处理装置，还包括：
通信单元，能够与其他信息处理装置通信，
其中，所述传送确定单元获取指示通过所述通信单元与所述其他信息处理装置通信而由所述其他信息处理装置传送到所述服务器的传感器信息的信息，并且基于获取的信息确定是否将由所述传感器获取的所述传感器信息传送到所述服务器。
(7)根据以上(2)～(6)中的任一项所述的信息处理装置，还包括：
累积确定单元，确定是否在累积单元中累积所述传感器信息，
其中，所述累积确定单元在所述累积单元中累积由所述传送确定单元确定不传送到所述服务器的所述传感器信息。
(8)根据以上(7)所述的信息处理装置，
其中，所述传送确定单元在通信成本低的定时将在所述累积单元中累积的所述传感器信息传送到所述服务器。
(9)根据以上(7)或(8)所述的信息处理装置，
其中，所述累积确定单元获得被确定为不传送到所述服务器的所述传感器信息的优先级，并基于所述优先级确定是否在所述累积单元中累积所述传感器信息。
(10)一种信息处理系统，包括：
服务器；
信息处理装置，能够与所述服务器通信，
其中，所述服务器包括：
训练单元，通过使用基于训练数据的机器学习生成第一识别器和与所述第一识别器不同的第二识别单元，以及
所述信息处理装置包括：
识别单元，由所述第一识别器使用由传感器获取的传感器信息执行物体识别处理；和
训练数据应用确定单元，确定所述传感器信息是否能够作为训练数据应用于与所述第一识别器不同的第二识别器。
(11)一种由处理器执行的信息处理方法，该方法包括：
识别步骤，通过利用已预训练的第一识别器使用由传感器获取的传感器信息执行物体识别处理；
识别器确定步骤，基于所述传感器信息从与所述第一识别器不同的第二识别器中指定能够执行使用所述传感器信息的识别处理的识别器；和
训练数据应用确定步骤，确定所述传感器信息是否能够作为训练数据应用于与所述第一识别器不同的所述第二识别器。
(12)一种用于使计算机执行处理的信息处理程序，该处理包括：
识别步骤，通过利用已预训练的第一识别器使用由传感器获取的传感器信息执行物体识别处理；
识别器确定步骤，基于所述传感器信息从与所述第一识别器不同的第二识别器中指定能够执行使用所述传感器信息的识别处理的识别器；和
训练数据应用确定步骤，确定所述传感器信息是否能够作为训练数据应用于与所述第一识别器不同的所述第二识别器。
(13)一种信息处理装置，包括：
训练单元，通过使用基于训练数据的机器学习生成第一识别器和不同于所述第一识别器的第二识别器；和
训练数据应用确定单元，基于从包括所述第一识别器的终端设备传送的传感器信息，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器，
其中，当所述训练数据应用确定单元已经确定所述传感器信息能够作为训练数据应用于所述第二识别器时，所述训练单元基于所述传感器信息重新训练所述第二识别器并更新所述第二识别器。
(14)根据以上(13)所述的信息处理装置，
其中，所述训练数据应用确定单元基于由所述传感器信息指示的场景，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器。
(15)根据以上(13)或(14)所述的信息处理装置，
其中，所述训练数据应用确定单元确定对所述传感器信息的转换是否将使得所述传感器信息能够作为训练数据应用于所述第二识别器。
(16)根据以上(13)～(15)中的任一项所述的信息处理装置，
其中，所述训练数据应用确定单元根据在所述传感器信息中指示的由传感器检测到的物体，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器。
(17)一种信息处理系统，包括：
信息处理装置；和
终端设备，包括通过使用由传感器获取的传感器信息执行物体识别处理的第一识别器，所述终端设备能够与所述信息处理装置通信；
其中，所述信息处理装置包括：
训练单元，通过使用基于训练数据的机器学习生成所述第一识别器和不同于所述第一识别器的第二识别器；和
训练数据应用确定单元，基于从包括所述第一识别器的所述终端设备传送的传感器信息，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器，并且
当所述训练数据应用确定单元已经确定所述传感器信息能够作为训练数据应用于所述第二识别器时，所述训练单元基于所述传感器信息重新训练所述第二识别器并更新所述第二识别器。
(18)一种由处理器执行的信息处理方法，该方法包括：
训练步骤，通过使用基于训练数据的机器学习生成第一识别器和不同于所述第一识别器的第二识别器；和
训练数据应用确定步骤，基于从包括所述第一识别器的终端设备传送的传感器信息，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器，
其中，当所述训练数据应用确定步骤已经确定所述传感器信息能够作为训练数据应用于所述第二识别器时，所述训练步骤基于所述传感器信息重新训练所述第二识别器并更新所述第二识别器。
(19)一种使计算机执行处理的信息处理程序，该处理包括：
训练步骤，通过使用基于训练数据的机器学习生成第一识别器和不同于所述第一识别器的第二识别器；和
训练数据应用确定步骤，基于从包括所述第一识别器的终端设备传送的传感器信息，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器，
其中，当所述训练数据应用确定步骤已经确定所述传感器信息能够作为训练数据应用于所述第二识别器时，所述训练步骤基于所述传感器信息重新训练所述第二识别器并更新所述第二识别器。
附图标记列表
1 网络
2 服务器系统
3、22 训练单元
10、101、102、103 车辆
11 终端设备
12 相机
20、105 存储单元
22、22a、22b、22c、22d、108、108a 训练数据应用确定单元
101 识别单元
103 累积确定单元
104 累积单元
106 累积信息输出单元
107、107a、107b、107c、107d、107e 传送确定单元
110、110a、200 通信单元
152 训练数据即时性计算单元
153 训练数据即时性确定单元
201 训练数据累积单元
210、2101、2102、2103、2104 识别器
221、250 元数据分析单元
230 域分析单元
231 域评估单元
232、241、251 训练数据确定单元
240 感测分析单元
300 成像单元
310 稀有性分析单元
311 稀有性确定单元
320 非目标车辆数据累积单元

Claims (19)

1.一种信息处理装置，包括：
识别单元，通过使用由传感器获取的传感器信息执行物体识别处理，所述物体识别处理由已预训练的第一识别器执行；和
训练数据应用确定单元，确定所述传感器信息是否能够作为训练数据应用于与所述第一识别器不同的第二识别器。
2.根据权利要求1所述的信息处理装置，还包括：
传送确定单元，基于所述传感器信息来确定是否将所述传感器信息传送到能够生成所述第一识别器的服务器，以将所述传感器信息作为所述训练数据应用于所述第二识别器。
3.根据权利要求2所述的信息处理装置，
其中，所述传送确定单元向所述服务器传送多条传感器信息中的、由所述训练数据应用确定单元从所述第二识别器中指定的能够执行识别处理的识别器的数量是预定数量或更多的传感器信息。
4.根据权利要求2所述的信息处理装置，
其中，所述传送确定单元向所述服务器传送接下来要在小于预定时间的时间内被更新的传感器信息。
5.根据权利要求2所述的信息处理装置，
其中，所述传送确定单元向所述服务器传送以低于预定频率的频率出现的传感器信息。
6.根据权利要求2所述的信息处理装置，还包括：
通信单元，能够与其他信息处理装置通信，
其中，所述传送确定单元获取指示通过所述通信单元与所述其他信息处理装置通信而由所述其他信息处理装置传送到所述服务器的传感器信息的信息，并且基于获取的信息确定是否将由所述传感器获取的所述传感器信息传送到所述服务器。
7.根据权利要求2所述的信息处理装置，还包括：
累积确定单元，确定是否在累积单元中累积所述传感器信息，
其中，所述累积确定单元在所述累积单元中累积由所述传送确定单元确定不传送到所述服务器的所述传感器信息。
8.根据权利要求7所述的信息处理装置，
其中，所述传送确定单元在通信成本低的定时将在所述累积单元中累积的所述传感器信息传送到所述服务器。
9.根据权利要求7所述的信息处理装置，
其中，所述累积确定单元获得被确定为不传送到所述服务器的所述传感器信息的优先级，并基于所述优先级确定是否在所述累积单元中累积所述传感器信息。
10.一种信息处理系统，包括：
服务器；
信息处理装置，能够与所述服务器通信，
其中，所述服务器包括：
训练单元，通过使用基于训练数据的机器学习生成第一识别器和与所述第一识别器不同的第二识别单元，以及
所述信息处理装置包括：
识别单元，由所述第一识别器使用由传感器获取的传感器信息执行物体识别处理；和
训练数据应用确定单元，确定所述传感器信息是否能够作为训练数据应用于与所述第一识别器不同的第二识别器。
11.一种由处理器执行的信息处理方法，所述方法包括：
识别步骤，通过利用已预训练的第一识别器使用由传感器获取的传感器信息执行物体识别处理；
识别器确定步骤，基于所述传感器信息从与所述第一识别器不同的第二识别器中指定能够执行使用所述传感器信息的识别处理的识别器；和
训练数据应用确定步骤，确定所述传感器信息是否能够作为训练数据应用于与所述第一识别器不同的所述第二识别器。
12.一种用于使计算机执行处理的信息处理程序，所述处理包括：
识别步骤，通过利用已预训练的第一识别器使用由传感器获取的传感器信息执行物体识别处理；
识别器确定步骤，基于所述传感器信息从与所述第一识别器不同的第二识别器中指定能够执行使用所述传感器信息的识别处理的识别器；和
训练数据应用确定步骤，确定所述传感器信息是否能够作为训练数据应用于与所述第一识别器不同的所述第二识别器。
13.一种信息处理装置，包括：
训练单元，通过使用基于训练数据的机器学习生成第一识别器和不同于所述第一识别器的第二识别器；和
训练数据应用确定单元，基于从包括所述第一识别器的终端设备传送的传感器信息，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器，
其中，当所述训练数据应用确定单元已经确定所述传感器信息能够作为训练数据应用于所述第二识别器时，所述训练单元基于所述传感器信息重新训练所述第二识别器并更新所述第二识别器。
14.根据权利要求13所述的信息处理装置，
其中，所述训练数据应用确定单元基于由所述传感器信息指示的场景，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器。
15.根据权利要求13所述的信息处理装置，
其中，所述训练数据应用确定单元确定对所述传感器信息的转换是否将使得所述传感器信息能够作为训练数据应用于所述第二识别器。
16.根据权利要求13所述的信息处理装置，
其中，所述训练数据应用确定单元根据在所述传感器信息中指示的由传感器检测到的物体，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器。
17.一种信息处理系统，包括：
信息处理装置；和
终端设备，包括通过使用由传感器获取的传感器信息执行物体识别处理的第一识别器，所述终端设备能够与所述信息处理装置通信；
其中，所述信息处理装置包括：
训练单元，通过使用基于训练数据的机器学习生成所述第一识别器和不同于所述第一识别器的第二识别器；和
训练数据应用确定单元，基于从包括所述第一识别器的所述终端设备传送的传感器信息，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器，并且
当所述训练数据应用确定单元已经确定所述传感器信息能够作为训练数据应用于所述第二识别器时，所述训练单元基于所述传感器信息重新训练所述第二识别器并更新所述第二识别器。
18.一种由处理器执行的信息处理方法，所述方法包括：
训练步骤，通过使用基于训练数据的机器学习生成第一识别器和不同于所述第一识别器的第二识别器；和
训练数据应用确定步骤，基于从包括所述第一识别器的终端设备传送的传感器信息，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器，
其中，当所述训练数据应用确定步骤已经确定所述传感器信息能够作为训练数据应用于所述第二识别器时，所述训练步骤基于所述传感器信息重新训练所述第二识别器并更新所述第二识别器。
19.一种使计算机执行处理的信息处理程序，所述处理包括：
训练步骤，通过使用基于训练数据的机器学习生成第一识别器和不同于所述第一识别器的第二识别器；和
训练数据应用确定步骤，基于从包括所述第一识别器的终端设备传送的传感器信息，确定所述传感器信息是否能够作为训练数据应用于所述第二识别器，
其中，当所述训练数据应用确定步骤已经确定所述传感器信息能够作为训练数据应用于所述第二识别器时，所述训练步骤基于所述传感器信息重新训练所述第二识别器并更新所述第二识别器。
CN202080088288.6A 2019-12-24 2020-12-15 信息处理装置、信息处理系统、信息处理方法和信息处理程序 Pending CN114868139A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019233594 2019-12-24
JP2019-233594 2019-12-24
PCT/JP2020/046778 WO2021131911A1 (ja) 2019-12-24 2020-12-15 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
CN114868139A true CN114868139A (zh) 2022-08-05

Family

ID=76574513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080088288.6A Pending CN114868139A (zh) 2019-12-24 2020-12-15 信息处理装置、信息处理系统、信息处理方法和信息处理程序

Country Status (6)

Country Link
US (1) US20230005249A1 (zh)
EP (1) EP4083910A4 (zh)
JP (1) JPWO2021131911A1 (zh)
KR (1) KR20220117204A (zh)
CN (1) CN114868139A (zh)
WO (1) WO2021131911A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11257255B2 (en) * 2019-12-03 2022-02-22 Leica Microsystems Cms Gmbh Domain matching methods for transportable imaging applications
JP7317901B2 (ja) * 2021-08-17 2023-07-31 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5224280B2 (ja) * 2008-08-27 2013-07-03 株式会社デンソーアイティーラボラトリ 学習データ管理装置、学習データ管理方法及び車両用空調装置ならびに機器の制御装置
JP6044556B2 (ja) * 2014-01-16 2016-12-14 株式会社デンソー 学習システム、車載装置、及び、サーバ
JP6817152B2 (ja) 2017-06-09 2021-01-20 本田技研工業株式会社 サービス提供システム及びデータベース
US11295235B2 (en) * 2017-12-28 2022-04-05 Intel Corporation Filtering training data for models in a data center
JP6986685B2 (ja) * 2018-03-12 2021-12-22 パナソニックＩｐマネジメント株式会社 情報処理装置

Also Published As

Publication number Publication date
EP4083910A4 (en) 2023-07-26
WO2021131911A1 (ja) 2021-07-01
EP4083910A1 (en) 2022-11-02
KR20220117204A (ko) 2022-08-23
US20230005249A1 (en) 2023-01-05
JPWO2021131911A1 (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
CN107944333B (zh) 自动驾驶控制设备、具有该设备的车辆及其控制方法
US11468574B2 (en) Image processing apparatus and image processing method
KR102310782B1 (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
US11501461B2 (en) Controller, control method, and program
CN110740914B (zh) 车辆控制系统、车辆控制方法及存储介质
US11615628B2 (en) Information processing apparatus, information processing method, and mobile object
EP4083910A1 (en) Information processing device, information processing system, information processing method and information processing program
CN115485723A (zh) 信息处理装置、信息处理方法和程序
CN116438583A (zh) 可用泊车位识别装置、可用泊车位识别方法和程序
US12067761B2 (en) Information processing device, information processing method, and program
JP7233386B2 (ja) 地図更新装置、地図更新システム、及び地図更新方法
JP2024518934A (ja) 車両ナビゲーション中の光干渉検出
JP7528927B2 (ja) 情報処理装置および情報処理方法
JP7363890B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113853639A (zh) 外部环境识别装置
WO2019069599A1 (ja) 画像処理装置及び画像処理方法
CN112567427B (zh) 图像处理装置、图像处理方法和程序
CN115257628B (zh) 车辆控制方法、装置、存储介质、车辆及芯片
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11303815B2 (en) Imaging apparatus and imaging method
US20230290137A1 (en) Information processing apparatus, information processing method, and program
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN115115707A (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片
CN116964591A (zh) 信息处理装置、信息处理系统、信息处理方法和记录介质
CN116935362A (zh) 一种碰撞损伤预测方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination