CN115909537A - 车辆数据收集系统及其使用方法 - Google Patents

车辆数据收集系统及其使用方法 Download PDF

Info

Publication number
CN115909537A
CN115909537A CN202211183231.1A CN202211183231A CN115909537A CN 115909537 A CN115909537 A CN 115909537A CN 202211183231 A CN202211183231 A CN 202211183231A CN 115909537 A CN115909537 A CN 115909537A
Authority
CN
China
Prior art keywords
data
data collection
vehicle
sensor
feature quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211183231.1A
Other languages
English (en)
Inventor
桥本大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota Inc
Original Assignee
Owing Alpha Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Owing Alpha Co ltd filed Critical Owing Alpha Co ltd
Publication of CN115909537A publication Critical patent/CN115909537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供车辆数据收集系统及其使用方法。车辆数据收集系统包括：车载传感器；非瞬时性的计算机可读介质，构成为储存命令；以及处理器，连接于非瞬时性的计算机可读介质。处理器构成为执行如下命令，该命令用于：使用第1神经网络生成不变特征量映射；以及将不变特征量映射与从服务器接收的模板数据进行比较，决定不变特征量映射与模板数据之间的类似度。处理器还构成为执行如下命令，该命令用于：决定所决定的类似度是否超过了既定的阈值；以及响应于所决定的类似度超过了既定的阈值这一决定，命令传送部向服务器发送传感器数据。

Description

车辆数据收集系统及其使用方法
技术领域
本公开涉及车辆数据收集系统及其使用方法。
背景技术
车辆(Vehicle)装备有多种多样的传感器。传感器包括相机、光检测及测距(LiDAR)传感器、以及其他类型的传感器。这些传感器能够从包围车辆的环境收集数据。收集到的数据的一部分，为了供车辆使用或外部设备日后取出而储存于车辆内部。
基于从车辆传感器得到的信息的数据收集系统，是基于发动条件的。这些发动条件是预先定义的规则库的条件。这些发动条件储存于车辆内部的存储器，响应于发动条件的满足而从车辆内部的传感器收集预先设定的数据。作为发动条件的例子，包括急减速、急加速、转向盘的急旋转、车辆向特定区域内的进入、车辆的故障。
发明内容
本说明书的一方案涉及车辆数据收集系统。车辆数据收集系统包括车载传感器。车辆数据收集系统还包括构成为储存命令的非瞬时性的计算机可读介质。车辆数据收集系统包括连接于非瞬时性的计算机可读介质的处理器。该处理器构成为，执行命令，以使用第1神经网络，生成不变特征量映射。处理器还构成为，执行命令，以将不变特征量映射与从服务器接收的模板数据进行比较，决定不变特征量映射与模板数据之间的类似度。处理器还构成为，执行命令，以决定所决定的类似度是否超过了既定的阈值。处理器还构成为，执行命令，以响应于所决定的类似度超过了既定的阈值这一决定，命令传达部向服务器发送传感器数据。在一些实施方式中，处理器还构成为，执行命令以检测由车载传感器获取的传感器数据内的物体，且基于检测到的物体生成不变特征量映射。在一些实施方式中，车载传感器包括相机、光检测及测距(LiDAR)传感器、以及电波检测及测距(RADAR)传感器中的至少一者。在一些实施方式中，模板数据包括基于目标生成的目标不变特征量映射。在一些实施方式中，处理器还构成为，执行命令，以在将传感器数据向服务器发送之前从传感器数据中将机密信息去除。在一些实施方式中，模板数据包括用于神经网络的权重，处理器构成为，执行命令，以利用权重使用第1神经网络生成不变特征量映射。在一些实施方式中，模板数据包括用于神经网络的权重，处理器还构成为，执行命令，以利用权重使用第2神经网络决定类似度。
本公开的一方案涉及车辆数据收集系统。车辆数据收集系统包括构成为从用户接收目标信息的图形用户接口(GUI)。车辆数据收集系统还包括构成为储存命令的非瞬时性的计算机可读介质。车辆数据收集系统还包括连接于非瞬时性的计算机可读介质的处理器。处理器构成为，执行命令，以从GUI接收目标信息。处理器还构成为，执行命令，以基于目标信息，使用第1神经网络生成目标不变特征量映射。处理器还构成为，执行命令，以基于目标不变特征量映射生成数据收集指令。处理器还构成为，执行命令，以命令传送部向至少1个车辆发送数据收集指令。处理器还构成为，执行命令，以响应于数据收集指令而从至少1个车辆接收传感器数据。处理器还构成为，执行命令，以向用户报告传感器数据。在一些实施方式中，目标信息包括图像。在一些实施方式中，处理器构成为，执行命令，以命令传送部向多个车辆发送数据收集指令。在一些实施方式中，处理器构成为，执行命令，以生成包括来自车辆的数据要求的优先度的数据收集指令。在一些实施方式中，处理器构成为，执行命令，以基于用户的身份生成包括用于防止车辆从传感器数据中将机密信息去除的命令的数据收集指令。在一些实施方式中，处理器构成为，执行命令，以将传感器数据同与传感器数据相联系的时间和场所信息中的至少一者一起向用户报告。在一些实施方式中，处理器构成为，执行命令，以通过对通过用户而动作的移动设备生成警报来对用户报告传感器数据。
本说明书的至少一方案涉及车辆数据收集系统的使用方法。该方法包括使用至少1个车载传感器收集传感器数据的步骤。该方法还包括使用第1神经网络生成不变特征量映射的步骤。该方法还包括将不变特征量映射与从服务器接收的模板数据进行比较，决定不变特征量映射与模板数据之间的类似度的步骤。该方法包括决定所决定的类似度是否超过了既定的阈值的步骤。该方法还包括响应于所决定的类似度超过了既定的阈值这一决定，向服务器传送传感器数据的步骤。在一些实施方式中，该方法还包括检测传感器数据内的物体的步骤，在此，生成不变特征量映射的步骤基于检测到的物体。在一些实施方式中，车载传感器包括相机、光检测及测距(LiDAR)传感器、以及电波检测及测距(RADAR)传感器中的至少一者。在一些实施方式中，模板数据包括基于目标生成的目标不变特征量映射。在一些实施方式中，该方法还包括在将传感器数据向服务器传送之前从传感器数据中将机密信息去除的步骤。在一些实施方式中，模板数据包括用于神经网络的权重，生成不变特征量映射的步骤包括使用第1神经网络内的权重的步骤。
附图说明
本公开的方案，通过与附图一起阅读以下的详细说明，能够最好地理解。在此指出，按照业界中标准的惯例，各种特征没有与原尺寸成比例地描绘。实际上，各种特征的尺寸，可为了使论述明确而任意增减。
图1是一些实施方式的、车辆数据收集系统的概略图。
图2是一些实施方式的、生成不变特征量映射的方法的流程图。
图3是一些实施方式的、决定类似度的方法的流程图。
图4是一些实施方式的车辆数据收集系统的使用方法的流程图。
图5是一些实施方式的用于实装车辆数据收集系统的系统的框图。
具体实施方式
以下的公开提供用于实装所提供的主题的不同的特征的多个不同的实施方式或实施例。为了简化本公开，以下，对构成要素、值、动作、材料、配设等具体的例子进行说明。这些当然只不过是单纯的例子，并非意图作为限定性的内容。谋求其他构成要素、值、动作、材料及配设等。例如，在以下说明中的第2特征整体的或其上的第1特征的形成中，可以包括第1及第2特征直接接触而形成的实施方式，并且同样地，可以也包括可能在第1及第2特征之间形成追加的特征以使得第1及第2特征不会直接接触的实施方式。而且，在本公开中，有时在各种实施例中反复使用附图标记和/或文字。该反复的目的在于简单及明确，其本身并非决定所论述的各种实施方式和/或构成之间的关系。
而且，在本说明书中，出于对图中例示的1个要素或特征相对于另外的要素或特征的关系进行说明的目的并为了容易记述，可能使用“之下”、“的下方”、“下部”、“上方”、“上部”等空间的相对语。空间的相对语，除了图中记载的定向(取向)之外，意在包含使用中或动作中的设备的不同的定向。装置可以以其他形式定向(90度旋转或处于其他定向)，本说明书中使用的空间的相对记述语也同样地，可相应地进行解释。
通览本说明书整体，多数情况下，提及一车辆。认为若是本领域技术人员，会认识到对一车辆的提及只不过是为了使说明简单，本公开不限定于使用了单个车辆的数据的收集。当然，认为若是本领域技术人员，会认识到本公开能够对通过单个车辆、共同所有的车队、个人所有的车辆组、或基于探索到的数据的其他车辆群进行的数据收集进行适用。
由于对预先定义的规则库的发动条件的依赖，将由车辆内的传感器收集到的数据的有用性最大化的能力受到限制。在一些状况下，所希望的发动条件难以使用规则库的句法来记述。在一些状况下，产生发动条件用的新的基准。例如，认为在得知罪犯正在驾驶某种类型的车的情况下，为了识别该类型的车所存在的场所而使用其他车辆的车辆传感器，这有助于警察逮捕罪犯的可能性。无法认为这种类型的发动条件、车种和/或车的颜色和/或车的污渍的特征在车辆的内部预先定义。因此，接收与新的发动条件相关的信息并提供与这些新的发动条件相关的数据的能力，使得由车辆传感器收集的数据的有用性增大。
若没有更新发动条件的能力，则不发动数据(false negative)或不需发动(falsepositive)数据的收集风险增大。例如，在没有提供已更新发动条件的能力或以难以使用句法的形式记述发动条件的能力的情况下，作为结果，即便发动条件实际发生，单个或多个车辆也无法报告发动条件的检测，即成为不发动。或者，在因过于宽泛的发动条件而单个或多个车辆提供了大量的数据的情况下，真正具有关联性的数据埋没于大量的数据内的风险更高。作为其结果，存在真正具有关联性的数据被忽视而不被考虑的风险，即成为不需发动。
出于削减不需发动及不发动的目的，为了基于用户提供的数据开发不变特征量映射(invariant feature map)，可以使用神经网络。并且，不变特征量映射向单个或多个车辆发送，为了开发用于与由车辆传感器收集到的数据进行比较的模板而使用。单个或多个车辆识别具有与接收到的不变特征量映射高的类似度的数据，将该数据向服务器传送。接着，服务器收集数据，向用户提供数据。通过使用不变特征量映射作为用于进行比较的基础，从而对句法库的发动条件的依赖减低。而且，能够收集与新发动条件相关的数据。而且，数据比较更为精确，被认为会使收集到的数据的有用性减低的不需发动和/或不发动变少。该系统也同样，在一些事例中，也能够削减从车辆向服务器传送的数据量，这削减车辆及服务器的双方中的处理负荷以及为了传送数据而使用的电力。车辆中的处理负荷及传送电力消耗量的该削减，帮助提高内燃车辆的燃料经济性，且/或削减混合动力车或电动汽车中的电池电荷消耗量。
图1是一些实施方式的、车辆数据收集系统100的概略图。车辆数据收集系统100包括车辆系统VS及服务器18。车辆系统VS构成为与服务器18进行通信。在一些实施方式中，通信是无线通信。在一些实施方式中，通信是有线通信。车辆系统VS组入车辆内。在一些实施方式中，车辆是汽车、例如自主驾驶汽车、摩托车、高尔夫车或别的适宜的车辆。服务器18构成为向车辆系统VS发送数据收集指令。车辆系统VS接收数据收集指令，基于接收到的数据收集指令向服务器18送回数据。
数据收集指令包括与作为要求数据的目的的物体(object)或事象(occurrence)相关的信息。在一些实施方式中，数据收集指令还包括与作为要求收集到的数据的目的的物体或事象的检测前及后的期间相关的信息。在一些实施方式中，数据收集指令还包括与所要求的收集数据的类型例如图像数据、场所数据、接近性数据等相关的信息。接近性数据是表示检测到的物体以何种程度接近车辆的信息。在一些实施方式中，数据收集指令还包括用于使响应于数据收集指令的优先度升降的优先度信息。
车辆系统VS包括相机5及构成为获取包围车辆的环境的数据的其他传感器6。车辆系统还包括电子控制单元(ECU)4。ECU4构成为接收来自相机5的获取图像及来自其他传感器6的其他收集数据。ECU4构成为处理集合地作为收集数据提及的获取图像及其他收集数据。在一些实施方式中，相机5包括可视光相机。在一些实施方式中，相机5包括红外线(IR)相机。在一些实施方式中，相机5包括可视光相机及IR相机的组合。在一些实施方式中，相机5包括深度检知相机。在一些实施方式中，其他传感器6包括光检测及测距(LiDAR)传感器、电波传感器、电波检测及测距(RADAR)传感器、声呐传感器、GPS传感器、速度传感器、麦克风、燃料传感器、氧传感器、轮胎空气压传感器、温度计、其他适宜的传感器或它们的组合。在一些实施方式中，收集数据包括图像数据、点群数据或其他适宜的数据。ECU4在存在数据的情况下，为了判定应该将哪个数据响应于数据收集指令而向服务器18提供，处理收集数据。
ECU4为了处理收集数据而构成为实装各种模块。ECU4包括用于基于收集数据检测物体的类型及位置的物体检测部1。物体检测部1包括物体检测用的神经网络(NN)9。物体检测用NN9是为了判定传感器数据内部的物体的存在而识别传感器数据用的训练后的NN。物体检测用的NN9构成为，为了决定检测例如汽车、自行车、行人、建筑物、交通标识等哪个类型的物体而将物体分类。物体检测部1输出标示各个检测到的物体的类型及位置的物体检测结果21。
ECU4还包括构成为基于物体识别结果21及来自相机5的信息而关于检测到的各个物体生成不变特征量映射的特征量提取部2。不变特征量映射是关于能够为了识别特定的物体而使用的图像或图像的一部分的数据映射。不变特征量映射包括与图像内的物体和/或场景相关的特征信息被抽象化且不与物体和/或场景相关而仅与车辆系统VS的特性及硬件(HW)构成相关的信息被去除了的抽象的信息。在不变特征量映射内，噪声数据也同样被削减。即，物体的明显的特征被定量化，基于图像而作为抽象的信息被识别，这样一来，NN无论获取图像的HW如何都能够从别的图像识别物体。在一些实施方式中，特征量提取部2同样从其他传感器6也接收信息。特征量提取部2包括特征量提取用的NN14。特征量提取用NN14是从能够为了识别特定的物体而使用的图像数据及物体识别结果21提取已检测物体的特征量用的训练后的NN。在一些实施方式中，特征量提取用NN14对于包括ECU4的车辆而言而通用。在一些实施方式中，特征量提取用NN14针对包括ECU4的特定的车辆而调谐(调整)。例如，在一些实施方式中，特征量提取用NN14为了支援不变特征量映射的决定，构成为使用与先前处理过的收集数据相关的历史记录数据。特征量提取部4构成为输出不变特征量映射。在一些实施方式中，特征量提取部2不使用物体识别结果21，而根据来自相机5的数据生成不变特征量映射。在一些实施方式中，特征量提取部2不使用相机数据，而根据源自LiDAR等其他传感器6的数据生成不变特征量映射。例如，特征量提取部2根据来自LiDAR传感器的点群数据生成不变特征量映射。
ECU4还包括用于判定数据收集事件的构成要素(数据收集事件判定部)15。数据收集事件判定部15构成为决定来自特征量提取部2的不变特征量映射与来自模板储存部17的模板数据之间的类似度。数据收集事件判定部15包括类似度推定用NN30。类似度推定用NN30是将不变特征量映射与模板数据进行比较而决定2个项目彼此以何种程度类似用的训练后的NN。在一些实施方式中，类似度推定用NN30使用三元组损失(triplet loss)作为损失函数来进行训练。在一些实施方式中，类似度推定用NN30具有SiameseNet(注册商标)构造。在数据收集指令包括NN30全部节点与为了生成目标不变特征量映射所使用的权重相关的信息的一些实施方式中，类似度推定用NN30构成为在决定基于相机5及传感器6的不变特征量映射与模板储存部17内的目标之间的类似度的方面使用权重。
数据收集事件判定部15输出不变特征量映射与模板数据之间的类似度。响应于不变特征量映射与模板数据之间的类似度超过了既定的阈值这一决定，数据收集事件判定部15决定应该将收集数据向服务器18传送。数据收集事件判定部15识别应该向服务器18传送的收集数据，向数据储存部8发送命令以向存储单元10写入应该传送的收集数据。响应于不变特征量映射与模板数据之间的类似度为既定的阈值以下这一决定，数据收集事件判定部15决定为不应将收集数据向服务器18传送，不向存储单元10传送补充的命令，以防止收集数据的覆盖。在一些实施方式中，在与所传送的数据相联系的协议中，包括储存收集数据直到发送收集数据为止。在一些实施方式中，在与所传送的数据相联系的协议中，包括储存收集数据直到接收到来自服务器18的收集数据的接收确认为止。在一些实施方式中，在与收集数据相联系的协议中，包括储存收集数据直到接收到将收集数据删除的命令为止。在一些实施方式中，在通常的协议中，包括储存收集数据直到存储单元10内的可利用的储存空间低于储存阈值为止。在一些实施方式中，在通常的协议中，包括以既定长度的时间储存收集数据。
在一些实施方式中，数据收集事件判定部15构成为决定收集数据是否包括隐私信息或个人信息(PI)等机密信息(private information)。在一些实施方式中，机密信息包括人的脸部、人的识别信息或其他绝秘数据。响应于收集数据包括机密信息这一决定，数据收集事件判定部15在一些实施方式中构成为将机密信息过滤或去除。在一些实施方式中，数据收集指令中，包括用于使得能够传送机密信息的认证信息或突破信息(英文：overrideinformation)。例如，能够响应于用于寻找某人的来自警察的数据收集指令，传送包括被视为与搜索对象的人具有超过阈值的类似度的人的脸部的收集数据。在一些实施方式中，为了减少向不应被允许接收机密信息的用户不经意地提供机密信息的风险，突破机密信息的过滤的能力限定于特定级别的用户。在一些实施方式中，特定级别的用户中，包括执法机关或其他适格的用户。在一些实施方式中，特定级别的用户可以调整。在一些实施方式中，数据收集事件判定部15还包括用于过滤机密信息的第2NN。在一些实施方式中，机密信息使用类似度推定用NN30而被过滤。在一些实施方式中，NN30被训练成，NN30能够默认地过滤机密信息，而非利用规则库的算法由数据收集事件判定部15决定收集数据是否包括机密信息。
ECU4还包括数据收集指令的接收部(接收部)16。接收部16构成为从服务器18接收模板数据及数据收集指令。在一些实施方式中，接收部16是具有数据的接收及传送的双方的能力的收发部。在一些实施方式中，接收部16构成为以无线的方式接收数据收集指令及模板数据。在一些实施方式中，接收部16构成为经由有线连接而接收数据收集指令及模板数据。在一些实施方式中，接收部16构成为在向ECU4内储存数据之前，进行关于接收到的数据收集指令和/或模板数据的认证。在一些实施方式中，接收部16构成为接收应该覆盖在VS内由类似度推定用的神经网络30使用的现存的权重数据的权重数据。接收部16构成为向类似度推定用NN30发送权重信息，以供NN30在推测类似度时使用权重数据。在一些实施方式中，接收部16构成为接收应该覆盖为了生成模板数据而使用的、在VS内为了类似度推定30而由神经网络使用的现存的权重数据的权重数据。接收部16构成为将模板数据向模板储存部17发送。在一些实施方式中，接收部16构成为将数据收集指令向存储单元10发送。
ECU4还包括构成为储存从接收部16接收到的模板数据的模板储存部17。模板储存部17构成为为了与不变特征量映射进行比较而向数据收集事件判定部15提供模板数据。在一些实施方式中，模板储存部17构成为储存多个模板。在一些实施方式中，模板储存部17包括固态存储器或别的类型的存储器设备。在一些实施方式中，模板储存部17与存储单元10一体化。在一些实施方式中，模板储存部17构成为储存模板直到接收到用于取出所储存的模板的命令为止。在一些实施方式中，模板储存部17构成为在从模板的初始储存起经过了既定的期间之后，将所储存的模板删除。在一些实施方式中，模板储存部17内部的个别的模板具有用于删除各模板的不同的协议。在一些实施方式中，模板储存部17内的至少1个模板用的储存协议，是基于在数据收集指令内接收到的信息的。在一些实施方式中，模板储存部17内的至少1个模板用的储存协议，是基于来自车辆的用户的命令的。在一些实施方式中，模板包括从服务器18接收到的目标不变特征量映射。
ECU4还包括数据发送部(传送部)11。传送部11构成为响应于来自数据收集事件判定部15的命令而基于数据收集指令传送收集数据。在一些实施方式中，传送部11在决定用于传送收集数据的定时方面，考虑数据收集指令的优先度信息。在一些实施方式中，传送部11在基于数据收集指令中的所要求的期间满足数据收集指令的物体或事象的检测前后的一定的期间，发送收集数据。在一些实施方式中，传送部11基于数据收集指令决定应该传送哪个类型的数据。在一些实施方式中，传送部11传送不变特征量映射。上述说明中，包括决定应该何时传送哪个信息的传送部11，但在一些实施方式中，响应于数据收集指令而应该何时传送哪个信息的决定，是由ECU4以外的别的构成要素、例如数据收集事件判定部15进行的。在一些实施方式中，传送部11作为收发部的一部分而与接收部16一体化。在一些实施方式中，传送部11构成为以无线的方式传送收集数据。在一些实施方式中，传送部11构成为经由有线连接而传送收集数据。
ECU8还包括构成为储存来自相机5及其他传感器6的收集数据的数据储存部8。在一些实施方式中，数据储存部8具有环形缓冲区构造。在一些实施方式中，数据储存部8包括固态存储器或别的适宜的存储器设备。在一些实施方式中，数据储存部8构成为提供由ECU4当前处理中的收集数据用的瞬时性的储存。在一些实施方式中，数据储存部8构成为响应于将收集数据向服务器18传送这一由数据收集事件判定部15做出的决定，向存储单元10发送数据。在一些实施方式中，数据储存部8构成为响应于不将收集数据向服务器18传送这一由数据收集事件判定部15做出的决定，将收集数据删除。在一些实施方式中，数据储存部8与存储单元10一体化。在一些实施方式中，数据储存部8与模板储存部17一体化。
ECU4还包括存储单元10。存储单元10构成为基于来自数据收集事件判定部15的命令储存收集数据。在一些实施方式中，存储单元10与数据储存部8或模板储存部17一体化。在一些实施方式中，存储单元10包括固态存储器或别的适宜的存储器。在一些实施方式中，存储单元10构成为储存与数据收集指令的达成相关的信息。在一些实施方式中，存储单元10构成为将收集数据与对应的数据收集指令相联系地储存。在一些实施方式中，存储单元10构成为储存被视为不适于传送的收集数据直到由用户将收集数据取出为止。
服务器18包括构成为接收与正在探索哪个目标相关的来自用户的输入的图形用户接口(GUI)24。在一些实施方式中，GUI24包括针对野生动物、气象事件、景点或其他适宜的目标等共通目标的库。在一些实施方式中，用户能够将图像或部分图像向GUI24上传。在一些实施方式中，GUI24包括仅能够由作为被选择的用户群的一人而认证后的用户访问的被限制了的部分。在一些实施方式中，GUI24构成为接收与以包含于收集数据内的方式检测目标的前后的一定的期间相关的信息。在一些实施方式中，GUI24构成为接收与用于接收收集数据的基于用户的优先度要求相关的信息。在一些实施方式中，GUI24构成为接收与时刻、气象条件相关的信息或与使用GUI24上传的图像相关的其他信息。
服务器18还包括构成为从GUI24接收目标信息的追踪目标选定部19。追踪目标选定部19决定应该关于来自GUI24的哪个所要求的目标发出数据收集指令。在一些实施方式中，追踪目标选定部19基于GUI24中的所要求的目标的所输入的优先度，识别应该成为数据收集指令的对象的下个所要求的目标。在一些实施方式中，追踪目标选定部19基于向GUI24内输入了目标的用户的身份识别应该成为数据收集指令的对象的下个所要求的目标。在一些实施方式中，追踪目标选定部19基于队列(先入先出)或栈(先入后出)进程决定应该成为数据收集指令的对象的下个所要求的目标。在一些实施方式中，为了决定哪个所要求的目标成为数据收集指令的对象，由追踪目标选定部19利用基准的组合。在一些实施方式中，追踪目标选定部19基于收集数据储存部25中的数据和/或没有经由GUI24的来自用户的要求的先前的追踪目标选定的历史记录，自动地识别应该成为数据收集指令的对象的下个所要求的目标。
服务器18还为了生成与从GUI24接收到的所要求的目标对应的目标不变特征量映射而包括特征量提取用NN20。特征量提取用NN20构成为生成接收数据收集指令的车辆内部的传感器的硬件的、独立的或灵敏度较低的特征量映射。通过生成与车辆内的传感器的硬件相独立的目标不变特征量映射，特征量提取用NN20能够制作包括具有各种程度的分辨率及数据类型的不同类型的传感器的、能够为了大范围的车辆而使用的目标不变特征量映射。在一些实施方式中，特征量提取用NN20构成为为了生成目标不变特征量映射，利用时刻、气象条件等信息或与使用GUI24上传的图像相关的其他信息。为了生成目标不变特征量映射而使用追加的信息，这有助于将图像内部的变量去除而生成与使用GUI24输入的目标最接近地匹配的不变特征量映射。在一些实施方式中，特征量提取用NN20构成为从目标不变特征量映射中将机密信息排除。
服务器18还包括构成为储存由特征量提取用NN20生成的目标不变特征量映射的模板储存部21。在一些实施方式中，模板储存部21构成为将目标不变特征量映射与为了生成目标不变特征量映射而使用的类似度推定用NN30或特征量提取用NN20内所利用的参数的权重一起进行储存。在一些实施方式中，模板储存部21包括固态存储器或别的适宜的存储器构造。在一些实施方式中，模板储存部21与存储单元23一体化。在一些实施方式中，模板储存部21与存储单元23分开。
服务器18还包括数据收集指令的发送部(数据收集指令传送部)22。数据收集指令传送部22构成为向包括ECU4的车辆传送数据收集指令。在一些实施方式中，数据收集指令以无线的方式传送。在一些实施方式中，数据收集指令经由有线连接而传送。在一些实施方式中，数据收集指令向单个车辆传送。在一些实施方式中，数据收集指令向多个车辆传送。在一些实施方式中，数据收集指令向预期会发现目标的地理场所内的车辆传送。数据收集指令包括关于基于通过GUI24接收到的信息的目标的信息。在一些实施方式中，数据收集指令包括目标不变特征量映射。在一些实施方式中，数据收集指令包括为了生成目标不变特征量映射而使用的类似度推定用NN30或特征量提取用NN20的权重。在一些实施方式中，数据收集指令传送部22构成为在多个频率上传送数据收集指令。在一些实施方式中，数据收集指令传送部22构成为在单个频率上传送数据收集指令。
服务器18还包括构成为储存来自GUI24的信息以及来自追踪目标选定部19的信息及用于特征量提取用NN20的权重等输入值的存储单元23。在一些实施方式中，存储单元23构成为储存使用GUI24上传的图像全体。在一些实施方式中，存储单元23构成为储存使用GUI24上传的图像的部分的图像或切取部分。在一些实施方式中，存储单元23构成为储存从ECU4接收到的收集数据。在一些实施方式中，存储单元23构成为在既定的期间之间储存收集数据。在一些实施方式中，存储单元23构成为储存收集数据直到用户将收集数据取出为止。在一些实施方式中，存储单元23构成为储存收集数据直到存储单元23内的追加的储存空间低于储存阈值为止。在一些实施方式中，存储单元23包括固态存储器或别的适宜的存储器构造。
服务器18还包括构成为从ECU4接收收集数据的收集数据储存部25。收集数据储存部25为了使得用户能够将收集数据取出，而能够由用户访问。在一些实施方式中，收集数据储存部25构成为将收集数据和与检测到收集数据的时间点相联系的时间及场所的信息一起进行储存。在一些实施方式中，收集数据储存部25构成为与对应的数据收集指令关联地储存收集数据。在一些实施方式中，收集数据储存部25构成为响应于基于与用户向GUI24输入了这一信息相联系的数据收集指令的收集数据的接收，发动用于向用户通知收集数据的接收的信号。在一些实施方式中，对用户的通知包括对用户的警报。在一些实施方式中，警报使用服务器18内部的传送部，向用户的移动设备发送。在一些实施方式中，为了向用户发出警报，向外部传送部发送信号。在一些实施方式中，警报包括声音警报或视觉警报。在一些实施方式中，收集数据储存部25为了更长期的储存而向存储单元23发送收集数据。在一些实施方式中，收集数据储存部25包括固态存储器或别的适宜的存储器构造。在一些实施方式中，收集数据储存部25与存储单元23及模板储存部21一体化。在一些实施方式中，收集数据储存部25与存储单元23和模板储存部21中的至少一者分开。在一些实施方式中，收集数据储存部25具有关系型数据库、NoSQL数据库及键值存储(KVS)数据库等数据库，以便用户及追踪目标选定部19能够以询问条件检索数据并进行选定。
通过使用车辆数据收集系统100，用户不必记述能够由ECU4及服务器18使用的搜索码而仅使用GUI24，就能够提供应该搜索的特定的目标。通过作为用于定义目标及用于定义收集数据的手段的不变特征量映射的使用，ECU4能够进行关于唯一要求的目标的精确的类似度分析。即，通过基于相机5及其他传感器6数据的不变特征量映射与目标不变特征量映射的比较，不需发动和/或不发动的风险减少。而且，特征量提取用NN20不依赖于具有从服务器18接收数据收集指令的能力的不同的车辆内的传感器的类型，这有助于一边将用于起草与所要求的目标相联系的程序或编码的劳动力抑制为最小限度，一边使发现所要求的目标的机会增大。而且，特征量提取用NN20不依赖于同一车辆内的传感器的类型，这有助于为了从来自车辆系统VS内的前相机及后视相机等不同的传感器的数据检索同一目标而共享同一模板数据，以使得例如即便在服务器18仅具有从前相机生成的模板数据的情况下，也能够从来自后相机的数据检索目标。另外，车辆数据收集系统100出于削减或避免在收集与数据收集指令相联系的数据的过程中侵害隐私的目的，也能够削减机密信息或个人信息的传送。
图2是一些实施方式的生成不变特征量映射的方法200的流程图。该方法200能够为了生成不变特征量映射及目标不变特征量映射而在车辆数据收集系统100(图1)中使用。在方法200中，不变特征量映射根据例如源自相机5或其他传感器6(图1)的或由GUI24(图1)接收到的图像数据生成。在一些实施方式中，特征量提取用NN20及特征量提取用NN14同样地，使用从用于向存储器单元10内储存属性参数900的存储器区域或其他传感器6利用NN接收的属性数据，以使得能够进一步抑制依赖于传感器的硬件或相对于此更加敏感的信息。属性数据获取目标的特性。例如，作为用于帮助定义目标的特性的属性数据，可以使用颜色或尺寸。属性数据获取检知到图像时的场景的特性。例如，作为用于帮助定义场景的特性的属性数据，可以使用时刻、日期、天候、温度、湿度或车辆的场所，由此，能够与特征量不变映射无关地，利用特征量提取用NN20及特征量提取用NN14削减不源自场景的噪声。NN是基于接收到的属性数据，提取图像数据内的1个以上的物体或场景的特征用的训练后的NN。并且，NN能够为了进行检测到的物体与目标之间的比较而制作不变特征量映射。
NN是特征量提取用NN、例如特征量提取用NN14或特征量提取用NN20(图1)。在一些实施方式中，特征量提取用NN14及特征量提取用NN20为了使在检测到的物体与目标匹配时生成的不变特征量映射的类似度增大，使用同一算法及权重数据而实装。通过使用同一算法及权重数据，与使用不同的算法或权重数据的其他方式比较，有时不需发动和/或不发动会被削减。在一些实施方式中，特征量提取用NN14及特征量提取用NN20为了使在检测到的物体与目标匹配了的情况下生成的不变特征量映射的类似度增大，使用同一算法及不同的权重数据而实装。在该情况下，车辆内的权重数据针对特定的车辆系统VS内的HW优化，这样一来，进一步抑制依赖于VS内的HW的信息或相对于此更敏感的信息。在一些实施方式中，特征量提取用NN14及特征量提取用NN20为了使在检测到的物体与目标匹配的情况下生成的不变特征量映射的类似度增大，使用不同的算法及权重数据而实装。在该情况下，车辆内的算法针对特定的车辆系统VS内的HW优化，这样一来，进一步抑制依赖于车辆系统VS内的HW的信息或具有相对于此更高的灵敏度的信息。
图3是一些实施方式的决定类似度的方法300的流程图。该方法300能够为了决定检测到的物体与目标之间的类似度而在车辆数据收集系统100(图1)中使用。在方法300中，例如来自特征量提取用NN14(图1)的不变特征量映射及例如来自模板储存部17(图1)的模板数据由NN接收。在一些实施方式中，模板数据对应于例如通过特征量提取用NN20(图1)生成的目标不变特征量映射。NN是被训练成将模板数据与不变特征量映射进行比较而决定不变特征量映射以何种程度与模板数据类似的NN。
NN是类似度推定用NN、例如类似度推定用NN30(图1)。通过使用类似度推定用NN，类似度推定具有比为了类似度推定用而使用规则库算法的情况下低的不发动及不需发动。通过使用类似度推定用NN，具有低类似度的收集数据不会被向服务器传送，所以与不包括类似度推定用NN的方式相比，向服务器、例如服务器18(图1)传送的数据的量被削减。数据传送的削减，帮助削减包括类似度推定用NN的车辆内的处理能力。而且，在混合动力车或电动汽车中，数据传送的削减使车辆的电池内部的电荷延长，这又向车辆提供行驶距离的延长。
图4是一些实施方式的使用车辆数据收集系统的方法400的流程图。该方法400能够通过车辆数据收集系统100(图1)而实装，为了实装该方法400的各种步骤而使用的要素，具有与车辆数据收集系统100相联系的附图标记。这些附图标记只不过是为了使方法400能够容易地理解而提供。若是本领域技术人员，会认识到该方法400不限定于仅车辆数据收集系统100(图1)上的实装。
在动作402中，选定应该追踪的目标。在一些实施方式中，目标例如基于从用户向GUI24(图1)内的输入而选定。在一些实施方式中，目标基于上传的图像而决定。在一些实施方式中，目标从在GUI、例如GUI24(图1)内能够利用的目标选项的既定的列表中选定。在用户经由GUI24而上传了目标的图像数据的情况下，GUI经由储存部25而储存图像数据。在一些实施方式中，没有经由GUI24的来自用户的要求地，由目标选定部19自动地决定目标。
在动作404中，已经储存于收集数据储存部、例如收集数据储存部25(图1)内的收集数据与目标进行比较。在动作404之前，数据已经通过上述的数据收集方法或任意的其他数据收集方法而收集到。在一些实施方式中，基于经由GUI24而由用户提供的信息，选定对应于目标的图像数据。例如，在用户提供了时刻、天候、物体级别、场景等信息的情况下，数据经由储存部25内的数据库而通过询问检索来选定。在一些实施方式中，追踪目标选定部19还具有对图像数据是否匹配用户经由GUI24所提供的条件进行分类的别的NN，追踪目标选定部19仅选定由NN决定了图像数据与条件匹配的数据。在一些实施方式中，追踪目标选定部19具有基于用户先前要求的历史记录且基于储存部25内的数据库内的信息，预测将来用户可能选定的目标数据的目标数据预测部单元，该预测部将预测到的数据选定为所选定的数据。在一些实施方式中，动作404还包括应该选定源自目标的哪个数据作为数据收集指令的一部分而发送的步骤。
在动作406中，根据所选定的目标数据生成不变特征量映射，储存于模板储存部、例如模板储存部21(图1)。基于目标生成的不变特征量映射也被称作目标不变特征量映射。目标不变特征量映射为了以与收集数据进行比较为目的而提取目标的特征，使用训练后的NN而生成。在一些实施方式中，目标不变特征量映射基于与气象条件或时刻等目标相联系的追加数据而生成。在一些实施方式中，目标不变特征量映射以与数据的类型或为了汇集(收集)收集数据而使用的传感器相独立的方式生成。
在动作408中，将数据收集指令及模板数据向车辆系统、例如车辆系统VS(图1)传送。数据收集指令命令车辆系统收集数据并基于目标不变特征量映射将收集数据与模板数据进行比较。在一些实施方式中，数据收集指令同样，也包括优先度信息。在一些实施方式中，数据收集指令也包括用于NN算法的权重。在一些实施方式中，数据收集指令包括用于突破在数据收集中收集到的机密数据的保护的信息。在一些实施方式中，数据收集指令还包括应该收集数据的期间。在一些实施方式中，数据收集指令向单个车辆传送。在一些实施方式中，数据收集指令向多个车辆传送。在一些实施方式中，数据收集指令以无线的方式传送。在一些实施方式中，数据收集指令经由有线连接而传送。
在动作410中，由车辆内的传感器收集数据。在一些实施方式中，由传感器以规律的间隔周期性地收集数据。在一些实施方式中，由传感器事件驱动式地收集数据，例如在冲击传感器检测到在驾驶中或驻车中车辆与某物碰撞了时，由传感器收集数据。在一些实施方式中，传感器包括相机、LiDAR、RADAR、电波传感器或别的适宜的传感器。在一些实施方式中，传感器包括相机5及其他传感器6(图1)。
在动作412中，向储存部、例如数据储存部8(图1)内储存传感器数据。储存于储存部内的传感器数据，随着更多的传感器数据向储存部发送而连续地更新。在一些实施方式中，储存部包括用于决定应该何时将储存于储存部内的传感器数据删除或覆盖的算法。
在动作414中，传感器数据为了检测由传感器数据获取的物体而被进行分析。在一些实施方式中，传感器数据使用物体检测部1(图1)来进行分析。检测到的物体基于物体类型、物体的位置、物体相对于传感器的接近性或其他合适的分类基准而被识别并分类。在一些实施方式中，物体使用训练后的NN、例如单发检测部(Single Shot Detector:SSD)或Faster R-CNN(图1)等物体检测用NN9来检测。在一些实施方式中，物体检测部1每当从传感器接收到数据时检测物体。在一些实施方式中，物体检测部1仅在判定部15命令物体检测部1检测物体的情况下检测物体。在一些实施方式中，跳过检测物体的动作414。
在动作416中，基于检测到的物体的提取到的特征，生成不变特征量映射。不变特征量映射使用NN、例如特征量提取用NN14(图1)来生成。在一些实施方式中，动作416中的不变特征量映射，使用与在动作406中为了生成目标特征量映射而使用的NN相同的算法而由NN生成。在一些实施方式中，来自动作406的权重，基于数据收集指令向在动作416中使用的NN提供。在一些实施方式中，特征量提取部15每当从传感器接收到数据时提取不变特征量映射。在一些实施方式中，特征量提取部15仅在判定部15命令特征量提取部15提取不变特征量映射的情况下提取不变特征量映射。在一些实施方式中，特征量提取部15仅从图像数据内与由物体检测部1检测的物体的场所对应的剪裁后的矩形区域提取不变特征量映射，这样一来，ECU4上的计算工作量及存储器带宽工作量被削减。在一些实施方式中，特征量提取部15从图像整体提取不变特征量映射，以使得能够增强为了检索不变特征量映射内的目标而使用的信息。
在动作418中，数据收集指令与模板数据一起被接收。在一些实施方式中，数据收集指令由接收部、例如接收部16(图1)接收。在数据收集指令包括权重的一些实施方式中，在开始动作416之前向进行动作416的NN提供权重，动作416通过使用用于特征量提取用NN14的接收到的权重来执行。在数据收集指令包括权重的一些实施方式中，向进行动作420的类似度推定用NN30提供权重，动作420通过使用用于类似度推定用NN30的接收到的权重来执行。数据收集指令及模板数据，为了与在动作416中生成的不变特征量映射进行比较，例如储存于模板储存部17内。
在动作420中，决定来自数据收集指令的模板数据与来自动作416的不变特征量映射之间的类似度。类似度使用NN、例如类似度推定用NN30(图1)来决定。
在动作422中，关于在动作420中所决定的类似度是否超过了既定的阈值进行决定。响应于类似度超过既定的阈值这一决定，与不变特征量映射相联系的收集数据，从在动作412中储存了传感器数据的储存部获取。在一些实施方式中，传感器数据包括获取为了生成不变特征量映射而使用的数据之前及之后的期间。在一些实施方式中，传感器数据与场所及时间数据相联系。之后，将传感器数据及所有任意的追加信息向服务器、例如服务器18(图1)传送。在一些实施方式中，传感器数据以无线的方式传送。在一些实施方式中，传感器数据经由有线连接而传送。在一些实施方式中，传感器数据在被上传之前，接受数据压缩、调整尺寸、剪裁等后处理。响应于类似度不可能超过既定的阈值这一决定，与不变特征量映射相联系的传感器数据被废弃或删除。
在动作426中，传感器数据由服务器接收。
在动作428中，接收到的传感器数据例如储存于数据储存部25(图1)。
若是本领域技术人员，会认识到，在一些实施方式中该方法400的动作的顺序可变更。例如，在一些实施方式中，动作406在动作404之前进行。在一些实施方式中，方法400的至少1个动作被省略。例如，在一些实施方式中，动作428被省略，接收到的数据直接向用户传送。在一些实施方式中，包括追加的动作。例如，在一些实施方式中，响应于与由用户要求的目标对应的传感器数据的接收，向用户传送警报或通知。在一些实施方式中，多个动作进行组合。例如，在一些实施方式中，动作420及422联动地进行。
图5是一些实施方式的用于实装车辆数据收集系统的系统的框图。系统500中，包括硬件处理器502、及以计算机程序码506(即能够执行的命令的组)被编码(即进行储存)的非瞬时性的计算机可读存储介质504。计算机可读存储介质504同样，为了与用户的移动设备等外部设备交互而以命令507编码。处理器502经由总线508而与计算机可读存储介质504电耦合。处理器502同样通过总线508而与输入输出接口510也电耦合。网络接口512也同样，经由总线508而向处理器502电连接。网络接口512连接于网络514，这样一来，处理器502及计算机可读存储介质504能够经由网络514而连接于外部要素。处理器502出于能够为了进行在系统100(图1)、方法200(图2)、方法300(图3)或方法400(图4)中遵照说明的动作的一部分或全部而使用系统500的目的，构成为执行在计算机可读存储介质504内编码后的计算机程序码506。
在一些实施方式中，处理器502是中央处理单元(CPU)、多处理器、分散处理系统(DPS)、图形处理单元(GPU)、张量处理单元(TPU)、面向特定用途的集成电路(ASIC)和/或适宜的处理单元。
在一些实施方式中，计算机可读存储介质504是电子、磁、光学、电磁、红外线和/或半导体系统(或装置或者设备)。例如，计算机可读存储介质504中，包括半导体存储器或固态存储器、磁带、可移动软盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘和/或光盘。在使用光盘的一些实施方式中，计算机可读存储介质504包括只读光盘(CD-ROM)、可重写光盘(CD-R/W)和/或数字视盘(DVD)。
在一些实施方式中，存储介质504储存构成为使系统500进行方法300或方法400的计算机程序码506。在一些实施方式中，存储介质504同样，也储存进行系统100(图1)、方法200(图2)、方法300(图3)或方法400(图4)的动作所需的信息、以及在进行系统100(图1)、方法200(图2)、方法300(图3)或方法400(图4)的动作的期间生成的信息、例如传感器数据参数516、模板数据参数518、属性参数900、不变特征量映射参数520、类似度参数522和/或用于进行系统100(图1)、方法200(图2)、方法300(图3)或方法400(图4)的动作的能够执行的命令的组。
在一些实施方式中，存储介质504储存用于与外部设备交互(interface)的命令507。命令507使得处理器502能够为了有效地实装系统100(图1)、方法200(图2)、方法300(图3)或方法400(图4)的动作而生成能够由外部设备读取的命令。
系统500包括输入输出接口(I/O)510。输入输出接口510与外部电路耦合。在一些实施方式中，输入输出接口510为了将信息及指令向处理器502传达，而包括键盘、小键盘(英文：keypad)、鼠标、跟踪球、触控板和/或光标方向键。
系统500同样，也包括与处理器502耦合的网络接口512。网络接口512使得系统500能够与连接有1个以上的其他计算机系统的网络514进行通信。网络接口512中，包括BLUETOOTH(注册商标)、WIFI(注册商标)、WIMAX(注册商标)、GPRS或WCDMA(注册商标)等无线网络接口、或ETHERNET(注册商标)、USB或IEEE-1394等有线网络接口。在一些实施方式中，系统100(图1)、方法200(图2)、方法300(图3)或方法400(图4)的动作，在2个以上的系统500中实装，经由网络514，在不同的系统500间交换信息。
本说明书的一方案涉及车辆数据收集系统。车辆数据收集系统包括车载传感器。车辆数据收集系统还包括构成为储存命令的非瞬时性的计算机可读介质。车辆数据收集系统包括连接于非瞬时性的计算机可读介质的处理器。该处理器构成为，执行命令，以使用第1神经网络，生成不变特征量映射。处理器还构成为，执行命令，以将不变特征量映射与从服务器接收的模板数据进行比较，决定不变特征量映射与模板数据之间的类似度。处理器还构成为，执行命令，以决定所决定的类似度是否超过了既定的阈值。处理器还构成为，执行命令，以响应于所决定的类似度超过了既定的阈值这一决定，命令传达部向服务器发送传感器数据。在一些实施方式中，处理器还构成为，执行命令以检测由车载传感器获取的传感器数据内的物体，且基于检测到的物体生成不变特征量映射。在一些实施方式中，车载传感器包括相机、光检测及测距(LiDAR)传感器、以及电波检测及测距(RADAR)传感器中的至少一者。在一些实施方式中，模板数据包括基于目标生成的目标不变特征量映射。在一些实施方式中，处理器还构成为，执行命令，以在将传感器数据向服务器发送之前从传感器数据中将机密信息去除。在一些实施方式中，模板数据包括用于神经网络的权重，处理器构成为，执行命令，以利用权重使用第1神经网络生成不变特征量映射。在一些实施方式中，模板数据包括用于神经网络的权重，处理器还构成为，执行命令，以利用权重使用第2神经网络决定类似度。
本公开的一方案涉及车辆数据收集系统。车辆数据收集系统包括构成为从用户接收目标信息的图形用户接口(GUI)。车辆数据收集系统还包括构成为储存命令的非瞬时性的计算机可读介质。车辆数据收集系统还包括连接于非瞬时性的计算机可读介质的处理器。处理器构成为，执行命令，以从GUI接收目标信息。处理器还构成为，执行命令，以基于目标信息，使用第1神经网络生成目标不变特征量映射。处理器还构成为，执行命令，以基于目标不变特征量映射生成数据收集指令。处理器还构成为，执行命令，以命令传送部向至少1个车辆发送数据收集指令。处理器还构成为，执行命令，以响应于数据收集指令而从至少1个车辆接收传感器数据。处理器还构成为，执行命令，以向用户报告传感器数据。在一些实施方式中，目标信息包括图像。在一些实施方式中，处理器构成为，执行命令，以命令传送部向多个车辆发送数据收集指令。在一些实施方式中，处理器构成为，执行命令，以生成包括来自车辆的数据要求的优先度的数据收集指令。在一些实施方式中，处理器构成为，执行命令，以基于用户的身份生成包括用于防止车辆从传感器数据中将机密信息去除的命令的数据收集指令。在一些实施方式中，处理器构成为，执行命令，以将传感器数据同与传感器数据相联系的时间和场所信息中的至少一者一起向用户报告。在一些实施方式中，处理器构成为，执行命令，以通过对通过用户而动作的移动设备生成警报来对用户报告传感器数据。
本说明书的至少一方案涉及车辆数据收集系统的使用方法。该方法包括使用至少1个车载传感器收集传感器数据的步骤。该方法还包括使用第1神经网络生成不变特征量映射的步骤。该方法还包括将不变特征量映射与从服务器接收的模板数据进行比较，决定不变特征量映射与模板数据之间的类似度的步骤。该方法包括决定所决定的类似度是否超过了既定的阈值的步骤。该方法还包括响应于所决定的类似度超过了既定的阈值这一决定，向服务器传送传感器数据的步骤。在一些实施方式中，该方法还包括检测传感器数据内的物体的步骤，在此，生成不变特征量映射的步骤基于检测到的物体。在一些实施方式中，车载传感器包括相机、光检测及测距(LiDAR)传感器、以及电波检测及测距(RADAR)传感器中的至少一者。在一些实施方式中，模板数据包括基于目标生成的目标不变特征量映射。在一些实施方式中，该方法还包括在将传感器数据向服务器传送之前从传感器数据中将机密信息去除的步骤。在一些实施方式中，模板数据包括用于神经网络的权重，生成不变特征量映射的步骤包括使用第1神经网络内的权重的步骤。
以上，以本领域技术人员能够更好地理解本公开的方案的方式对多个实施方式的特征的要点进行了说明。若是本领域技术人员，则应该认识到，作为为了实施在本说明书中介绍的实施方式的相同目的且/或达成相同优点而对其他工序及构造进行设计或修正用的基础，能够容易地使用本公开。这些本领域技术人员同样，应该同样理解到，这样的等价的构造不脱离本公开的精神及范围，并且能够不脱离本公开的精神及范围地、在本说明书中进行各种变更、置换及改变。

Claims (20)

1.一种车辆数据收集系统，包括：
车载传感器；
非瞬时性的计算机可读介质，构成为储存命令；以及
处理器，连接于所述非瞬时性的计算机可读介质，
所述处理器构成为执行如下命令，所述命令用于：
使用第1神经网络，根据传感器数据生成不变特征量映射；
将所述不变特征量映射与从服务器接收的模板数据进行比较，决定所述不变特征量映射与所述模板数据之间的类似度；
决定所述决定的类似度是否超过了既定的阈值；以及
响应于所述决定的类似度超过了既定的阈值这一决定，命令传送部向所述服务器发送所述传感器数据。
2.根据权利要求1所述的车辆数据收集系统，
所述处理器还构成为，执行用于检测由所述车载传感器获取的传感器数据内的物体的所述命令；且基于所述检测到的物体生成所述不变特征量映射。
3.根据权利要求1或2所述的车辆数据收集系统，
所述车载传感器包括相机、光检测及测距传感器即LiDAR传感器、以及电波检测及测距传感器即RADAR传感器中的至少一者。
4.根据权利要求1～3中的任1项所述的车辆数据收集系统，
所述模板数据包括基于目标生成的目标不变特征量映射。
5.根据权利要求1～4中的任1项所述的车辆数据收集系统，
所述处理器还构成为，执行用于在将所述传感器数据向所述服务器发送之前从所述传感器数据中将机密信息去除的所述命令。
6.根据权利要求1～5中的任1项所述的车辆数据收集系统，
所述模板数据包括用于神经网络的权重，所述处理器构成为，执行用于利用所述权重使用所述第1神经网络生成所述不变特征量映射的所述命令。
7.根据权利要求1～6中的任1项所述的车辆数据收集系统，
所述模板数据包括用于神经网络的权重，所述处理器还构成为，执行用于利用所述权重使用第2神经网络决定所述类似度的所述命令。
8.一种车辆数据收集系统，包括：
图形用户接口即GUI，构成为从用户接收目标信息；
非瞬时性的计算机可读介质，构成为储存命令；以及
处理器，连接于所述非瞬时性的计算机可读介质，
所述处理器构成为执行如下命令，所述命令用于：
从所述GUI接收目标信息；
基于所述目标信息，使用第1神经网络生成目标不变特征量映射；
基于所述目标不变特征量映射生成数据收集指令；
命令传送部向至少1个车辆发送所述数据收集指令；
响应于所述数据收集指令而从所述至少1个车辆接收传感器数据；以及
向所述用户报告所述传感器数据。
9.根据权利要求8所述的车辆数据收集系统，
所述目标信息包括图像。
10.根据权利要求8或9所述的车辆数据收集系统，
所述处理器构成为，执行用于命令所述传送部向多个车辆发送所述数据收集指令的所述命令。
11.根据权利要求8～10中的任1项所述的车辆数据收集系统，
所述处理器构成为，执行用于生成包括来自所述车辆的数据要求的优先度的数据收集指令的所述命令。
12.根据权利要求8～11中的任1项所述的车辆数据收集系统，
所述处理器构成为，执行用于基于所述用户的身份生成包括用于防止所述车辆从所述传感器数据中将机密信息去除的命令的所述数据收集指令的所述命令。
13.根据权利要求8～12中的任1项所述的车辆数据收集系统，
所述处理器构成为，执行用于将所述传感器数据同与所述传感器数据相联系的时间和场所信息中的至少一者一起向所述用户报告的所述命令。
14.根据权利要求8～13中的任1项所述的车辆数据收集系统，
所述处理器构成为，执行用于通过对通过所述用户而动作的移动设备生成警报来对所述用户报告所述传感器数据的所述命令。
15.一种车辆数据收集系统的使用方法，包括：
使用至少1个车载传感器收集传感器数据；
使用第1神经网络，生成不变特征量映射；
将所述不变特征量映射与从服务器接收的模板数据进行比较，决定所述不变特征量映射与所述模板数据之间的类似度；
决定所述决定的类似度是否超过了既定的阈值；以及
响应于所述决定的类似度超过了既定的阈值这一决定，向所述服务器传送所述传感器数据。
16.根据权利要求15所述的车辆数据收集系统的使用方法，
还包括检测所述传感器数据内的物体，生成所述不变特征量映射包括基于所述检测到的物体生成所述不变特征量映射。
17.根据权利要求15或16所述的车辆数据收集系统的使用方法，
所述车载传感器包括相机、光检测及测距传感器即LiDAR传感器、以及电波检测及测距传感器即RADAR传感器中的至少一者。
18.根据权利要求15～17中的任1项所述的车辆数据收集系统的使用方法，
所述模板数据包括基于目标生成的目标不变特征量映射。
19.根据权利要求15～18中的任1项所述的车辆数据收集系统的使用方法，
还包括在将所述传感器数据向所述服务器传送之前从所述传感器数据中将机密信息去除。
20.根据权利要求15～19中的任1项所述的车辆数据收集系统的使用方法，
所述模板数据包括用于神经网络的权重，生成所述不变特征量映射包括使用所述第1神经网络内的权重。
CN202211183231.1A 2021-09-30 2022-09-27 车辆数据收集系统及其使用方法 Pending CN115909537A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/489,791 US11976940B2 (en) 2021-09-30 2021-09-30 Vehicle data collection system and method of using
US17/489791 2021-09-30

Publications (1)

Publication Number Publication Date
CN115909537A true CN115909537A (zh) 2023-04-04

Family

ID=83362659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211183231.1A Pending CN115909537A (zh) 2021-09-30 2022-09-27 车辆数据收集系统及其使用方法

Country Status (4)

Country Link
US (1) US11976940B2 (zh)
EP (1) EP4167193A1 (zh)
JP (1) JP7382465B2 (zh)
CN (1) CN115909537A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12116013B2 (en) * 2020-12-22 2024-10-15 Intel Corporation Distributed in-vehicle realtime sensor data processing as a service
US20230334914A1 (en) * 2022-04-19 2023-10-19 Ford Global Technologies, Llc Vehicle data storage activation

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06139410A (ja) * 1992-10-23 1994-05-20 Fujitsu Ltd ニューラル・ネットワークによるテンプレート・マッチング型文字認識方式
JP2012064131A (ja) * 2010-09-17 2012-03-29 Tokyo Institute Of Technology 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置
US8775341B1 (en) * 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
JP2013057992A (ja) 2011-09-07 2013-03-28 Clarion Co Ltd 車間距離算出装置およびそれを用いた車両制御システム
JP2014182052A (ja) 2013-03-21 2014-09-29 Aisin Aw Co Ltd 経路案内装置、及び経路案内プログラム
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
JP6226308B1 (ja) 2016-05-10 2017-11-08 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10317240B1 (en) * 2017-03-30 2019-06-11 Zoox, Inc. Travel data collection and publication
US10085121B1 (en) * 2017-09-15 2018-09-25 Uber Technologies, Inc. Lost device detection using geospatial location data
JP7006159B2 (ja) 2017-11-14 2022-01-24 トヨタ自動車株式会社 サーバ装置
US10963706B2 (en) 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
JP2019125203A (ja) 2018-01-17 2019-07-25 株式会社東芝 目標認識装置、目標認識方法、プログラム及び畳み込みニューラルネットワーク
JP7145622B2 (ja) 2018-03-02 2022-10-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、被写体検出システム、及び、プログラム
US11263549B2 (en) * 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance
JP7529379B2 (ja) * 2018-08-22 2024-08-06 株式会社ダイヘン 移動体
JP7040374B2 (ja) 2018-09-14 2022-03-23 トヨタ自動車株式会社 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
JP7052660B2 (ja) 2018-09-25 2022-04-12 トヨタ自動車株式会社 学習画像選別装置
JP2020080050A (ja) 2018-11-13 2020-05-28 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 訓練装置、訓練方法及びプログラム
US20200193552A1 (en) 2018-12-18 2020-06-18 Slyce Acquisition Inc. Sparse learning for computer vision
US11113959B2 (en) * 2018-12-28 2021-09-07 Intel Corporation Crowdsourced detection, identification and sharing of hazardous road objects in HD maps
US11118916B2 (en) * 2019-02-14 2021-09-14 Here Global B.V. Method, apparatus, and system for providing a campaign management platform to discover map data
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
KR102270827B1 (ko) * 2020-02-21 2021-06-29 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
IT202000010300A1 (it) * 2020-05-08 2021-11-08 Milano Politecnico Sistema e metodo di comunicazione tra un veicolo ed un altro agente
US11720673B2 (en) * 2020-09-25 2023-08-08 Mcafee, Llc Visual classification according to binary memory dump
DE102021202778A1 (de) * 2021-03-23 2022-09-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und System zum Bearbeiten einer digitalen Sicherheitskarte für den Straßenverkehr
CN113096140B (zh) * 2021-04-15 2022-11-22 北京市商汤科技开发有限公司 实例分割方法及装置、电子设备及存储介质
CN112990220B (zh) * 2021-04-19 2022-08-05 烟台中科网络技术研究所 一种图像中目标文本智能识别方法及系统
KR102444672B1 (ko) * 2021-08-27 2022-09-20 (주)뷰런테크놀로지 라이다 센서를 이용하여 동적 맵을 생성하고, 생성된 동적 맵을 이용하여 객체를 판단하는 방법 및 상기 방법을 수행하는 장치

Also Published As

Publication number Publication date
JP7382465B2 (ja) 2023-11-16
US11976940B2 (en) 2024-05-07
US20230097749A1 (en) 2023-03-30
EP4167193A1 (en) 2023-04-19
JP2023051757A (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
US12079272B2 (en) Distributed video storage and search with edge computing
US10950132B2 (en) Method and system for providing artificial intelligence analytic (AIA) services using operator fingerprints and cloud data
US10929462B2 (en) Object recognition in autonomous vehicles
KR101906709B1 (ko) 커넥티드 블랙박스
US20200076895A1 (en) Data collection apparatus, on-vehicle device, data collection system, and data collection method
KR101783982B1 (ko) 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법
US10021254B2 (en) Autonomous vehicle cameras used for near real-time imaging
WO2019140906A1 (zh) 车载监控设备的文件处理方法和车载监控设备
CN115909537A (zh) 车辆数据收集系统及其使用方法
US9230179B2 (en) Driver assistance system, driver assistance method and information storage medium
CN112277936B (zh) 车辆碰撞检测处理方法、装置、车载终端和存储介质
US20220207997A1 (en) Traffic Flow Estimation Apparatus, Traffic Flow Estimation Method, Traffic Flow Estimation Program, And Storage Medium Storing Traffic Flow Estimation Program
US20180260401A1 (en) Distributed video search with edge computing
US20190156640A1 (en) Systems and methods for surveillance-assisted patrol
US20230316769A1 (en) Object information obtaining method and system for implementing
US20240304035A1 (en) System and method for centralized collection of vehicle-detected event data
KR101439780B1 (ko) 블랙박스의 영상 데이터에서 이슈 구간을 자동으로 분류하기 위한 이슈 구간 자동 분류 장치 및 그 방법
JP2020119305A (ja) 画像解析装置
CN116363604A (zh) 目标交通事件识别方法、装置、设备及介质
CN111753118A (zh) 车辆检索方法、装置、电子设备及可读存储介质
JP2018163425A (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Zhiwang Toyota Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Owen Planet Holdings Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20230621

Address after: Tokyo, Japan

Applicant after: Owen Planet Holdings Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: owing alpha Co.,Ltd.

TA01 Transfer of patent application right