CN110047275A - 多个连接的车辆的观察结果之间的关联和相似度学习 - Google Patents

多个连接的车辆的观察结果之间的关联和相似度学习 Download PDF

Info

Publication number
CN110047275A
CN110047275A CN201910025800.1A CN201910025800A CN110047275A CN 110047275 A CN110047275 A CN 110047275A CN 201910025800 A CN201910025800 A CN 201910025800A CN 110047275 A CN110047275 A CN 110047275A
Authority
CN
China
Prior art keywords
image
modal
characteristic set
vehicle
vehicle platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910025800.1A
Other languages
English (en)
Inventor
郭睿
尾口健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110047275A publication Critical patent/CN110047275A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Atmospheric Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及多个连接的车辆的观察结果之间的关联和相似度学习。在示例实施例中，第一车辆平台包括第一传感器和通信单元，第一传感器具有指向外部环境的第一视角并且捕获反映第一多个对象的第一传感器数据，通信单元用于从第二车辆平台接收反映包括在外部环境中的第二多个对象的第二传感器数据。一个或多个计算设备从第一多个对象提取第一多模态特征集合，并且从第二图像中的第二多个对象提取第二多模态特征集合，使用单独的机器学习逻辑处理第一多模态特征集合和第二多模态特征集合以分别产生第一输出和第二输出，使用第一输出和第二输出生成相似度得分，以及使用相似度得分关联第一视角和第二视角。

Description

多个连接的车辆的观察结果之间的关联和相似度学习
技术领域
本公开涉及学习检测到的对象的表示。在更具体的示例中，本公开涉及用于相似度学习以及多个连接的车辆的观察结果之间的关联的技术。
背景技术
对象跟踪和交通状况定位常常依赖于捕获相同对象的对道路场景的多个观察结果。但是，识别这多个观察结果中包括的相同对象是具有挑战性的。用于关联多个观察结果中的对象的现有解决方案是提取对象的特征并使用特征比较来匹配不同视图中的对象。但是，这种现有方法一般仅考虑有限数量的预定特征。因此，对象的特征表示常常是不完整的并且导致不准确的对象关联。另一方面，使用完整的特征集来描述对象也是不切实际的，因为由于延迟和带宽限制，完整的特征集不能通过车辆网络高效地发送。此外，现有解决方案一般在集中式系统中实现，因此通常不适用于包括车辆网络中的多个协作车辆的分布式系统。
发明内容
本公开中描述的主题通过提供用于学习检测到的对象的紧凑表示并且关联来自多个车辆的多个观察结果的新技术来克服现有解决方案的缺陷和限制。
根据本公开中描述的主题的一个创新方面，一种计算机实现的方法包括：接收由交通状况附近的两个或更多个不同车辆平台的两个或更多个车辆平台传感器捕获的两个或更多个图像；从该两个或更多个图像中的第一图像中的第一多个对象提取第一多模态特征集合，该第一图像与该两个或更多个车辆平台中的第一车辆平台相关联；从该两个或更多个图像中的第二图像中的第二多个对象提取第二多模态特征集合，该第二图像与该两个或更多个车辆平台中的第二车辆平台相关联；使用单独的机器学习逻辑处理第一多模态特征集合和第二多模态特征集合，以分别产生第一输出和第二输出；使用第一输出和第二输出生成量化第一多模态特征集合与第二多模态特征集合之间的差异的相似度得分；以及，使用相似度得分来关联由与第一车辆平台相关联的第一图像反映的交通状况的第一观察结果和由与第二车辆平台相关联的第二图像反映的交通状况的第二观察结果。
一般而言，本公开中描述的主题的另一个创新方面可以在包括第一车辆平台和一个或多个计算设备的系统中实施。第一车辆平台包括第一传感器，第一传感器具有指向第一车辆平台外部的外部环境的第一视角。第一传感器捕获反映包括在外部环境中的第一多个对象的第一传感器数据。第一车辆平台还包括用于从第二车辆平台接收第二传感器数据的第一通信单元。第二传感器数据从第二视角反映包括在外部环境中的第二多个对象。可以包括经由网络耦接的服务器、第一车辆平台、第二车辆平台和/或另一个计算设备的一个或多个计算设备执行包括以下各项的操作：从第一传感器数据中的第一多个对象提取第一多模态特征集合；从第二传感器数据中的第二多个对象提取第二多模态特征集合；使用单独的机器学习逻辑处理第一多模态特征集合和第二多模态特征集合，以分别产生第一输出和第二输出；使用第一输出和第二输出生成量化第一多模态特征集合与第二多模态特征集合之间的差异的相似度得分；以及使用相似度得分来关联第一视角和第二视角。
一般而言，本公开中描述的主题的另一个创新方面可以在包括一个或多个处理器的系统中实施，该一个或多个处理器包括逻辑，该逻辑可执行以执行包括以下各项的操作：接收由交通状况附近的两个或更多个不同车辆平台中的两个或更多个车辆平台传感器捕获的两个或更多个图像；从该两个或更多个图像中的第一图像中的第一多个对象提取第一多模态特征集合，该第一图像与该两个或更多个车辆平台中的第一车辆平台相关联；从该两个或更多个图像中的第二图像中的第二多个对象提取第二多模态特征集合，其中该第二图像与该两个或更多个车辆平台中的第二车辆平台相关联；使用单独的机器学习逻辑处理第一多模态特征集合和第二多模态特征集合，以分别产生第一输出和第二输出；使用第一输出和第二输出生成量化第一多模态特征集合与第二多模态特征集合之间的差异的相似度得分；以及，使用相似度得分来关联由与第一车辆平台相关联的第一图像反映的交通状况的第一观察结果和由与第二车辆平台相关联的第二图像反映的交通状况的第二观察结果。
这些实施方式和其它实施方式可以各自可选地包括以下特征当中的一个或多个：规格化第一多模态特征集合；规格化第二多模态特征集合；组合第一多模态特征集合包括将规格化的第一多模态特征集合组合成第一多模态初始特征向量；组合第二多模态特征集合包括将规格化的第二多模态特征集合组合成第二多模态初始特征向量；检测两个或更多个图像中的第一图像中的第一多个对象；检测两个或更多个图像中的第二图像中的第二多个对象；将来自第一图像的第一多个对象的第一对象集合确定为与驾驶相关；将来自第二图像的第二多个对象的第二对象集合确定为与驾驶相关；将第一多模态特征集合组合成第一多模态特征向量；将第二多模态特征集合组合成第二多模态特征向量；处理第一多模态特征集合和第二多模态特征集合包括将第一多模态特征向量处理成第一紧凑特征向量以及将第二多模态特征向量处理成第二紧凑特征向量；第一多模态特征集合包括第一多个对象中的一个或多个对象的纹理特征、颜色特征、情境特征和视点特征；第二多模态特征集合包括第二多个对象中的一个或多个对象的纹理特征、颜色特征、情境特征和视点特征；预定目标输出指示第一图像中的第一对象和第二图像中的第二对象是否表示相同的对象；单独的机器学习逻辑包括第一机器学习逻辑和第二机器学习逻辑；第一机器学习逻辑是神经网络的第一子网并且第二机器学习逻辑是神经网络的第二子网；基于交通状况的第一观察结果和交通状况的第二观察结果的关联，经由第一车辆平台的输出设备输出信息；基于该关联，更新反映与交通状况相关联的道路的动态状态的动态映射数据；基于动态映射数据确定接近交通状况的另一个车辆的位置；将通知数据发送到接近交通状况的该另一个车辆平台，以用于由该另一个车辆平台的输出设备输出；第二车辆平台包括第二传感器，该第二传感器具有指向第二车辆平台外部的外部环境的第二视角；第二传感器捕获反映包括在外部环境中的第一多个对象的第二传感器数据；第二车辆平台包括第二通信单元，第二通信单元用于将第二传感器数据从第二车辆平台发送到第一车辆平台；由两个或更多个计算设备中的至少一个实施的硬件服务器；硬件服务器适于基于相似度得分来训练包括单独的机器学习逻辑的机器学习模型；并且机器学习模型的第一实例安装在第一车辆平台上，机器学习模型的第二实例安装在第二车辆平台上。
这些方面和其它方面中的一个或多个方面的其它实现包括对应的系统、装置和计算机程序，该对应的系统、装置和计算机程序被配置为执行在非瞬态计算机存储设备上编码的方法的动作。
在本公开中呈现的用于对检测到的对象的紧凑表示的可分布学习以及关联来自多个车辆的多个观察结果的新技术在多个方面是特别有利的。例如，本文描述的技术能够生成检测到的对象的紧凑表示，在该紧凑表示中用于表示对象的数据量大大减少。因此，无论车辆网络固有的延迟和带宽限制如何，都可以通过车辆网络高效地发送对象的紧凑表示。作为另一个示例，本技术可以用可分布的方式部署，因此本技术适于在车辆网络的各个协作车辆中实现。此外，检测到的对象的紧凑表示是从在各个方面(例如，外观、纹理、颜色、视点等)描述检测到的对象的全面的特征集合中选择性地生成的，从而显著提高了相似度处理和观察结果关联的准确性。本文描述的技术可以用在各种应用中，例如，用在对象监视、道路场景的三维(3D)建模、交通状况定位等中。
进一步的非限制性优点和益处是利用丰富的多模态数据集(诸如外观相干性、几何接近度和视点一致性)，这有助于实行并发地来自多视图观察结果的相似度特性；关联性能被改进；不是仅限于学习成对图像如何像素到像素地对应，本文描述的技术可以对高级别相似度进行建模，这可以用于区分观察结果是否来自相同的对象；来自多个连接的车辆的并发观察结果可以相关联(例如，实时或接近实时)；系统结构支持实时处理；离线训练可以用于学习相似度度量，并且可以将学习到的模型部署在车辆平台上以评估不同类别的对象的相似度，从而在一些情况下减少或消除对模板的需求；本文描述的方法在不同的应用场景中是健壮的；并且学习到的相似度度量对于照明、姿势和视点变化一般是不变的。
应当理解的是，前述优点是作为示例提供的，并且该技术可以具有许多其它优点和益处。
本公开通过示例而不是通过限制的方式在附图的图中示出，在附图中相似的附图标记用于指代相似的元件。
附图说明
图1是用于关联来自多个车辆的多个观察结果的示例系统的框图。
图2是示例多视角观察应用的框图。
图3是用于在地理地图上动态定位对象的示例方法的流程图。
图4A是用于学习检测到的对象的紧凑表示并且关联来自多个车辆的多个观察结果的示例方法的流程图。
图4B是用于可分布地学习检测到的对象的紧凑表示并且关联来自多个车辆的多个观察结果的示例方法的流程图。
图5是用于处理检测到的对象之间的相似度的示例方法的流程图。
图6是用于处理检测到的对象之间的相似度的另一个示例方法的流程图。
图7是特征向量处理单元的结构图。
图8是用于提取描述检测到的对象的模态特征的示例方法的流程图。
图9A示出了具有交通状况的示例路段。
图9B是用于关联来自位于路段中的多个车辆的观察结果的示例方法的流程图。
具体实施方式
本文描述的技术可以了解来自多个车辆的观察结果之间的相似度反映不同的视角，并且将观察结果相关联以提供增强的对象检测和/或分类、场景处理和自动响应，诸如通知、自动车辆操纵、增强导航、点对点车辆平台数据传输等。观察结果关联可以指基于包括在由各个车辆捕获的多个图像中的检测到的对象的相似度来关联该多个图像。如下面进一步详细描述的，该技术包括可以进行学习以生成决定性地描述检测到的对象的紧凑表示的方法和对应系统。一旦训练过程完成，系统的部件(诸如但不限于经训练的模型、代码等)就可以跨多个车辆和/或计算实体分布，以处理多个图像中的检测到的对象之间的相似度并相应地关联这些图像。
图1是用于可分布地学习检测到的对象的紧凑表示并且关联来自多个车辆的多个观察结果的示例系统100的框图。如图所示，系统100包括为了电子通信而经由网络105耦接的服务器101和一个或多个车辆平台103a...103n。在图1和其余的图中，附图标记(例如“103a”)后面的字母表示对具有该特定附图标记的元件的引用。没有后续字母的文本中的附图标记(例如“103”)表示对带有该附图标记的元件的实例的一般引用。应当理解的是，图1中描绘的系统100是作为示例提供的，并且本公开所预期的系统100和/或其它系统可以包括附加的和/或更少的部件、可以将部件中的一个或多个部件组合成和/或划分成附加部件等。例如，系统100可以包括任何数量的车辆平台103、网络105或服务器101。
网络105可以是常规类型，有线的和/或无线的，并且可以具有许多不同的配置，包括星形配置、令牌环配置或其它配置。例如，网络105可以包括一个或多个局域网(LAN)、广域网(WAN)(例如，因特网)、个人区域网(PAN)、公共网络、专用网络、虚拟网络、虚拟专用网络、对等网络、近场网络(例如，NFC等)、车辆网络、和/或多个设备可以通过其进行通信的其它互连的数据路径。
网络105还可以耦接到或包括电信网络的部分，用于以各种不同的通信协议发送数据。示例协议包括但不限于传输控制协议/因特网协议(TCP/IP)、用户数据报协议(UDP)、传输控制协议(TCP)、超文本传输协议(HTTP)、安全超文本传输协议(HTTPS)、HTTP上动态自适应流传输(DASH)、实时流传输协议(RTSP)、实时传输协议(RTP)和实时传输控制协议(RTCP)、互联网协议语音(VOIP)、文件传输协议(FTP)、WebSocket(WS)、无线接入协议(WAP)、各种消息传递协议(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)或其它合适的协议。在一些实施例中，网络105可以是使用连接的无线网络，诸如DSRC(专用短距离通信)、WAVE、802.11p、3G、4G、5G+网络、WiFiTM、卫星网络、车辆到车辆(V2V)网络、车辆到基础设施/基础设施到车辆(V2I/I2V)网络、车辆到基础设施/车辆到万物(V2I/V2X)网络、或任何其它无线网络。在一些实施例中，网络105可以是具有有限资源(例如，可能导致相当大的传输延迟的有限通信带宽等)的车辆无线网络。虽然图1示出了耦接到服务器101和(一个或多个)车辆平台103的网络105的单个块，但是应当理解的是，网络105实际上可以包括任何数量的网络的组合，如上所述。
(一个或多个)车辆平台103包括具有(一个或多个)传感器113、(一个或多个)处理器115、(一个或多个)存储器117、(一个或多个)通信单元119、车辆数据存储库121、多视角观察应用120和跟踪应用122的(一个或多个)计算设备152。(一个或多个)计算设备152的示例可以包括虚拟或物理计算机处理器、控制单元、微控制器等，其耦接到(一个或多个)车辆平台103的其它部件，诸如一个或多个传感器113、致动器、操纵机构(motivator)等。(一个或多个)车辆平台103可以经由信号线141耦接到网络105，并且可以向(一个或多个)其它车辆平台103和/或(一个或多个)服务器101发送数据以及从(一个或多个)其它车辆平台103和/或(一个或多个)服务器101接收数据。在一些实施例中，(一个或多个)车辆平台103能够从一个点运输到另一个点。(一个或多个)车辆平台103的非限制性示例包括车辆、汽车、公共汽车、船、飞机、仿生植入物、机器人或具有非瞬态计算机电子器件的任何其它平台(例如，处理器、存储器或非瞬态计算机电子器件的任何组合)。(一个或多个)车辆平台103在本文中可以被称为(一个或多个)车辆。
(一个或多个)处理器115可以通过执行各种输入/输出、逻辑和/或数学运算来执行软件指令(例如，任务)。(一个或多个)处理器115可以具有各种计算体系架构以处理数据信号。(一个或多个)处理器115可以是物理的和/或虚拟的，并且可以包括单个核或者多个处理单元和/或核。在车辆平台103的背景下，处理器可以是在诸如汽车之类的车辆平台103中实现的电子控制单元(ECU)，但是其它类型的平台也是可能的并且是预期的。ECU可以接收传感器数据并将传感器数据作为车辆操作数据存储在车辆数据存储库121中，以供多视角观察应用120访问和/或检索。在一些实施例中，ECU可以实现模型、(一个或多个)机器学习逻辑(例如，软件、代码等)，该模型、(一个或多个)机器学习逻辑被训练以生成检测到的对象的紧凑表示。例如，ECU可以部署神经网络的(一个或多个)经训练的子网以执行紧凑特征向量生成。在一些实施方式中，(一个或多个)处理器115可能能够生成电子显示信号并向(一个或多个)输入/输出设备提供电子显示信号、支持图像的显示、捕获和发送图像、执行包括各种类型的对象识别和特征提取的复杂任务等。在一些实施方式中，(一个或多个)处理器115可以经由总线154耦接到(一个或多个)存储器117，以从其访问数据和指令并在其中存储数据。总线154可以将(一个或多个)处理器115耦接到(一个或多个)车辆平台103的其它部件，包括例如(一个或多个)传感器113、(一个或多个)存储器117、(一个或多个)通信单元119，和/或车辆数据存储库121。
多视角观察应用120是计算机逻辑，该计算机逻辑可执行以生成多个图像中检测到的对象的紧凑表示、使用紧凑表示确定检测到的对象之间的相似度以及基于确定的相似度来关联多个图像。如图1所示，服务器101和车辆平台103a...103n可以包括多视角观察应用120的实例120a和120b...120n。在一些实施例中，每个实例120a和120b...120n可以包括图2中描绘的多视角观察应用120的一个或多个部件，并且取决于实例驻留的位置可以被配置为完全或部分地执行本文描述的功能。在一些实施例中，可以使用可由一个或多个计算机设备的一个或多个处理器执行的软件、使用硬件(诸如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)和/或硬件和软件的组合等来实现多视角观察应用120。多视角观察应用120可以接收并处理传感器数据和/或车辆数据，并经由总线154与车辆平台103的其它元件(诸如存储器117、通信单元119、车辆数据存储库121等)通信。下面参考至少图2-图9B详细描述多视角观察应用120。
跟踪应用122是计算机逻辑，该计算机逻辑可执行以随时间执行对象跟踪。如图1所示，服务器101和/或车辆平台103a...103n可以包括跟踪应用122的实例122a和122b...122n。在一些实施例中，跟踪应用122可以使用可由一个或多个计算机设备的一个或多个处理器执行的软件、使用硬件(诸如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)和/或硬件和软件的组合等来实现。在一些实施例中，跟踪应用122可以执行对象跟踪，以基于由多视角观察应用120确定的对象相似度来监视在多个图像中捕获的各个对象。在一些实施例中，多视角观察应用120和跟踪应用122可以结合到其它应用(例如，定位应用、导航应用、3D建模应用等)中，以提供准确的道路场景分析，从而促进这些其它应用的功能。
(一个或多个)存储器117包括非瞬态计算机可用(例如，可读、可写等)介质，其可以是可以包含、存储、传送、传播或者运输指令、数据、计算机程序、软件、代码、例程等以用于由(一个或多个)处理器115处理或结合(一个或多个)处理器115处理的任何有形非瞬态装置或设备。例如，(一个或多个)存储器117可以存储多视角观察应用120和/或跟踪应用122。在一些实施方式中，(一个或多个)存储器117可以包括易失性存储器和非易失性存储器中的一个或多个。例如，(一个或多个)存储器117可以包括但不限于动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、分立存储器设备(例如，PROM、FPROM、ROM)、硬盘驱动器、光盘驱动器(CD、DVD、Blue-rayTM等)中的一个或多个。应当理解的是，(一个或多个)存储器117可以是单个设备，或者可以包括多种类型的设备和配置。
通信单元119使用无线和/或有线连接向(例如，经由网络105)与其可通信地耦接的其它计算设备发送数据以及从其它计算设备接收数据。通信单元119可以包括用于发送和接收数据的一个或多个有线接口和/或无线收发器。通信单元119可以耦接到网络105并与其它计算节点(诸如(一个或多个)其它车辆平台103和/或(一个或多个)服务器101等)通信。通信单元119可以使用标准通信方法(诸如上面讨论的通信方法)与其它计算节点交换数据。
(一个或多个)传感器113包括适于(一个或多个)车辆平台103的任何类型的传感器。(一个或多个)传感器113可以被配置为收集适于确定车辆平台103和/或其内部和外部环境的特点的任何类型的信号数据。(一个或多个)传感器113的非限制性示例包括各种光学传感器(CCD、CMOS、2D、3D、光检测和测距(LIDAR)、相机等)、音频传感器、运动检测传感器、气压计、高度计、热电偶、湿度传感器、红外(IR)传感器、雷达传感器、其它光电传感器、陀螺仪、加速度计、速度计、转向传感器、制动传感器、开关、车辆指示器传感器、挡风玻璃刮水器传感器、地理位置传感器、朝向传感器、无线收发器(例如，蜂窝、WiFiTM、近场等)、声纳传感器、超声传感器、触摸传感器、接近传感器、距离传感器等。在一些实施例中，一个或多个传感器113可以包括在车辆平台103的前侧、后侧、右侧和/或左侧提供的面向外的传感器，以便捕获车辆平台103周围的情景情境(context)。
在一些实施例中，(一个或多个)传感器113可以包括被配置为记录包括视频图像和静止图像的图像的一个或多个图像传感器(例如，光学传感器)，可以使用任何适用的帧速率记录视频流的帧，并且可以编码和/或处理使用任何适用方法捕获的视频和静止图像。在一些实施例中，(一个或多个)图像传感器113可以捕获其传感器范围内的周围环境的图像。例如，在车辆平台的背景下，图像传感器113可以捕获车辆平台103周围的环境，包括道路、建筑物、路边结构、静态道路对象(例如，交通锥标、路障、交通标志、车道、道路标记等)和/或动态道路对象(例如，车辆平台103、行人、自行车、动物等)，等等。在一些实施例中，图像传感器113可以安装在车辆平台103的车顶上和/或内部，以相对于车辆平台103的移动方向在任何方向上(向前、向后、侧向、向上、向下等)进行感测。在一些实施例中，图像传感器113可以是多向的(例如，LIDAR)。在一些实施例中，安装在不同车辆平台103上的图像传感器113可以具有不同的视点，并且可以配置有不同的设置、安装和/或配置。
车辆数据存储库121包括存储各种类型的数据的非瞬态存储介质。例如，车辆数据存储库121可以使用诸如控制器区域网(CAN)总线之类的总线存储在给定车辆平台103的不同部件之间传送的车辆数据。在一些实施例中，车辆数据可以包括从耦接到车辆平台103的不同部件的多个传感器113收集的车辆操作数据，以用于监视这些部件的操作状态，例如，变速(transmission)、速度、加速度、减速度、车轮速度(每分钟转数-RPM)、转向角、制动力等。在一些实施例中，车辆数据可以包括移动方向、指示车辆平台103的地理位置的车辆地理定位(例如，GPS(全球定位系统)坐标)等。
在一些实施例中，车辆数据还可以包括由车辆平台103的一个或多个图像传感器113捕获的道路场景图像以及与这些图像相关联的图像数据。在一些实施例中，图像数据可以包括指示当捕获图像时的日期和时间的图像时间戳、图像传感器113的传感器位置和传感器朝向、和/或在捕获图像时的其它相机、相机位置、车辆平台传感器、CAN等数据。在一些实施例中，图像数据还可以描述在图像中检测到的一个或多个对象。例如，图像数据可以包括图像中的每个检测到的对象的(一个或多个)模态特征、(一个或多个)初始表示和/或(一个或多个)紧凑表示。初始表示在本文可以被称为检测到的对象的初始特征表示，并且紧凑表示在本文可以被称为检测到的对象的紧凑特征表示。
在一些实施例中，模态特征可以包括描述检测到的对象的、可以用于确定不同图像中的检测到的对象是否实际上相同的一个或多个特征。模态特征(本文也简称为特征)的示例可以包括但不限于多尺度纹理特征、颜色特征、情境特征、视点特征等。其它模态特征也是可能的和预期的。在一些实施例中，检测到的对象的初始表示可以是初始特征向量，初始特征向量利用丰富模态特征集合在各个方面全面地描述检测到的对象。在一些实施例中，检测到的对象的紧凑表示可以是紧凑特征向量，紧凑特征向量利用比对应的初始特征向量更少数量的模态特征来描述检测到的对象。因此，与对应的初始特征向量相比，紧凑特征向量可以具有较低的特征维度(因此，在数据大小方面较小)。
在一些实施例中，车辆数据存储库121可以存储表示学习模型(也简称为模型)的模型数据。在一些实施例中，模型可以是被训练以生成高效地表示检测到的对象的紧凑表示(例如，紧凑特征向量)和/或使用紧凑表示确定检测到的对象的相似度的机器学习模型。在一些实施例中，模型可以以卷积神经网络、支持向量机等的形式实现。用于用各种类型的监督学习算法和/或无监督学习算法实现机器学习模型的其它系统体系架构也是可能的和预期的。在一些实施例中，模型数据可以包括模型的一个或多个参数。例如，模型数据可以包括从训练过程学习的机器学习逻辑的映射参数，以用于将初始特征向量映射到紧凑特征向量。
服务器101包括硬件和/或虚拟服务器，其包括处理器、存储器和网络通信能力(例如，通信单元)。在一些实施例中，服务器101可以具有比系统100的其它实体(例如，车辆平台103)更大的计算能力和计算资源。服务器101可以可通信地耦接到网络105，如由信号线145所反映的。在一些实施例中，服务器可以向系统100的其它实体(例如，一个或多个车辆平台103)发送数据和从系统100的其它实体接收数据。如所描绘的，服务器101可以包括多视角观察应用120a和/或跟踪应用122a的实例。
服务器101还可以包括数据存储库120，其存储用于由这些应用访问和/或检索的各种类型的数据。例如，数据存储库120可以存储从(一个或多个)车辆平台103接收的检测到的对象的紧凑表示(例如，紧凑特征向量)、训练数据、表示学习模型的模型数据等。在一些实施例中，训练数据可以包括多组训练图像和与每组训练图像相关联的预定目标输出。在一些实施例中，预定目标输出可以指示包括在训练图像组中的对象是否表示相同的对象。例如，训练数据可以包括具有预定目标输出＝“1”的正训练图像(指示正训练图像中包括的对象相同)，以及具有预定目标输出＝“0”的负训练图像(指示负训练图像中包括的对象不相同)。在一些实施例中，模型数据可以包括训练过程中的各个点处模型的参数。例如，模型数据可以包括被训练以生成检测到的对象的紧凑特征向量的一个或多个机器学习逻辑的映射参数、被训练以生成相似度得分的一个或多个机器学习逻辑的评分参数等。在一些实施例中，模型数据还可以包括模型的模型配置。例如，模型配置可以定义指示何时模型的训练过程完成(例如，满足预定数量的训练周期和/或满足预定的反馈差异等)的收敛点。
其它变体和/或组合也是可能的和预期的。应当理解的是，图1中示出的系统100代表示例系统，并且各种不同的系统环境和配置是预期的并且在本公开的范围内。例如，各种动作和/或功能可以从服务器移动到客户端，或者反之亦然，数据可以整合到单个数据存储库中或者进一步划分到附加数据存储库中，并且一些实施方式可以包括附加的或更少的计算设备、服务和/或网络，并且可以实现客户端或服务器侧的各种功能。另外，系统的各个实体可以集成到单个计算设备或系统中，或者划分到附加的计算设备或系统中，等等。
图2是示例多视角观察应用120的框图。如所描绘的，多视角观察应用120可以包括检测器202、关联器204、定位器206和映射器208。关联器204可以包括特征提取器250、模态处理器252、多个紧凑表示生成器254、相似度评分器256、鉴别器258和关联处理器260。应当理解的是，多视角观察应用120和/或关联器204可以包括附加部件(诸如但不限于配置引擎、加密/解密引擎等)，和/或这些各种部件可以组合成单个引擎或者划分为附加的引擎。
检测器202、关联器204、定位器206和映射器208可以被实现为软件、硬件或软件和硬件的组合。在一些实施例中，检测器202、关联器204、定位器206和映射器208可以通过总线154和/或处理器115可通信地耦接到彼此，和/或可通信地耦接到计算设备152的其它部件。类似地，关联器204中包括的特征提取器250、模态处理器252、多个紧凑表示生成器254、相似度评分器256、鉴别器258和关联处理器260也可以被实现为软件、硬件或软件和硬件的组合。在一些实施例中，特征提取器250、模态处理器252、多个紧凑表示生成器254、相似度评分器256、鉴别器258和关联处理器260可以通过总线154和/或处理器115可通信地耦接到彼此，和/或可通信地耦接到多视角观察应用120的其它部件和/或计算设备152的其它部件。在一些实施例中，部件103、202、204、206、208和/或250、252、254、256、258、260中的一个或多个是可由处理器115执行以提供其功能的指令集。在进一步的实施例中，部件103、202、204、206、208和/或250、252、254、256、258、260中的一个或多个可存储在存储器117中并且可由处理器115访问和执行以提供它们的功能。在前述实施例中的任何实施例中，这些部件103、202、204、206、208和/或250、252、254、256、258、260可以适于与处理器115和计算设备152的其它部件协作和通信。
以下参考至少图3-图9B更详细地描述多视角观察应用120、其部件202、204、206、208以及关联器204的部件250、252、254、256、258和260。
如本文其它地方所讨论的，多视角观察应用120是计算机逻辑，该计算机逻辑可执行以关联由多个车辆平台103捕获的多个图像。在典型情形中，位于相同道路区域中的多个车辆平台103可以从不同视角捕获在该道路区域中存在的相同对象的多个图像。因此，在一些实施例中，可以通过检测图像中的对象、确定检测到的对象之间的相似度以及基于所确定的对象相似度来关联多个图像而关联这多个图像。
在一些实施例中，多视角观察应用120可以接收由交通状况附近的两个或更多个不同车辆平台的两个或更多个车辆平台传感器捕获的两个或更多个图像。多视角观察应用120可以从两个或更多个图像中的第一图像中的第一多个对象提取第一多模态特征集合。第一图像可以与两个或更多个车辆平台103中的第一车辆平台103相关联。例如，第一车辆平台103的传感器可以捕获图像，并且传感器可以被耦接成向多视角观察应用120提供包括图像的图像数据，多视角观察应用120可以将图像与和交通状况相关联的一个或多个其它图像(诸如由位于交通状况的地理区域内的一个或多个其它车辆平台103捕获的图像)配对。例如，多视角观察应用120还可以从两个或更多个图像中的第二图像中的第二多个对象提取第二多模态特征集合，第二图像与两个或更多个车辆平台103中的第二车辆平台103相关联。
在一些实施例中，可以表示计算设备(例如，经由ECU或其可能具有的其它计算资源)的第一车辆平台可以包括本文所讨论的元件中的任何元件，诸如：具有指向第一车辆平台外部的外部环境的第一视角的第一传感器，其中第一传感器捕获反映包括在外部环境中的第一多个对象的第一传感器数据；以及第一通信单元，用于从第二车辆平台接收第二传感器数据，其中第二传感器数据从第二视角反映包括在外部环境中的第二多个对象。在一些实施例中，可以表示计算设备(例如，经由ECU或其可能具有的其它计算资源)的第二车辆平台类似地包括：具有指向第二车辆平台外部的外部环境的第二视角的第二传感器，其中第二传感器捕获反映包括在外部环境中的第一多个对象的第二传感器数据；以及第二通信单元，用于将来自第二车辆平台的第二传感器数据发送到第一车辆平台。
在一些实施例中，硬件服务器由至少一个计算设备实施，该硬件服务器适于基于相似度得分来训练包括单独的机器学习逻辑的机器学习模型，其中机器学习模型的第一实例安装在第一车辆平台上，并且机器学习模型的第二实例安装在第二车辆平台上。
在一些实施例中，多视角观察应用120可以检测第一图像中的第一多个对象和第二图像中的第二多个对象，等等。在一些情况下，检测可以经由在相应的车辆平台103上操作的应用120的实例而发生。可以由多视角观察应用120的实例识别包含与车辆平台103的移动和/或操作相关(例如，驾驶相关的)的对象的图像，然后将图像进行配对，以形成本文其它地方讨论的成对的输入。例如，使用以上示例，多视角观察应用120可以确定来自第一图像的第一多个对象的第一对象集合与驾驶相关，然后确定来自第二图像的第二多个对象的第二对象集合与驾驶相关，等等。然后可以将这些与驾驶相关的输入(例如，图像、传感器数据集等)配对(例如，其中一对包括两个或更多个输入)。
在一些实施例中，除了将图像中的对象确定为与相似度学习相关之外，多视角观察应用120还可以接收图像相关数据，该图像相关数据包括描述捕获给定图像的地理位置的地理位置数据，并且图像还可以基于涵盖该地理位置的对应地域或区域来配对(使得可以基于其地理位置数据来识别捕获道路或交通状况的不同视角的图像)。
在一些实施例中，多视角观察应用120可以使用单独的机器学习逻辑来处理第一多模态特征集合和第二多模态特征集合，以分别产生第一输出和第二输出，如本文其它地方进一步讨论的。在一些情况下，第一多模态特征集合和第二多模态特征集合(取决于并发处理多少个图像，多达N个集合)可以被规格化并且被组合。例如，在涉及第一图像和第二图像的上述示例中，第一多模态特征集合和第二多模态特征集合可以被独立地规格化，然后被组合成相应的多模态初始特征向量(例如，第一向量、第二向量等)。
响应于该处理，多视角观察应用120可以使用第一输出和第二输出生成量化第一多模态特征集合与第二多模态特征集合之间的差异的相似度得分。使用相似度得分，多视角观察应用120可以将由与第一车辆平台103相关联的第一图像反映的交通状况的第一观察结果与由与第二车辆平台103相关联的第二图像反映的交通状况的第二观察结果相关联，如本文其它地方所讨论的。在一些实施例中，可以使用在图像中检测到的对象的紧凑特征表示来执行这种图像关联。这些紧凑特征表示可以有区别地(discriminatively)描述检测到的对象，同时仍然可以通过车辆网络被高效地发送，而不管延迟和带宽限制如何。
继续上述示例，在一些实施例中，多视角观察应用120可以基于交通状况的第一观察结果和交通状况的第二观察结果的关联，经由第一车辆平台103的输出设备输出信息。例如，车辆平台可以包括耦接到总线的(一个或多个)输出设备，该(一个或多个)输出设备可以包括被配置为向用户或其它设备输出或显示信息的任何设备，诸如但不限于用于显示通知、导航信息、多媒体信息、设置等的触摸屏，用于递送声音信息的音频再现设备(例如，扬声器)，用于向用户呈现文本或图形信息的显示器/监视器等。输出信息可以是可以由驾驶员和/或乘客或其它设备理解的文本、图形、触觉、音频、视频和其它信息，或者可以是可以由车辆平台103和/或其它计算设备的操作系统读取的数据、逻辑、程序。(一个或多个)输出设备可以直接地或通过中间控制器耦接到车辆平台103的其它部件。在一些实施方式中，(一个或多个)输出设备221的集合可以被包括在控制面板中或形成控制面板，人可以与该控制面板交互以调整车辆平台103的设置和/或控制(例如，驾驶员控制、信息娱乐控制、导航控制、安全控制等)。
在一些实施例中，在车辆平台103(诸如上述示例中的第一或第二车辆平台)上操作的导航应用可以呈现动态信息，该动态信息示出交通状况中涉及的(一个或多个)对象和/或交通状况的动态状态的改变。这是有利的，因为交通状况常常是动态的和/或半动态的/静态的，并且可能随时间(几分钟、几小时、几天等)而变化。另外，由于本文讨论的因素，形成交通状况的各种对象从不同的角度和距离可以看起来不同，并且由多视角观察应用120进行的处理可以考虑到这一点，因为给定地理区域的多个视角可以被捕获和处理，以可靠地确定该区域中对象的类型和身份。这些确定然后可以被用于将区域分类为交通状况或场景，并用于产生与该区域中或接近该区域的车辆平台103相关的输出。此外，所有前述输出以及地理位置数据可以存储在动态映射数据数据库中，反映其中数据可用的任何区域(实际上可以是车辆平台103行驶的任何道路)的动态地图。观察结果的时间戳数据还可以被存储，从而交通状况和对交通状况的改变可以实时或近实时地(例如，由于延迟、数据滞后等)被监视、预测和检测，并且被用于生成可以向车辆平台103的用户显示的导航路线、路线建议、警报和其它信息。
在一些实施例中，由多视角观察应用120执行的功能可以用于动态地定位地理地图上的对象。图3是用于在地理地图上动态定位对象的示例方法300的流程图。在方框302中，车辆平台103的图像传感器113可以捕获道路场景的图像。在方框304中，检测器202可以检测捕获的图像中的一个或多个对象。如图3中所描绘的，可以在多个单独的车辆平台103中执行图像捕获和对象检测。
在方框306中，关联器204可以关联由多个车辆平台103从不同视角捕获的图像。例如，关联器204可以确定在捕获的图像中检测到的对象之间的相似度并且基于对象相似度来关联捕获的图像。在一些实施例中，彼此关联的图像可以包括(一个或多个)相同的检测到的对象。在方框308中，定位器206可以定位检测到的对象。例如，定位器206可以对包括相同的检测到的对象的相关联图像应用视觉处理，以计算检测到的对象的地理位置(例如，GPS坐标)。在方框310中，映射器208可以基于检测到的对象的确定的位置在地理地图上投射检测到的对象。例如，可以使用检测到的对象的地理位置坐标将检测到的对象定位在地理地图上。由于检测到的对象的位置随时间改变，因此映射器208还可以更新地理地图。
图4A是用于学习包括在多个图像中包括的检测到的对象的紧凑表示并且关联从多个车辆接收的多个图像的示例方法400的流程图。在方框402中，在车辆平台103沿着道路行驶时，车辆平台103的图像传感器113可以捕获道路场景的图像。在一些实施例中，可以以预定义的速率/间隔(例如，每5秒、每10秒、每30秒等)捕获这些道路场景图像。在方框404中，检测器202可以检测捕获的图像中的一个或多个对象。例如，检测器202可以(例如，使用视觉算法)对捕获的图像执行对象识别，以检测道路场景中存在的一个或多个对象。在方框406中，特征提取器250可以提取检测到的对象的特征。例如，特征提取器250可以处理捕获的图像，以确定描述图像中的每个检测到的对象的一个或多个模态特征。
图8是用于提取描述检测到的对象的模态特征的示例方法800的流程图。在方框802中，特征提取器250可以处理图像数据，以确定检测到的对象的一个或多个纹理特征。在一些实施例中，纹理特征可以描述检测到的对象的各个部分(例如，引擎盖、车轮、保险杠等)的纹理(texture)(例如，几何形状、结构、纹理图案等)。不同部分的纹理可以在不同的尺度。在方框804中，特征提取器250可以确定检测到的对象的一个或多个颜色特征。例如，特征提取器250可以确定在路边的停着的汽车是黑色的、穿过道路的行人穿着蓝色的衣服并且拿着粉红色的伞等。
在方框806中，特征提取器250可以确定检测到的对象的一个或多个情境特征。在一些实施例中，情境特征可以描述检测到的对象周围的背景环境。在一些实施例中，对于指示图像中检测到的对象的每个第一边界框，特征提取器250可以处理第一边界框周围的第二边界框内的图像区域，以确定与检测到的对象相关联的背景情境。在一些实施例中，第二边界框可以具有预定的形状和尺寸。例如，如图8中所描绘的，对于图像中由边界框810指示的检测到的车辆，特征提取器250可以处理边界框812中的图像区域。在这个示例中，边界框812可以具有与边界框810相同的矩形形状并且覆盖在边界框810周围的20％的附加图像区域。特征提取器250可以处理边界框812中的图像数据并确定检测到的车辆正平行于斑马线人行道行驶，从而确定检测到的车辆正在驾驶通过十字路口。
尤其是当捕获的图像包括具有相同的外观的对象时，情境特征在相似度处理中是有用的。作为示例，第一图像可以包括具有与在第二图像中的第二汽车相同的外观的第一汽车。与第一汽车相关联的情境特征可以指示第一汽车在道路上行驶，而与第二汽车相关联的情境特征可以指示第二汽车停在建筑物前面。因而，虽然第一汽车和第二汽车可能看起来完全相同，但是第一汽车和第二汽车可以被确定为不表示相同的对象，因为由情境特征指示的它们周围的环境是不同的。
在方框808中，特征提取器250可以确定检测到的对象的一个或多个视点特征。视点特征可以指示捕获包括检测到的对象的图像的视角。在一些实施例中，视点特征可以包括当捕获包括检测到的对象的图像时图像传感器113的传感器位置和传感器朝向，以及车辆平台103的移动方向。在一些实施例中，特征提取器250可以使用图像时间戳从车辆数据检索车辆平台103的移动方向。特征提取器250可以从车辆数据存储库121中的与图像相关联的图像数据中检索图像传感器113的传感器位置和传感器朝向。作为示例，特征提取器250可以确定在捕获包括检测到的对象的图像时，车辆平台103正在向北方向上移动，并且图像传感器113在车辆平台103的前侧提供，传感器朝向为275/360°。
使用视点特征在相似度处理中尤其有利。作为示例，第一图像可以包括类似于第二图像中的第二损坏卡车的第一损坏卡车。特征提取器250可以确定第一图像是由在向北方向上移动的第一车辆平台103的左侧上提供的图像传感器捕获的，而第二图像是由在向南方向上移动的第二车辆平台103的左侧上提供的图像传感器捕获的。因而，第一损坏卡车和第二损坏卡车可以被确定为表示相同的对象，因为由视点特征指示的它们被捕获的视角是兼容的。
返回参考图4，在方框408中，模态处理器252可以处理描述图像中检测到的对象的模态特征。在一些实施例中，模态处理器252可以规格化和连结(concatenate)模态特征，以生成检测到的对象的初始表示420。特别地，描述检测到的对象的模态特征可以被转换和/或重新组织，以符合预定义的标准。然后，模态处理器252可以将规格化的模态特征聚合成全面(comprehensively)描述检测到的对象的初始特征向量。在一些实施例中，检测到的对象的初始特征向量可以包括具有与检测到的对象相关联的(一个或多个)纹理特征、(一个或多个)颜色特征、(一个或多个)情境特征、(一个或多个)视点特征等的完整模态特征集合。因此，检测到的对象的初始特征向量可以具有与其中包括的大量模态特征对应的大的特征维度(并且因此具有大的数据大小)。
在方框410中，紧凑表示生成器254可以生成检测到的对象的紧凑表示。特别地，紧凑表示生成器254可以将检测到的对象的初始表示420映射到检测到的对象的紧凑表示422。例如，紧凑表示生成器254可以将表示检测到的对象的初始特征向量映射到表示检测到的对象的紧凑特征向量。在一些实施例中，与对应的初始特征向量相比，紧凑特征向量可以包括较少数量的模态特征(并且因此具有较低的特征维度和较小的数据大小)。
如图4A中所描绘的，可以在多个单独的车辆平台103中执行图像捕获、对象检测、特征提取、模态处理和紧凑表示生成，以生成从不同视角捕获的多个图像中的检测到的对象的紧凑表示422。如本文其它地方所讨论的，这些捕获的图像中的检测到的对象的紧凑表示422可以符合预定义的标准，因此可以具有相同的格式和特征维度。在一些实施例中，可以将捕获的图像中检测到的对象的紧凑表示422输入到相似度评分器256中。在方框412中，相似度评分器256可以计算相似度得分，该相似度得分反映不同的捕获的图像中的检测到的对象的紧凑表示422之间的相似度的水平。作为示例，相似度评分器256可以计算相似度得分，该相似度得分指示从第一视角捕获的第一图像中的第一对象的第一紧凑表示422a(例如，第一紧凑特征向量)与从第二视角捕获的第二图像中的第二对象的第n紧凑表示422n(例如，第n紧凑特征向量)之间的相似度的水平。
在一些实施例中，由紧凑表示生成器254执行的紧凑表示生成和由相似度评分器256执行的相似度得分计算可以用于处理对象相似度，并且可以被实现为表示学习模型。如本文其它地方所讨论的，可以训练模型以从检测到的对象的初始表示生成高效地表示检测到的对象的紧凑表示，并使用生成的紧凑表示确定检测到的对象的相似度。
在一些实施例中，经训练的模型可以被实现为车辆平台103中的软件、硬件、软件和硬件的组合等(例如，被安装、构建、被更新以被包括、存储在存储器中并被执行等)并且在实时驾驶期间被使用，以对于对象进行检测和分类、处理场景、与附近车辆平台103共享对象和/或场景信息、经由车辆平台103的输出设备提供驾驶员和乘客反馈、将数据发送到服务器101以便在跨形成交通生态系统的多个车辆共享的动态地图中存储，用于经由包括在车辆平台中并由车辆平台执行的导航应用(例如，GPS或其它地理定位系统)进行的路线计算和导航指令提供等。在一些实施例中，可以执行由多个紧凑表示生成器254a...254n和相似度评分器256实施的(一个或多个)机器学习逻辑，以执行本文讨论的操作。
图5是用于处理检测到的对象之间的相似度的示例方法500的流程图。在方框502中，紧凑表示生成器254可以接收成对的输入。在一些实施例中，成对的输入可以包括多个图像中的检测到的对象的多个初始表示。检测到的对象的每个初始表示可以输入到一个紧凑表示生成器254中。例如，成对的输入可以包括第一图像中的第一对象的第一初始表示420a(例如，第一初始特征向量)和第二图像中的第二对象的第n初始表示420n(例如，第n初始特征向量)。可以将第一初始表示420a输入到紧凑表示生成器254a中，并且可以将第n初始表示420n输入到紧凑表示生成器254n中。如本文其它地方所讨论的，利用两个对应的完整模态特征集合，第一初始表示420a可以全面地描述第一对象，并且第n初始表示420n可以全面地描述第二对象。但是，并非所有这些模态特征对于确定第一图像中的第一对象和第二图像中的第二对象是否实际上相同都是有用的。因此，可以训练由紧凑表示生成器254和相似度评分器256实现的模型，以识别哪些模态特征对于处理特定场景中的对象相似度是关键的，哪些模态特征是不重要的并且因此可以被忽视而不影响对象相似度处理的准确性。因而，紧凑表示生成器254可以在将初始特征向量420映射到紧凑特征向量422时过滤掉那些不重要的模态特征，从而显著减少高效地和有区别地表示检测到的对象所需的数据量。
在方框504a中，紧凑表示生成器254a可以从第一对象的第一初始表示420a生成第一图像中的第一对象的第一紧凑表示422a。在方框504n中，紧凑表示生成器254n可以从第二对象的第n初始表示420n生成第二图像中的第二对象的第n紧凑表示422n。在方框506中，相似度评分器256可以计算第一图像中的第一对象与第二图像中的第二对象之间的相似度水平。特别地，相似度评分器256可以计算第一图像中的第一对象的第一紧凑表示422a与第二图像中的第二对象的第n紧凑表示422n之间的相似度得分。在一些实施例中，在模型的训练过程期间，相似度评分器256还可以计算相似度得分与预定目标输出之间的反馈差异。在方框508中，相似度评分器256可以将反馈差异提供给紧凑表示生成器254a...254n，以训练模型。
在一些实施例中，在模型的部署过程期间(例如，一旦表示学习模型的训练过程完成)，在方框510中，多视角观察应用120的其它部件可以基于第一图像中的第一对象与第二图像中的第二对象之间的相似度水平来执行逻辑。例如，可以使用相似度水平来确定第一图像中的第一对象和第二图像中的第二对象是否表示相同的对象。如果第一图像中的第一对象和第二图像中的第二对象实际上是相同的对象，那么第一图像和第二图像可以彼此相关联并且可以被组合使用以分析相关的道路场景。
在一些实施例中，可以随时间连续地训练模型。在这些实施例中，甚至在模型的部署过程期间，相似度评分器256仍然可以计算反馈差异并将反馈差异反向传播到紧凑表示生成器254a...254n以继续训练模型。这种实施方式是特别有利的，因为当车辆平台103沿着道路行驶时，该实施方式利用车辆平台103遇到的道路场景的附加图像不断改进模型。因此，可以进一步精炼模型的参数(例如，用于生成检测到的对象的紧凑表示的映射参数、用于处理对象相似度的评分参数等)以获得更好的性能。
图6是用于处理检测到的对象之间的相似度的另一个示例方法600的流程图。如所描绘的，从第一视角捕获的第一图像中的第一对象的第一初始表示420a被输入到紧凑表示生成器254a中。从第二视角捕获的第二图像中的第二对象的第n初始表示420n被输入到紧凑表示生成器254n中。在一些实施例中，第一初始表示420a可以是描述第一图像中的第一对象并且包括第一数量的模态特征的第一初始特征向量420a。第n初始表示420n可以是描述第二图像中的第二对象并且包括第二数量的模态特征的第n初始特征向量420n。
在方框504a中，紧凑表示生成器254a可以将第一图像中的第一对象的第一初始表示420a映射到第一图像中的第一对象的第一紧凑表示422a。特别地，紧凑表示生成器254a可以将第一对象的第一初始特征向量420a映射到第一对象的第一紧凑特征向量422a。在一些实施例中，紧凑表示生成器254a可以从包括在第一对象的第一初始特征向量420a中的第一数量的模态特征中滤除一个或多个模态特征，从而将来自具有特征维度＝第一数量的模态特征的输入向量空间的第一初始特征向量420a投射到具有较低特征维度的潜在(latent)向量空间。类似地，紧凑表示生成器254n可以将第二对象的第n初始表示420n映射到第二对象的第n紧凑表示422n。特别地，紧凑表示生成器254n可以从包括在第二对象的第n初始特征向量420n中的第二数量的模态特征中滤除一个或多个模态特征，从而将来自具有特征维度＝第二数量的模态特征的输入向量空间的第n初始特征向量420n投射到具有较低特征维度的潜在向量空间。如本文其它地方所讨论的，在一些实施例中，第一对象的第一初始特征向量420a和第二对象的第n初始特征向量420n可以具有相同的格式和特征维度。因此，包括在第一对象的第一初始特征向量420a中的模态特征的第一数量可以等于包括在第二对象的第n初始特征向量420n中的模态特征的第二数量。
在一些实施例中，紧凑表示生成器254a的参数可以与紧凑表示生成器254n的参数相同。在这些实施例中，每个紧凑表示生成器254a...254n可以以相同的映射参数操作，因此，可以以相同的方式将每个输入初始特征向量420变换为对应的紧凑特征向量422。因此，第一初始特征向量420a可以以与第n初始特征向量420n变换为第二对象的第n紧凑特征向量422n相同的方式变换为第一对象的第一紧凑特征向量422a。在一些实施例中，紧凑表示生成器254a...254n和相似度评分器256可以以包括n个子网的神经网络的形式实现模型。紧凑表示生成器254a可以实现神经网络的第一子网。紧凑表示生成器254n可以实现神经网络的第n子网。神经网络的n个子网可以彼此相同。
在一些实施例中，每个紧凑表示生成器254可以包括一个或多个特征向量处理单元602。在一些实施例中，每个特征向量处理单元602可以滤除与来自输入特征向量的一个或多个模态特征对应的一个或多个向量元素，以生成输出特征向量。例如，特征向量处理单元602可以通过滤除与一个或多个模态特征对应的250个向量元素而将具有向量长度1000的输入特征向量映射到具有向量长度750的输出特征向量。当多个特征向量处理单元602被应用于第一初始特征向量420a时，包括第一初始特征向量420a的第一数量的模态特征可以被连续减少，以获得第一对象的第一紧凑特征向量422a。类似地，当多个特征向量处理单元602被应用于第n初始特征向量420n时，包括第n初始特征向量420n的第二数量的模态特征可以被连续减少，以获得第二对象的第n紧凑特征向量422n。
图7示出了特征向量处理单元602的结构图700。如所描绘的，特征向量处理单元602可以包括维度降低层706和用于将输入特征向量702映射到输出特征向量704的非线性映射层708。返回参考图6，在方框604中，维度降低层706可以减少输入特征向量702中的特征的数量。特别地，维度降低层706可以聚合输入特征向量702的所有向量元素，并将输入特征向量702从输入向量空间映射到具有较低维度的向量空间。如本文其它地方所讨论的，在一些实施例中，包括特征向量处理单元602的紧凑表示生成器254可以实现神经网络的子网。在这些实施例中，维度降低层706和非线性映射层708可以包括多个神经元。包括在维度降低层706中的神经元的数量可以显著低于输入特征向量702的向量长度(例如，800个神经元相对于1200个向量元素)以执行维度降低映射。
在一些实施例中，维度降低层706可以对输入特征向量702中包括的线性向量元素执行维度降低映射。然后可以将维度降低层706的输出输入到非线性映射层708中。在方框606中，非线性映射层708可以对输入特征向量702中包括的非线性向量元素执行维度降低映射。因此，维度降低层706和非线性映射层708组合起来可以将输入特征向量702映射到输出特征向量704，输出特征向量704具有比输入特征向量702更低的特征维度(例如，更小的向量长度)。在一些实施例中，维度降低层706和非线性映射层708可以结合到能够映射包括在输入特征向量702中的线性向量元素和非线性向量元素的一个层中。
在一些实施例中，维度降低层706和非线性映射层708可以使用映射参数来执行维度降低映射。在一些实施例中，映射参数可以指示各种模态特征在有区别地表示检测到的对象时的决定性权重。在一些实施例中，维度降低层706和非线性映射层708可以确定具有满足预定的决定性阈值(例如，小于20％)的决定性权重的模态特征并从输入特征向量702滤除与这些模态特征对应的向量元素以生成输出特征向量704。在一些实施例中，维度降低层706和非线性映射层708可以确定具有最低决定性权重的预定数量的模态特征(例如，200个模态特征)并且从输入特征向量702中滤除与这些模态特征对应的向量元素，以生成输出特征向量704。
如本文其它地方所讨论的，当第一初始特征向量420a经过紧凑表示生成器254a的多个特征向量处理单元602处理时，第一初始特征向量420a可以被映射到第一对象的第一紧凑特征向量422a。当第n初始特征向量420n经过紧凑表示生成器254n的多个特征向量处理单元602处理时，第n初始特征向量420n可以被映射到第二对象的第n紧凑特征向量422n。在方框608中，相似度评分器256可以执行回归，以计算第一图像中的第一对象的第一紧凑表示422a与第二图像中的第二对象的第n紧凑表示422n之间的相似度得分。特别地，相似度评分器256可以计算第一对象的第一紧凑特征向量422a与第二对象的第n紧凑特征向量422n之间的相似度得分。例如，相似度评分器256可以计算出指示第一对象的第一紧凑特征向量422a与第二对象的第n紧凑特征向量422n之间的相似度水平的相似度得分为70％。
在方框610中，鉴别器258可以基于相似度得分确定第一图像中的第一对象和第二图像中的第二对象是否描述相同的对象。例如，鉴别器258可以确定第一对象的第一紧凑特征向量422a与第二对象的第n紧凑特征向量422n之间的相似度得分(例如，70％)满足预定得分阈值(例如，大于50％)。因此，鉴别器258可以确定第一图像中的第一对象和第二图像中的第二对象表示相同的对象。
在一些实施例中，相似度评分器256还可以计算相似度得分与预定目标输出之间的反馈差异。在以上示例中，假设预定目标输出＝“1”，这指示第一图像中的第一对象和第二图像中的第二对象实际上是相同的(实际相似度水平＝100％)。在这个示例中，使用第一对象的第一紧凑特征向量422a和第二对象的第n紧凑特征向量422n计算出的相似度得分＝70％。相似度评分器256可以将相似度得分与预定目标输出进行比较，因此将相似度得分与预定目标输出之间的反馈差异确定为30％。在一些实施例中，相似度评分器256可以将相似度得分与预定目标输出之间的反馈差异提供给紧凑表示生成器254a...254n，以用于训练模型。
在一些实施例中，紧凑表示生成器254可以基于相似度得分与预定目标输出的比较将第一对象和第二对象的模态特征的子集识别为比第一对象和第二对象的其它模态特征更有决定性。特别地，紧凑表示生成器254a...254n可以接收来自相似度评分器256的相似度得分与预定目标输出之间的反馈差异。基于反馈差异，紧凑表示生成器254a...254n可以识别出来自第一对象的第一初始表示420a、...、第二对象的第n初始特征向量420n的模态特征的子集比来自第一对象的第一初始表示420a、...、第二对象的第n初始特征向量420n的其它模态特征更有决定性。在一些实施例中，反馈差异可以被反向传播到一个或多个紧凑表示生成器254。在一些实施例中，使用由紧凑表示生成器254a生成的第一紧凑特征向量422a和由紧凑表示生成器254n生成的第n紧凑特征向量422n计算的反馈差异可以用于训练其它紧凑表示生成器254。
在以上示例中，假设第一图像中的第一对象和第二图像中的第二对象表示停在路边阴影中的同一汽车。在这个示例中，由于阴影，在第一图像和第二图像中没有清楚地描绘出车辆部件的纹理和汽车的颜色。如上面所讨论的，第一对象的第一紧凑特征向量422a与第二对象的第n紧凑特征向量422n之间的相似度得分是70％，而不是如预定目标输出所指示的100％。由于相似度得分与预定目标输出之间的反馈差异为30％，因此，如果检测到的对象的初始特征表示包括在这些特定范围内的特征值的纹理特征和颜色特征，则紧凑表示生成器254可以确定其它模态特征(例如，情境特征、视点特征等)可以比纹理特征和颜色特征更有决定性(因此，在表示检测到的对象时更高效并且更可区分)。
在一些实施例中，紧凑表示生成器254a...254n可以基于识别出的模态特征的子集来调整它们的参数(例如，映射参数)以训练模型。在一些实施例中，不同紧凑表示生成器254a...254n的映射参数可以以相同的方式被调整，并且因此具有相同的参数值。在以上示例中，紧凑表示生成器254a...254n可以调整映射参数以减小纹理特征和颜色特征的决定性权重，并增加在检测到的对象的初始特征向量中的其它模态特征(例如，情境特征、视点特征等)的决定性权重。因此，当紧凑表示生成器254处理类似的初始特征向量420(例如，具有具有大致相同特征值的纹理特征和/或颜色特征的初始特征向量420)时，纹理特征和/或颜色特征有可能从初始特征向量420中滤除，以生成检测到的对象的对应紧凑特征向量422。
上述实施方式尤其是在车辆情境中对于处理对象相似度是有利的。由于由紧凑表示生成器254实现的模型经过利用多个图像的多个训练周期，因此紧凑表示生成器254可以进行学习，以便在紧凑特征向量422中仅包括在表示每个特定场景中检测到的对象时具有区别性的模态特征，并且因此对于确定对象相似度的目标最有用。这种实现还是有利的，因为紧凑特征向量422中包括的模态特征是从包括在初始特征向量420中的完整模态特征集合中选择性地确定的。因此，考虑了所有潜在的模态特征，但是仅保留决定性的模态特征，以形成紧凑特征向量422。因此，表示检测到的对象所需的数据量可以从初始特征向量420的数据大小(例如，大约30kB)显著减小到紧凑特征向量422的数据大小(例如，小于100字节)而不影响对象相似度确定的准确性。由于99％以上的数据量被减少，紧凑特征向量422可以通过车辆网络被高效地发送。
在一些实施例中，模型的训练过程还可以包括相似度评分器256进行学习以生成准确的相似度得分。在一些实施例中，相似度评分器256可以基于相似度得分与预定目标输出之间的反馈差异来调整其参数(例如，评分参数)。在一些实施例中，评分参数可以指示在计算第一对象的第一紧凑特征向量422a与第二对象的第n紧凑特征向量422n之间的相似度得分时各种模态特征的评分权重。例如，相似度评分器256可以略微增加情境特征的评分权重，同时保持视点特征的评分权重不变，以确定使反馈差异最小化的每个模态特征的最佳评分权重。
在一些实施例中，紧凑表示生成器254和/或相似度评分器256可以确定它们实现的表示学习模型的参数(例如，映射参数、评分参数等)是否被充分调整。在一些实施例中，相似度评分器256可以确定相似度得分与预定目标输出之间的反馈差异是否满足预定差异阈值。响应于确定相似度得分与预定目标输出之间的反馈差异满足预定差异阈值，相似度评分器256可以确定模型的参数被充分调整。在一些实施例中，紧凑表示生成器254可以确定紧凑表示生成器254的映射参数被调整的次数(例如，被执行的训练周期的数量)。然后，紧凑表示生成器254可以确定紧凑表示生成器254的映射参数被调整的次数是否满足预定数量阈值(例如，是否达到所需的最大训练周期数)。响应于确定紧凑表示生成器254的映射参数被调整的次数满足预定次数阈值，紧凑表示生成器254可以确定模型的参数被充分调整。
在一些实施例中，当模型的参数被充分调整时，模型的训练过程完成。该模型被认为是收敛的并且准备好用于利用经调整的参数集(例如，映射参数、评分参数等)进行部署过程。在一些实施例中，由紧凑表示生成器254a...254n和相似度评分器256实现的模型可以以分布式方式部署。特别地，如本文其它地方所讨论的，每个紧凑表示生成器254a...254n可以用相同的映射参数操作并且可以彼此相同。因此，响应于确定模型的参数被充分调整，每个紧凑表示生成器254可以被分布到一个车辆平台103以供实现。例如，紧凑表示生成器254a可以在第一车辆平台103a中实现，......紧凑表示生成器254n可以在第n车辆平台103n中实现。在一些实施例中，相似度评分器256可以在计算服务器(例如，服务器101)中或在系统100的任何其它计算实体中实现。模型的其它可分布实现和集中式实现也是可能的和预期的。
返回参考图4A，在方框414中，鉴别器258可以基于相似度得分确定第一图像中的第一对象和第二图像中的第二对象是否描述相同的对象。在一些实施例中，鉴别器258可以确定第一对象的第一紧凑表示422a与第二对象的第n紧凑表示422n之间的相似度得分是否满足预定得分阈值(例如，大于50％)。响应于确定第一对象的第一紧凑表示422a与第二对象的第n紧凑表示422n之间的相似度得分满足预定得分阈值，鉴别器258可以确定第一图像中的第一对象和第二图像中的第二对象表示相同的对象。在方框416中，关联处理器260可以基于鉴别结果来关联第一图像和第二图像。特别地，如果鉴别器258确定第一图像中的第一对象和第二图像中的第二对象表示相同的对象，那么关联处理器260可以将第一图像与第二图像相关联。因此，可以组合使用第一图像和第二图像来分析在第一图像和第二图像中捕获的相关道路场景。如果鉴别器258确定第一图像中的第一对象和第二图像中的第二对象不表示相同的对象，那么关联处理器260可以不将第一图像与第二图像相关联。
图4B是用于捕获的图像中的检测到的对象的紧凑表示的可分布学习以及关联来自多个车辆的多个捕获的图像的示例方法450的流程图。如图4A和图4B中所描绘的，在一些实施例中，用于生成捕获的图像中的检测到的对象的紧凑表示422的多视角观察应用120的部件可以在车辆平台103中实现，而用于处理对象相似度以及关联捕获的图像的多视角观察应用120可以在部署过程期间在服务器101中实现。
特别地，如果多视角观察应用120包括在车辆平台103中，那么检测器202、特征提取器250、模态处理器252和紧凑表示生成器254可以被启用，同时可以禁用相似度评分器256、鉴别器258和关联处理器260。在一些实施例中，检测器202、特征提取器250、模态处理器252和紧凑表示生成器254可以被配置为检测捕获的图像中的对象、提取检测到的对象的模态特征、处理模态特征以生成检测到的对象的初始表示420，并从检测到的对象的相应初始表示420生成检测到的对象的紧凑表示422。如果多视角观察应用120包括在服务器101中，那么可以启用相似度评分器256、鉴别器258和关联处理器260，同时可以禁用检测器202、特征提取器250、模态处理器252和紧凑表示生成器254。在一些实施例中，相似度评分器256、鉴别器258和关联处理器260可以被配置为使用检测到的对象的紧凑表示422来计算相似度得分、确定检测到的对象是否表示相同的对象，并相应地关联包括检测到的对象的所捕获的图像。
如图4A和图4B中所描绘的，在一些实施例中，第一车辆平台103a可以捕获包括第一对象的第一图像。如上面所讨论的，第一车辆平台103a可以包括多视角观察应用120，多视角观察应用120具有被训练以生成检测到的对象的紧凑表示的紧凑表示生成器254a。在方框410a中，紧凑表示生成器254a可以生成第一图像中的第一对象的第一紧凑表示422a。在一些实施例中，第一对象的第一紧凑表示422a可以经由车辆网络(例如，网络105)发送到服务器101。类似地，第n车辆平台103n可以捕获包括第二对象的第二图像。如上面所讨论的，第n车辆平台103n可以包括多视角观察应用120，多视角观察应用120具有被训练以生成检测到的对象的紧凑表示的紧凑表示生成器254n。在第n车辆平台103n中实现的紧凑表示生成器254n可以与在第一车辆平台103a中实现的紧凑表示生成器254a相同，因此可以以相同的方式生成检测到的对象的紧凑表示。在方框410n中，紧凑表示生成器254n可以生成第二图像中的第二对象的第n紧凑表示422n。在一些实施例中，第二对象的第n紧凑表示422n可以经由车辆网络(例如，网络105)发送到服务器101。
在一些实施例中，第一对象的第一紧凑表示422a和第二对象的第n紧凑表示422n可以在包括第一对象的第一图像和包括第二对象的第二图像被捕获时被实时地生成和发送。在一些实施例中，服务器101可以经由车辆网络(例如，网络105)从第一车辆平台103a接收第一对象的第一紧凑表示422a并且从第n车辆平台103n接收第二对象的第n紧凑表示422n。包括在服务器101中的多视角观察应用120可以使用从第一车辆平台103a接收的第一对象的第一紧凑表示422a和从第n车辆平台103n接收的第二对象的第n紧凑表示422n来执行对象相似度处理和图像关联。特别地，在方框412中，相似度评分器256可以计算第一对象的第一紧凑表示422a与第二对象的第n紧凑表示422n之间的相似度得分。在方框414中，鉴别器258可以基于相似度得分确定第一图像中的第一对象和第二图像中的第二对象是否是同一对象。在方框416中，关联处理器260可以基于鉴别结果将第一图像与第二图像相关联。例如，如果鉴别器258确定第一图像中的第一对象和第二图像中的第二对象是同一对象，那么关联处理器260可以将第一图像与第二图像相关联。在一些实施例中，可以实时地执行这种图像关联。
在一些实施例中，由第一车辆平台103a捕获的第一图像可以包括多个第一对象，并且由第n车辆平台103n捕获的第二图像可以包括多个第二对象。在这些实施例中，第一图像中的一个或多个第一对象可以与第二图像中的一个或多个第二对象匹配，使得这些匹配对的总相似度得分最大化。特别地，相似度评分器256可以计算第一图像中的每个第一对象与第二图像中的每个第二对象之间的相似度得分。可以滤除具有不满足预定得分阈值(例如，大于50％)的相似度得分的(第一对象、第二对象)对。然后，鉴别器258可以将第一图像中的每个第一对象与第二图像中与第一对象具有最高相似度得分的第二对象进行匹配。如果第一图像中的任何两个第一对象与第二图像中的同一个第二对象匹配，那么这两个第一对象中的一个可以与第二图像中的另一个第二对象匹配，使得对应的匹配对的总相似度得分最大化。
作为示例，由第一车辆平台103a从第一视角捕获的第一图像可以包括3个第一对象(例如，汽车A1、汽车A2和施工车辆A3)。由第n车辆平台103n从第二视角捕获的第二图像可以包括4个第二对象(例如，汽车B1、汽车B2、施工车辆B3和行人B4)。在这个示例中，第一图像中的汽车A1可以与第二图像中的汽车B1具有最高的相似度得分(例如，(汽车A1，汽车B1)的相似度得分＝70％)并且与第二图像中的汽车B2具有第二高的相似度得分(例如，(汽车A1，汽车B2)的相似度得分＝63％)。第一图像中的汽车A2可以与第二图像中的汽车B1具有最高的相似度得分(例如，(汽车A2，汽车B1)的相似度得分＝85％)并且与第二图像中的汽车B2具有第二高的相似度得分(例如，(汽车A2，汽车B2)的相似度得分＝65％)。在这个示例中，鉴别器258可以确定2个匹配对(汽车A1，汽车B2)和(汽车A2，汽车B1)的总相似度得分＝148％，而2个匹配对(汽车A1，汽车B1)和(汽车A2，汽车B2)的总相似度得分＝135％。因此，鉴别器258可以将第一图像中的汽车A1与第二图像中的汽车B2匹配，并且将第一图像中的汽车A2与第二图像中的汽车B1匹配，因为这个组合生成最大的总相似度得分。
图9A示出了路段900上的事故场景的交通状况。如所描绘的，位于路段900中的车辆平台103可以使用他们的图像传感器113捕获道路场景的图像。图像传感器113可以在车辆平台103上的不同位置(例如，在前侧、后侧、右侧和/或左侧)被提供并且可以在它们对应的传感器范围902内捕获道路场景的图像。由于车辆平台103位于相同路段900中，所以由它们的图像传感器捕获的图像可能包括道路场景中存在的但是从不同视角捕获的相同对象。例如，如图所示，由车辆平台103a...103n捕获的图像可以全部包括从不同视角观察到的被撞坏车辆910。
图9B是用于关联来自位于路段中的多个车辆平台的观察结果的示例方法950的流程图。在一些实施例中，多视角观察应用120可以从多个车辆平台103接收捕获的图像。例如，多视角观察应用120可以从车辆平台103a...103n接收路段900的图像904。如图9A中所描绘的，可从不同视角捕获图像904。在方框952中，多视角观察应用120可以处理捕获的图像的相似度。在方框954中，多视角观察应用120可以确定捕获的图像中的检测到的对象是否相同。如本文其它地方所讨论的，多视角观察应用120可以生成捕获的图像中的检测到的对象的紧凑特征表示，并且使用这些紧凑特征表示来确定不同的捕获的图像中的检测到的对象是否表示相同的对象。在以上示例中，多视角观察应用120可以生成在由车辆平台103a...103n捕获的图像904中包括的被撞坏车辆的紧凑特征表示。多视角观察应用120可以计算图像904中描绘的被撞坏车辆的紧凑特征表示之间的相似度得分。因此，多视角观察应用120可以确定图像904中描绘的被撞坏车辆实际描述了同一个被撞坏车辆910。
在方框956中，多视角观察应用120可以基于检测到的对象的相同性来实现一个或多个动作。在以上示例中，由于由车辆平台103a...103n捕获的图像904包括同一个被撞坏车辆910，因此图像904可以彼此相关联并且可以被组合处理，以获得对交通状况的全面理解。例如，可以对图像904进行视觉处理，以确定被撞坏车辆910的准确位置(例如，GPS坐标)、生成事故场景的3D模型、随时间监视事故场景的覆盖区域等。其它动作是可能的和预期的。
在以上描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。但是，应当理解的是，可以在没有这些具体细节的情况下实践本文描述的技术。另外，各种系统、设备和结构以框图形式示出，以避免使本描述模糊。例如，各种实现被描述为具有特定的硬件、软件和用户接口。但是，本公开适用于可以接收数据和命令的任何类型的计算设备，以及提供服务的任何外围设备。
在一些情况下，本文可以在对计算机存储器内的数据位的操作的算法和符号表示方面来呈现各种实施方式。在这里并且一般而言，算法被认为是导致期望结果的自洽(self-consistent)操作集。操作是需要对物理量进行物理操纵的操作。通常地，虽然不是必须地，这些量采取能够被存储、传送、组合、比较和以其它方式操纵的电信号或磁信号的形式。有时，主要出于通用的原因，已经证明将这些信号称为位、值、元素、符号、字符、项、数字等是方便的。
但是，应当记住的是，所有这些术语和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非以其它方式具体说明，否则如从以下讨论中明显的，应当认识到的是，贯穿本公开，利用包括“处理”、“计算”、“推算”、“确定”、“显示”等术语的讨论是指计算机系统或类似电子计算设备的、将计算机系统的寄存器和存储器内的物理(电子)量操纵和变换成类似地表示为计算机系统存储器或寄存器或者其它此类信息存储、传输或显示设备内的物理量的其它数据的动作和处理。
本文描述的各种实现可以涉及用于执行本文的操作的装置。该装置可以为所需目的专门构造，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可以存储在计算机可读存储介质中，计算机可读存储介质包括但不限于任何类型的盘，包括软盘、光盘、CD ROM和磁盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、包括具有非易失性存储器的USB密钥的闪存、或者适于存储电子指令的各自耦接到计算机系统总线的任何类型的介质。
本文描述的技术可以采用完全硬件实现、完全软件实现或包含硬件和软件元素两者的实现的形式。例如，该技术可以用软件实现，该软件包括但不限于固件、驻留软件、微代码等。此外，该技术可以采取可从计算机可用的或计算机可读的介质访问的计算机程序产品的形式，该计算机程序产品提供由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合使用的程序代码。为了本描述的目的，计算机可用的或计算机可读的介质可以是任何非瞬态存储装置，其可以包含、存储、传送、传播或运输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
适于存储和/或执行程序代码的数据处理系统可以包括直接地或通过系统总线间接地耦接到存储器元件的至少一个处理器。存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、大容量存储装置和高速缓冲存储器，高速缓冲存储器提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储装置检索代码的次数。输入/输出或I/O设备(包括但不限于键盘、显示器、定点设备等)可以直接地或通过中间I/O控制器耦接到系统。
网络适配器也可以耦接到系统，以使数据处理系统能够通过中间专用和/或公共网络耦接到其它数据处理系统、存储设备、远程打印机等。无线(例如，Wi-FiTM)收发器、以太网适配器和调制解调器仅是网络适配器的几个示例。专用和公共网络可以具有任何数量的配置和/或拓扑。可以使用各种不同的通信协议(包括例如各种互联网层、传输层或应用层协议)经由网络在这些设备之间发送数据。例如，可以使用传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、传输控制协议(TCP)、超文本传输协议(HTTP)、安全超文本传输协议(HTTPS)、HTTP上动态自适应流传输(DASH)、实时流传输协议(RTSP)、实时传输协议(RTP)和实时传输控制协议(RTCP)、互联网协议语音(VOIP)、文件传输协议(FTP)、WebSocket(WS)、无线接入协议(WAP)、各种消息传递协议(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)或其它已知协议经由网络发送数据。
最后，本文呈现的结构、算法和/或接口并不固有地与任何特定计算机或其它装置相关。根据本文的教导，各种通用系统可以与程序一起使用，或者可以证明构造更专用的装置以执行所需的方法块是方便的。从上面的描述中将看出各种这些系统所需的结构。此外，没有参考任何特定的编程语言描述本说明书。将认识到的是，可以使用各种编程语言来实现如本文描述的说明书的教导。
已经出于说明和描述的目的呈现了前面的描述。其并非旨在是详尽的或将说明书限制到所公开的精确形式。鉴于上述教导，许多修改和变型是可能的。意图是本公开的范围不由该具体实施方式限制，而是由本申请的权利要求书限制。如本领域技术人员将理解的，在不脱离本发明的精神或基本特点的情况下，本说明书可以以其它具体形式实施。同样，模块、例程、特征、属性、方法和其它方面的特定命名和划分不是强制性的或重要的，并且实现说明书或其特征的机制可以具有不同的名称、划分和/或格式。
此外，本公开的模块、例程、特征、属性、方法和其它方面可以被实现为软件、硬件、固件或前述的任意组合。而且，在说明书的部件(其示例是模块)被实现为软件的任何地方，该部件可以被实现为独立的程序、实现为较大程序的一部分、实现为多个单独的程序、实现为静态或动态链接库、实现为内核可加载模块、实现为设备驱动程序，和/或以现在或将来已知的每种和任何其它方式实现。此外，本公开绝不被限制于以任何特定编程语言实现或者针对任何特定操作系统或环境实现。

Claims (23)

1.一种方法，包括：
接收由交通状况附近的两个或更多个不同车辆平台的两个或更多个车辆平台传感器捕获的两个或更多个图像；
从所述两个或更多个图像中的第一图像中的第一多个对象提取第一多模态特征集合，所述第一图像与所述两个或更多个车辆平台中的第一车辆平台相关联；
从所述两个或更多个图像中的第二图像中的第二多个对象提取第二多模态特征集合，所述第二图像与所述两个或更多个车辆平台中的第二车辆平台相关联；
使用单独的机器学习逻辑处理第一多模态特征集合和第二多模态特征集合，以分别产生第一输出和第二输出；
使用第一输出和第二输出来生成量化第一多模态特征集合与第二多模态特征集合之间的差异的相似度得分；以及
使用所述相似度得分，关联由与第一车辆平台相关联的第一图像反映的交通状况的第一观察结果和由与第二车辆平台相关联的第二图像反映的交通状况的第二观察结果。
2.如权利要求1所述的方法，还包括：
规格化第一多模态特征集合；以及
规格化第二多模态特征集合，其中
组合第一多模态特征集合包括将规格化的第一多模态特征集合组合成第一多模态初始特征向量；以及
组合第二多模态特征集合包括将规格化的第二多模态特征集合组合成第二多模态初始特征向量。
3.如权利要求1所述的方法，还包括：
检测所述两个或更多个图像中的第一图像中的第一多个对象；以及
检测所述两个或更多个图像中的第二图像中的第二多个对象。
4.如权利要求1所述的方法，还包括：
确定来自第一图像的第一多个对象的第一对象集合与驾驶相关；以及
确定来自第二图像的第二多个对象的第二对象集合与驾驶相关。
5.如权利要求1所述的方法，还包括：
将第一多模态特征集合组合成第一多模态特征向量；以及
将第二多模态特征集合组合成第二多模态特征向量，其中处理第一多模态特征集合和第二多模态特征集合包括将第一多模态特征向量处理成第一紧凑特征向量并将第二多模态特征向量处理成第二紧凑特征向量。
6.如权利要求1所述的方法，其中：
第一多模态特征集合包括第一多个对象中的一个或多个对象的纹理特征、颜色特征、情境特征和视点特征；以及
第二多模态特征集合包括第二多个对象中的一个或多个对象的纹理特征、颜色特征、情境特征和视点特征。
7.如权利要求1所述的方法，其中预定目标输出指示第一图像中的第一对象和第二图像中的第二对象是否表示同一对象。
8.如权利要求1所述的方法，其中所述单独的机器学习逻辑包括第一机器学习逻辑和第二机器学习逻辑，第一机器学习逻辑是神经网络的第一子网并且第二机器学习逻辑是所述神经网络的第二子网。
9.如权利要求1所述的方法，还包括：
基于交通状况的第一观察结果和交通状况的第二观察结果的关联，经由第一车辆平台的输出设备输出信息。
10.如权利要求1所述的方法，还包括：
基于所述关联，更新反映与交通状况相关联的道路的动态状态的动态映射数据；
基于所述动态映射数据确定接近所述交通状况的另一个车辆的位置；以及
将通知数据发送到接近所述交通状况的该另一个车辆平台，以用于由所述另一个车辆平台的输出设备输出。
11.一种系统，包括：
第一车辆平台，包括：
第一传感器，具有指向第一车辆平台外部的外部环境的第一视角，第一传感器捕获反映包括在外部环境中的第一多个对象的第一传感器数据，以及
第一通信单元，用于从第二车辆平台接收第二传感器数据，第二传感器数据从第二视角反映包括在外部环境中的第二多个对象；
一个或多个计算设备，执行包括以下各项的操作：
从第一传感器数据中的第一多个对象提取第一多模态特征集合；
从第二传感器数据中的第二多个对象提取第二多模态特征集合；
使用单独的机器学习逻辑来处理第一多模态特征集合和第二多模态特征集合，以分别产生第一输出和第二输出；
使用第一输出和第二输出来生成量化第一多模态特征集合与第二多模态特征集合之间的差异的相似度得分；以及
使用所述相似度得分关联第一视角和第二视角。
12.如权利要求11所述的系统，还包括：
第二车辆平台，包括：
第二传感器，具有指向第二车辆平台外部的外部环境的第二视角，第二传感器捕获反映包括在外部环境中的第一多个对象的第二传感器数据，以及
第二通信单元，用于将来自第二车辆平台的第二传感器数据发送到第一车辆平台。
13.如权利要求11所述的系统，还包括：
由所述两个或更多个计算设备中的至少一个计算设备实施的硬件服务器，所述硬件服务器适于基于相似度得分来训练包括所述单独的机器学习逻辑的机器学习模型，其中机器学习模型的第一实例安装在第一车辆平台上并且机器学习模型的第二实例安装在第二车辆平台上。
14.一种系统，包括：
一个或多个处理器，包括逻辑，所述逻辑能执行以执行包括以下各项的操作：
接收由交通状况附近的两个或更多个不同车辆的两个或更多个车辆平台传感器捕获的两个或更多个图像；
从所述两个或更多个图像中的第一图像中的第一多个对象提取第一多模态特征集合，所述第一图像与所述两个或更多个车辆平台中的第一车辆平台相关联；
从所述两个或更多个图像中的第二图像中的第二多个对象提取第二多模态特征集合，所述第二图像与所述两个或更多个车辆平台中的第二车辆平台相关联；
使用单独的机器学习逻辑来处理第一多模态特征集合和第二多模态特征集合，以分别产生第一输出和第二输出；
使用第一输出和第二输出来生成量化第一多模态特征集合与第二多模态特征集合之间的差异的相似度得分；以及
使用所述相似度得分，关联由与第一车辆平台相关联的第一图像反映的交通状况的第一观察结果和由与第二车辆平台相关联的第二图像反映的交通状况的第二观察结果。
15.如权利要求14所述的系统，还包括：
规格化第一多模态特征集合；以及
规格化第二多模态特征集合，其中
组合第一多模态特征集合包括将规格化的第一多模态特征集合组合成第一多模态初始特征向量；以及
组合第二多模态特征集合包括将规格化的第二多模态特征集合组合成第二多模态初始特征向量。
16.如权利要求14所述的系统，还包括：
检测所述两个或更多个图像中的第一图像中的第一多个对象；以及
检测所述两个或更多个图像中的第二图像中的第二多个对象。
17.如权利要求16所述的系统，还包括：
确定来自第一图像的第一多个对象的第一对象集合与驾驶相关；以及
确定来自第二图像的第二多个对象的第二对象集合与驾驶相关。
18.如权利要求14所述的系统，还包括：
将第一多模态特征集合组合成第一多模态特征向量；以及
将第二多模态特征集合组合成第二多模态特征向量，其中处理第一多模态特征集合和第二多模态特征集合包括将第一多模态特征向量处理成第一紧凑特征向量以及将第二多模态特征向量处理成第二紧凑特征向量。
19.如权利要求14所述的系统，其中：
第一多模态特征集合包括第一多个对象中的一个或多个对象的纹理特征、颜色特征、情境特征和视点特征；以及
第二多模态特征集合包括第二多个对象中的一个或多个对象的纹理特征、颜色特征、情境特征和视点特征。
20.如权利要求14所述的系统，其中预定目标输出指示第一图像中的第一对象和第二图像中的第二对象是否表示同一对象。
21.如权利要求14所述的系统，其中所述单独的机器学习逻辑包括第一机器学习逻辑和第二机器学习逻辑，第一机器学习逻辑是神经网络的第一子网并且第二机器学习逻辑是所述神经网络的第二子网。
22.如权利要求14所述的系统，还包括：
基于交通状况的第一观察结果和交通状况的第二观察结果的关联，经由第一车辆平台的输出设备输出信息。
23.如权利要求14所述的系统，还包括：
基于所述关联，更新反映与交通状况相关联的道路的动态状态的动态映射数据；
基于所述动态映射数据确定接近所述交通状况的另一个车辆的位置；以及
将通知数据发送到接近所述交通状况的该另一个车辆平台，以用于由所述另一个车辆平台的输出设备输出。
CN201910025800.1A 2018-01-13 2019-01-11 多个连接的车辆的观察结果之间的关联和相似度学习 Pending CN110047275A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/870,874 2018-01-13
US15/870,874 US10916135B2 (en) 2018-01-13 2018-01-13 Similarity learning and association between observations of multiple connected vehicles

Publications (1)

Publication Number Publication Date
CN110047275A true CN110047275A (zh) 2019-07-23

Family

ID=65019360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910025800.1A Pending CN110047275A (zh) 2018-01-13 2019-01-11 多个连接的车辆的观察结果之间的关联和相似度学习

Country Status (4)

Country Link
US (1) US10916135B2 (zh)
EP (1) EP3518141A1 (zh)
JP (1) JP6642744B2 (zh)
CN (1) CN110047275A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461896A (zh) * 2020-02-28 2020-07-28 上海商汤智能科技有限公司 一种获取核保结果的方法及相关装置
CN112861570A (zh) * 2019-11-26 2021-05-28 斑马智行网络(香港)有限公司 检测方法、装置及路侧单元
CN113256985A (zh) * 2021-06-28 2021-08-13 智道网联科技(北京)有限公司 一种交通拥堵预测方法、装置和电子设备

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10574974B2 (en) * 2014-06-27 2020-02-25 A9.Com, Inc. 3-D model generation using multiple cameras
JP6814276B2 (ja) * 2016-03-17 2021-01-13 イメージア サイバーネティックス インコーポレイテッドＩｍａｇｉａ Ｃｙｂｅｒｎｅｔｉｃｓ Ｉｎｃ． 情報不足に対しての堅牢性を有するタスク処理用の方法及びシステム
CN107315717B (zh) * 2016-04-26 2020-11-03 中科寒武纪科技股份有限公司 一种用于执行向量四则运算的装置和方法
CN107315564B (zh) * 2016-04-26 2020-07-17 中科寒武纪科技股份有限公司 一种用于执行向量超越函数运算的装置和方法
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US10846593B2 (en) * 2018-04-27 2020-11-24 Qualcomm Technologies Inc. System and method for siamese instance search tracker with a recurrent neural network
DE102018206743A1 (de) * 2018-05-02 2019-11-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Egofahrzeugs mit wenigstens einem Umfeldsensor zum Erfassen eines Umfelds des Egofahrzeugs, Computer-lesbares Medium, System, und Fahrzeug
EP3624008A1 (en) * 2018-08-29 2020-03-18 Panasonic Intellectual Property Corporation of America Information processing method and information processing system
KR102608981B1 (ko) * 2018-10-24 2023-12-01 한국전자통신연구원 향 시각화 시스템 및 방법
US10867210B2 (en) * 2018-12-21 2020-12-15 Waymo Llc Neural networks for coarse- and fine-object classifications
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US10943154B2 (en) * 2019-01-22 2021-03-09 Honda Motor Co., Ltd. Systems for modeling uncertainty in multi-modal retrieval and methods thereof
EP3748539A1 (en) * 2019-06-03 2020-12-09 Robert Bosch GmbH Device and method of digital image content recognition, training of the same
US11447127B2 (en) * 2019-06-10 2022-09-20 Honda Motor Co., Ltd. Methods and apparatuses for operating a self-driving vehicle
US20220262142A1 (en) * 2019-08-14 2022-08-18 Intel Corporation Automatic generation of 3d bounding boxes from multi-camera 2d image data
US11347974B2 (en) * 2019-08-20 2022-05-31 Magna Electronics Inc. Automated system for determining performance of vehicular vision systems
US11221848B2 (en) * 2019-09-25 2022-01-11 Intel Corporation Sharing register file usage between fused processing resources
JP7205646B2 (ja) * 2019-11-14 2023-01-17 富士通株式会社 出力方法、出力プログラム、および出力装置
JP7238738B2 (ja) * 2019-11-19 2023-03-14 トヨタ自動車株式会社 画像処理システム、処理装置、中継装置及びプログラム
US11640675B2 (en) 2019-12-13 2023-05-02 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for interpreting traffic scenes
US11450021B2 (en) 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
SG10201913754XA (en) * 2019-12-30 2020-12-30 Sensetime Int Pte Ltd Image processing method and apparatus, electronic device, and storage medium
US11328170B2 (en) * 2020-02-19 2022-05-10 Toyota Research Institute, Inc. Unknown object identification for robotic device
JP7497188B2 (ja) 2020-03-27 2024-06-10 株式会社国際電気通信基礎技術研究所 校正装置、訓練装置、及びコンピュータ・プログラム
DE102020109997A1 (de) 2020-04-09 2021-10-14 Connaught Electronics Ltd. System und Verfahren, um zuverlässige gestitchte Bilder zu machen
JP7376416B2 (ja) * 2020-04-10 2023-11-08 日立Astemo株式会社 演算装置、演算方法
US11927967B2 (en) * 2020-08-31 2024-03-12 Woven By Toyota, U.S., Inc. Using machine learning models for generating human-like trajectories
CN117882118A (zh) * 2021-06-11 2024-04-12 华为技术有限公司 改进的反射表面上的对象检测
US11856453B2 (en) 2021-09-27 2023-12-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for context-based representation of sensor sharing messages

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830892A (ja) * 1994-07-12 1996-02-02 Hitachi Ltd 交通監視システム及び車番認識装置付き自動車
WO2011136276A1 (ja) * 2010-04-28 2011-11-03 公立大学法人大阪府立大学 三次元物体認識用画像データベースの作成方法および作成装置
EP2385508A2 (de) * 2010-04-24 2011-11-09 Audi AG Verfahren zum Überprüfen einer Kalibrierung eines Kraftfahrzeug-Umfeldsensors
CN102831385A (zh) * 2011-06-13 2012-12-19 索尼公司 多相机监控网络中的目标识别设备和方法
WO2013170882A1 (en) * 2012-05-15 2013-11-21 Telefonaktiebolaget L M Ericsson (Publ) Collaborative vehicle detection of objects with a predictive distribution
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
CN106778777A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种车辆匹配方法及系统
US9805276B2 (en) * 2016-03-31 2017-10-31 Toyota Jidosha Kabushiki Kaisha Generating real-time driver familiarity index for fine-grained dynamic road scenes

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4882289B2 (ja) 2005-06-21 2012-02-22 日産自動車株式会社 地図情報生成システム
DE602005017144D1 (de) 2005-08-18 2009-11-26 Honda Res Inst Europe Gmbh Fahrerassistenzsystem
JP2007122247A (ja) 2005-10-26 2007-05-17 Fujifilm Corp 自動ランドマーク情報作成方法及びシステム
JP2007206099A (ja) 2006-01-30 2007-08-16 Mobile Mapping Kk 地図作成支援システム
US8212812B2 (en) 2007-05-21 2012-07-03 Siemens Corporation Active shape model for vehicle modeling and re-identification
US8213706B2 (en) 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
WO2010044939A1 (en) 2008-10-17 2010-04-22 Honda Motor Co., Ltd. Structure and motion with stereo using lines
US8249361B1 (en) 2010-04-22 2012-08-21 Google Inc. Interdependent learning of template map and similarity metric for object identification
JP5258859B2 (ja) 2010-09-24 2013-08-07 株式会社豊田中央研究所 走路推定装置及びプログラム
US9300947B2 (en) 2011-03-24 2016-03-29 Kodak Alaris Inc. Producing 3D images from captured 2D video
WO2012140752A1 (ja) 2011-04-13 2012-10-18 トヨタ自動車株式会社 車載周辺物認識装置及びこれを用いる運転支援装置
US8442307B1 (en) 2011-05-04 2013-05-14 Google Inc. Appearance augmented 3-D point clouds for trajectory and camera localization
EP2669845A3 (en) 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
US8805091B1 (en) 2012-08-17 2014-08-12 Google Inc. Incremental image processing pipeline for matching multiple photos based on image overlap
US9148650B2 (en) 2012-09-17 2015-09-29 Nec Laboratories America, Inc. Real-time monocular visual odometry
US9141107B2 (en) 2013-04-10 2015-09-22 Google Inc. Mapping active and inactive construction zones for autonomous driving
CN105313782B (zh) 2014-07-28 2018-01-23 现代摩比斯株式会社 车辆行驶辅助系统及其方法
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
US9916508B2 (en) 2015-03-12 2018-03-13 Toyota Jidosha Kabushiki Kaisha Detecting roadway objects in real-time images
US9818239B2 (en) * 2015-08-20 2017-11-14 Zendrive, Inc. Method for smartphone-based accident detection
US11307042B2 (en) 2015-09-24 2022-04-19 Allstate Insurance Company Three-dimensional risk maps
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9911198B2 (en) 2015-12-17 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for matching moving targets between camera views
US20180018757A1 (en) 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
CN116484029A (zh) 2016-08-12 2023-07-25 派克赛斯有限责任公司 用于自动地生成用于媒体文档的元数据的系统和方法
US20180069937A1 (en) 2016-09-02 2018-03-08 VeriHelp, Inc. Event correlation and association using a graph database
US10445576B2 (en) 2016-09-23 2019-10-15 Cox Automotive, Inc. Automated vehicle recognition systems
US9979813B2 (en) 2016-10-04 2018-05-22 Allstate Solutions Private Limited Mobile device communication access and hands-free device activation
US11010615B2 (en) * 2016-11-14 2021-05-18 Lyft, Inc. Rendering a situational-awareness view in an autonomous-vehicle environment
US10254758B2 (en) 2017-01-18 2019-04-09 Ford Global Technologies, Llc Object tracking by unsupervised learning
KR102404791B1 (ko) * 2017-03-30 2022-06-02 삼성전자주식회사 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법
US11941516B2 (en) 2017-08-31 2024-03-26 Micron Technology, Inc. Cooperative learning neural networks and systems
US10725475B2 (en) * 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
US10175340B1 (en) 2018-04-27 2019-01-08 Lyft, Inc. Switching between object detection and data transfer with a vehicle radar

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830892A (ja) * 1994-07-12 1996-02-02 Hitachi Ltd 交通監視システム及び車番認識装置付き自動車
EP2385508A2 (de) * 2010-04-24 2011-11-09 Audi AG Verfahren zum Überprüfen einer Kalibrierung eines Kraftfahrzeug-Umfeldsensors
WO2011136276A1 (ja) * 2010-04-28 2011-11-03 公立大学法人大阪府立大学 三次元物体認識用画像データベースの作成方法および作成装置
CN102831385A (zh) * 2011-06-13 2012-12-19 索尼公司 多相机监控网络中的目标识别设备和方法
WO2013170882A1 (en) * 2012-05-15 2013-11-21 Telefonaktiebolaget L M Ericsson (Publ) Collaborative vehicle detection of objects with a predictive distribution
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
US9805276B2 (en) * 2016-03-31 2017-10-31 Toyota Jidosha Kabushiki Kaisha Generating real-time driver familiarity index for fine-grained dynamic road scenes
CN106778777A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种车辆匹配方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
梁燕: "基于聚类紧凑特征的大规模图像检索研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
葛铁铮: "图像搜索中的紧凑表达", 《中国优秀博士学位论文全文数据库，信息科技辑》 *
马慧斌: "《基于机器学习的乳腺图像辅助诊断算法研究》", 31 August 2016, 湖南师范大学出版社 *
龙海霞 等: "一种低冗余Dense SIFT特征提取方法", 《测控技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861570A (zh) * 2019-11-26 2021-05-28 斑马智行网络(香港)有限公司 检测方法、装置及路侧单元
CN111461896A (zh) * 2020-02-28 2020-07-28 上海商汤智能科技有限公司 一种获取核保结果的方法及相关装置
CN113256985A (zh) * 2021-06-28 2021-08-13 智道网联科技(北京)有限公司 一种交通拥堵预测方法、装置和电子设备

Also Published As

Publication number Publication date
US10916135B2 (en) 2021-02-09
EP3518141A1 (en) 2019-07-31
US20190221121A1 (en) 2019-07-18
JP6642744B2 (ja) 2020-02-12
JP2019125368A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
CN110047275A (zh) 多个连接的车辆的观察结果之间的关联和相似度学习
JP6642745B2 (ja) 複数のコネクティッド車両による観測値を関連付けるための学習方法
US11797407B2 (en) Systems and methods for generating synthetic sensor data via machine learning
US11494937B2 (en) Multi-task multi-sensor fusion for three-dimensional object detection
JP6741107B2 (ja) 交通状況のリアルタイム検出
US10740658B2 (en) Object recognition and classification using multiple sensor modalities
CN110364006A (zh) 机器学习增强的车辆合流
JP2021506000A (ja) 多段画像ベースの物体検出および認識
WO2021034734A1 (en) Full uncertainty for motion planning in autonomous vehicles
CN110399775A (zh) 生成式对抗网络中的同时定位和建图约束
CN110349405A (zh) 利用联网汽车的实时交通监视
Palazzi et al. Learning to map vehicles into bird’s eye view
CN110268413A (zh) 低电平传感器融合
US11840261B2 (en) Ground truth based metrics for evaluation of machine learning based models for predicting attributes of traffic entities for navigating autonomous vehicles
CN106503653A (zh) 区域标注方法、装置和电子设备
US11467579B2 (en) Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
KR20210140766A (ko) 교통 도로를 위한 디지털 재구성 방법, 장치 및 시스템
US20230048304A1 (en) Environmentally aware prediction of human behaviors
CN116868238A (zh) 用于生成计算机视觉的可靠性指示的计算机实现的方法
US11574468B2 (en) Simulation-based learning of driver interactions through a vehicle window
US12019449B2 (en) Rare event simulation in autonomous vehicle motion planning
Ranjana et al. Applications and Implications of Artificial Intelligence and Deep Learning in Computer Vision
US20230120080A1 (en) Methods and systems for vehicle-assisted feature capture
Hillen Geo-information Fusion for Time-critical Geo-applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination