CN108345838A - 利用模拟图像训练自动交通灯检测模型 - Google Patents
利用模拟图像训练自动交通灯检测模型 Download PDFInfo
- Publication number
- CN108345838A CN108345838A CN201810052693.7A CN201810052693A CN108345838A CN 108345838 A CN108345838 A CN 108345838A CN 201810052693 A CN201810052693 A CN 201810052693A CN 108345838 A CN108345838 A CN 108345838A
- Authority
- CN
- China
- Prior art keywords
- model
- models
- annotating images
- image
- traffic lights
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title description 11
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000010801 machine learning Methods 0.000 claims abstract description 31
- 230000008447 perception Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 29
- 238000003860 storage Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 125000000524 functional group Chemical group 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Processing (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
Abstract
定义了包括车辆模型和典型驾驶环境以及具有状态(红色、绿色、琥珀色)的交通灯的场景。将主车辆的模型添加到场景中，并且在主车辆上定义摄像机位置。模拟摄像机对场景的感知以获得图像。图像利用交通灯的位置和状态注释。可以针对不同的场景产生各种注释图像，包括没有交通灯或者具有不支配主车辆的交通灯的场景。然后使用注释图像训练机器学习模型，以识别支配主车辆的交通灯的位置和状态。
Description
技术领域
本发明涉及实现用于自主车辆的控制逻辑。
背景技术
自主车辆日益变得重要和普及。在自主车辆中，控制器依靠传感器来检测周围的障碍物和路面。控制器实现控制转向、制动和加速到达目的地并避免碰撞的逻辑。为了正确地自主操作，控制器需要识别交通灯并确定其状态，以避免与十字路口交通的碰撞。
本文公开的系统和方法提供了用于在自主车辆中执行交通灯检测的改进方法。
发明内容
根据本发明，提供一种方法，包括通过计算机系统执行以下操作：
模拟具有交通灯模型作为光源的3D模型的感知以获得图像；
利用所述交通灯模型的位置和状态来注释所述图像以获得注释图像；以及
根据所述注释图像训练模型。
根据本发明的一个实施例，其中所述3D模型包括多个其它光源。
根据本发明的一个实施例，其中所述交通灯模型的状态是红色、琥珀色和绿色中的一种。
根据本发明的一个实施例，其中模拟所述3D模型的感知包括模拟具有运动的所述3D模型的一个或多个部件的所述3D模型的感知，以获得包括所述图像的多个图像；
其中利用所述交通灯模型的所述位置和状态注释所述图像以获得所述注释图像包括利用所述交通灯模型的所述状态注释所述多个图像以获得多个注释图像；以及
其中根据所述注释图像来训练所述模型包括根据所述多个注释图像来训练所述模型。
根据本发明的一个实施例，其中根据所述注释图像训练所述模型包括根据所述注释图像来训练机器学习算法。
根据本发明的一个实施例，其中根据所述注释图像训练所述模型包括训练所述模型以识别实际交通灯在摄像机输出中的状态及位置。
根据本发明的一个实施例，其中根据所述注释图像训练所述模型包括训练所述模型以输出所述交通灯是否适用于根据所述模型处理摄像机输出的车辆。
根据本发明的一个实施例，其中所述3D模型是第一3D模型，所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
读取定义一个或多个部件的位置的配置文件；
根据所述配置文件生成第二3D模型；
模拟所述第二3D模型的感知以获得第二图像；
利用所述第二3D模型中所述交通灯的位置和状态注释所述第二图像以获得第二注释图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
根据本发明的一个实施例，其中所述3D模型是第一3D模型，并且所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
定义具有不支配主车辆模型的交通灯模型的第二3D模型；
从所述主车辆模型的摄像机的视角模拟所述第二3D模型的感知以获得第二图像；
将所述第二3D模型不包括支配所述主车辆模型的交通灯模型注释到所述第二图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
根据本发明的一个实施例，其中所述3D模型是第一3D模型，并且所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
定义不具有交通灯模型的第二3D模型；
模拟所述第二3D模型的感知以获得第二图像；
将所述第二3D模型不包括交通灯模型注释到所述第二图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
根据本发明，提供一种系统，包括一个或多个处理设备和可操作地联接到所述一个或多个处理设备的一个或多个存储设备，所述一个或多个处理设备存储可执行代码，所述可执行代码有效地使所述一个或多个处理设备执行以下操作：
模拟具有交通灯模型作为光源的3D模型的感知以获得图像；
利用所述交通灯模型的位置和状态注释所述图像以获得注释图像；以及
根据所述注释图像训练模型。
根据本发明的一个实施例，其中所述3D模型包括多个其他光源。
根据本发明的一个实施例，其中所述交通灯模型的所述状态是红色、琥珀色和绿色中的一种。
根据本发明的一个实施例，其中所述可执行代码进一步有效地使所述一个或多个处理设备执行以下操作：
通过模拟具有运动的所述3D模型的一个或多个部件的所述3D模型的感知来模拟所述3D模型的感知，以获得包括所述图像的多个图像；
通过利用所述交通灯模型的所述状态注释所述多个图像以获得多个注释图像，从而利用所述交通灯模型的所述位置和状态对所述图像进行注释以获得所述注释图像；以及
通过根据所述多个注释图像训练所述模型来根据所述注释图像训练所述模型。
根据本发明的一个实施例，其中所述可执行代码进一步有效地使所述一个或多个处理设备通过根据所述注释图像训练机器学习算法来根据所述注释图像来训练所述模型。
根据本发明的一个实施例，其中所述可执行代码进一步有效地使所述一个或多个处理设备通过训练所述模型来识别实际交通灯在摄像机输出中的状态和位置，从而根据所述注释图像来训练所述模型。
根据本发明的一个实施例，其中所述可执行代码进一步有效地使所述一个或多个处理设备通过训练所述模型以输出所述交通灯是否适用于根据所述模型处理摄像机输出的车辆，从而根据所述注释图像训练所述模型。
根据本发明的一个实施例，其中所述3D模型是第一3D模型，所述图像是第一图像，并且所述注释图像是第一注释图像；
其中所述可执行代码进一步有效地使所述一个或多个处理设备执行以下操作：
读取定义一个或多个部件的位置的配置文件；
根据所述配置文件生成第二3D模型；
模拟所述第二3D模型的感知以获得第二图像；
利用所述第二3D模型中的所述交通灯的位置和状态注释所述第二图像以获得第二注释图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
根据本发明的一个实施例，其中所述3D模型是第一3D模型，并且所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
其中所述可执行代码进一步有效地使所述一个或多个处理设备执行以下操作：
定义具有不支配主车辆模型的交通灯模型的第二3D模型；
从所述主车辆模型的一个或多个摄像机的视角模拟所述第二3D模型的感知以获得第二图像；
将所述第二3D模型不包括支配所述主车辆模型的交通灯模型注释到所述第二图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
根据本发明的一个实施例，其中所述3D模型是第一3D模型，并且所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
其中所述可执行代码进一步有效地使所述一个或多个处理设备执行以下操作：
定义不具有交通灯模型的第二3D模型；
模拟所述第二3D模型的感知以获得第二图像；
将所述第二3D模型不包括交通灯模型注释到所述第二图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
附图说明
为了使本发明的优点容易理解，通过参考附图中示出的具体实施例，将给出上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是对本发明范围的限制，本发明将通过使用附图以附加特征和细节来描述和解释，附图中：
图1A和1B是用于实现本发明的实施例的系统的示意性框图；
图2是适合于实现根据本发明实施例的方法的示例计算设备的示意性框图；
图3是根据本发明实施例的用于从3D模型生成注释图像以训练交通灯检测模型的方法；
图4示出了根据本发明实施例的用于训练机器学习模型的场景；以及
图5是根据本发明实施例的使用注释图像来训练模型的方法的过程流程图。
具体实施方式
将容易理解的是，如本文附图中总体描述和示出的本发明的部件可以以各种不同的配置来布置和设计。因此，如在附图中表示的本发明的实施例的以下更详细的描述并不旨在限制如要求保护的本发明的范围，而仅仅是代表根据本发明的当前设想的实施例的某些示例。通过参考附图可以最好地理解目前描述的实施例，其中相同的部分始终由相同的附图标记表示。
根据本发明的实施例可以体现为装置、方法或计算机程序产品。相应地，本发明可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例(其在本文中通常可以被称为“模块”或“系统”)的形式。此外，本发明可以采取体现在具有体现在介质中的计算机可用程序代码的任何有形的介质中的计算机程序产品的形式。
可以使用一个或多个计算机可用或计算机可读介质的任何组合。例如，计算机可读介质可以包括便携式计算机磁盘、硬盘、随机存取存储器(RAM)设备、只读存储器(ROM)设备、可擦可编程只读存储器(EPROM或闪存)设备、便携式光盘只读存储器(CDROM)、光学存储设备以及磁存储设备中的一个或多个。在选择的实施例中，计算机可读介质可以包括任何能够包含、存储、传达、传播或传输供指令执行系统、装置或设备使用或与其结合使用的程序的非暂时性介质。
用于执行本发明的操作的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括诸如Java、Smalltalk、C++等的面向对象的程序设计语言和诸如“C”程序设计语言或类似程序设计语言的常规程序化程序设计语言。程序代码可以完全在作为独立的软件包的计算机系统上、独立的硬件单元上、部分地在远离计算机一定距离的远程计算机上、或者完全在远程计算机或服务器上执行。在后一种场景下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到计算机，或者可以连接到外部计算机(例如通过互联网使用互联网服务提供商)。
以下参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明。将会理解的是，流程图和/或框图中的每个框以及流程图和/或框图中的框的组合可以通过计算机程序指令或代码来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令还可以被存储在可以指导计算机或其他可编程数据处理装置以特定的方式运行的非暂时计算机可读介质中，使得存储在计算机可读介质中的指令产生包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的指令装置的制品。
计算机程序指令还可以被加载到计算机或其他可编程数据处理装置上，以使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理，使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的过程。
参照图1A，网络环境100可以包括服务器系统102，该服务器系统102托管或访问数据库104，该数据库104包括足以定义用于训练或评估检测系统的场景的数据。特别地，数据库104可以存储包括车辆的几何数据108a(例如车身的形状、轮胎以及车辆的任何其他可见特性)的车辆模型106a。几何数据108a可以进一步包括材料数据，例如硬度、反射率或材料类型。车辆模型106还可以包括指示车辆的操作限制(例如转弯半径、加速度分布(特定速度下的最大加速度)等)的动态模型108b。车辆模型106a可以基于实际车辆，并且可以使用从测量实际车辆获得的数据来填充字段108a、108b。
在一些实施例中，数据库104可以存储用于结合用于障碍物检测的一个或多个传感器的车辆的车辆模型106b。如下所述，这些传感器的输出可被输入到根据本文公开的方法训练或评估的模型。相应地，车辆模型106b可以另外包括指示车辆上的一个或多个传感器的位置、一个或多个传感器的方位以及一个或多个传感器的一个或多个描述符的一个或多个传感器模型108c。对于摄像机，传感器模型108c可以包括摄像机的视场、分辨率、缩放、帧率或其他操作限制。例如，对于麦克风，传感器模型108c可以包括增益、信噪比、灵敏度分布(灵敏度对频率)等。对于超声波、激光雷达(光检测和测距)、雷达(无线电检测和测距)或声呐(声音导航和测距)传感器，传感器模型108c可以包括系统的分辨率、视场和扫描速率。
数据库104可以包括环境模型106c，环境模型106c包括各种景观的模型，例如，具有交叉口、建筑物、行人、树木等的城市街道模型。模型可以定义景观中的物体的几何形状和位置，并且可以进一步包括其他方面，例如对激光、雷达、声音、光等的反射率，以便能够通过传感器模拟物体的感知。
如下所述，这里公开的方法特别适用于交通灯检测。因此，环境模型106c可以包括诸如交通灯110a之类的光源以及诸如路灯、照明标志、自然光源(太阳、月亮、星星)等的其他灯110b的模型。在一些实施例中，车辆模型106a、106b还可以包括诸如尾灯、前照灯等的光源。
数据库104可以存储机器学习模型106d。机器学习模型106d可以根据本文描述的方法使用模型106a-106c来训练。机器学习模型106d可以是深度神经网络、贝叶斯网络(Bayesian network)或其他类型的机器学习模型。
服务器系统102可以执行训练引擎112。训练引擎112可以包括场景模块114a。场景模块114a可以调取模型106a-106c并且生成放置在道路模型上和/或沿道路模型移动的车辆模型的场景。场景模块114a可以手动产生这些场景或接收指定车辆的初始位置、车辆的速度等的人类输入。在一些实施例中，可以基于视频或实际位置的其他测量结果(例如位置的观察结果，车辆在位置中的移动，其他对象的位置等)来对场景建模。
在一些实施例中，场景模块114a可以读取指定针对场景的各个模型的位置和/或取向的文件，并且创建具有如文件中所指示的那样定位的元素的模型106a-106c的场景的模型。以这种方式，可以使用手动或自动生成的文件来定义来自可用模型106a-106c的各种各样的场景。
训练引擎112可以包括传感器模拟模块114b。具体而言，对于场景以及包括在包括传感器模型数据108c的场景中的车辆模型106b，传感器模拟模块114b可以模拟传感器对场景的感知，如下面更详细描述的。
特别地，可以使用各种渲染方案来从由传感器模型108c定义的摄像机的视角来渲染场景的图像。渲染可以包括执行光线追踪或其他方法来对来自环境模型106c中的各个光源110a、110b的光传播和车辆模型106a、106b中的光源进行建模。
训练引擎112可以包括注释模块114c。来自传感器模拟模块114b的模拟传感器输出可以用场景中指示障碍物在场景中的实际位置的“地面实况”来注释。在这里公开的实施例中，注释可以包括支配主车辆106b的场景中的交通信号灯的位置和状态(红色、琥珀色、绿色)，即车道中的直接交通和主车辆106b的交通方向。
训练引擎112可以包括机器学习模块114d。机器学习模块114d可训练机器学习模型106d。例如，可以训练机器学习模型106d以通过处理注释的图像来识别交通灯的位置和状态。机器学习模型106d可以被训练以识别交通灯的位置和状态以及交通灯是否适用于主车辆。机器学习模块114d可以通过输入图像作为输入并且将用于图像的注释作为期望的输出来训练机器学习模型106d。
参考图1B，使用图1A的系统生成的机器学习模型106d可以用于在所示的系统120中执行交通灯检测，系统120可以合并到车辆中，例如自主或人类操作的车辆中。例如，系统120可以包括设置在车辆内的控制器122。车辆可以包括本领域已知的任何车辆。车辆可以具有本领域已知的任何车辆的所有结构和特征，包括车轮、联接到车轮的传动系、联接到传动系的发动机、转向系统、制动系统以及包含在车辆中的本领域已知的其他系统。
如在此更详细讨论的，控制器122可以使用传感器数据来执行自主导航和碰撞避免。或者，控制器122可识别障碍物并使用传感器数据产生用户可感知的结果。特别地，控制器122可以使用如下参照图3至图5所描述的训练的机器学习106d来识别传感器数据中的交通灯。
控制器122可以从一个或多个成像设备124接收一个或多个图像流。例如，一个或多个摄像机可以被安装到车辆并输出由控制器122接收的图像流。控制器122可以从一个或多个麦克风126接收一个或多个音频流。例如，一个或多个麦克风或麦克风阵列可被安装到车辆并输出由控制器122接收的音频流。麦克风126可以包括具有随角度而变化的灵敏度的定向麦克风。
在一些实施例中，系统120可以包括联接到控制器122的其他传感器128，诸如LIDAR(光检测和测距)、RADAR(无线电检测和测距)、SONAR(声音导航和测距)、超声波传感器等等。感测设备124、126、128的位置和取向可以对应于在用于训练机器学习模型106d的传感器模型108c中建模的那些。
控制器122可以执行自主操作模块130，自主操作模块130从成像设备124、麦克风126和其他传感器128中的一些或全部接收输出。自主操作模块130然后分析输出以识别潜在障碍物。
自主操作模块130可以包括障碍物识别模块132a、碰撞预测模块132b和决策模块132c。障碍物识别模块132a分析感测设备124、126、128的输出并且识别潜在的障碍物，包括人、动物、车辆、建筑物、路沿以及其他物体和结构。
碰撞预测模块132b基于车辆当前的轨迹或当前的预期路径预测哪些障碍物图像可能与车辆发生碰撞。碰撞预测模块132b可以评估与由障碍物识别模块132a识别的物体以及使用机器学习模块114d检测到的障碍物碰撞的可能性。决策模块132c可以做出停止、加速、转弯等的决定以避开障碍物。碰撞预测模块132b预测潜在碰撞的方式以及决策模块132c采取行动以避免潜在碰撞的方式可以根据自主车辆领域中已知的任何方法或系统。
决策模块132c可以通过驱动控制车辆的方向和速度的一个或多个致动器136来控制车辆的轨迹，以便朝向目的地行进并避开障碍物。例如，致动器136可以包括转向致动器138a、加速器致动器138b和制动器致动器138c。致动器138a-138c的配置可以根据自主车辆领域中已知的这种致动器的任何实施方式。
决策模块132c可以包括或访问使用图1A的系统100训练的机器学习模型106d，以处理来自成像设备124的图像，以便识别支配车辆的交通灯的位置和状态。相应地，决策模块132c将响应于识别出支配红色的交通灯而停止，并且如果响应于识别出支配绿灯的交通灯而安全行进。
图2是示出示例性计算设备200的框图。计算设备200可以用于执行各种过程，诸如在此讨论的过程。服务器系统102和控制器122可以具有计算设备200的一些或全部属性。
计算设备200包括一个或多个处理器202、一个或多个存储设备204、一个或多个接口206、一个或多个大容量存储设备208、一个或多个输入/输出(I/O)设备210和显示设备230，所有这些设备都联接到总线212。处理器202包括执行存储在一个或多个存储设备204和/或大容量存储设备208中的指令的一个或多个处理器或控制器。处理器202还可以包括各种类型的计算机可读介质，诸如高速缓冲存储器。
存储设备204包括诸如易失性存储器(例如随机存取存储器(RAM)214)和/或非易失性存储器(例如只读存储器(ROM)216)的各种计算机可读介质。存储设备204还可以包括可重写ROM，例如闪存。
大容量存储设备208包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如闪存)等等。如图2所示，特定的大容量存储设备是硬盘驱动器224。大容量存储设备208中还可以包括各种驱动器，以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储设备208包括可移动介质226和/或不可移动介质。
I/O设备210包括允许将数据和/或其他信息输入到计算设备200或从计算设备200调取数据和/或其他信息的各种设备。示例I/O设备210包括光标控制设备、键盘、小键盘、麦克风、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器、镜头、CCD(电荷耦合器件)或其他图像捕捉设备等。
显示设备230包括能够向计算设备200的一个或多个用户显示信息的任何类型的设备。显示设备230的示例包括监视器、显示终端、视频投影设备等。
接口206(一个或多个)包括允许计算设备200与其他系统、设备或计算环境交互的各种接口。示例性接口206(一个或多个)包括任意数量的不同网络接口220，诸如与局域网(LAN)、广域网(WAN)、无线网络和因特网的接口。其他接口包括用户界面218和外围设备接口222。接口206还可以包括一个或多个外围接口，诸如用于打印机、定位设备(鼠标、跟踪板等)、键盘等的接口。
总线212允许处理器202、存储设备204、接口206、大容量存储设备208、I/O设备210和显示设备230彼此以及与联接到总线212的其他设备或部件通信。总线212表示几种类型的总线结构中的一个或多个，诸如系统总线、PCI总线(外围部件互连总线)、IEEE 1394总线、USB总线(通用串行总线)等等。
为了说明的目的，程序和其他可执行程序部件在本文中被示为离散框，但是应该理解的是，这样的程序和组件可以在各种时间驻留在计算设备200的不同存储部件中，并且由处理器202(一个或多个)执行。可选地，这里描述的系统和过程可以用硬件或硬件、软件和/或固件的组合来实现。例如，一个或多个专用集成电路(ASIC)可以被编程以执行在此描述的一个或多个系统和过程。
参照图3，所示出的方法300可以由服务器系统102执行，以便生成用于训练机器学习模型的注释图像，以识别支配交通灯及其状态。
方法300可以包括定义302场景模型。例如，如图4所示，包括道路400的环境模型可以与放置在道路400的车道内的车辆402、404的模型组合。类似地，通过其角度感知场景的主车辆406也可以被包括在场景模型中。场景模型可以是静态配置，或者可以是动态模型，其中车辆402、404、406具有在场景模型的传播期间可以从一个时间步长到下一个时间步长变化的速度和加速度。
场景模型还包括一个或多个交通灯408a-408c。在一个示例中，交通灯408c支配主车辆406，而交通灯408a-408b则不，例如交通灯408a-408b可以是左转车道而交通灯408c不是。
场景可以包括其他光源，包括车辆402、404、406中的任何一个的前照灯和尾灯、支配十字路口交通的交通灯、发光的标志、自然光(太阳、月亮)等。
在一些实施例中，机器学习模型106d被进一步训练以区分其中存在交通灯和其中不存在交通灯的图像。因此，一些场景可能不包括支配主车辆406的交通灯，或者根本不包括交通灯。
再次参照图3，方法300可以包括模拟304来自场景的光源的光的传播，并且可以模拟306主车辆406的一个或多个成像设备124对场景的感知。成像设备124a-124d的特定位置和取向可以根据传感器模型108c在主车辆406上定义。
步骤302和304可以包括使用计算机生成图像领域中已知的任何渲染技术。例如，可以使用诸如UNREAL ENGINE(虚幻引擎)之类的游戏引擎来定义场景，并且可以使用BLENDER、MAYA、3D STUDIO MAX或任何其他渲染软件来生成场景的渲染。
从一个或多个模拟成像设备的角度来看，步骤304、306的输出是场景模型的一个或多个图像。在情景模型是动态的这样的一些实施例中，步骤304、306的输出是一系列图像集合，每个图像集合包括在动态场景的模拟中的特定时间步长处从图像设备的角度来看的场景的图像。
方法300可以进一步包括利用场景模型的“路面实况”注释图像308。在场景模型是动态的这样的情况下，每个图像集合可以在捕获图像集合的图像的时间步长处用场景模型的路面实况来注释。
图像的注释可以指示以下中的一些或全部：(a)图像中是否存在交通灯，(b)图像中存在的每个交通灯的位置，(c)图像中存在的每个交通灯的状态，以及(d)交通灯是否支配主车辆。在一些实施例中，注释仅涉及支配主车辆的单个交通灯，即支配交通灯的位置和状态。在没有支配交通灯的情况下，可能会省略图像的注释，或者注释可能表明这一事实。
可以重复执行方法300以生成数十、数百或甚至数千个注释图像以训练机器学习模型106d。相应地，方法300可以包括从文件读取310新的场景参数，并根据新的场景参数定义302新的场景模型。然后在步骤304-308的处理可以继续。或者，可以自动生成场景，例如通过随机重新分配车辆和光源的模型以及修改交通灯的位置和/或状态。
例如，可以为各种车辆、建筑物、交通灯、光源(标志、路灯等)定义模型库。因此，文件可以指定各种这些模型和主车辆的位置。然后可以根据文件中指定的位置在步骤302将这些模型置于场景模型中。该文件可以进一步指定动态参数，例如车辆模型的速度和任何交通灯的状态以及交通灯状态的动态变化，例如在动态场景模型中从红色到绿色的转换或反之。该文件可以进一步定义场景的其他参数，例如模拟白天、夜间和黄昏情况的环境自然光的量。
参照图5，方法500可以由服务器系统102执行以训练机器学习模型106d。方法500可以包括接收502注释的图像并将注释的图像输入504到机器学习算法。
在一些实施例中，使用多个成像设备124来实现双目视觉。因此，输入注释的图像可以包括处理动态场景中的相同场景或相同时间步长的一组图像以获得3D点云，每个点具有与其相关联的颜色(例如RGB(红绿蓝)元组)。这个3D点云然后可以被输入到机器学习模型中，其中图像集合中有图像的注释。或者，可以将图像直接输入到机器学习算法中。
机器学习算法可以根据注释的图像或点云来训练506机器学习模型106d。如上所述，在步骤506可以使用数十、数百或甚至数千个图像集合来训练针对各种场景的机器学习模型。
然后，方法500可以包括将训练的机器学习模型106d加载508到车辆中，例如图1B中所示的系统120的车辆控制器122。控制器122然后可以根据训练的机器学习模型106d执行510交通灯检测。这可以包括检测支配交通灯，并采取适当的行动，例如对于支配红灯则停止以及如果支配绿灯则安全行进。
在上面的公开中，已经参考了形成该公开的一部分的附图，并且其中通过图示的方式示出了可以在其中实施本公开的具体实施方式。应该理解的是，可以利用其他实施方式，并且可以在不脱离本公开的范围的情况下进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可能不一定包括特定特征、结构或特性。而且，这样的短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为无论是否明确描述，结合其他实施例影响这种特征、结构或特性是在本领域技术人员的知识范围内。
本文公开的系统、设备和方法的实施方式可以包括或利用包括计算机硬件的专用或通用计算机，诸如例如一个或多个处理器和系统存储器，如本文所讨论的。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM、ROM、EEPROM(电可擦可编程只读存储器)、CD-ROM(只读光盘驱动器)、固态驱动器(SSD)(例如基于RAM)、闪存、相变存储器(PCM)、其他类型存储器、其他光盘存储器、磁盘存储器或其他磁存储设备、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段并且可以被通用或专用计算机访问的任何其他介质。
本文公开的设备、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或其他通信连接(硬连线、无线或者硬连线或无线的组合)将信息传递或提供给计算机时，计算机将该连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，其可以被用来以计算机可执行指令或数据结构的形式携带期望的程序代码手段，并且可以被通用或专用计算机访问。上述的组合也应该包括在计算机可读介质的范围内。
计算机可执行指令例如包括在处理器处执行时使通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令或者甚至是源代码。虽然已经用结构特征和/或方法动作专用的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于描述的特征或上述描述的动作。相反，所描述的特征和动作作为实施权利要求的示例形式被公开。
本领域技术人员将认识到，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实施，包括车内计算机、个人计算机、台式计算机、便携计算机、消息处理器、手持设备、多处理器系统、基于微处理器的或可编程消费电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本发明还可以在分布式系统环境中实施，其中通过网络链接的本地和远程计算机系统(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)都执行任务。在分布式系统环境中，程序模块可能位于本地和远程内存存储设备中。
此外，在适当的情况下，本文所描述的功能可以以下中的一个或多个来执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程以执行本文描述的一个或多个系统和过程。整个说明书和权利要求中使用了某些术语来指代特定的系统部件。如本领域技术人员将认识到的，部件可以通过不同的名称来引用。本文档不打算区分名称不同但功能相同的部件。
应该注意，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置成在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这里提供这些示例性设备是为了说明的目的，而不是限制性的。本公开的实施例可以在其他类型的设备中实现，如相关领域的技术人员将会知道的。
本公开的至少一些实施例针对包含存储在任何计算机可用介质上的这种逻辑(例如以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使得设备如本文所述进行操作。
尽管以上已经描述了本公开的各种实施例，但是应该理解的是，它们仅以示例的方式呈现，而不是限制。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的广度和范围不应该被任何上述示例性实施例限制，而是应该仅根据权利要求及其等同原则来限定。前面的描述是为了说明和描述的目的而提出的。这并不意图是穷尽的或将本公开限制为所公开的确切形式。鉴于上述教导，许多修改和变化是可能的。此外，应该注意的是，可以以期望的任何组合来使用前述替代实施方式中的任一个或全部，以形成本公开的另外的混合实施方式。
Claims (15)
1.一种方法，包括通过计算机系统进行以下操作：
模拟具有交通灯模型作为光源的3D模型的感知以获得图像；
利用所述交通灯模型的位置和状态来注释所述图像以获得注释图像；以及
根据所述注释图像训练模型；
其中根据所述注释图像训练所述模型包括根据所述注释图像来训练机器学习算法。
2.根据权利要求1所述的方法，其中所述3D模型包括多个其它光源，以及；
其中所述交通灯模型的所述状态是红色、琥珀色和绿色中的一种。
3.根据权利要求1所述的方法，其中模拟所述3D模型的感知包括模拟具有运动的所述3D模型的一个或多个部件的所述3D模型的感知，以获得包括所述图像的多个图像；
其中利用所述交通灯模型的所述位置和状态注释所述图像以获得所述注释图像包括利用所述交通灯模型的所述状态注释所述多个图像以获得多个注释图像；以及
其中根据所述注释图像训练所述模型包括根据所述多个注释图像来训练所述模型。
4.根据权利要求1所述的方法，其中根据所述注释图像训练所述模型包括训练所述模型以识别实际交通灯在摄像机输出中的状态及位置。
5.根据权利要求1所述的方法，其中根据所述注释图像训练所述模型包括训练所述模型以输出所述交通灯是否适用于根据所述模型处理摄像机输出的车辆。
6.根据权利要求1所述的方法，其中所述3D模型是第一3D模型，所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
读取定义一个或多个部件的位置的配置文件；
根据所述配置文件生成第二3D模型；
模拟所述第二3D模型的感知以获得第二图像；
利用所述第二3D模型中所述交通灯的位置和状态注释所述第二图像以获得第二注释图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
7.根据权利要求1所述的方法，其中所述3D模型是第一3D模型，并且所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
定义具有不支配主车辆模型的交通灯模型的第二3D模型；
从所述主车辆模型的摄像机的视角模拟所述第二3D模型的感知以获得第二图像；
将所述第二3D模型不包括支配所述主车辆模型的交通灯模型注释到所述第二图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
8.根据权利要求1所述的方法，其中所述3D模型是第一3D模型，并且所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
定义不具有交通灯模型的第二3D模型；
模拟所述第二3D模型的感知以获得第二图像；
将所述第二3D模型不包括交通灯模型注释到所述第二图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
9.一种系统，包括一个或多个处理设备和可操作地联接到所述一个或多个处理设备的一个或多个存储设备，所述一个或多个处理设备存储可执行代码，所述可执行代码有效地使所述一个或多个处理设备执行以下操作：
模拟具有交通灯模型作为光源的3D模型的感知以获得图像；
利用所述交通灯模型的位置和状态注释所述图像以获得注释图像；以及
根据所述注释图像训练模型；
其中所述3D模型包括多个其他光源；
其中所述交通灯模型的所述状态是红色、琥珀色和绿色中的一种；以及
其中，所述可执行代码还有效地使所述一个或多个处理设备通过根据所述注释图像训练机器学习算法，从而根据所述注释图像来训练所述模型。
10.根据权利要求9所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理设备执行以下操作：
通过模拟具有运动的所述3D模型的一个或多个部件的所述3D模型的感知来模拟所述3D模型的感知，以获得包括所述图像的多个图像；
通过利用所述交通灯模型的所述状态注释所述多个图像以获得多个注释图像，从而利用所述交通灯模型的所述位置和状态对所述图像进行注释以获得所述注释图像；以及
通过根据所述多个注释图像训练所述模型来根据所述注释图像训练所述模型。
11.根据权利要求9所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理设备通过训练所述模型来识别实际交通灯在摄像机输出中的状态和位置，从而根据所述注释图像来训练所述模型。
12.根据权利要求9所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理设备通过训练所述模型以输出所述交通灯是否适用于根据所述模型处理摄像机输出的车辆，从而根据所述注释图像训练所述模型。
13.根据权利要求9所述的系统，其中所述3D模型是第一3D模型，所述图像是第一图像，并且所述注释图像是第一注释图像；
其中所述可执行代码进一步有效地使所述一个或多个处理设备执行以下操作：
读取定义一个或多个部件的位置的配置文件；
根据所述配置文件生成第二3D模型；
模拟所述第二3D模型的感知以获得第二图像；
利用所述第二3D模型中的所述交通灯的位置和状态注释所述第二图像以获得第二注释图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
14.根据权利要求9所述的系统，其中所述3D模型是第一3D模型，并且所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
其中所述可执行代码进一步有效地使所述一个或多个处理设备执行以下操作：
定义具有不支配主车辆模型的交通灯模型的第二3D模型；
从所述主车辆模型的一个或多个摄像机的视角模拟所述第二3D模型的感知以获得第二图像；
将所述第二3D模型不包括支配所述主车辆模型的交通灯模型注释到所述第二图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
15.根据权利要求9所述的系统，其中所述3D模型是第一3D模型，并且所述图像是第一图像，并且所述注释图像是第一注释图像，所述方法还包括：
其中所述可执行代码进一步有效地使所述一个或多个处理设备执行以下操作：
定义不具有交通灯模型的第二3D模型；
模拟所述第二3D模型的感知以获得第二图像；
将所述第二3D模型不包括交通灯模型注释到所述第二图像；以及
根据所述第一注释图像和所述第二注释图像两者来训练所述模型。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/415,718 | 2017-01-25 | ||
| US15/415,718 US20180211120A1 (en) | 2017-01-25 | 2017-01-25 | Training An Automatic Traffic Light Detection Model Using Simulated Images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108345838A true CN108345838A (zh) | 2018-07-31 |
Family
ID=61283753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810052693.7A Pending CN108345838A (zh) | 2017-01-25 | 2018-01-19 | 利用模拟图像训练自动交通灯检测模型 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20180211120A1 (zh) |
| CN (1) | CN108345838A (zh) |
| DE (1) | DE102018101465A1 (zh) |
| GB (1) | GB2560805A (zh) |
| MX (1) | MX2018000832A (zh) |
| RU (1) | RU2017144177A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304782A (zh) * | 2017-01-13 | 2018-07-20 | 福特全球技术公司 | 生成用于训练和验证检测模型的模拟传感器数据 |
| CN112710278A (zh) * | 2019-10-24 | 2021-04-27 | 罗伯特·博世有限公司 | 提供带注释的交通空间数据的方法和设备、评估方法、训练方法、计算机程序及存储介质 |
| US11715372B2 (en) | 2020-12-23 | 2023-08-01 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Signal lamp recognition method, device, and storage medium |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018212538A1 (en) * | 2017-05-16 | 2018-11-22 | Samsung Electronics Co., Ltd. | Electronic device and method of detecting driving event of vehicle |
| CN109446973B (zh) * | 2018-10-24 | 2021-01-22 | 中车株洲电力机车研究所有限公司 | 一种基于深度神经网络图像识别的车辆定位方法 |
| DE102018218186A1 (de) * | 2018-10-24 | 2020-04-30 | Robert Bosch Gmbh | Verfahren zur Validierung von maschinellen Lernverfahren im Bereich des automatisierten Fahrens auf Basis von synthetischen Bilddaten sowie Computerprogramm, maschinenlesbares Speichermedium und künstliches neuronales Netz |
| US11056005B2 (en) | 2018-10-24 | 2021-07-06 | Waymo Llc | Traffic light detection and lane state recognition for autonomous vehicles |
| CN110647605B (zh) * | 2018-12-29 | 2022-04-29 | 北京奇虎科技有限公司 | 一种基于轨迹数据挖掘红绿灯数据的方法及装置 |
| DE102019209152A1 (de) * | 2019-06-25 | 2020-12-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern |
| US11650067B2 (en) | 2019-07-08 | 2023-05-16 | Toyota Motor North America, Inc. | System and method for reducing route time using big data |
| US11335100B2 (en) | 2019-12-27 | 2022-05-17 | Industrial Technology Research Institute | Traffic light recognition system and method thereof |
| US11644331B2 (en) | 2020-02-28 | 2023-05-09 | International Business Machines Corporation | Probe data generating system for simulator |
| US11814080B2 (en) | 2020-02-28 | 2023-11-14 | International Business Machines Corporation | Autonomous driving evaluation using data analysis |
| US11702101B2 (en) | 2020-02-28 | 2023-07-18 | International Business Machines Corporation | Automatic scenario generator using a computer for autonomous driving |
| US11900689B1 (en) * | 2020-06-04 | 2024-02-13 | Aurora Operations, Inc. | Traffic light identification and/or classification for use in controlling an autonomous vehicle |
| CN112172698A (zh) * | 2020-10-16 | 2021-01-05 | 湖北大学 | 一种用于无人驾驶的交通禁令标志实时监控识别装置 |
| CN112287566B (zh) * | 2020-11-24 | 2024-05-07 | 北京亮道智能汽车技术有限公司 | 一种自动化驾驶场景库生成方法、系统及电子设备 |
| CN113129375B (zh) * | 2021-04-21 | 2023-12-01 | 阿波罗智联(北京)科技有限公司 | 数据处理方法、装置、设备及存储介质 |
-
2017
- 2017-01-25 US US15/415,718 patent/US20180211120A1/en not_active Abandoned
- 2017-12-18 RU RU2017144177A patent/RU2017144177A/ru not_active Application Discontinuation
-
2018
- 2018-01-19 MX MX2018000832A patent/MX2018000832A/es unknown
- 2018-01-19 CN CN201810052693.7A patent/CN108345838A/zh active Pending
- 2018-01-23 DE DE102018101465.1A patent/DE102018101465A1/de not_active Withdrawn
- 2018-01-23 GB GB1801079.3A patent/GB2560805A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304782A (zh) * | 2017-01-13 | 2018-07-20 | 福特全球技术公司 | 生成用于训练和验证检测模型的模拟传感器数据 |
| CN112710278A (zh) * | 2019-10-24 | 2021-04-27 | 罗伯特·博世有限公司 | 提供带注释的交通空间数据的方法和设备、评估方法、训练方法、计算机程序及存储介质 |
| US11715372B2 (en) | 2020-12-23 | 2023-08-01 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Signal lamp recognition method, device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102018101465A1 (de) | 2018-07-26 |
| MX2018000832A (es) | 2018-11-09 |
| US20180211120A1 (en) | 2018-07-26 |
| GB2560805A (en) | 2018-09-26 |
| RU2017144177A (ru) | 2019-06-18 |
| GB201801079D0 (en) | 2018-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108345838A (zh) | 利用模拟图像训练自动交通灯检测模型 | |
| US11169531B2 (en) | Trajectory prediction on top-down scenes | |
| US11126873B2 (en) | Vehicle lighting state determination | |
| US11682137B2 (en) | Refining depth from an image | |
| US11625041B2 (en) | Combined track confidence and classification model | |
| JP2021536072A (ja) | トレーニングデータを取得するためのシステム及び方法 | |
| CN107450529A (zh) | 用于自动驾驶车辆的改进的物体检测 | |
| JP2022516288A (ja) | 階層型機械学習ネットワークアーキテクチャ | |
| JP2023507390A (ja) | オブジェクトの動きに基づくトップダウンシーンの予測 | |
| JP2021504796A (ja) | センサーデータセグメンテーション | |
| CN108388834A (zh) | 利用循环神经网络和级联特征映射的对象检测 | |
| JP7183390B2 (ja) | 自律型車両用のカメラ評価技術 | |
| JP2021089724A (ja) | 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け | |
| WO2020131965A1 (en) | Event-based data logging | |
| US11699237B2 (en) | Bounding box embedding for object identifying | |
| US11537819B1 (en) | Learned state covariances | |
| US20210185209A1 (en) | Simulated rolling shutter image data | |
| CN115705693A (zh) | 用于传感器数据的标注的方法、系统和存储介质 | |
| EP4337506A1 (en) | Sensor simulation with unified multi-sensor views | |
| EP4213107A1 (en) | Continuous learning machine using closed course scenarios for autonomous vehicles | |
| US20230311932A1 (en) | Merging object and background radar data for autonomous driving simulations | |
| US20230294736A1 (en) | Offline Tracking System for Autonomous Vehicle Control Systems | |
| US20230196749A1 (en) | Training Neural Networks for Object Detection | |
| US20230311930A1 (en) | Capturing and simulating radar data for autonomous driving systems | |
| Fennessy | Autonomous vehicle end-to-end reinforcement learning model and the effects of image segmentation on model quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180731 |
|
| WD01 | Invention patent application deemed withdrawn after publication |