CN111274862A - 用于产生车辆的周围环境的标签对象的设备和方法 - Google Patents
用于产生车辆的周围环境的标签对象的设备和方法 Download PDFInfo
- Publication number
- CN111274862A CN111274862A CN201911227609.1A CN201911227609A CN111274862A CN 111274862 A CN111274862 A CN 111274862A CN 201911227609 A CN201911227609 A CN 201911227609A CN 111274862 A CN111274862 A CN 111274862A
- Authority
- CN
- China
- Prior art keywords
- observation
- time
- observations
- classification
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005259 measurement Methods 0.000 claims description 49
- 230000003068 static effect Effects 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 32
- 238000000611 regression analysis Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000010224 classification analysis Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013442 quality metrics Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 10
- 238000012804 iterative process Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000012152 algorithmic method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于产生标签对象的一种方法和一种标注系统，所述标签对象用于对移动设备(例如机器人或车辆)的环境的对象进行符号化描述。由对象(120)的观测(420)，所述标签对象(620)包括所述对象(120)的在第一时刻(t1)的至少一个属性。该方法具有以下步骤：从所述观测(420)中选择：在第一时刻(t1)所检测的第一观测(421)，在第二时刻(t2)所检测的第二观测(422)，其中，第二时刻(t2)是在第一时刻(t1)之前的时刻，以及在第三时刻(t3)所检测的第三观测(423)，其中，第三时刻(t3)是在第一时刻(t1)之后的时刻；在使用所选择的观测(421，422，423)的情况下求取所述对象(120)的至少一个属性。
Description
技术领域
本发明涉及用于产生标签对象的一种方法和一种标注系统(Labellingsystem)，所述标签对象用于对移动设备(例如机器人或车辆)、尤其能够至少部分自动化运动的移动设备的环境或周围环境的对象进行符号化描述。本发明还涉及一种程序单元、一种计算机可读的介质和一种应用。
背景技术
对于移动设备(例如对于机器人或车辆)来说，对该移动设备的环境或周围环境的一个或多个对象进行符号化描述会是重要的。为了对所述对象进行符号化描述，例如由摄像机检测对象，并且例如由人工操作员例如根据车辆的周围环境的图像数据来给所述对象配备属性。例如，可以给第一检测对象配备属性“具有确定颜色的房屋”，或者可以给第二检测对象配备属性“具有确定速度的车辆”。此过程也称为“标注”对象。可以将所检测的并“被标注的”的对象称为“标签对象”。然而，这种手动方法可能既耗时又昂贵。
发明内容
本发明的一方面涉及一种用于由对象的观测产生标签对象的方法，该标签对象包括对象的在第一时刻的至少一个属性，该方法具有以下步骤：
–从观测中选择
在第一时刻所检测的第一观测，
在第二时刻所检测的第二观测，其中，第二时刻是在第一时刻之前的时刻，
在第三时刻所检测的第三观测，其中，第三时刻是在第一时刻之后的时刻；
–在使用所选择的观测的情况下，例如借助标注模块来求取对象的至少一个属性。
标签对象使观测与标签相关联。标签包括对静态和/或动态对象的符号化描述——尤其时间相关的描述。标签对象可以视为对移动设备(例如机器人或至少部分自动化驾驶的车辆)的周围环境中的对象的表示。周围环境(即，在一定程度上“真实世界”)的对象例如可以是房屋、树木、另一车辆、行车道、护栏和/或其他对象。属性例如可以是“房屋”、“树木”、“车辆”；属性例如可以包括颜色和/或包括属性：“静态的”或“动态的”标签对象。此外，标签还可以涉及监管元素(regulatorische Elemente)——例如驶入限制或速度限制。
静态标签借助属性来描述静态对象。在此，静态对象是具有零速度的对象——例如房屋、树木、护栏、交通标志、地标或所谓的地平面(可行驶和不可行驶的地面特性)。动态对象或运动对象(例如其他交通参与者，如人员或其他车辆)可以具有不为零的速度。动态对象可以具有时间相关的状态；动态对象例如可以通过轨迹来描述。动态对象的标签借助动态对象的属性(例如位置、速度、加速度、定向等)来对其进行描述。动态对象可以是空间中的另一对象——例如另一交通参与者、例如位置s处的(例如在x/y坐标中)具有速度v、加速度a、方向w的人员P。
机器人例如可以是清洁车、割草机、农业设备。车辆可以是陆地车辆——尤其可以是轿车、运输车、货车、陆用车辆或两栖车辆。
例如可以借助一个或多个传感器来检测所述观测。所述一个或多个传感器可以是一种或多种类型的传感器，或者可以使用摄像机的和/或雷达传感器的不同或相同的对比机制。所述传感器尤其可以是移动设备的传感器。由所述传感器检测对象，并且例如将该对象作为观测存储在控制系统的存储器中。在此，存储器可以布置在移动设备中——例如机器人或车辆内部，存储器可以布置在移动设备的外部——例如服务器或另一车辆中，或者存储器也可以分成移动设备内部和外部的多个存储器。在所述存储器中，可以将移动设备——例如自身车辆(“本车辆”)——所检测的周围环境存储为观测序列，其中，根据所使用的传感器形态
可以存储不同的属性。在此，观测序列的每个元素可以具有一个时间戳。在摄像机的情况下，例如可以将观测不经处理地作为原始图像(“rawimage”)存储，或者在(例如借助均衡器的)预处理之后再进行存储。
在此，观测包括至少一个第一观测、第二观测和第三观测。在此，在第一时刻检测第一观测。第一时刻在此可以是真实的现在。尤其在(例如借助多个观测的)离线处理的情况下，第一时刻可以是如下时刻：该时刻处于真实的现在之前并且已经以文件的形式存储。在这种情况下，可以将第一时刻定义为参考时刻——在一定程度上定义为“用于测量的现在”、即检测对象期间。
第二时刻是在第一时刻之前的时刻，因此第二时刻相对于第一观测处于过去。在此，第二时刻可以早于第一时刻几天、几时、几分、几秒、或者仅几分之一秒。例如在摄像机和/或雷达传感器的情况下(即在能够每秒拍摄多个图像的设备的情况下)，第二时刻可以是如下时刻：在该时刻，前一个“图像”已经被拍摄。所述前一个“图像”也可以涉及图像序列，即第二时刻可以包括多个时刻。
第三时刻是在第一时刻之后的时刻，即第三时刻相对于第一观测处于将来。如果第一时刻例如处于真实的现在，则第三观测例如可以由预测系统形成。在(例如借助多个观测的)离线处理的情况下，第三时刻可以是相比于第一时刻更晚的时刻。第三时刻可以晚于第一时刻几天、几时、几分、几秒、或者仅几分之一秒。第三时刻至第一时刻的时间距离可以与第二时刻至第一时刻的时间距离相同。第三时刻可以包括多个时刻并且例如可以包括时刻序列。所述时刻可以具有等距的、动态配置的和/或可动态配置的时间间隔。
在使用所选择的观测的情况下，标注模块求取对象的至少一个属性。有时将观测或多个观测称为未标注的样本。有时分别将具有至少一个属性的观测或多个观测称为已标注的样本。因此，已标注的样本表示多个已记录或已存储的观测。已标注的样本可以包括对车辆环境的符号化描述。对属性的这种求取例如可以通过如下方式实现：将单个或多个对象属性(标签)添加至多个观测。由此可以生成对象的符号化的抽象属性。在此，标注模块例如通过如下方式确定对象及其属性：借助一个或多个模式识别算法和多目标跟踪算法来处理观测。该求取在此使用第一观测、第二观测和第三观测，即该求取考虑观测的一定程度上的现在、过去和将来。这有时称为观测的整体处理(holistische Verarbeitung)。在该整体处理中，通过使用在确定时刻之前、之时和之后的观测而自动地产生属于该确定时刻的标签。通过对观测的整体处理，可以实现标签的特别高的准确性和可靠性。尤其已经证明，在很多情况下，与使用仅考虑检测时刻之前和之时而不考虑该时刻之后的其他算法方法相比，以这种方式产生的标签能够达到的准确性和可靠性更高，例如在本发明中就是这种情况。
该标签也称为参考标签或真实值标签(Ground-Truth-Label)。在此，标签涉及周围环境中(即在真实世界中)的一个或多个对象。所述对象可以是静态对象或动态对象。例如可以使用参考标签或真实值标签来训练使用机器学习方法的设备。
该方法可用于离线标注也可用于在线标注。对于在线标注，可以使用如下变量：该变量考虑到在线处理和/或在移动设备(例如独立于网络的机器人或车辆)中的处理的细节——例如有限的计算时间和/或存储空间。
在一种实施方式中，观测中的每个由单个观测、尤其由多个单个观测组成，并且这些单个观测分别借助不同的对比机制所检测。例如，可以借助多个传感器或单个传感器来检测单个观测。例如，可以借助不同类型的传感器来检测不同的对比机制。使用多个传感器类型的观测有时称为“多形态(Multimodal)”。例如可以借助具有不同的预处理和/或后处理的相同传感器类型来检测不同的对比机制。示例可以是不同的附接元件(在摄像机的情况下例如不同的透镜)，或者用于进行后处理的不同滤波器和/或算法。因此，例如可以执行特定于传感器形态的测量——例如像素值、位置测量、速度分量等的测量等。
也可以借助相同的对比机制并且借助不同品质值(qualitative Wertigkeit)的传感器来检测单个观测。例如，可以将标准传感器与所谓的参考传感器结合使用。在此，参考传感器可以具有(例如更高的信噪比方面、更高的成像准确度方面和/或更高的空间或时间分辨率方面的)更高的质量。参考传感器可以是经校准的传感器。除了一种实施方式中的多模态传感器之外，在此还可以涉及一个或多个如下传感器：所述传感器用于自动化驾驶功能并且布置在车辆中或布置成与车辆连接。这些附加的参考传感器可以通过将附加的传感器数据与标准传感器组的数据进行融合来改善整体产生的标签的准确性。与标准传感器组的准确度和/或作用范围相比，参考传感器具有至少一样好的、在一些情况下甚至更好的准确度和作用范围。可以使用参考传感器来检查标准传感器。
在一种实施方式中，在将观测进而用于求取对象的属性之前，将单个观测分别融合成所述观测。在此，将不同传感器和/或不同传感器类型的数据融合。例如，可以将由摄像机和雷达传感器提供的数据以关联到相同对象的方式进行语义连接，使得该对象的属性估计基于不同传感器的信息。可以将定义对象的标签用于多形态传感器(例如雷达、激光雷达或摄像机数据)中的每个单个，或者也可以将该标签用于多个传感器类型的组合。这例如可以用于评估和验证的应用，或者也可以用于机器学习方法。
在一种实施方式中，分类包括第一观测与第二观测和/或与第三观测的比较。
在一种实施方式中，求取包括分类或回归分析的步骤，其中，分类或回归分析包括：对所构造的标签对象进行类型分类，和/或，对所构造的标签对象进行状态分类或者对所构造的标签对象的状态进行回归分析。类型分类有时也称为“对象类型分类”。类型分类例如可以包括诸如“房屋”、“车辆”、“黄色”、“进行反射的”等属性。状态分类有时也称为“状态类型分类”。状态分类例如可以包括诸如“静态”或“动态”的属性。也可以使用观测的其他类型的分类。
在一种实施方式中，状态分类包括将标签对象分类为静态标签对象或动态标签对象。静态标签对象例如可以是房屋、护栏或停放的车辆。动态标签对象例如可以是运动的自行车或运动的车辆。状态分类可以借助多种方法进行。这些方法中的一种例如可以包括(例如在第一、第二和第三观测之间的)差异分析或基于模型的处理。在此，如果未分析到位置变化，则标注系统借助对相关测量数据的差异分析或借助基于模型的处理来将观测分类为静态标签对象。例如，如果差异分析分析到位置变化(即如果传感器测量的位置变化并非仅由自身移动设备的运动引起)，则标注系统将观测分类为动态标签对象。静态标签对象可以获得分类的更新。因此，例如已被分类为静态标签对象的停放的车辆可以发生运动；在这种情况下，将同一车辆重新分类为动态标签对象。然而，如果已被分类为动态标签对象的车辆停止，则该车辆仍保持动态标签对象，但其具有属性“Speed＝0”。
如果差异分析分析到存储对象的消失或不合理出现，则标注系统将该标签对象分类为干扰对象。干扰对象例如可以是在真实世界中没有对应关系的临时伪像(也称为“鬼影”)。分类为静态、动态或杂扰标签对象(Clutter-Label-objekt)构成标签对象的属性的一部分。
在一种实施方式中，标注系统还设置用于借助另一差异分析来分析标签(对象属性)的和/或观测的序列，和/或该标注系统设置用于产生观测与借助标签表示的对象的关联。附加地，也可以将测量与对象的关联以其他标签的形式添加到已标注的样本中，所述已标注样本由未标注的样本自动地产生。与(第一)差异分析相比，所述另一差异分析和/或关联产生可以包括测量和/或标签的更长序列。所述另一差异分析/关联也可以得益于整体处理，其方式是：在确定时刻对属性的估计和/或在该确定时刻的关联考虑在该时刻之前、之时和之后的传感器数据。该另一差异分析或关联也可以作为迭代过程实现。在此，当在迭代中(例如对于确定属性)计算出的值和/或传感器测量与借助标签表示的对象的关联收敛时，则结束该迭代过程。这例如可以用于在观测中存在模糊性(Mehrdeutigkeit)的情况下首先产生多个可能的假设，在后续的处理步骤中将所述多个可能的假设相互权衡并且使其可信或不可信。这可以改善将测量数据传输到已标注样本中的准确性。在一种实施方式中，用于估计确定时刻的对象属性的迭代过程可以使用在该时刻之前、之时和之后的传感器数据(即可以执行整体处理)。在一种实施方式(例如离线处理)中，迭代过程不需要满足实时条件，因此该迭代过程可能是相对非常耗时且计算量大的。例如，可以在服务器上或其他特别高性能的处理器系统上实施迭代过程。然后，可以将该迭代过程的结果提供给移动设备中的如下处理器系统：该处理器系统至少在一些情况下具有较小计算性能。
在一种实施方式中，分类包括使用模型。在此，可以将模型用于类型分类和/或状态分类。因此，例如可以使用房屋或车辆的模型。例如，也可以使用彼此进行交互的运动模型——例如所谓的交互多模型(IMM)。该模型可以涉及根据训练数据所训练的模型。在这种情况下，训练数据表示已记录并标注的传感器数据的样本。例如，该模型可以表示传感器数据的条件统计分布或从传感器数据中提取的特征的条件统计分布，所述条件统计分布与待分类或待通过回归分析来确定的类型或状态相关。由训练数据估计所述条件分布。
在一种实施方式中，分类包括使用人工神经网络。例如，借助一系列已分类的标签对象(例如借助不同类型的运动和不运动的车辆、行人、房屋、护栏等)来训练人工神经网络。然后，可以借助其他方法进一步改善已分类的标签对象的准确性。
在一种实施方式中，分类包括使用贝叶斯滤波器、例如卡尔曼滤波器。在此，贝叶斯滤波器或卡尔曼滤波器例如可以用于估计对象属性。由此尤其可以减少在传感器测量序列中表现为不稳定动态的错误。为了进一步提高对时间特性的描述的准确性，可以使用交互运动模型——例如所谓的交互多模型(IMM)。
在一种实施方式中，分类或回归分析包括使用贝叶斯平滑器——尤其固定区间的贝叶斯平滑器(Fixed Interval Bayesian Smoother)。在一种实施方式中，最优固定区间平滑滤波器(Rauch-Tung-Striebel-Filter)可以用于估计对象属性。因此，由于进行整体处理，该系统可以受益于更高的估计准确度，因为在这种情况下，在对确定时刻的有效属性的估计中考虑在该时刻之前、之时和之后的测量。
在一种实施方式中，分类包括使用基于图形的优化。在此，图形的节点表示对象属性(标签)，并且图形的棱边表示动态对象的观测和物理限制或运动模型。该图形定义误差函数，该误差函数与测量数据、对象属性、传感器模型和运动模型相关。借助迭代的优化，通过在节点中的对象属性的状态空间中找到最佳解，可以将由每个棱边的误差之和得出的图形总误差最小化。在此涉及整体优化，因为图形中包含的测量值中的每个都可以对图形的所有待优化参数(属性)产生影响。
在一种实施方式中，分类和/或回归分析包括以下步骤：
–产生临时静态标签对象、临时动态标签对象或临时杂扰标签对象；
–使观测与临时标签对象相关联，并基于此确定：所述观测所基于的测量是静态测量、动态测量还是杂扰测量；
–根据分别关联的观测，完善(Verfeinerung)所述临时静态标签对象和/或动态标签对象的类型和属性；
–根据品质度量和/或质量度量来评估临时静态标签对象或临时动态标签对象；
–响应于品质度量和/或质量度量低于预给定的阈值的情况，分支回到关联的步骤；
–响应于品质度量和/或质量度量达到或超过预给定的阈值的情况，在使用临时静态标签对象或临时动态标签对象的情况下产生最终标签对象。
这些步骤也可以借助一定数量的迭代来迭代地执行。迭代的数量可以确定为预定义的数量。迭代的数量或迭代方法的结束可以通过中止标准定义。中止标准例如可以从质量标准中、例如从对象的距离估计中得出——例如当第一距离估计与第二距离估计的偏差小于30cm。
在一种实施方式中，使用第一观测包括将第一观测与示例对象的列表进行比较。在此，在处理传感器测量时，标注模块可以访问示例对象(例如模型)，所述示例对象存储在模型存储器中。所述模型可以涉及特定于传感器形态的模型——即例如可能存在用于处理或识别摄像机图像的模型以及用于处理或识别雷达测量值的独立于上述模型的模型。附加地，可能存在用于传感器数据融合的模型。此外，可能存在如下模型(运动模型)：该模型用于描述动态对象的时间特性，并且由此实现或改善对象的跟踪。所述模型可以涉及根据训练数据而产生的模型，或者可以涉及具有如下参数的手动定义的模型：所述参数根据物理关系而定义或根据经验值而优化。自动训练的模型可以涉及借助人工神经网络训练的模型——例如涉及借助所谓的深度神经网络训练的模型。通过使用示例对象的列表，例如可以将其他属性(例如类型分类的属性)添加到标签对象的属性中。
本发明的另一方面涉及一种用于由对象的观测产生标签对象的标注系统，该标签对象包括对象的在第一时刻的至少一个属性，该标注系统具有：
存储器，该存储器设置用于存储观测，其中，所述观测包括：
在第一时刻所检测的第一观测，
在第二时刻所检测的第二观测，其中，第二时刻是在第一时刻之前的时刻，
在第三时刻所检测的第三观测，其中，第三时刻是在第一时刻之后的时刻，
标注模块，该标注模块设置用于在使用所选择的观测的情况下求取对象的至少一个属性。
在一种实施方式中，所述观测中的每个都由单个观测组成，在此，这些单个观测分别借助不同的对比机制所检测。
在一种实施方式中，所述观测中的每个都由单个观测组成，在此，这些单个观测分别借助相同的对比机制并且借助不同品质值的传感器所检测。
在一种实施方式中，在将观测进而用于求取对象的属性之前，将单个观测分别融合成所述观测。
在一种实施方式中，求取包括分类或回归分析的步骤，其中，分类或回归分析包括对所构造的标签对象进行类型分类，和/或，对所构造的标签对象进行状态分类或者对所构造的标签对象的状态进行回归分析。
在一种实施方式中，状态分类包括将标签对象分类为静态标签对象或动态标签对象。
在一种实施方式中，分类包括第一观测与第二观测和/或与第三观测的比较。
在一种实施方式中，分类或回归分析包括使用模型和/或使用人工神经网络和/或使用贝叶斯滤波器和/或使用贝叶斯平滑器和/或使用基于图形的优化。
在一种实施方式中，存储器布置在移动设备中(例如在机器人或车辆内部)和/或布置成与机器人或车辆连接，标注模块布置在移动设备外部的服务器上。在此，用于模型和对象属性的列表也可以布置在移动设备外部的服务器中。因此，在该实施方式中，在行驶期间，将在移动设备中测量的传感器数据存储在永久性存储介质上，并且在行驶结束之后，将该传感器数据传输到移动设备外部的服务器计算机上或服务器集群上。标签的产生在该服务器计算机上或服务器集群上进行。在此，标注系统可以使用如下服务器硬件：该服务器硬件具有比通常在移动设备中可用的硬件更高的性能。这允许使用由于对移动设备中的计算能力和存储容量的要求而无法使用的算法，并且由于这些算法可以实现所产生的标签的更高的准确性和可靠性。此外，由此还可以使用机器学习方法，该机器学习方法基于一种形态或不同形态的组合，并且该机器学习方法借助对传感器数据的整体处理来产生附加信息或直接产生参考标签，所述附加信息被考虑用于提高自动产生参考标签的准确性。
在一种实施方式中，存储器布置在云中，并且标注模块布置在移动设备外部的服务器上。模型参数和对象属性的列表也可以布置在移动设备外部的服务器上。在此，在行驶期间，例如可以通过无线互联网连接来将在移动设备中测量的传感器数据传输到移动设备外部的服务器计算机上或服务器集群上。标签的产生在该服务器计算机上、服务器集群上或云中进行。
在一种实施方式中，存储器和标注模块布置在移动设备中。存储器和列表也可以布置在移动设备中。在一种实施方式中，移动设备中的列表包括服务器上的模型的真实子集。在此，为了承载(如经常在移动设备中使用的)处理器系统的与服务器相比较小的计算性能和/或存储容量，从所测量的数据中进行选择，以便仅对所测量的数据的一部分自动地产生参考标签。
本发明的另一方面涉及一种具有(例如在上文中和/或在下文中所述的)标注系统的机器人或车辆、尤其至少部分自动化行驶的车辆。
本发明的另一方面包括一种程序单元，该程序单元设置用于当其在处理器单元上实施时执行所述方法中的一个。
本发明的另一方面包括一种计算机可读的介质，在该计算机可读的介质上存储有所述程序单元。
本发明的另一方面涉及一种如上文所述的用于产生已标注样本的标注系统的应用，该标注系统尤其用于至少部分自动化行驶的车辆的开发。
此外，以下根据附图结合对本发明的优选实施例的描述来进一步示出改善本发明的措施。
附图说明
附图示出：
图1示意性地示出根据本发明的一种实施方式的系统；
图2示意性地示出根据本发明的一种实施方式的用于检测单个观测的时序图；
图3示意性地示出根据本发明的一种实施方式的标注系统的一部分；
图4示意性地示出根据本发明的另一实施方式的标注系统的一部分；
图5示意性地示出根据本发明的一种实施方式的系统的配置；
图6示意性地示出根据本发明的一种实施方式的系统的另一配置；
图7示意性地示出根据本发明的一种实施方式的系统的另一配置；
图8示出根据本发明的一种实施方式的方法。
具体实施方式
图1示意性地示出根据本发明的一种实施方式的具有标注系统200的系统。标注系统200与具有多个单个传感器301、302的传感器组300连接。单个传感器301、302可以具有或使用不同的对比机制。在此，在所示的实施方式中，第一单个传感器301实施为摄像机(示意性地通过透镜表示)，第二单个传感器302实施为雷达传感器；即第二单个传感器302与单个传感器301的传感器类型不同并且使用不同的对比机制。传感器组300设置用于检测周围环境或环境100中的对象120的原始测量值，并且通过导线或接口310将所述原始测量值传输到存储器400。原始测量值涉及的内容是特定于传感器的；原始测量值例如可以涉及像素值、位置数据(例如雷达位置)或对象的确定属性(例如速度分量)等。通常，不仅产生对象的测量值，而且产生背景测量(例如图像中的背景像素)或假阳性测量(例如雷达传感器的鬼影位置)。对象120可以是一个对象或(此处所示的)多个对象。传感器组300多次(例如以等距的时间序列)在第一时刻t1、第二时刻t2和第三时刻t3拍摄对象120中的每个。然后将对象120的测量以及背景测量和假阳性测量作为观测420或观测420的序列存储在存储器400中。在此，观测420具有：在第一时刻t1检测的第一检测观测421、在第二时刻t2检测的第二检测观测421和在第三时刻t3检测的第三检测观测423。
标注系统200还具有标注模块500。该标注模块将传感器观测420转换为标签620的序列，其中，标注模块500借助整体算法处理观测420，以便产生标签620。在处理观测420的情况下，标注模块500访问保存在模型存储器550中的模型570。所述模型可以涉及特定于传感器形态的模型——例如可能存在用于处理或识别摄像机图像的模型以及独立于此的用于处理或识别雷达测量值的模型。附加地，可能存在用于传感器数据融合的模型。此外，可能存在如下模型(运动模型)：该模型用于描述动态对象的时间特性，并且由此实现或改善对象的跟踪。所述模型可以涉及根据训练数据产生的模型，或者可以涉及以下手动定义的模型：所述手动定义的模型具有根据物理关系定义的参数或根据经验值优化的参数。自动训练的模型可以涉及借助人工神经网络训练的模型(例如深度神经网络)。
图2沿着借助t表示的时间轴示意性地示出根据本发明的一种实施方式的用于检测单个观测的时序图。在此，在时刻t1、t2、t3，由单个传感器301和302(参见图1)检测单个观测。在此，单个传感器301、302可以具有或使用不同的对比机制。因此，第一单个传感器301可以在第一时刻t1检测单个观测421a。第一单个传感器301在此可以使用第一对比机制来检测单个观测421a；该单个观测由三角形表示。第一时刻例如可以是真实的现在。第一时刻也可以(尤其在离线处理的情况下)是处于真实的现在之前的时刻，该时刻例如已经以文件的形式被存储。在这种情况下，可以将第一时刻可以定义为参考时刻——在一定程度上定义为“用于测量的现在”、即检测对象期间。在该第一时刻t1，第二单个传感器302也检测单个观测421b。第二单个传感器302在此可以使用第二对比机制来检测单个观测421b；该单个观测由圆圈表示。然后可以将单个观测421a和421b组合、尤其融合成观测421。所组合的观测421由矩形表示。此外，第一单个传感器301和第二单个传感器302在第二时刻t2进一步检测单个观测422a或422b。该第二时刻t2相对于第一时刻t1处于过去。可以将单个观测422a和422b组合、例如融合成观测422。此外，第一单个传感器301和第二单个传感器302在第三时刻t3检测单个观测423a或423b。该第三时刻t3相对于第一时刻t处于将来。在离线处理的情况下，第三时刻t3可以是与第一时刻相比更晚的检测时刻。在在线处理的情况下，在第三时刻的检测可以包括预测。第三时刻至第一时刻的时间距离可以与第二时刻至第一时刻的时间距离相同。可以将单个观测值423a和423b组合、例如融合成观测423。
图3示意性地示出根据本发明的一种实施方式的标注系统200的一部分。在此，示出分类或关联模块510，该分类或关联模块将存储器400中的包括观测421、422和423的传感器观测420分类为静态测量522和/或动态测量524和/或杂扰测量(假阳性测量)526。这例如可以借助传感器观测420与以下对象的属性的差异分析来实现：该对象之前通过“派生(Spawning)”产生，在动态对象的情况下借助“跟踪”追踪，该对象的属性由表示620表示。差异分析的结果是与现有对象的关联，由此导致分配为静态的、动态的或“杂扰”的。在一些传感器形态中，这种分配也可以至少部分地直接根据所测量的属性(例如雷达情况下的速度)实现，或者这种分配可以由在训练数据中学习的基于模型的分类器(例如借助神经网络)来实现。如果差异分析得出传感器观测420与静态对象的关联，或者如果基于模型的分类得出传感器观测420来自静态对象，则将观测420分类为静态测量522。没有位置变化意味：在不运动的移动设备的情况下，至少两个元素的序列中的传感器观测420仅经受由于传感器噪声或变化的周围环境条件而产生的变化；在运动的移动设备的情况下，可以从至少两个元素中计算出运动。一些标注系统200在差异分析中使用卡尔曼滤波器；这尤其改善运动车辆情况下的分析。观测522是分类为静态测量的传感器观测420。相反，观测524是分类为动态测量的观测420。最后，观测526是分类为杂扰或杂扰标签对象的观测420。附图标记622表示由测量推导出的属性或静态对象的之前推导出的属性(例如位置、大小)的经匹配的副本，该静态对象的属性保存在对象存储器600中，附图标记624表示动态对象的经推导或经匹配的属性(例如速度)，该动态对象的属性保存在对象存储器600中。在考虑所有在时间上设置或匹配的属性622或644的情况下设置最终的对象属性620。因此，622或624是整体优化的属性。分别在考虑观测522或524的情况下设置或匹配属性622或624。在一些传感器形态(例如雷达)的情况下，将每个观测420(例如雷达位置)要么分类为静态测量522、要么分类为杂扰测量526、要么分类为动态测量524。在这种情况下，观测420与测量522、526或524中的一个相同，其他两个测量对于该观测而言不存在。在其他传感器形态(例如摄像机)的情况下，可以由观测420(例如摄像机的图像)得出多个经处理的测量522和524。在这种情况下，522和524也称为特征。在摄像机图像的示例中，522可以涉及图像中的分段静态对象，524可以涉及图像中的分段动态对象。
如果将观测420分类为静态、动态或杂扰，则可以使用保存在模型存储器550中的模型570。如果从观测420中交替地(根据传感器形态)产生经处理的测量或特征522、526和/或524，则通常也使用保存在模型存储器550中(也参见图1)的模型570。
图4示意性地示出根据本发明的另一实施方式的标注系统200的一部分。图4在很大程度上与图3一致；相同的附图标记在此表示相同的部件。图4与图3的不同之处在于，为了求取静态属性622和动态属性624而进行迭代过程。在此，与分类/关联模块510相比，迭代过程考虑更长的观测420序列。此外，在动态属性624的序列的情况下，还使用贝叶斯平滑器——例如最优固定区间平滑滤波器(RTS滤波器)。
图5示意性地示出根据本发明的一种实施方式的系统的配置。在此，在行驶期间，将在车辆110中测量的观测或传感器数据420存储在永久性存储介质400中。在行驶结束之后，将传感器数据420通过传输路径401复制到车辆110外部的服务器计算机上的或服务器集群150上的存储器400a上。服务器计算机或服务器集群150也可以实施为云。接下来，在服务器150上进行如上所述的对数据的分析和标签620的产生。
图6示意性地示出根据本发明的另一实施方式的系统的另一配置。在此，在行驶期间，将在车辆中测量的传感器数据通过无线互联网连接402(或通过另一传输路径)复制到车辆110外部的服务器集群或云160上的存储器400b上。接下来，将数据从那里通过传输路径403复制到服务器150上的存储器400a上。然后，在服务器150上进行如上所述的对数据的分析和标签620的产生。替代地，可以直接在云160中的服务器集群上进行对数据的分析和标签的产生，从而省去通过传输路径403到存储器400a上的复制。
图7示意性地示出根据本发明的一种实施方式的系统的另一配置。在此，在车辆110自身中，借助标注系统200来处理在车辆110中测量的传感器数据420。例如可以借助放置在车辆110的不同位置处的三个传感器300来检测传感器数据420，并且可以将所述传感器数据作为观测420的序列存储在存储器400中。标注系统200具有在图3或图4中所描述的部件。然而，例如出于重量、体积和/或功耗的原因，尤其用于模型参数的存储器较小地构型，并且处理器系统性能较弱地构型。
图8示出根据本发明的一种实施方式的方法。在步骤701中，借助放置在车辆110的不同位置(如图7所示)的三个传感器300来检测对象120(参见图1)，并且可以将所述对象作为观测420的序列存储在存储器400中。在步骤702中，借助标注系统200将存储对象420转换为标签620的集合并将其存储在标签存储器600中。传感器观测的序列称为未标注的样本。将传感器观测的序列与产生的标签的组合称为已标注的样本。根据标签的所需准确性和可靠性，根据能够借助传感器组的传感器和标注系统的算法实现的准确性，可以在另一步骤703中通过如下方式改善标签620：人工操作者借助用于显示和可视化传感器原始数据和已产生标签的合适工具来手动修正标签的可能错误和不准确性，以便产生该标签集合的改进版本。为此，所述显示工具可以支持标签的根据人工操作者的输入的更改。
Claims (16)
1.一种用于由对象(120)的观测(420)产生标签对象(620)的方法，所述标签对象包括所述对象(120)的在第一时刻(t1)的至少一个属性，所述方法具有以下步骤：
从所述观测(420)中选择：
在所述第一时刻(t1)所检测的第一观测(421)，
在第二时刻(t2)所检测的第二观测(422)，其中，所述第二时刻(t2)是在所述第一时刻(t1)之前的时刻，
在第三时刻(t3)所检测的第三观测(423)，其中，所述第三时刻(t3)是在所述第一时刻(t1)之后的时刻；
在使用所选择的观测(421，422，423)的情况下求取所述对象(120)的至少一个属性。
2.根据权利要求1所述的方法，
其中，所述观测(421，422，423)中的每个由单个观测(421a，421b；422a，422b；423a，423b)组成，其中，所述单个观测(421a，421b；422a，422b；423a，423b)分别借助不同的对比机制检测，和/或
其中，所述观测(421，422，423)中的每个由单个观测(421a，421b；422a，422b；423a，423b)组成，其中，所述单个观测分别借助相同的对比机制并且借助不同品质值的传感器检测。
3.根据权利要求2所述的方法，
其中，在将所述观测(421，422，423)进而用于求取所述对象(120)的属性之前，将所述单个观测(421a，421b；422a，422b；423a，423b)分别融合成所述观测(421，422，423)。
4.根据以上权利要求中任一项所述的方法，
其中，所述求取包括分类或回归分析的步骤，
其中，所述分类或回归分析包括：对所构造的标签对象(620)进行类型分类，和/或，对所构造的标签对象(620)进行状态分类或对所构造的标签对象(620)的状态进行回归分析。
5.根据权利要求4所述的方法，
其中，所述分类包括所述第一观测(421)与所述第二观测(422)和/或与所述第三观测(423)的比较，和/或
其中，所述状态分类包括将所述标签对象(620)分类为静态标签对象或动态标签对象，和/或
其中，所述分类包括使用模型，和/或
其中，所述分类包括使用人工神经网络，和/或
其中，所述分类包括使用贝叶斯滤波器，和/或
其中，所述分类或所述回归分析包括使用贝叶斯平滑器，和/或
其中，所述分类或所述回归分析包括使用基于图形的优化。
6.根据权利要求4或5所述的方法，
其中，所述分类和/或所述回归分析包括以下步骤：
产生临时静态标签对象(522)、临时动态标签对象(524)或临时杂扰标签对象(526)；
使观测(421，422，423)与临时标签对象(522，524，526)相关联(510)，并且基于此确定：所述观测(421，422，423)所基于的测量是静态测量(522)、动态测量(524)还是杂扰测量(526)；
根据分别关联的观测(421，422，423)，完善所述临时静态标签对象和/或临时动态标签对象(522，524)的类型和属性(120)；
根据品质度量和/或质量度量来评估所述临时静态标签对象(522)或所述临时动态标签对象(524)；
响应于所述品质度量和/或质量度量低于预给定的阈值的情况，分支回到所述关联的步骤；
响应于所述品质度量和/或质量度量达到或超过所述预给定的阈值的情况，在使用所述临时静态标签对象(522)或所述临时动态标签对象(524)的情况下产生最终标签对象(620)。
7.根据以上权利要求中任一项所述的方法，
其中，使用所述第一观测(421)包括将所述第一观测(421)与示例对象(570)的列表(550)进行比较。
8.一种用于由对象(120)的观测(420)产生标签对象(620)的标注系统(200)，所述标签对象包括所述对象(120)的在第一时刻(t1)的至少一个属性，所述标注系统(200)具有：
存储器(200)，所述存储器设置用于存储所述观测(420)，
其中，所述观测(420)包括：
在所述第一时刻(t1)所检测的第一观测(421)，
在第二时刻(t2)所检测的第二观测(422)，其中，所述第二时刻(t2)是在所述第一时刻(t1)之前的时刻，
在第三时刻(t3)所检测的第三观测(423)，其中，所述第三时刻(t3)是在所述第一时刻(t1)之后的时刻，
标注模块(500)，所述标注模块设置用于在使用所选择的观测(421，422，423)的情况下求取所述对象(120)的至少一个属性。
9.根据权利要求8所述的标注系统(200)，
其中，所述观测(421，422，423)中的每个由单个观测(421a，421b；422a，422b；423a，423b)组成，其中，所述单个观测(421a，421b；422a，422b；423a，423b)分别借助不同的对比机制检测，和/或
其中，所述观测(421，422，423)中的每个由单个观测(421a，421b；422a，422b；423a，423b)组成，其中，所述单个观测分别借助相同的对比机制并且借助不同品质值的传感器检测。
10.根据权利要求9所述的标注系统(200)，
其中，在将所述观测(421，422，423)进而用于求取所述对象(120)的属性之前，将所述单个观测(421a，421b；422a，422b；423a，423b)分别融合成所述观测(421，422，423)。
11.根据权利要求8至10中任一项所述的标注系统(200)，
所述求取包括分类或回归分析的步骤，
其中，所述分类或所述回归分析包括：对所构造的标签对象(620)进行类型分类，和/或，对所构造的标签对象(620)进行状态分类或者对所构造的标签对象(620)的状态进行回归分析。
12.根据权利要求11所述的标注系统(200)，
其中，所述状态分类包括将所述标签对象(620)分类为静态标签对象或动态标签对象，和/或
其中，所述分类或所述回归分析包括所述第一观测(421)与所述第二观测(422)和/或与所述第三观测(423)的比较，和/或
其中，所述分类或所述回归分析包括使用模型，和/或
其中，所述分类或所述回归分析包括使用人工神经网络，和/或
其中，所述分类或所述回归分析包括使用贝叶斯滤波器，和/或
其中，所述分类或所述回归分析包括使用贝叶斯平滑器，和/或
其中，所述分类或所述回归分析包括使用基于图形的优化。
13.根据权利要求8至12中任一项所述的标注系统(200)，所述标注系统还具有存储器(400)，在所述存储器中存储有所述观测(420)，
其中，所述存储器(400)布置在车辆(110)中，并且所述标注模块(500)布置在所述车辆(110)外部的服务器(150)上，和/或
其中，所述存储器(400)布置在云(160)中，并且所述标注模块(500)布置在所述车辆(110)外部的服务器(150)上，和/或
其中，所述存储器(400)和所述标注模块(500)布置在所述车辆(110)中。
14.一种程序单元，所述程序单元设置用于当其在服务器(150)上或另一处理器系统上实施时，执行根据权利要求1至7中任一项所述的方法。
15.一种计算机可读的介质，在所述计算机可读的介质上存储有根据权利要求14所述的程序单元。
16.一种根据权利要求8至13所述的用于产生已标注的样本的标注系统(200)的应用，所述标注系统尤其用于至少部分自动化行驶的车辆的开发。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018220892.1 | 2018-12-04 | ||
| DE102018220892.1A DE102018220892A1 (de) | 2018-12-04 | 2018-12-04 | Vorrichtung und Verfahren zur Generierung von Labelobjekten für die Umgebung eines Fahrzeugs |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111274862A true CN111274862A (zh) | 2020-06-12 |
Family
ID=70681332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911227609.1A Pending CN111274862A (zh) | 2018-12-04 | 2019-12-04 | 用于产生车辆的周围环境的标签对象的设备和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11392804B2 (zh) |
| CN (1) | CN111274862A (zh) |
| DE (1) | DE102018220892A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020206660A1 (de) * | 2019-05-30 | 2020-12-03 | Robert Bosch Gesellschaft mit beschränkter Haftung | Redundante umgebungswahrnehmungsverfolgung für automatisierte fahrsysteme |
| CN111598054A (zh) * | 2020-06-19 | 2020-08-28 | 上海眼控科技股份有限公司 | 车辆检测方法、装置、计算机设备及存储介质 |
| DE102021101118A1 (de) | 2021-01-20 | 2022-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Fehlervorhersage einer semantischen Segmentierung von Bilddaten, Assistenzeinrichtung und Kraftfahrzeug |
| DE102021207093A1 (de) | 2021-07-06 | 2023-01-12 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Bereitstellen von klassifizierten digitalen Aufnahmen für ein System zum automatischen Maschinenlernen und zum Aktualisieren eines maschinenlesbaren Programmcodes damit |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080120077A1 (en) * | 2006-11-22 | 2008-05-22 | Shih-Jong J. Lee | Method for kinetic characterization from temporal image sequence |
| US20090192785A1 (en) * | 2008-01-29 | 2009-07-30 | Anna Carpenter Cavender | System and method for optimizing natural language descriptions of objects in a virtual environment |
| CN109125286A (zh) * | 2011-12-13 | 2019-01-04 | 安吉尼科分子传输公司 | 用于将治疗剂递送至脑瘤的细菌衍生的、完整的微细胞 |
| US20160252905A1 (en) * | 2014-08-28 | 2016-09-01 | Google Inc. | Real-time active emergency vehicle detection |
| DE102016205139B4 (de) * | 2015-09-29 | 2022-10-27 | Volkswagen Aktiengesellschaft | Vorrichtung und Verfahren zur Charakterisierung von Objekten |
| US10169678B1 (en) * | 2017-12-21 | 2019-01-01 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
| US10769422B2 (en) * | 2018-09-19 | 2020-09-08 | Indus.Ai Inc | Neural network-based recognition of trade workers present on industrial sites |
| US10902634B2 (en) * | 2018-12-04 | 2021-01-26 | Here Global B.V. | Method and apparatus for providing feature triangulation |
| CN113840765A (zh) * | 2019-05-29 | 2021-12-24 | 御眼视觉技术有限公司 | 用于车辆导航的系统和方法 |
-
2018
- 2018-12-04 DE DE102018220892.1A patent/DE102018220892A1/de active Pending
-
2019
- 2019-11-22 US US16/692,082 patent/US11392804B2/en active Active
- 2019-12-04 CN CN201911227609.1A patent/CN111274862A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20200175342A1 (en) | 2020-06-04 |
| DE102018220892A1 (de) | 2020-06-04 |
| US11392804B2 (en) | 2022-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Behrendt et al. | A deep learning approach to traffic lights: Detection, tracking, and classification | |
| CN108920584B (zh) | 一种语义栅格地图生成方法及其装置 | |
| Lookingbill et al. | Reverse optical flow for self-supervised adaptive autonomous robot navigation | |
| Choi et al. | A general framework for tracking multiple people from a moving camera | |
| Bar Hillel et al. | Recent progress in road and lane detection: a survey | |
| CN111274862A (zh) | 用于产生车辆的周围环境的标签对象的设备和方法 | |
| Levinson et al. | Traffic light mapping, localization, and state detection for autonomous vehicles | |
| Wojek et al. | Monocular visual scene understanding: Understanding multi-object traffic scenes | |
| CN110753892A (zh) | 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统 | |
| CN110869559A (zh) | 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统 | |
| Dueholm et al. | Trajectories and maneuvers of surrounding vehicles with panoramic camera arrays | |
| CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统 | |
| CN111027381A (zh) | 利用单目相机识别障碍物的方法、装置、设备及存储介质 | |
| US11995766B2 (en) | Centralized tracking system with distributed fixed sensors | |
| CN116406467A (zh) | 用于检测和管理感知系统中的不确定性的系统 | |
| CN112150448B (zh) | 图像处理方法、装置及设备、存储介质 | |
| CN112115913B (zh) | 图像处理方法、装置及设备、存储介质 | |
| US20230283925A1 (en) | Object detection improvement based on autonomously selected training samples | |
| Valdenegro-Toro | I find your lack of uncertainty in computer vision disturbing | |
| Pais et al. | Omnidrl: Robust pedestrian detection using deep reinforcement learning on omnidirectional cameras | |
| CN115187941A (zh) | 目标检测定位方法、系统、设备及存储介质 | |
| CN113095351A (zh) | 借助于初始标记的改善生成经标记的数据的方法 | |
| von Rueden et al. | Street-map based validation of semantic segmentation in autonomous driving | |
| US20230260259A1 (en) | Method and device for training a neural network | |
| CN111612818A (zh) | 新型双目视觉多目标跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |