CN112771535A - 用于分析传感器数据流的方法和设备以及用于驾驶车辆的方法 - Google Patents
用于分析传感器数据流的方法和设备以及用于驾驶车辆的方法 Download PDFInfo
- Publication number
- CN112771535A CN112771535A CN201980062709.5A CN201980062709A CN112771535A CN 112771535 A CN112771535 A CN 112771535A CN 201980062709 A CN201980062709 A CN 201980062709A CN 112771535 A CN112771535 A CN 112771535A
- Authority
- CN
- China
- Prior art keywords
- sensor data
- data stream
- segment
- template
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000011524 similarity measure Methods 0.000 claims abstract description 71
- 238000010606 normalization Methods 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 15
- 230000006978 adaptation Effects 0.000 claims description 11
- 230000006399 behavior Effects 0.000 description 25
- 238000012935 Averaging Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明涉及用于针对存在的交通场景来分析表征车辆周围环境的传感器数据流的方法和设备以及用于驾驶车辆的方法。通过优选借助动态时间标准化将传感器数据流的片段映射到至少一个模板上来确定相似性量度,该相似性量度表明传感器数据流的片段与存储在数据库中的至少一个模板之间的一致程度。在此,模板表征已知交通场景。当相似性量度满足预定的相似性标准时,将已知交通场景配置给传感器数据流的片段。
Description
技术领域
本发明涉及用于针对存在的交通场景来分析表征车辆周围环境的传感器数据流的方法和设备以及用于驾驶车辆的方法。
背景技术
现代车辆越来越多地配备有驾驶员辅助系统(英语:Advanced DriverAssistance Systems,ADAS),这些驾驶员辅助系统在特定驾驶情况下为驾驶员提供支持。支持范围从经由半自主地干预(例如,通过防抱死制动系统调节施加到轮轴上的扭矩)来纯显示可能的相关信息(例如,由变道助手发出警告)到完全自主或至少半自主地干预车辆控制(例如,通过车距调节控制器的适应性速度调节(英语:Adaptive Cruise Control,ACC))。
传感器数据、例如由超声波传感器、雷达传感器或相机提供的信号通常构成这种驾驶员辅助系统的基础,借助这些传感器数据可以确定当前的驾驶情况,并且作为对此的回应可以执行相应的驾驶员辅助系统的功能。特别是在(自主地)干预车辆控制的驾驶员辅助系统中,必须有可能借助传感器数据最可靠地鉴别当前的驾驶情况。
通常在此建立特定的、配置给一驾驶情况的规则或标准,在满足这些规则或标准的情况下可以推断出存在已知的驾驶情况。满足规则或标准在此例如作为驾驶员辅助系统采取行动的触发条件。例如,在称为自我车辆并配备有驾驶员辅助系统的车辆前方的相邻车辆驶入到同一车道中的交通场景可以通过以下方式识别,即,传感检测的垂直于行驶方向的与相邻车辆的横向距离减少,并且最终当相邻车辆紧挨着自我车辆处在其前方时,至少基本上假定值0。
为了测试这种驾驶员辅助系统、特别是它们在已知交通场景中的反应,可以向待测驾驶员辅助系统馈送表征已知交通场景的传感器数据。为了可靠地测试驾驶员辅助系统,通常需要大量的传感器数据,这些传感器数据必要情况下也表征交通场景的细微变化。
为此,从WO 2017/210222 A1已知用于验证驾驶员辅助系统的模拟场景的自动生成。在此特别是可以通过记录场景的变化来生成大量这样的模拟场景,其中,这些变化基于通过相似记录场景之间的差异隔离所生成的数据流。
发明内容
本发明的目的是:进一步改善针对存在的交通场景对传感器数据流的分析、特别是通过分析传感器数据流来更可靠地和/或以简单的方式识别当前的交通场景。
所述目的通过根据独立权利要求的用于针对存在的交通场景来分析表征车辆周围环境的传感器数据流的方法和设备以及用于运行驾驶员辅助系统的方法得以实现。
本发明的第一方面涉及用于针对存在的交通场景来分析表征车辆周围环境的传感器数据流的方法,该方法包括以下工作步骤:(i)通过优选借助动态时间标准化将传感器数据流的片段映射到至少一个模板上来确定相似性量度,该相似性量度表明传感器数据流的片段与存储在数据库中的至少一个模板之间的一致程度,其中,所述模板表征已知的交通场景;以及(ii)当相似性量度满足预定的相似性标准时,将所述已知的交通场景配置给传感器数据流的所述片段。
特别地,该方法借助计算机来执行。
本发明意义上的传感器数据流特别是传感器数据的时间序列、特别是相应信号的时间序列,其在相应时刻表征车辆周围环境。换句话说,传感器数据流特别可以连续地提供与车辆周围环境有关的信息。传感器数据流可以例如由传感器装置提供或生成,该传感器装置优选具有用于检测车辆周围环境的一个或多个、必要情况下不同的传感器。可选地,传感器数据流也可以例如通过模拟而人工地生成。传感器数据流优选地由预处理的、特别是经编辑的例如融合的传感器数据构成并且例如包含关于交通参与者或其它物体之间的相对距离的信息、特别是考虑了道路弯道。
本发明意义上的传感器数据流的片段特别是传感器数据流的时间片段。传感器数据流的片段例如可以是传感器数据流的片段。换句话说,传感器数据流的片段可以包含必要情况下在预定的时间窗口中已经提供或将提供的传感器数据。一片段可以特别包含值序列、特别是值的时间序列。
本发明意义上的传感器数据流的片段对已知的交通场景的配置特别是传感器数据流的分类(英语:label)、特别是片段的分类。优选地,在配置时例如通过设置分别表征已知交通场景的标记或值来相应地识别传感器数据流的片段。
本发明意义上的传感器数据流的片段在模板上的映射特别是片段和/或模板的特别是在变换中以如下方式的适配,即,所述片段、特别是该片段的时间进程与所述模板、特别是与该模板的时间进程至少基本上、特别是尽可能好地一致。例如,所述片段和/或模板可以在映射时被压缩和/或延展,使得例如在该片段中包含的值的时间序列的形式与在模板中包含的值的时间序列的形式至少基本上一致。
本发明意义上的动态时间标准化(英语:dynamic time warping,DTW)特别是一种方法、特别是算法,以便以必要情况下彼此不同的长度来映射值序列、例如时间序列如传感器数据流的片段。在此优选生成矩阵,该矩阵作为矩阵元素包含在值序列的各个元素之间的距离、例如欧几里得距离、曼哈顿距离或马氏距离。基于研究这些距离的成本函数,则可以确定值序列的各个元素的由距离映射的各种配置的最小成本,以便找到值序列彼此之间最精确的映射。
本发明意义上的相似性量度特别是表征两个值序列、例如时间序列如传感器数据流的片段之间的相似性的值。相似性量度优选基于距离、例如欧几里得距离、曼哈顿距离或马氏距离。相似性量度可以在此与所述距离成比例、特别是等于所述距离。然而可选地,相似性量度也可以与距离成反比。在此,相似性量度优选对应由优化函数确定的距离。换句话说,相似性量度可以表征在传感器数据流的片段与模板之间的必要情况下抽象的距离。
本发明意义上的交通场景优选是从开始场面开始的场面序列内的场面元素的时间发展。与场面相比,场景涵盖一定的时间段。
场面优选描述周围环境的瞬间摄影,该瞬间摄影特别包括所有空间上的静止元素和动态元素。
本发明特别基于以下手段:将从例如由检测车辆周围环境的传感器装置或模拟器提供的传感器数据流中提取的片段与表征已知交通场景、例如表征交通参与者的空间状况和/或他们的动态发展、特别是至少一种行驶行为的模板进行比较。然后可以根据比较结果对传感器数据流的片段进行分类。例如,该片段可以分类为属于由模板表征的已知交通场景。
基于以这种方式进行的分类,例如可以发出或提供涉及已知交通场景的信息、例如经由接口传输到驾驶员辅助系统。
传感器数据流的片段与模板的比较在此以优选的方式通过所述片段的和模板的动态时间标准化来执行、即通过将片段映射到模板上来执行。在此确定的相似性量度、特别是片段与模板之间的距离,可以为以下内容提供依据:所述片段和模板配合得如何好,例如由传感器数据流的片段表征的车辆周围环境与已知的交通场景相差多少。如果相似性量度满足相似性标准,即,如果片段与模板之间的差异不太大,则将由模板表征的已知交通场景配置给传感器数据流的片段。换句话说,在这种情况下,通过已知的交通场景来鉴别由传感器数据流的片段表征的未知交通场景。
动态时间最小化的使用使得在这种情况下可以特别快速并且可靠地鉴别由传感器数据流、特别是由所述片段表征的未知交通场景。特别地,不必以必要情况下高花费的方式从传感器数据流中得出多个参数并检查它们是否满足不同的标准。相反,本发明允许借助优选通过特别节省计算时间的算法、例如由Rakthanmanon等人的“在动态时间规整下搜索和挖掘数万亿时间序列子序列(Searching and mining trillions of time seriessubsequences under dynamic time warping)”中,第18届ACM SIGKDD知InternationalConference on Knowledge Discovery and Date Mining,KDD 12,262-270(2018)说明的算法来执行的动态时间标准化,仅确定一个参数、特别是相似性量度并使用该相似性量度来可靠地鉴别交通场景。
动态时间标准化的使用特别允许将已知的交通场景也可靠地配置给传感器数据流的表征交通场景变化的片段、特别是通过将其映射到对于已知的交通场景通用的模板上。由此可以防止传感器数据流的片段在这些情况下被分别不同地分类。这能够实现传感器数据流的有效处理。
总体上,本发明允许进一步改善针对存在的交通场景对传感器数据流的分析、特别是通过分析传感器数据流来更可靠地和/或以简单的方式识别当前的交通场景。
在下文中描述了本发明的优选实施方式及其改进方案,只要没有明确地排除,它们就可以任意彼此组合以及与以下描述的本发明的方面组合。
在一种优选实施方式中,将传感器数据流的片段在配置给已知交通场景时存储在数据库中。在此优选地,将所述片段相应地分类、即标记为属于已知交通场景。所述片段特别是可以配置给已经存储在数据库中的已配置给已知交通场景的片段簇或者构成这种簇的一部分。由此,在将来(进一步)处理存储在数据库中的数据时、例如在将来适配至少一个模板时可以考虑传感器数据流的以这种方式存储的片段。
在另一优选实施方式中,所述方法还具有以下工作步骤:当相似性量度不满足预定的相似性标准时,将传感器数据流的所述片段作为另外的模板存储在数据库中。该另外的模板可以优选地在以下使用,以便能够将传感器数据流的另外的、特别是将来的片段配置给由该另外的模板表征的、特别是迄今未知的交通场景。以此方式可以扩展数据库。特别地,可以将新的交通场景、例如新的形式行为添加到数据库中。换句话说,可以以此方式实现对新交通场景的学习以及数据库的相应动态扩展。
这种情况例如会在发生罕见交通场景时、例如车辆执行尚未或之前未通过数据库中的模板记录的异常行为时发生。那么传感器数据流的片段(该片段至少在通过相似性标准预定的框架中与存储在数据库中的多个模板中的任何一个模板都不一致、即特别是不能足够精确地通过特别是动态时间标准化映射到模板之一上)以及这种罕见且迄今未知的交通场景表征为新模板存储在数据库中并且因此例如构成新的交通场景类。
在另一优选实施方式中,所述方法还具有以下工作步骤:(i)检查数据库中是否存储有至少一个模板;以及(ii)根据检查结果,将传感器数据流的所述片段作为模板添加到所述数据库中。特别地,如果迄今还没有或没有模板存储在数据库中,则将传感器数据流的所述片段存储在数据库中。可以有利地以这种方式初始化或建立数据库。特别地,由此可以免除数据库的必要情况下高花费的制作或填入在另一优选实施方式中,所述方法还具有以下工作步骤:当相似性量度同时满足预定的相似性标准和预定的适配性标准,则对模板进行适配。例如,当将传感器数据流的所述片段配置给由模板表征的已知交通场景、但是所述片段与模板之间存在一定差异时,可以对该模板进行适配。由此可以将传感器数据流的另外的、特别是将来的片段特别可靠地配置给正确的交通场景。
例如,当所述片段基于通过动态时间标准化确定的传感器数据流的片段与模板之间的距离被配置给与已知交通场景对应的片段簇、但不在该簇的重心附近时,特别可以通过重新计算对所述模板进行适配。
在另一优选实施方式中,在对模板进行适配时,通过动态时间标准化对传感器数据流的配置给已知交通场景、特别是先前存储在数据库中的所有片段进行平均化。在此优选地,通过例如来自Petitjean等人在“动态时间规整的全局平均方法,以及聚类的应用(,,A global averaging method for dynamic time warping,with applications toclustering”,模式识别44(3),678-693(2011年),Pattern regocnition,44(3),678-693(2011)中已知的重心平均方法动态标准化的时间序列(英语:dynamic time warpingbarycenter averaging)来执行平均化。由此可以避免迭代的成对平均化,由此有利地减少了计算花费。此外,在传感器数据流的存储片段中包含的传感器数据的任何顺序都可以用于平均化,并且以此方式适配的模板的特别是时间的长度有利地不增大。
因此,所述方法优选地构成所谓的k均值算法(英语:k-means clustering)的实时版本,其中,存储在数据库中的模板构成分别与已知交通场景对应的不同簇的重心。在此,当满足相似性标准时,可以将新成员、即传感器数据流的另一片段添加到所述簇中。然而,当同时也满足适配性标准时、例如传感器数据流的片段到模板上的映射未达到预定的品质时,特别通过对簇的所有成员进行平均化来对相应簇的重心、即模板进行适配、特别是重新计算。如果尚未满足相似性标准、即如果特别是通过动态时间标准化不能将传感器数据流的片段有意义地映射到模板之一上,则该片段构成新的簇。通过将所述方法设计为k-均值算法,可以特别可靠地、特别是以高概率地将传感器数据流的片段配置给正确的交通场景,或者可以动态地适配或扩展数据库。
在另一优选实施方式中,当相似性量度低于预定的相似性阈值时,满足或将满足预定的相似性标准。在此优选检查:通过动态时间标准化确定的传感器数据流的片段与模板之间的距离是否小于预定的相似性阈值。由此可以可靠且明确地特别是在节省计算功率的情况下决定,是否应该将传感器数据流的该片段配置给由模板表征的已知交通场景。
在另一优选实施方式中,当相似性量度超过根据相似性标准、特别是根据相似性阈值的适配性阈值时,满足或将满足预定的适配性标准。由此可以可靠且明确地、特别是在节省计算功率的情况下决定:是否应该适配、例如重新计算表征已知交通场景的模板。
在此优选检查:通过动态时间标准化确定的传感器数据流的片段与模板之间的距离是否大于预定的适配性阈值。由此,特别是当传感器数据流的片段与模板之间的一致程度不太高时,可以适配模板。换句话说,优选仅在传感器数据流的当前映射到模板上的片段至少偏离模板一定程度并且因此也作出模板的适配的情况下才进行该模板的适配。因此特别可以避免模板的不必要的适配。
优选地,适配性标准、特别是适配性阈值的相关性通过特别是数学函数来表征。例如,当至少选择相似性标准、特别是相似性量度阈值作为所述函数的输入变量时,该函数的值可以表明适配性标准、特别是适配性阈值。所述函数在此可以设置为,用于例如通过乘以小于一的因子来加权相似性标准、特别是相似性阈值。换句话说,适配性标准可以对应相似性标准的加权。
在另一优选实施方式中,所述方法还具有以下工作步骤:基于多个、特别是所有在特别是通过动态时间标准化映射时至少由传感器数据流的配置给已知场景的、特别是存储在数据库中的片段确定的相似性量度的彼此之间的比较来预定相似性标准、特别是相似性阈值。优选地,在比较时确定表征传感器数据流的片段与模板之间的最低一致程度、例如通过动态时间标准化确定的传感器数据流的片段与模板之间的最大距离的相似性量度,并且由此构成相似性标准、特别是相似性阈值。由此,相似性标准、特别是相似性阈值例如可以动态地适配包含在传感器数据流中的传感器数据的质量。
例如,可以通过动态时间标准化将对应于已知交通场景的簇的所有成员分别映射到模板上,所述簇的重心由相应的模板构成。从在此确定的成员、即传感器数据流的片段与模板之间的距离选取、例如滤出最大距离并将其用作相似性标准、特别是相似性阈值。
在另一优选实施方式中,通过将传感器数据流的片段分别映射到存储在数据库中的多个模板(这些模板中的每个分别表征其它已知交通场景)之一上来确定多个相似性量度,并且基于多个确定的相似性量度彼此之间的比较将传感器数据流的片段配置给已知交通场景。换句话说,将由传感器数据流的片段表征的未知交通场景与多个已知交通场景进行比较并且优选基于该比较来对其进行鉴别。
优选地,在比较时确定相似性量度,该相似性量度表征传感器数据流的片段与模板之间的最高一致程度、例如通过传感器数据流的片段的动态时间标准化确定的传感器数据流的片段与模板之间的最小距离的,并且将该片段配置给由相应模板表征的已知交通场景。由此可以可靠且快速地鉴别当前由传感器数据流的片段表征的、特别是映射的交通场景。
在另一优选实施方式中,传感器数据流表征交通场景中的两个交通参与者彼此之间的至少一个相对形式方向特别是横向地、即垂直地延伸的距离。例如,如果两辆车辆在两个并排车道上并排行驶,则车辆之间的距离不改变。如果其中一辆车辆例如通过加速或超车或通过转到相应另一车道上来执行行驶行为,则车辆之间的距离发生变化。这种变化可以表征行驶行为或交通场景。因此,在这种行驶行为中距离的特别是时间的进程可以构成用于交通场景的存储在数据库中的模板。传感器数据流的片段由此可以以高概率配置给正确的交通场景。
在另一优选实施方式中,传感器数据流在车辆运行期间由车辆的传感器装置提供。传感器装置优选具有多个传感器、例如至少一个相机、至少一个雷达传感器、至少一个调谐式传感器(Liedersensor)、至少一个超声波传感器和/或类似物,它们以优选的方式至少基本上连续地生成相应的传感器数据,其中,传感器数据流以优选的方式通过传感器数据的融合来构成。借助将传感器数据流的片段配置给已知交通场景,可以将与以此方式鉴别的交通场景有关的信息就地、即基本上实时地发出并且例如提供给驾驶员辅助系统。此外可能的是,例如在测试驾驶的情况下,通过模板填充数据库,以便可以在以后的时间点为了鉴别交通场景而使用数据库或其内包含的数据。通过在车辆运行期间提供传感器数据流,数据库也可以就地、即实时地扩展。
在另一优选实施方式中,所述方法还具有以下工作步骤:从传感器数据流中选取所述片段,其中,该传感器数据流的片段的开始和/或该传感器数据流的片段的结束以以下方式选取,即,传感器数据流的片段的开始和传感器数据流的片段的结束彼此间隔开预定的持续时间。优选地,传感器数据流的以此方式选取的片段构成时间窗口,在该时间窗口内,传感器数据流中包含的例如由车辆的传感器装置或模拟提供的传感器数据例如在鉴别当前交通场景时被考虑。在此通过预定持续时间、即通过选择时间窗口的长度可以实现特别可靠地将传感器数据流的片段配置给已知交通场景。
优选地,所述片段的结束由当前由传感器装置或模拟生成的传感器数据构成。由此例如能够以可靠的方式实现对当前存在的交通状况的鉴别。
在另一优选实施方式中,至少重复执行传感器数据流的片段的选取、相似性量度的确定以及传感器数据流的片段的配置。在此优选地,在重复传感器数据流的片段的选取时,以以下方式选取传感器数据流的片段的开始和/或结束,即,使得传感器数据流的片段与传感器数据流的先前选取的片段重叠最多一半。换句话说,传感器数据流的另一片段在预定持续时间的一半过去时才映射到至少一个模板上。由此可以确保,传感器数据流的两个相继在多个模板上映射的片段彼此足以区分,以便能够配置给不同的已知交通场景。
本发明的第二方面涉及用于针对存在的交通场景来分析表征车辆周围环境的传感器数据流的设备。该设备优选具有处理模块,该处理模块设置为用于,通过优选借助动态时间标准化将传感器数据流的片段映射到至少一个模板上来确定相似性量度,该相似性量度表明传感器数据流的片段与存储在数据库中的至少一个模板之间的一致程度,其中,所述模板表征已知交通场景。此外,所述设备优选具有配置模块,该配置模块设置为用于,当相似性量度满足预定的相似性标准时,将已知交通场景配置给传感器数据流的片段。
所述设备优选还具有传感器装置,该传感器装置设置为用于,检测车辆周围环境并提供传感器数据流。传感器装置可以具有一个或多个传感器例如相机、超声波传感器、雷达传感器、Lidar传感器和/或类似物,以便能够可靠地、优选冗余地检测与表征当前交通场景相关的变量、例如交通参与者彼此之间的距离。
该设备优选还具有数据库,该数据库设置为用于,存储分别表征已知交通场景的至少一个模板、优选多个模板。
本发明的第三方面涉及用于借助驾驶员辅助系统基于传感器数据流驾驶车辆的方法,其中,传感器数据流借助根据本发明第一方面的方法来分析。在此优选地,基于以优选方式表征当前交通场景的传感器数据流的片段与通过存储在数据库中的模板表征的已知交通场景的配置,生成输出信号,该输出信号表征已知的交通场景或借助传感器数据流的片段鉴别的交通场景、特别是已知的行为,并将其提供给驾驶员辅助系统。驾驶员辅助系统由此可以可靠地对当前的交通场景做出反应。
关于本发明的第一方面及其有利的设计方案描述的特征和优点至少技术上有意义地也适用于本发明的第二方面及其有利的设计方案,以及反过来。
附图说明
从以下结合附图的描述中得出本发明的其它特征、优点和应用可能性,其中,为本发明的相同或彼此相应的元件普遍使用相同的附图标记。附图中至少部分示意性地:
图1示出了根据本发明的设备的优选实施方式;
图2示出了根据本发明的方法的优选实施方式;
图3示出了用于说明由模板表征的已知交通场景与传感器数据流的片段的配置的视图;
图4示出了用于说明模板的适配的视图。
具体实施方式
图1示出了根据本发明的用于分析表征车辆周围环境的传感器数据流D的设备1的优选实施方式,该设备具有处理模块2、配置模块3和数据库4。设备1优选地与设置为用于检测车辆周围环境并提供相应的传感器数据流D的传感器装置5以及驾驶员辅助系统6连接。驾驶员辅助系统6例如可以基于由设备1基于传感器数据流D的分析生成的输出信号A得到控制。
可选地也可以想到的是:传感器装置5和/或驾驶员辅助系统6是设备1的一部分。
处理模块2和/或配置模块3优选地设计为软件、例如程序代码并且可以借助数据处理单元7来设计。
处理模块2以优选的方式设置为用于,确定相似性量度,该相似性量度表征传感器数据流D的片段与存储在数据库4中的至少一个模板S之间的一致程度。在此,处理模块2可以例如通过在预定时间窗口期间提取包含在传感器数据流D中的传感器数据来提供传感器数据流D的片段并且例如通过使用用于动态时间标准化(英语:dynamic time warping,DTW)的方法将该传感器数据流D的片段映射到至少一个模板S上。相似性量度优选地作为该映射的结果获得。
特别地,处理模块2可以设置为用于,动态地、即特别是非线性地使从传感器数据流S中提取的片段失真,例如以至少部分地压缩和/或延展该从传感器数据流S中提取的片段。由此可以将包含在该片段中的传感器数据例如配置给相应的与模板相对应的模板数据。优选地,处理模块2在此基于优化函数来确定配置,特别是以以下方式,即,将传感器数据流D的片段特别精确地、即以最小偏差映射到模板S上。传感器数据流D的片段与模板S之间的特别是差形式的剩余距离以优选的方式构成相似性量度。
该距离在此特别可以表征在所述片段中包含的传感器数据与相应配置给其的模板数据之间的区别。特别地,例如传感器数据和模板数据之间的差异可以分别为一对传感器数据和模板数据确定并将其相加以获得所述距离。
存储在数据库4中的模板S以优选的方式分别表征已知交通场景。对应于模板的模板数据可以例如对应至少部分地描述所述交通场景的参数的值,、别是时间进程。这样的参数可以例如是两个交通参与者之间的距离。
配置模块3可以相应地设置为用于,特别是当相似性量度满足预定的相似性标准、例如小于预定的相似性阈值时,基于存储在数据库4中的模板S和由处理模块2确定的相似性量度将已知交通场景配置给传感器数据流D的片段。
换句话说,配置模块3优选地设置为用于,检查所确定的相似性量度是否满足预定的相似性标准。例如处理模块2可以确定,通过传感器数据流D的片段的动态时间标准化获得的在传感器数据流D的片段与模板S之间的距离是否低于预定的相似性阈值,即,所述片段与模板S是否彼此相似到使得它们之间的确定的距离小于相似性阈值。
根据检查结果,特别是当相似性量度满足预定的相似性标准或者所述距离低于预定的相似性阈值时,配置模块3可以将传感器数据流D的片段配置给由模板S表征的已知交通场景。输出信号A优选地由配置模块3以优选的方式同样根据所述检查结果生成并且表征已知的交通状况。例如,输出信号A可以包含与已知交通场景有关的信息。
如果传感器数据流D的片段不能被有意义地映射到任何模板S上,即,当相似性量度不满足预定的相似性标准时,则数据库4可以通过由传感器数据流D的当前正在观察的片段表征的、特别是构成的另外的模板S扩展。特别是在这种情况下,该片段可以作为其它模板S存储在数据库4中。
图2示出了根据本发明的用于针对存在的交通场景来分析表征车辆周围环境的传感器数据流的方法100的优选实施例。
在方法步骤S1中,例如通过用车辆的传感器装置检测车辆周围环境或通过模拟来提供传感器数据流。传感器数据流被或已以优选的方式由传感器数据的时间序列构成,其中,传感器数据可以包含描述交通场景的参数的值。例如,传感器数据流可以映射交通参与者之间的距离的时间进程。
在另一方法步骤S2中例如通过以下方式从传感器数据流中选取片段,即,从传感器数据流中提取预定时间窗口内的传感器数据。特别地,可以选取该片段的开始和/或该片段的结束,其中,该片段的开始和结束优选彼此间隔开预定的持续时间。在此,所述片段的结束以优选的方式由从传感器数据流最后提供的传感器数据构成。
在另一方法步骤S3中检查,至少一个表征已知交通场景的模板是否存储在数据库中。如果数据库中没有模板,则可以在另一方法步骤S4中将传感器数据流的片段作为模板存储在数据库中。否则,可以在另一方法步骤S5中将传感器数据流的片段映射到存储在数据库中的至少一个模板上,优选地确定相似性量度。相似性量度在此以优选的方式表征传感器数据流的片段与模板之间的一致程度。
在此可以基于动态时间标准化来执行所述片段到模板上的映射,其中,相似性量度以优选的方式由该片段与模板之间的通过动态时间标准化获得的距离构成。该距离可以是映射到模板上的片段与该模板之间、特别是该片段中包含的传感器数据与模板中包含的模板数据之间的差异的量度。因此,当所述片段和模板彼此非常相似时,距离或相似性量度优选小,或者当所述片段和模板彼此不相似时,距离或相似性量度优选大。
如果多个模板已经存储在数据库中,则优选将所述片段映射到模板中的每一个模板上,并且如此分别确定相似性量度。
在另一方法步骤S6中优选检查,在方法步骤S5中确定的一个或多个相似性量度是否满足预定的相似性标准,例如,借助动态时间标准化获得的距离是否小于预定的相似性阈值。
当对于任何模板都不是这种情况时,可以在方法步骤S4中将传感器数据流的片段作为另一模板存储在数据库中、特别是作为已经存储在数据库中的模板的补充。在数据库中,传感器数据流的片段由此映射了另一个迄今未知的交通场景。
相反地,如果至少一个相似性量度满足相似性标准、例如借助动态时间标准化获得的距离小于预定的相似性阈值,则可以在另一方法步骤S7中以优选方式为传感器数据流的片段配置已知交通场景。
如果存在多个在方法步骤S5中确定的相似性量度,则以优选的方式对它们彼此进行比较,并且基于比较结果将已知交通场景配置给所述片段。例如,在比较时可以确定相似性量度中的如下的相似性量度,该相似性量度表征所述片段与对应该相似性量度的模板之间的最高一致程度。特别地,可以选取在动态时间标准化中获得的最小距离,并且可以将由与此对应的模板表征的交通场景配置给所述片段。
此外,在另一方法步骤S8中可以检查:必要情况下如上所述从方法步骤S5中确定的多个相似性量度中选取的相似性量度除了相似性标准之外是否还满足预定的适配性标准,例如在动态时间标准化中获得的距离是否大于适配性阈值。
如果是这种情况,则可以在另一个方法步骤S9中在考虑传感器数据流的片段的情况下对与相似性量度对应的模板进行适配。例如,可以通过对传感器数据流的在方法步骤S7中配置了相应的已知交通场景的多个片段进行平均化来校正模板。
图3示出了用于说明由模板S表征的已知交通场景与传感器数据流的片段B的配置的视图。交通场景是例如驶入行为、驶出行为、在一个车道上相继行驶或在两个车道之间行驶。不同的片段B在此例如对应不同的行驶行为并且在这些行驶行为内还对应相应的行驶行为的不同执行或变型。
视图中的图3所示的传感器数据流的片段B的方位在此对于其中每个片段取决于横向开始距离dXstart、即在行驶行为开始时两个车辆之间的距离的垂直于行驶方向的分量以及横向结束距离dXend、即在行驶行为结束时两个车辆之间的距离的垂直于行驶方向的分量。为了更好地理解,在图4中示出了片段B,其对应于驶入行为,在该驶入行为中,两辆车辆最初在两个相邻车道上行驶,并且车辆中的一辆驶入到另一车辆前面。在这种情况下,图4示例性地示出,当车辆仍在相邻车道上行驶时,在行驶行为开始时的横向开始距离dXstart基本上在大约4m的范围中,并且当这些车辆在同一车道上行驶时,在行驶行为结束时的横向结束距离dXend基本上在大约0m的范围中。
对于每个可能的行为以及在此也对于行为的每种可能的执行、即其中对于每个片段B,存在着略微不同的开始距离和结束距离dXstart、dXend,由此可以借助在图3视图的片段B的方位在各种行驶行为或行为的可能执行之间略微地区分。
如图3所示,在所选择的视图中片段B构成簇C,其中,所示示例中的模板S分别构成由传感器数据流的多个片段B构成的簇C的重心。在此,一个簇C优选配置给传感器数据流的所有(例如在图4中所示的)时间进程彼此具有一定相似性的片段B。在图3所示的视图中,该相似性通过空间方位、即片段B的相似的开始距离和结束距离dXstart、dXend来说明,其中,传感器数据流的彼此相似的片段B分别并列位于一个范围内。例如,与驶入行为的不同执行相对应的所有片段B都位于大约dXstart≈4和dXend≈0的范围中,而与在同一车道上一辆车辆跟着另一辆车辆的跟随行驶的不同执行相对应的所有片段B都位于大约dXstart≈0和dXend≈0的范围中。
在此优选地,将传感器数据流的所有如下的片段B配置给一个簇C,即,对于这些片段,确定的表征相应片段B与簇C的模板S之间的一致程度的相似性量度满足相似性标准。在此优选地,通过动态时间标准化将相应片段B映射到相应模板S上来确定相似性量度。
在此优选地,片段B在通过动态时间标准化映射到相应的模板S上时动态地、即至少部分地压缩和/或延展为,使得其至少基本上对应模板S或遵循其进程。例如,一参数的、如两辆车辆之间的横向距离的时间进程可以通过动态时间标准化适配该参数的通过模板S映射的表征已知交通场景的时间进程,所述参数至少部分地表征了还未知的待鉴别的交通场景并且通过传感器数据流的片段B映射。相似性量度在此以优选的方式表明由片段B映射的时间进程与由模板S映射的时间进程之间的偏差(片段B的时间进程的示例参考图4)。
如果如此确定的相似性量度满足预定的相似性标准,则可以将模板S之一或簇C之一并且因此将已知交通场景之一配置给其它片段B。在此优选地,将已知交通场景中的以下交通场景配置给其它片段B,即,对于该交通场景的模板S确定与片段B的最高一致程度。
表明一致程度的相似性量度可以在此例如对应传感器数据流的片段B与相应模板S之间的在动态时间标准化的范畴中确定的距离。
在此,相似性标准的满足可以例如包括:所述距离低于相似性阈值。可选地或附加地,相似性标准的满足可以包括:所确定的距离小于所有其它相对其它模板S确定的距离。换句话说,如果片段B相对对应簇C的模板S的距离足够小并且特别是小于片段B与所有其它模板S的距离,则片段B优选地配置给该簇C或与其对应的行驶行为或交通场景。
还可以检查:相似性量度是否满足预定的适配性标准。如果是这种情况,则以优选的方式适配相应的表征配置给片段B的已知交通场景的模板S。下面还将结合图4对此进行进一步描述。
优选地,当片段B和模板S之间的通过动态时间标准化确定的距离大于预定的适配性阈值时,满足适配性标准。换句话说,当虽然将片段B配置给簇C,但是不在该簇C、即模板S的重心附近时,满足适配性标准。在这种情况下,可以将片段B与模板S之间的区别视为足以使模板S的适配、即簇C重心的重新计算导致需要考虑的变化,该变化特别可能对未来与传感器数据流的其它片段B的比较具有影响。
如果确定的相似性量度中的任何一个都不满足预定的相似性标准,则可以通过另外的片段B作为唯一成员生成新的簇C,其中,相应的模板S由另外的片段B构成。
图4示出了用于说明模板S的适配的视图。在此示出了两个车辆之间的横向距离dX的时间进程,即,车辆之间的垂直于它们的行驶方向的距离。
横向距离dX可以用作参数,该参数至少部分地描述交通场景、特别是驶入行为。在驶入行为开始时,两辆车辆位于相邻车道上,因而它们之间的横向距离约为4m。在行为结束时,两辆车辆在同一车道上,因而它们之间的横向距离基本上为0m。
图4示出了包含传感器数据的时间序列的传感器数据流的多个片段B,这些传感器数据表征在相应相同的交通场景、在这种情况下是驶入行为中的横向距离dX。B片段在此是更短还是更长取决于有多激进地执行行驶行为。但是,无关于此,时间进程的形式至少是相似的。
可以使用该相似性来将已知交通场景、例如驶入行为配置给传感器数据流的片段B,其中,为了确定片段B与表征已知交通场景的模板之间的相似性量度,借助动态时间标准化将片段B映射到模板S上。结合图2和3对此进行详细说明。
模板S在此优选地基于传感器数据流的多个、例如先前存储在数据库中的片段B来确定。先前存储在数据库中的对应于已知交通场景、在此为驶入行为的片段B可以例如在车辆进行测试行驶时记录下来并相应地例如手动地从传感器数据流中选取。可选地,片段B也可以是就地从传感器数据流中提取并存储在数据库中的片段。
为了由这些片段B确定模板S,特别可以对传感器数据流的多个片段B进行平均化。为了在此考虑片段B的不同时间长度,优选基于动态时间标准化来执行平均化。特别地,以优选的方式使用动态标准化时间序列的重心平均化方法(英语:dynamic time warpingbarycenter averaging),其例如在Petitjean等人的“动态时间规整的全局平均方法,以及在簇中的应用(A global averaging method for dynamic time warping,withapplicatons to clustering)”,模式识别44(3),678-693(2011年)描述。
传感器数据流的图4所示片段B的以此方式执行的平均化获得同样在图4中示出的模板S,该模板关于由它表征的交通场景(在这种情况下是驶入行为)是通用的。
附图标记列表
1 用于分析传感器数据流的设备
2 处理模块
3 配置模块
4 数据库
5 传感器装置
6 驾驶员辅助系统
7 数据处理单元
100 用于分析传感器数据流的方法
S1-S9 方法步骤
A 输出信号
B 传感器数据流的片段
C 簇
D 传感器数据流
S 模板
dX 横向距离
dXstart 横向开始距离
dXend 横向结束距离
Claims (16)
1.用于针对存在的交通场景来分析表征车辆周围环境的传感器数据流(D)的方法(100),所述方法包括以下工作步骤:
-通过优选借助动态时间标准化将所述传感器数据流(D)的片段(B)映射到存储在数据库(4)中的至少一个模板(S)上来确定(S5)相似性量度,该相似性量度表明所述传感器数据流(D)的所述片段(B)与所述至少一个模板(S)之间的一致程度,其中,所述模板(S)表征已知交通场景;和
-当所述相似性量度满足预定的相似性标准时,将所述已知交通场景配置(S7)给所述传感器数据流(D)的所述片段(B)。
2.根据权利要求1所述的方法(100),其中,在配置给所述已知交通场景时将所述传感器数据流(D)的所述片段(B)存储在所述数据库(4)中。
3.根据权利要求2所述的方法(100),还包括以下工作步骤:
-当所述相似性量度不满足所述预定的相似性标准时,将所述传感器数据流(D)的所述片段(B)作为另外的模板存储(S4)在所述数据库(4)中。
4.根据权利要求1至3中任一项所述的方法(100),还包括以下工作步骤:
-检查(S3):所述数据库(4)中是否存储有至少一个模板(S);以及
-根据检查结果,将所述传感器数据流(D)的所述片段(B)作为模板(S)添加(S4)到所述数据库(4)中。
5.根据权利要求1至4中任一项所述的方法(100),还包括以下工作步骤:
-当所述相似性量度同时满足所述预定的相似性标准和预定的适配性标准时,对所述模板(S)进行适配(S9)。
6.根据权利要求5所述的方法(100),其中,在对所述模板(S)进行适配时,通过动态时间标准化对所述传感器数据流(D)的配置给所述已知交通场景的、特别是先前存储在所述数据库(4)中的所有片段(B)进行平均化。
7.根据权利要求1至6中任一项所述的方法(100),其中,当所述相似性量度低于预定的相似性阈值时,满足所述预定的相似性标准。
8.根据权利要求5所述的方法(100),其中,当所述相似性量度超过与所述相似性标准相关的、特别是与所述相似性阈值的适配性阈值相关时,满足所述预定的适配性标准。
9.根据权利要求1至8中任一项所述的方法(100),还包括以下工作步骤:
基于多个、特别是所有相似性量度彼此之间的比较来预定所述相似性标准、特别是所述相似性阈值,所述相似性量度在映射时特别是通过动态时间标准化至少由所述传感器数据流(D)的配置给所述已知交通场景的、特别是存储在所述数据库(4)中的片段(B)确定。
10.根据权利要求1至9中任一项所述的方法(100),其中,通过将所述传感器数据流(D)的片段(B)分别映射到存储在所述数据库(4)中的多个模板(S)中的一个模板上来确定多个相似性量度,所述模板中的每个模板分别表征一个其它的已知交通场景,并且基于多个确定的相似性量度彼此之间的比较将所述传感器数据流(D)的片段(B)配置给所述已知交通场景。
11.根据权利要求1至10中任一项所述的方法(100),其中,所述传感器数据流(D)表征所述交通场景的两个交通参与者彼此的至少一个距离。
12.根据权利要求1至11中任一项所述的方法(100),其中,在车辆运行期间,由所述车辆的传感器装置(5)提供所述传感器数据流(D)。
13.根据权利要求1至12中任一项所述的方法(100),还包括以下工作步骤:
从所述传感器数据流(D)中选取(S2)片段(B),其中,所述传感器数据流(D)的片段(B)的开始和/或所述传感器数据流(D)的片段(B)的结束以如下方式选取,即,所述传感器数据流(D)的片段(B)的开始和所述传感器数据流(D)的片段(B)的结束通过预定的持续时间彼此间隔开。
14.根据权利要求12所述的方法(100),其中,至少所述传感器数据流(D)的片段(B)的选取、所述相似性量度的确定以及所述传感器数据流(D)的片段(B)的配置重复执行,并且在重复所述传感器数据流(D)的片段(B)的选取时,所述传感器数据流(D)的片段(B)的开始和/或结束以如下方式选取,即,所述传感器数据流(D)的片段(B)与所述传感器数据流(D)的先前选取的片段(B)重叠最多一半。
15.用于针对存在的交通场景来分析表征车辆周围环境的传感器数据流(D)的设备(1),所述设备包括:
处理模块(2),所述处理模块设置为用于,通过优选借助动态时间标准化将所述传感器数据流(D)的片段(B)映射到存储在数据库(4)中的至少一个模板(S)上来确定相似性量度,该相似性量度表明所述传感器数据流(D)的所述片段(B)与所述至少一个模板(S)之间的一致程度,其中,所述模板(S)表征已知交通场景;
配置模块(3),所述配置模块设置为用于,当所述相似性量度满足预定的相似性标准时,将所述已知交通场景配置给所述传感器数据流(D)的所述片段(B)。
16.用于借助驾驶员辅助系统(6)基于传感器数据流(D)来驾驶车辆的方法,其中,借助根据权利要求1至14中任一项所述的方法来分析所述传感器数据流(D)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ATA50818/2018 | 2018-09-24 | ||
ATA50818/2018A AT521724A1 (de) | 2018-09-24 | 2018-09-24 | Verfahren und Vorrichtung zur Analyse eines Sensordatenstroms sowie Verfahren zum Führen eines Fahrzeugs |
PCT/AT2019/060315 WO2020061603A1 (de) | 2018-09-24 | 2019-09-24 | Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112771535A true CN112771535A (zh) | 2021-05-07 |
Family
ID=68109071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980062709.5A Pending CN112771535A (zh) | 2018-09-24 | 2019-09-24 | 用于分析传感器数据流的方法和设备以及用于驾驶车辆的方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US12067866B2 (zh) |
EP (1) | EP3857437A1 (zh) |
JP (1) | JP2022502750A (zh) |
KR (1) | KR20210063409A (zh) |
CN (1) | CN112771535A (zh) |
AT (1) | AT521724A1 (zh) |
WO (1) | WO2020061603A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11886195B2 (en) * | 2020-11-30 | 2024-01-30 | Woven By Toyota, U.S., Inc. | Active learning and validation system for vehicles |
CN112805724B (zh) * | 2021-01-08 | 2022-05-13 | 华为技术有限公司 | 车辆驾驶场景识别方法及装置 |
GB2618341B (en) * | 2022-05-03 | 2024-09-04 | Oxa Autonomy Ltd | Controlling an autonomous vehicle |
EP4300316A1 (de) * | 2022-07-01 | 2024-01-03 | dSPACE GmbH | Computerimplementiertes verfahren und system zum erstellen einer szenarien-bibliothek |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104508719A (zh) * | 2012-07-17 | 2015-04-08 | 日产自动车株式会社 | 驾驶辅助系统以及驾驶辅助方法 |
CN105389984A (zh) * | 2015-11-16 | 2016-03-09 | 北京智视信息科技有限公司 | 一种基于移动终端传感信息融合的驾驶行为识别方法 |
WO2017167801A1 (de) * | 2016-03-29 | 2017-10-05 | Avl List Gmbh | Fahrerassistenzsystem zum unterstützen eines fahrers beim führen eines fahrzeugs |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160362118A1 (en) * | 2011-08-31 | 2016-12-15 | Pulsar Informatics, Inc. | Driver performance metric |
KR101473957B1 (ko) * | 2013-01-28 | 2014-12-18 | 군산대학교산학협력단 | 운전 패턴 인식에 기반하여 보험료를 결정하는 장치 및 방법 |
WO2017210222A1 (en) | 2016-05-30 | 2017-12-07 | Faraday&Future Inc. | Generating and fusing traffic scenarios for automated driving systems |
CN111373415A (zh) * | 2017-05-05 | 2020-07-03 | 阿里莫有限责任公司 | 使用神经网络分析序列数据 |
CN107358678B (zh) * | 2017-06-07 | 2020-11-27 | 北京航空航天大学 | 一种驾驶事件检测和识别方法 |
US10401862B2 (en) * | 2017-10-31 | 2019-09-03 | Waymo Llc | Semantic object clustering for autonomous vehicle decision making |
JP2019095878A (ja) * | 2017-11-20 | 2019-06-20 | 株式会社デンソー | 車両用検索装置 |
ES2736901A1 (es) * | 2018-06-29 | 2020-01-08 | Geotab Inc | Caracterización de una colisión de vehículo |
-
2018
- 2018-09-24 AT ATA50818/2018A patent/AT521724A1/de unknown
-
2019
- 2019-09-24 CN CN201980062709.5A patent/CN112771535A/zh active Pending
- 2019-09-24 KR KR1020217012316A patent/KR20210063409A/ko not_active Application Discontinuation
- 2019-09-24 US US17/279,186 patent/US12067866B2/en active Active
- 2019-09-24 WO PCT/AT2019/060315 patent/WO2020061603A1/de unknown
- 2019-09-24 EP EP19780138.4A patent/EP3857437A1/de active Pending
- 2019-09-24 JP JP2021516562A patent/JP2022502750A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104508719A (zh) * | 2012-07-17 | 2015-04-08 | 日产自动车株式会社 | 驾驶辅助系统以及驾驶辅助方法 |
CN105389984A (zh) * | 2015-11-16 | 2016-03-09 | 北京智视信息科技有限公司 | 一种基于移动终端传感信息融合的驾驶行为识别方法 |
WO2017167801A1 (de) * | 2016-03-29 | 2017-10-05 | Avl List Gmbh | Fahrerassistenzsystem zum unterstützen eines fahrers beim führen eines fahrzeugs |
Also Published As
Publication number | Publication date |
---|---|
EP3857437A1 (de) | 2021-08-04 |
AT521724A1 (de) | 2020-04-15 |
JP2022502750A (ja) | 2022-01-11 |
KR20210063409A (ko) | 2021-06-01 |
US12067866B2 (en) | 2024-08-20 |
WO2020061603A1 (de) | 2020-04-02 |
US20220230536A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112771535A (zh) | 用于分析传感器数据流的方法和设备以及用于驾驶车辆的方法 | |
EP3159235B1 (en) | Method and system for assisting a driver of a vehicle in driving the vehicle and computer program | |
US11430227B2 (en) | Method, computer program product, and driver assistance system for determining one or more lanes of a road in an environment of a vehicle | |
CN111332296B (zh) | 其他车辆的车道变换的预测 | |
EP2690423A1 (en) | Vehicle data analysis apparatus, vehicle data analysis method, and defect diagnosis apparatus | |
CN108369781B (zh) | 评价由车辆的至少一个传感器检测到的危险情况的方法 | |
US10913455B2 (en) | Method for the improved detection of objects by a driver assistance system | |
CN111284501B (zh) | 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置 | |
CN110745145B (zh) | 用于adas的多传感器管理系统 | |
WO2024008880A1 (en) | Driving style based personalizable driver assistance system and method | |
CN111947669A (zh) | 用于将基于特征的定位地图用于车辆的方法 | |
US11654927B2 (en) | Method for monitoring a vehicle system for detecting an environment of a vehicle | |
CN112319505A (zh) | 自动驾驶换道判断方法、装置、设备及存储介质 | |
CN117493160A (zh) | 用于分析测试实施的方法和系统 | |
US20240037296A1 (en) | Comparison of digital representations of driving situations of a vehicle | |
EP4148581A1 (en) | Verification of updated analytical procedures in monitoring systems | |
CN111091192B (zh) | 用于识别分布移位的方法、设备、中央装置和系统 | |
CN114179814A (zh) | 用于评价机动车的行驶行为的方法、装置和存储介质 | |
CN113085861A (zh) | 自动驾驶车辆的控制方法及装置、自动驾驶车辆 | |
KR20210089374A (ko) | 거리 레이저 파형 및 차량번호인식 결과를 이용한 교통정보 수집장치 | |
WO2023228722A1 (ja) | 画像認識システム | |
JP2024512563A (ja) | 車両の制御装置用のソフトウェアを評価する方法 | |
KR101213266B1 (ko) | 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템 | |
US20220228872A1 (en) | Apparatus and method for generating road map | |
US20230377385A1 (en) | Method for validating safety precautions for vehicles moving in an at least partially automated manner |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |