CN117413302A - 识别涉及车辆安全的物体的方法 - Google Patents
识别涉及车辆安全的物体的方法 Download PDFInfo
- Publication number
- CN117413302A CN117413302A CN202280039771.4A CN202280039771A CN117413302A CN 117413302 A CN117413302 A CN 117413302A CN 202280039771 A CN202280039771 A CN 202280039771A CN 117413302 A CN117413302 A CN 117413302A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- classified
- objects
- safety
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003068 static effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 241001133760 Acoelorraphe Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Abstract
本发明涉及一种在车辆(1)的周围环境中识别涉及车辆(1)的安全的物体(O1至O4)的方法，根据车辆(1)的环境传感器(1.1)所采集的信号探测周围环境和位于其中的物体(O1至O4)。根据本发明设计为：‑如果借助车辆端的视线采集装置(1.4)识别到车辆(1)的至少一名乘员的视线在物体(O1至O4)上的时间超过了预设的最短观察持续时间，那么借助车辆(1)的物体识别装置(1.2)所识别到的并且暂时归类为与车辆(1)不相关的物体(O1至O4)将被归类为潜在相关，‑根据所检测到的至少一名乘员的视线方向，确定至少一名乘员的视线在至少一段预设的时长内跟踪被归类为潜在相关的运动物体(O1、O2)，‑如果需要借助车辆(1)对物体(O1、O2)作出反应，那么在预设的时长结束后，所采集到并且归类为与车辆(1)潜在相关的运动物体(O1、O2)的轨迹(T)被识别为涉及车辆(1)的安全。
Description
技术领域
本发明涉及一种用于在车辆周围环境中识别涉及车辆安全的物体的方法，其中，依据车辆的环境传感器所采集的信号，可以对周围环境和位于其中的物体进行探测。
背景技术
DE 10 2019 004 075 A1中公布了一种借助机动车的驾驶员辅助系统，确定该机动车的周围环境中某一物体与该机动车相关性的方法，以及一套这样的驾驶员辅助系统。该方法设计为借助驾驶员辅助系统的电子计算装置，将用驾驶员辅助系统的检测设备所检测到的机动车周围环境中的物体与保存在驾驶员辅助系统存储设备中的物体进行对比，并且根据比较的结果，用电子计算设备对被检测的物体进行标记。同时，借助驾驶员辅助系统的视线方向采集设备，采集机动车驾驶员的视线方向，并且根据所采集的视线方向确定被标记物体的相关性。
发明内容
本发明的目的在于提供一种识别涉及车辆安全的物体的方法。
根据本发明，该目的通过一种具有权利要求1所述特征的方法来实现。
本发明的有利的设计方案是从属权利要求的主题。
一种用于在车辆周围环境中识别涉及车辆安全的物体的方法，尤其是识别交通路线、路标和景点的方法，其设计为根据车辆环境传感器所采集的信号，对周围环境和位于其中的物体进行探测。根据本发明，如果通过车辆端的视线采集装置能识别到车辆的至少一名乘员、特别是车辆所有乘员的视线在某个物体上停留的时间超过了预设的最短观察持续时间，那么这个借助车辆的物体识别装置识别到的并且暂时归类为与车辆不相关的物体，将被归类为潜在相关。另外，根据至少一名乘员、特别是所有乘员的所检测到的视线方向，可以确定至少一名乘员、特别是所有乘员在至少一段预设的时长内跟踪某个被归类为潜在相关的运动物体，其中，如果需要借助车辆对该物体作出反应，例如借助驾驶员或驾驶员辅助系统的转向运动和/或制动或者加速，则相应被检测到的并归类为与车辆潜在相关的运动物体在预设的时长过后所形成的轨迹将被识别为涉及车辆安全。
借助于应用该方法，就可以通过留意在涉及安全的轨迹上的物体来提高安全性能，特别是就驾驶员辅助系统的功能而言。在此过程中，各个物体的相关性与车辆的驾驶任务有关。
通过该方法，就可以基于被识别为涉及安全的轨迹，容易地将物体识别为涉及车辆安全。特别地，如果物体处在之前已被识别为涉及安全的轨迹上，那么这些物体接下来就会被识别为涉及安全。
在本方法的一个实施例中，被识别为涉及安全的某个运动物体的轨迹——作为涉及安全的交通路线——被存储在车辆的数字地图和/或采用数据技术与车辆耦合的计算机单元中。此外，这样的信息将通过相对大量的行程在数字地图中予以累积，具体而言通常是：如果一个物体被归类为涉及安全，那么就在数字地图中标注、例如绘制该带有位置信息的轨迹。也就是说，数字地图中诸如这样的交通路线的相关性在存储之前会进行反复确认，之后，这条交通路线才会作为涉及安全的路线在数字地图中存储。
在本方法的一种改良中，存储在车辆中和/或计算机单元中的数字地图可随时提供给其他车辆使用。与此同时，这些轨迹将随时提供给驾驶员辅助系统，使得在将来，位于这些轨迹上的物体可以被认定为与该车辆及其他车辆的某个驾驶任务有关。
为此，在另一个实施例中，可以将在之后的某个时刻检测到的物体根据其是否位于已存储的涉及安全的交通路线上而归类为相关物体。如果之后检测到的物体位于之前确定为涉及安全的轨迹上，那么该物体对于车辆而言就是涉及安全的运动物体。
此外，本方法一个可能的实施例设计为，为了识别路标和/或景点，将借助模型把特定的物体归类为潜在相关的静态物体，其中，这个被归类为潜在相关的静态物体将被显示给至少一名乘员，该乘员将相应被归类为潜在相关的静态物体归类为路标和/或景点。也就是说，将路标和景点区分开来，其中，路标可以用于导航，而借助于景点则可以提升驾乘体验。
除此以外，在本方法的一种改良中，将归类为潜在相关的静态物体作为路标和/或景点存储在数字地图中。这样一来，车辆中就会显示出相应的路标和/或相应的景点，并且可以用于导航(例如在拉力赛期间)，以及用于提升驾乘体验(例如驾车前往景点时)。
附图说明
下面参考附图更详细地解释本发明的实施例。
其中：
图1示意性地示出了一段带有两条相向车道的路段，以及行驶在右侧车道上的车辆。
具体实施方式
这张唯一的附图示出了有两条相向车道F1、F2的行车道路段F。车辆1行驶在右侧车道F1上，在其前方行驶着第一车辆2，而第二车辆3则在左侧车道F2上与第一车辆相向而行。
在行车道路段F的直接位于车辆1前方的路段上，一上匝道F3汇入右侧车道F1，其中，第三车辆4作为第一物体O1意图驶入右侧车道F1。左侧车道F2处延伸出一段乡村车道F4，该乡村车道上有一辆作为第二物体O2的拖拉机5朝着左侧车道F2行驶。
在右侧车道F1的旁边另有两个物体O3、O4，其中，第三物体O3是一棵棕榈树6，第四物体O4是一座观光塔7。
车辆1具有环境传感器1.1，该环境传感器包括多个安装在车辆1内和/或车辆上、未进行进一步描述的检测单元。例如，检测单元会被设计为基于激光雷达的、基于雷达的、基于超声波的传感器和/或设计为多功能摄像头。
环境传感器1.1具有视域S1，而车辆1的乘员的另一视域S2与环境传感器1.1的视域S1或者说环境传感器1.1的视域S1的一部分几乎一致。尤其是车辆1上有两名乘员。
根据环境传感器1.1所采集到的信号，可以探测到车辆1的周围环境，以及位于该周围环境中的物体O1至O4，其中，借助于车辆1的物体识别装置1.2，可以识别出物体O1至O4。
在此过程中，可能出现下列问题，即在没有针对各个所识别出的物体O1至O4的背景信息的情况下，无法、或者说无法充分地对这些物体与车辆1的相关性进行评价。在这里，相关性既涉及某项驾驶任务，也涉及用于导航和/或作为景点的物体O3、O4。
为了确定各个物体O1至O4与于车辆1的相关性，提供了如下方法。
根据该方法，所有被识别到的物体O1至O4都被选中，而这些物体被车辆1的未进行进一步描述的驾驶员辅助系统归类为与驾驶任务无关的。这些物体O1至O4将暂时被归类为潜在相关。
驾驶员辅助系统包括基于卫星的定位单元、导航数据、环境传感器1.1、物体识别装置1.2以及带有视线采集装置1.4的车内摄像头1.3。通常，驾驶员辅助系统选出物体O1至O4并且放弃其他物体，以便缩短计算时间。在一个可能的实施例中，这可以是用于车辆1的自动化(例如高度自动化)驾驶操作的驾驶员辅助系统。
特别地，如果借助车辆端的视线采集装置1.4识别到，在一段预设时长内的某个时刻t1，车辆1的乘员的视线在物体O1至O4上停留的时间超过了预设的最短观察持续时间，那么这些物体O1至O4将被归类为潜在相关。此处的前提条件是环境传感器1.1的视域S1与乘员的另外的视域S2基本一致。
检测涉及车辆1的安全的交通路线设计为，在识别到运动物体O1、O2的情况下，观察物体O1、O2是否由于其本身的运动以及车辆1的运动(即继续行驶)而变得与车辆1的驾驶任务存在相关性。例如，作为第二物体O2的拖拉机5可能从乡村车道F4驶入行车道路段F，并且在预设时长结束后的另外一时刻t2就变得涉及车辆1的安全了。
同样的，在上匝道F3中，作为第一运动物体O1的第三车辆4，在另一时刻t2也会变得与车辆1相关。特别地，如果因为第三车辆4和/或拖拉机5的轨迹T使得车辆1必须对相应的物体O1、O2作出反应，例如借助驾驶员或者驾驶员辅助系统的转向运动和/或制动或者加速，那么在预设时长结束后，被识别并归类为与车辆1潜在相关的运动物体O1、O2的轨迹T被识别为涉及车辆1的安全。
运动物体O1、O2的被识别为涉及安全的轨迹T，将在反复确认与驾驶任务的相关性后(例如由车辆1所属的车队中其他未详细示出的车辆进行确认)，在数字地图中存储为涉及安全的交通路线。
这张数字地图存储在车辆1和/或采用数据技术与车辆耦合的、未详细示出的计算机单元中。例如，可以将存储有涉及安全的交通路线的数字地图通过车辆1和/或通过计算机单元提供给其他车辆。特别是当另外的车辆位于相应的行车道路段F上时，即可提供该数字地图供使用。这条涉及安全的交通路线尤其是可以提供给驾驶员辅助系统。
对于路标和/或景点的识别，该方法设计为，借助已存储的模型(尤其是机器学习模型)，将借助于物体识别装置1.2所识别出的物体O3归类为棕榈树6样式的静态物体O3，并将所识别出的物体O4归类为观光塔7样式的静态物体O4。
接下来，各个物体O3、O4将会显示给车辆1的乘员，尤其是显示在显示装置上(例如在仪表板区域中)。这样，乘员就可以将物体O3、O4归类为路标和/或景点。例如，显示设备上就此插入问询。在这里，对于诸如需要用路标进行导航的拉力赛而言，这样的路标特别是与车辆1的导航相关。
这里同样也设计为，将路标和景点存储在数字地图中，继而提供给车辆1使用，并且在必要时至少提供给同一车队的其他车辆使用。
Claims (6)
1.一种在车辆(1)的周围环境中识别涉及车辆(1)的安全的物体(O1至O4)的方法，其中，根据车辆(1)的环境传感器(1.1)采集的信号探测周围环境和位于周围环境中的物体(O1至O4)，
其特征在于，
-如果借助于车辆端的视线采集装置(1.4)识别到车辆(1)的至少一名乘员的视线停留在相应物体(O1至O4)上的时间超过了预设的最短观察持续时间，那么借助车辆(1)的物体识别装置(1.2)所识别到的并且暂时归类为与车辆(1)不相关的物体(O1至O4)将被归类为潜在相关，
-根据所检测到的所述至少一名乘员的视线方向，确定所述至少一名乘员在至少一段预设的时长内跟踪被归类为潜在相关的运动物体(O1、O2)，
-如果需要借助车辆(1)对相应物体(O1、O2)作出反应，那么所采集到的并且被归类为与车辆(1)潜在相关的运动物体(O1、O2)在预设的时长结束后的轨迹(T)被识别为涉及车辆(1)的安全。
2.根据权利要求1所述的方法，其特征在于，运动物体(O1、O2)的被识别为涉及安全的轨迹(T)作为涉及安全的交通路线存储在车辆(1)的数字地图中和/或存储在采用数据技术与车辆(1)耦合的计算机单元中。
3.根据权利要求2所述的方法，其特征在于，将存储在车辆(1)中和/或计算机单元中的数字地图提供给其他车辆使用。
4.根据权利要求2或3所述的方法，其特征在于，将在之后的时刻检测到的其他物体根据其是否位于已存储的涉及安全的交通路线上而归类为相关物体。
5.根据前述权利要求任一项所述的方法，其特征在于，为了识别路标和/或景点，借助模型将相应物体归类为潜在相关的静态物体(O3、O4)，其中，被归类为潜在相关的静态物体(O3、O4)被显示给至少一名乘员，所述至少一名乘员将分别被归类为潜在相关的静态物体(O3、O4)分类为路标和/或景点。
6.根据权利要求5所述的方法，其特征在于，将被归类为潜在相关的静态物体(O3、O4)作为路标和/或景点存储在数字地图中。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021002918.6 | 2021-06-07 | ||
| DE102021002918.6A DE102021002918B4 (de) | 2021-06-07 | 2021-06-07 | Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten |
| PCT/EP2022/060418 WO2022258250A1 (de) | 2021-06-07 | 2022-04-20 | Verfahren zur erkennung von für ein fahrzeug sicherheitsrelevanten objekten |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117413302A true CN117413302A (zh) | 2024-01-16 |
Family
ID=81748412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280039771.4A Pending CN117413302A (zh) | 2021-06-07 | 2022-04-20 | 识别涉及车辆安全的物体的方法 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP4352709A1 (zh) |
| KR (1) | KR20240004883A (zh) |
| CN (1) | CN117413302A (zh) |
| DE (1) | DE102021002918B4 (zh) |
| WO (1) | WO2022258250A1 (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE529304C2 (sv) * | 2005-09-06 | 2007-06-26 | Gm Global Tech Operations Inc | Metod och system för förbättrande av trafiksäkerhet |
| DE102016201939A1 (de) | 2016-02-09 | 2017-08-10 | Volkswagen Aktiengesellschaft | Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen |
| DE102017207960A1 (de) | 2017-05-11 | 2018-11-15 | Volkswagen Aktiengesellschaft | Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors |
| US20180339730A1 (en) * | 2017-05-26 | 2018-11-29 | Dura Operating, Llc | Method and system for generating a wide-area perception scene graph |
| DE102017221202B3 (de) | 2017-11-27 | 2018-12-27 | Audi Ag | Fahrzeugsteuersystem für autonom fahrendes Kraftfahrzeug |
| DE102018219125A1 (de) | 2018-11-09 | 2020-05-14 | Volkswagen Aktiengesellschaft | Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeuges und automatisiert fahrendes Kraftfahrzeug |
| WO2020157135A1 (en) * | 2019-01-31 | 2020-08-06 | Robert Bosch Gmbh | Environmental awareness system for a vehicle |
| DE102019004075A1 (de) | 2019-06-08 | 2020-01-02 | Daimler Ag | Verfahren zum Bestimmen einer Relevanz eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems sowie Fahrerassistenzsystem |
-
2021
- 2021-06-07 DE DE102021002918.6A patent/DE102021002918B4/de active Active
-
2022
- 2022-04-20 KR KR1020237041624A patent/KR20240004883A/ko unknown
- 2022-04-20 EP EP22724022.3A patent/EP4352709A1/de active Pending
- 2022-04-20 CN CN202280039771.4A patent/CN117413302A/zh active Pending
- 2022-04-20 WO PCT/EP2022/060418 patent/WO2022258250A1/de active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240004883A (ko) | 2024-01-11 |
| EP4352709A1 (de) | 2024-04-17 |
| DE102021002918A1 (de) | 2022-12-08 |
| DE102021002918B4 (de) | 2023-04-06 |
| WO2022258250A1 (de) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9786166B2 (en) | Method and control and detection unit for checking the plausibility of a wrong-way driving incident of a motor vehicle | |
| KR101680023B1 (ko) | 차량에 장착된 차선 인식 시스템과 교통 표지 인식 시스템의 융합 방법 | |
| JP6069650B2 (ja) | 交通標識認識方法 | |
| JP4446204B2 (ja) | 車両用ナビゲーション装置及び車両用ナビゲーションプログラム | |
| CN101246010B (zh) | 车道判定装置以及车道判定方法 | |
| CN101870292B (zh) | 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序 | |
| CN112069643B (zh) | 一种自动驾驶仿真场景生成方法及装置 | |
| CN104221068B (zh) | 驾驶辅助装置 | |
| CN109891346A (zh) | 用于自主车辆控制系统的位置特定辅助 | |
| CN107944333A (zh) | 自动驾驶控制设备、具有该设备的车辆及其控制方法 | |
| CN105984342A (zh) | 行驶控制装置 | |
| JP4859760B2 (ja) | カーナビゲーション装置、道路標識認識方法およびプログラム | |
| CN105599610A (zh) | 标识信息显示系统及标识信息显示方法 | |
| CN108394410A (zh) | Ecu、包括该ecu的自动驾驶车辆以及确定该车辆的行驶车道的方法 | |
| CN102632888A (zh) | 用于警告车辆驾驶员的方法和警告装置以及车辆 | |
| CN102735253A (zh) | 用于在挡风玻璃上显示道路引导信息的装置和方法 | |
| US9638615B2 (en) | Method and control device and detection device for recognizing an entry of a motor vehicle into a traffic lane opposite a driving direction | |
| JP6996246B2 (ja) | 車両制御装置 | |
| JP6993428B2 (ja) | 教師データ生成装置 | |
| JP2007178271A (ja) | 自位置認識システム | |
| CN108116414A (zh) | 自动驾驶控制装置 | |
| CN110276986A (zh) | 车辆控制装置和车辆控制方法 | |
| CN113272877A (zh) | 用于车辆的控制系统 | |
| CN107111741A (zh) | 用于具有摄像机的机动车的方法，设备和系统 | |
| JP4724079B2 (ja) | 対象物認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |