CN110660271B - 在更大距离上识别对于行驶重要相关的情况 - Google Patents

在更大距离上识别对于行驶重要相关的情况 Download PDF

Info

Publication number
CN110660271B
CN110660271B CN201910509891.6A CN201910509891A CN110660271B CN 110660271 B CN110660271 B CN 110660271B CN 201910509891 A CN201910509891 A CN 201910509891A CN 110660271 B CN110660271 B CN 110660271B
Authority
CN
China
Prior art keywords
vehicle
measurement data
group
classifier module
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910509891.6A
Other languages
English (en)
Other versions
CN110660271A (zh
Inventor
H·扬森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110660271A publication Critical patent/CN110660271A/zh
Application granted granted Critical
Publication of CN110660271B publication Critical patent/CN110660271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

一种用于由至少一个传感器的测量数据识别本车辆的周围环境中的至少一个重要相关的区域的方法，在重要相关的区域中存在对于本车辆的行驶和/或安全重要相关的情况，至少一个传感器观察周围环境的至少一部分，测量数据以像素或体像素离散化和/或以其他方式适当表示，所述重要相关的情况的存在性取决于周围环境中的至少一个特征对象的存在性，像素、体像素或其他表示的分辨率不足以用于直接识别出特征对象，在包含特征对象的对象的分组的存在性方面研究测量数据，像素、体像素或其他表示的分辨率足以用于识别出该分组，将识别出该分组的区域评估为重要相关的区域。本发明还涉及一种分类器模块、一种数据组和一种计算机程序。

Description

在更大距离上识别对于行驶重要相关的情况
技术领域
本发明涉及一种用于分析处理本车辆(Ego-Fahrzeug)的周围环境中的测量数据的方法，在所使用的传感装置的物理分辨率相同的情况下，借助该方法可以在时间上和在位置上更早地识别出本车辆的远区域中的对于行驶重要相关的情况。
背景技术
视情况而定，在道路交通中引导车辆需要记录车辆周围环境的如下区域中的信息：所述区域与车辆的距离明显不同。例如在向右转弯时，应该通过扭头观察(Schulterblick)来检查：在镜子的“死角”中，在自身车辆右侧是否有想要继续直行的其他交通参与者。然而，在高速公路或国道上的快速交通中需要非常远的视野，以便能够在对于行驶重要相关的情况中及时地进行干预。因此在200km/h的速度的情况下，根据经验法则，停止距离大于450m。例如必须在该距离上识别出拥堵末端，以便避免碰撞。
专心的人类驾驶员可以借助同一双眼睛作为传感装置既承担近区内的也承担远区内的识别。用于此目的的技术传感器通常专门用于确定的距离范围。因此，EP 2 084 045B1公开，将具有不同检测范围的多个传感器进行组合并且通过传递算法来桥接中间区域。
在US 2016/371 549 A1和DE 10 2015 205 135 A1中说明用于对象识别的其他常见现有技术。
发明内容
在本发明的范畴内提出一种用于由至少一个传感器的测量数据识别本车辆的周围环境中的至少一个重要相关的区域的方法，在所述至少一个重要相关的区域中存在对于车辆的行驶和/或安全重要相关的情况。本车辆是如下车辆：观察该车辆的周围环境，并且应基于所述观察来对该车辆的行为产生影响。
传感器观察周围环境的至少一部分，其中，测量数据以像素或体像素离散化和/或以其他方式适当表示。传感器例如可以包括摄像机、雷达传感器、超声传感器、位置传感器和/或激光雷达传感器。
目前的问题在于：重要相关的情况的存在性取决于周围环境中的至少一个特征对象的存在性，然而与此同时，像素、体像素或其他表示的分辨率不足以用于直接识别出特征对象。
如果重要相关的情况例如是拥堵，则特征对象是本车辆所行驶的行车道上的陌生车辆。由于测量数据以像素或体像素固定地离散化，所以仅当低于确定最小距离并且陌生车辆相应地占据图像中的像素的确定最小尺寸时，才由摄像机图像识别出这种陌生车辆。
该解决方案基于如下事实：在包含特征对象的对象的分组的存在性方面对测量数据进行研究，其中，像素、体像素或其他表示的分辨率足以于识别出分组。
因此，例如在多车道高速公路上的拥堵情况下，通常所有行车道都被堵塞，使得在拥堵末端，多个车辆彼此并排。彼此并排的多个车辆的分组比单个车辆大得多，因此例如在摄像机图像中占据明显更多的像素。因此，与单个车辆相比，该分组在更远的距离上就已经能够被识别到。
将识别出分组的区域评估为重要相关的区域、即评估为如下区域：在该区域中存在对于本车辆的行驶和/或安全重要相关的情况。由于在测量数据记录的其他方面相同的条件下可以在更大距离上采取这种识别，因此可以相应更早地采取任何措施，以便以所需的方式对本车辆的行为产生影响或者仅对本车辆的驾驶员警告潜在危险情况。
重要相关的区域不必强制性地在行驶方向上处于本车辆前方。对于识别在超车道上并线(ausscheren)是否安全而言，检测本车辆后方的后向周围环境例如可能是重要的。由于超过100km/h的高的可能的接近速度，因此，技术传感装置的有限检测范围目前是如下情况的限制因素：在哪些情况中，在至少部分自动化行驶情况下可以允许超车过程。
检测本车辆的侧向周围环境例如对于交叉口场景而言可能是重要的。在可以拐入到优先国道的交叉口区域中，对于国道上的车辆大多适用70km/h的限速。有时甚至缺少特殊限制，使得即使在这种情况中，在转弯过程期间也可能达到100km/h的接近速度。
重要相关的区域或情况的识别不仅仅局限于使用传感器的测量数据。可选地，该识别也可以考虑使用其他的数据源。
在一种特别有利的构型中，选择陌生车辆作为特征对象。所述分组除了所述陌生车辆以外包括至少一个其他的陌生车辆和/或至少一个行车道边界和/或至少一个行车道标记和/或至少一个附加的用于该分组的特征对象作为其他对象。
如之前所阐述的那样，可以使用包含多个陌生车辆的分组来识别拥堵情况。然而，根据这种分组还可以识别出更多的场景。例如，陌生车辆的确定阵型(Formation)可以表明：所述陌生车辆全部以相同的方式避开对象或情况(例如事故情况或处于车道上的对象)。彼此非常靠近的车辆或者由沿着和横向于行驶方向定向的车辆构成的混合物例如可以被评估为针对事故情况的迹象(Anzeichen)。陌生车辆的如下阵型例如也可以表明存在事故情况：该阵型可以被识别为救援车道。由陌生车辆的前部(该前部被其他陌生车辆的多个尾部围绕)构成的情况可以表明存在幽灵驾驶员。
因此，分组不局限于例如从相同视角显示所有其中包含的陌生车辆的情况。
陌生车辆的概念不局限于确定的车辆类型，而是例如包括轿车、载重货车、摩托车、自行车、诸如起重机或重型运输装置的特殊车辆、诸如轮式装载机的建筑机械、诸如叉车的地面运输车辆、诸如拖拉机的农用车辆或紧急车辆。
分组(该分组除了陌生车辆以外还包括行车道边界和/或行车道标记)能够允许在更大的距离上识别出单个陌生车辆。例如可以由陌生车辆的前部与本车辆的定向行车道上的边界或标记构成的情况表明存在幽灵驾驶员。提前警告幽灵驾驶员是特别重要的，因为本车辆和幽灵驾驶员的速度相加造成相当大的接近速度，该接近速度几乎没有留出时间进行避让反应。
在另一特别有利的构型中，将车辆的与车辆分离的构件或车辆的与车辆分离的装载对象选择为特征对象。除了构件或装载对象以外，分组还包括至少一个行车道边界和/或至少一个行车道标记作为其他对象。
所述装载对象尤其可以是例如通常安置在车辆外部以便运输的对象(例如自行车、车顶箱、运动装备、备用轮胎、压力带或行李件)。所述构件例如可以是排气装置或保险杠。
通过具有行车道边界和/或行车道标记的分组可以在更大距离上识别出构件或装载对象。以这种方式可以及时地采取应对措施，以便避免碰撞。
直线的行车道标记和行车道边界作为分组的其他成员具有如下优点：这些直线的行车道标记和行车道边界实际上存在于交通空间中的任何地方并且因此允许间接地找出特征对象。原则上，所述分组的其他成员也可以是任意的其他场景对象(例如建筑物、地形或植被，或者是诸如交通标志、交通灯、噪音防护装置、隧道或桥梁的任意其他的交通基础设施元素)。
在另一特别有利的构型中，由测量数据附加地分析处理分组的时间上的尺寸变化或密度变化、和/或分组相对于本车辆的相对速度、和/或分组相对于行车道的相对速度。此外，确定具有分组的区域是否是重要相关的区域附加地取决于时间上的尺寸变化或密度变化和/或取决于相对速度。
分组的时间上的尺寸变化例如可以表明：在构成分组的多个陌生车辆之间存在距离变化。如果在前方行驶的陌生车辆的分组例如变小，则这可以表明这些陌生车辆彼此靠近。这又可以表明这些陌生车辆发生制动，例如由于正在形成拥堵或者交通灯已经切换到红色。
分组的密度变化涉及分组内对象的密度。即使如果无法彼此独立地识别出分组的各个对象，仍然也能够观察密度。例如与空的行车道相比，具有多个车辆的行车道区域具有不同的亮度。
由分组内的对象的密度又可以推断出运动模式，尤其在这些运动模式无法在至本车辆很远的距离处直接观察到的情况下。例如，密集行驶的交通例如比如下交通运动得更慢：在所述交通中，车辆具有彼此恒定的距离。波动的对象密度也可以表示停停走走的情况。从出发点逐渐逆着行驶方向传播的密度增大例如可以表明：该出发点附近的对象突然停止。
如果分组例如除了陌生车辆以外也包括行车道边界或行车道标记，则该分组的尺寸例如可能在如下情况发生变化：陌生车辆与行车道边界或行车道标记之间的距离发生变化。这种变化例如可以表明陌生车辆在碰撞对象前的侧向避让运动。以这种方式可以提前识别到从本车辆出发当前根本不可见的可能碰撞对象。
替代地或组合地，可以分析处理分组整体相对于本车辆和/或相对于行车道的相对速度。例如如果多个陌生车辆的分组以恒定的距离在前方行驶，则不存在剧烈的行动需求。但是如果该分组停止在行车道上，则需要制动本车辆以避免碰撞。
在此，概念“相对速度”应理解为矢量的并且也包括方向变化。如果陌生车辆的分组例如突然改变方向，则这可以表明分组以封闭的方式(geschlossenen)避开对象或情况或者以其他方式对对象或情况作出反应。
多个陌生车辆的避让运动例如可以表示：在本车辆的传感装置识别到紧急车辆之前很久，紧急车辆靠近。
在另一特别有利的构型中，响应于已经将一区域评估为重要相关的区域(即在该区域中已经识别出对于本车辆而言重要相关的情况)，借助操纵变量对传感器和/或对支持借助传感器记录测量数据的装置进行操控，以便改变测量数据记录的物理参量。接下来记录其他涉及重要相关区域的测量数据。以这种方式可以对该区域中存在的情况进行深入分析和/或分类。
在摄像机作为传感器的情况下，例如可以改变聚焦调节或曝光调节，和/或可以更换或缩放摄像机的镜头。例如也可以激活红外机头灯，以便照亮重要相关区域来重新进行图像拍摄。
替代地或组合地，为此目的，可以操控和/或集成另一传感器来记录重要相关区域中的其他测量数据。例如可以如此实现分工，使得较快的第一传感器用于识别重要相关区域，而较慢的第二传感器用于详细地分析这些区域。
在另一特别有利的构型中，选择测量数据记录的物理参数的如下变化：使得在该变化之后，像素、体像素或其他表示的分辨率足以用于识别特征对象。替代地或组合地，选择另一传感器，该另一传感器的像素、体像素或其他表示的分辨率足以用于识别特征对象。
在识别出本车辆前方的远距离处的分组之后，例如可以对摄像机的镜头进行如下缩放，使得对分组全画幅成像，并且能够识别出该分组内的各个对象。但是例如也可以操控第二摄像机，该第二摄像机对具有分组的重要相关区域全画幅地或至少足够大地进行成像。另一传感器的操控和/或集成具有以下优点：第一传感器始终可以观察更大的区域，并且对辨识为重要相关区域的详细分析不会导致在此期间在车辆周围环境中出现的其他结果被第一传感器所忽略。
在另一特别有利的构型中，为了在分组的存在性方面进行研究，预先选择测量数据的如下子集：所述子集涉及本车辆的周围环境的与距本车辆相距预给定最小距离的区域。以这种方式可以节省计算能力。传感器的像素、体像素或其他表示的分辨率通常如此确定尺寸，使得该分辨率在本车辆附近的周围环境中足以用于直接识别对象。这种直接识别通常比识别分组的开销少得多。
在另一特别有利的构型中，为了(例如借助摄像机)记录测量数据，借助对比机制的模型和/或借助其他物理成像模型，由根据测量数据识别出的多个对象和/或分组求取测量数据的如下部分：该部分涉及所识别出的对象和/或分组。以这种方式可以辨识出测量数据的如下部分：该部分无法被分配给对象和分组。该部分可能表示另一对象，该另一对象在测量数据中还无法如此清楚地识别以能够被唯一明确地辨识出。例如同样可以将这种不清楚的对象所处的区域辨识为重要相关的。
如果测量数据例如是来自摄像机的图像数据，则例如可以将所有识别出的对象和分组组合成合成图像，并且可以将该图像与原始图像进行比较。如果现在例如发现合成图像在一狭窄限界的区域中与原始图像明显不同，则在那里可能存在另一对象。无法唯一明确地辨识出这一对象可能是次要的；首先重要的是避免与该对象发生碰撞。
而且，例如也可以将合成产生的测量数据与实际测量数据之间的差构造用作反馈，来细化对比机构的模型和/或其他物理成像模型。以这种方式，可以改善分组的识别。
在另一特别有利的构型中，响应于已经将一区域评估为重要相关的区域，为了防止由本车辆、本车辆的驾驶员或由其他交通参与者引起不利后果，和/或为了匹配本车辆的速度和/或轨迹，对本车辆驾驶员能够感知的物理警报装置进行操控，和/或对驱动系统、转向系统和/或制动系统进行操控。
如果驾驶员随后通过松油门(Gaswegnehmen)来降低速度并且自身有有意观察远距离区域，则仅仅是警告在更大距离上存在对于本车辆的行驶和/或安全重要的情况就已经可能缓解这种情况。这种警报例如也可以通过如下方式来具体化：在平视显示器或类似的显示装置中突出该区域。在驾驶辅助系统或至少部分自动化行驶的范畴内，也可以直接干预驾驶动力系统。此外，可以提供用于请求驾驶员接管车辆和禁用自动行驶功能的基础。
此外，例如可选地可以向后面的交通发出警报，例如通过制动灯闪烁和/或通过经由V2V(车对车)接口或V2I(车对基础设施)接口发送消息。以这种方式，可以降低后续陌生车辆撞上(从其视角观察)突然制动的本车辆的危险性。
用于识别车辆周围环境中的对象的基础装置已经存在于很多车辆中。在此，通常将如下分类器模块用作核心部件：该分类器模块按照搜索实体的内容对测量数据进行分类。所述方法可以在这种分类器模块中实现并且例如可以后续安装到现有车辆系统中。
因此，本发明也涉及一种用于在测量数据中识别对象的分类器模块，所述测量数据已经从本车辆的周围环境中获得。该分类器模块获得测量数据作为输入并且提供关于如下概率作为输出：测量数据显示出存在预给定数量的搜索实体中的一个或多个的一个或多个样本。
搜索实体至少包括：
·多个车辆的分组；
·一个或多个车辆与至少一个行车道边界和/或至少一个行车道标记共同构成的分组；和/或
·车辆的与车辆分离的至少一个构件和/或装载对象与至少一个行车道边界和/或与至少一个行车道标记和/或与至少一个附加的用于分组的特征对象的分组。
如之前所阐述的那样，可以由相应分组的存在性推断出重要相关情况的特征对象的存在性。以这种方式，与为此需要单独识别特征对象相比，可以在总体上明显更大的距离上识别出情况。
传统的分类器模块在识别单个对象方面被优化。如果例如将行车道标记提供到关于陌生车辆的输入数据中，则彼此单独地谈及如下概率：一方面在相应区域中存在车辆，并且另一方面在相应区域中存在行车道标记。然而，在现在提供的分类器模块中还附加地谈及如下另一概率：存在由陌生车辆和行车道标记构成的分组。
在一种特别有利的构型中，该分类器模块借助或能够借助学习输入数据和分别所属的学习输出数据训练，所述学习输出数据说明能够在学习输入数据中识别出的搜索实体。例如可以在其功能性方面扩展现有的这种分类器模块，其方式是：借助涉及对象的分组的附加学习输入数据和所属的学习输出数据来再训练该分类器模块。
在一种特别有利的构型中能够实现这样的扩展：在该扩展中，分类器模块包括至少一个人工神经网络(KNN)。
因此，本发明也涉及一种数据组，该数据组具有用于所述分类器模块的学习输入数据和所属的学习输出数据。该数据组至少包括如下作为在学习输入数据和学习输出数据中表示的搜索实体：
·多个车辆的分组；
·一个或多个车辆与至少一个行车道边界和/或与至少一个行车道标记共同构成的分组；和/或
·车辆的与车辆分离的至少一个构件和/或装载对象与至少一个行车道边界和/或与至少一个行车道标记和/或与至少一个附加的用于分组的特征对象的分组。
仅仅是该数据组就已经可以足以对现有分类器模块进行再训练并且因此以所述方式在其功能方面扩展该模块。因此，该数据组也是可以体现本发明的可自行销售的产品。
根据之前的描述，本发明涉及一种具有机器可读的指令的计算机程序，当所述指令在计算机上和/或控制设备和/或分类器模块上实施时，所述指令将所述计算机、控制设备或分类器模块升级成根据本发明的分类器模块，和/或所述指令促使所述计算机、控制设备或分类器模块实施根据本发明的方法。该计算机程序也可以体现本发明并且例如可以作为对用于对象识别的现有系统的更新或升级来进行销售。本发明同样涉及一种机器可读的数据载体或一种具有该计算机程序的下载产品。
附图说明
以下结合根据附图对本发明的优选实施例的描述进一步示出改善本发明的其他措施。附图示出：
图1示出方法100的一种应用情况的不按比例的示意图；
图2示出方法100的实施例；
图3示出具有其他对象32、33的分组的不按比例的示意图，所述其他对象不是陌生车辆。
具体实施方式
根据图1，本车辆1在构造为三车道高速公路的行车道4上从左向右运动。借助传感器21检测本车辆1的周围环境11。传感器21将测量数据21a提供给分类器模块5，该分类器模块在测量数据中搜索规范预给定的实体51a-51d(例如陌生车辆)。分类器模块分别输出关于在测量数据21a中已经识别出搜索实体51a-51d的概率52a-52d＝P(51a-51d)。然后，采取适当的反应。例如操控警报装置15a、驱动系统14b、转向系统14c和/或制动系统14d。
在图1中所示的示例中，在本车辆1的周围环境11中存在如下情况13:在该情况中，交通已经发生拥堵。这种情况13对于本车辆1的行驶和安全而言是重要相关的，其原因在于：在本车辆1的行驶方向上的下一陌生车辆与本车辆处于同一行车道上。该陌生车辆是特征对象31，但是该特征对象由于传感器21的有限像素分辨率而无法在远距离上被识别出。
分类器模块5在测量数据21a中有针对性地搜索分组3，在该分组中，特征对象31(在该示例中)与(作为其他对象32和33的)其他陌生车辆组合。将本车辆1的周围环境11中的找到分组3的区域评估为如下区域12：在该区域中存在情况13。因为分组3比其组成部分31-33在空间上延伸更多，所以在传感器21的相同像素分辨率下，可以在测量数据21a中明显更早地识别出分组。
图2示例性地阐述方法100的流程。可选地在步骤105中，从传感器21提供的测量数据21a中选择出如下子集：该子集属于至本车辆的更大距离的“令人感兴趣的区域”。这背后的想法是：如果也可以直接单独地识别出分组的组成部分，则不需要相对复杂地识别分组。
在步骤110中，在测量数据21a中识别出分组3。由此在步骤120中推断出：具有分组3的区域是对于本车辆1的行驶和/或安全重要相关的区域12。
但是在步骤130中也可以在分组3的尺寸变化34a或密度变化34b方面、在分组3相对于本车辆1的相对速度34c方面、和/或在分组3相对于行车道4的相对速度34d方面分析测量数据21a，其中，可以之前在步骤110中就已经识别出分组3，但是也可以在步骤130内进行识别。
在步骤140中，结合附加信息34a-34d，由车辆周围环境11中的区域中的分组3的存在推断出：该区域是对于本车辆1的行驶和/或安全重要相关的区域12。如果基于的是所扩展的信息，则在步骤140内也完成步骤120的工作。
无论获得了关于区域12的怎样的知识，现在能够实现各种其他措施。
根据步骤150，可以借助操纵变量23来操控传感器21和/或支持该传感器21的装置(在图2中未示出)。接下来，在步骤160中可以借助传感器21记录涉及重要相关的区域12的其他测量数据21b。
根据步骤170，可以对另一传感器22进行操控，以便记录涉及重要相关区域12的其他测量数据22a。
根据步骤180，为了与原始测量数据进行比较，可以对测量数据21a、21b、22a的涉及所识别出的对象31-33或分组3的部分24进行合成。以这种方式，可以细化对比机制的模型和/或摄像机的其他物理成像模型用于记录测量数据21a、21b、22a，这反过来又有利于步骤120和130中的分析。
最后，可以在步骤190中操控警报装置14a、驱动系统14b、转向系统14c和/或制动系统14d。
图3示意性地示出另外的可能分组3，借助该分组可以使特征对象31变得间接能够被识别。作为特征对象31的陌生车辆与作为其他对象32的第一行车道标记被分组。作为特征对象31a的丢失的轮胎与作为其他对象32a的第二车道标记被分组。作为特征对象31b的行人与作为其他对象33的行车道边界被分组。

Claims (15)

1.一种用于由至少一个传感器(21)的测量数据(21a)识别本车辆(1)的周围环境(11)中的至少一个重要相关的区域(12)的方法(100)，在所述重要相关的区域中存在对于所述本车辆(1)的行驶和/或安全重要相关的情况(13)，所述至少一个传感器观察所述周围环境(11)的至少一部分，其中，所述测量数据(21a)以像素或体像素离散化，其中，所述重要相关的情况(13)的存在性取决于所述周围环境(11)中的至少一个特征对象(31)的存在性，其中，所述像素或体像素的分辨率不足以用于直接识别出所述特征对象(31)，其中，在包含所述特征对象(31)的对象(31-33)的分组(3)的存在性方面对所述测量数据(21a)进行研究(110)，其中，所述像素或体像素的分辨率足以用于识别出所述分组(3)，其中，将识别出所述分组(3)的区域评估为重要相关的区域(12)。
2.根据权利要求1所述的方法(100)，其中，选择陌生车辆作为特征对象(31)，其中，所述分组(3)除了所述陌生车辆以外包括至少一个其他的陌生车辆和/或至少一个行车道边界和/或至少一个行车道标记和/或至少一个附加的用于所述分组的特征对象作为其他对象(32-33)。
3.根据权利要求1至2中任一项所述的方法(100)，其中，将所述车辆的与车辆分离的构件或所述车辆的与车辆分离的装载对象选择为特征对象(31)，其中，所述分组(3)除了所述构件或所述装载对象以外包括至少一个行车道边界和/或至少一个行车道标记作为其他对象(32-33)。
4.根据权利要求1或2所述的方法(100)，其中，由所述测量数据(21a)附加地分析处理(130)所述分组(3)的时间上的尺寸变化(34a)或密度变化(34b)、和/或所述分组(3)相对于所述本车辆(1)的相对速度(34c)、和/或所述分组(3)相对于行车道(4)的相对速度(34d)，其中，确定具有所述分组(3)的区域是否是重要相关的区域(12)附加地取决于(140)所述时间上的尺寸变化(34a)或密度变化(34b)和/或取决于所述相对速度(34c-34d)。
5.根据权利要求1或2所述的方法(100)，其中，响应于已经将一区域评估为重要相关的区域(12)，借助操纵变量(23)对所述传感器(21)和/或对支持借助所述传感器(21)记录测量数据(21a)的装置进行操控(150)，以便改变所述测量数据记录的物理参数，其中，接下来记录(160)涉及所述重要相关的区域(12)的其他测量数据(21b)。
6.根据权利要求1或2所述的方法(100)，其中，响应于已经将一区域评估为重要相关的区域(12)，操控和/或集成另一传感器(22)来记录(170)所述重要相关的区域(12)中的其他测量数据(22a)。
7.根据权利要求5所述的方法(100)，其中，选择所述测量数据记录的物理参数的如下变化，使得在所述变化之后，所述像素或体像素的分辨率足以用于识别出所述特征对象(31)，和/或其中，选择另一传感器(22)，所述另一传感器的像素或体像素的分辨率足以用于识别出所述特征对象(31)。
8.根据权利要求1或2所述的方法(100)，其中，为了在所述分组(3)的存在性方面进行研究，预先选择(105)所述测量数据(21a)的如下子集：所述子集涉及所述本车辆(1)的周围环境(11)的与所述本车辆(1)相距预给定最小距离的区域。
9.根据权利要求1或2所述的方法(100)，其中，为了记录所述测量数据(21a，21b，22a)，借助对比机制的模型和/或借助其他物理成像模型，由根据所述测量数据(21a，21b，22a)识别出的多个对象(31-33)和/或分组(3)求取(180)所述测量数据(21a，21b，22a)的如下部分(24)：所述部分涉及所识别出的对象(31-33)和/或分组(3)。
10.根据权利要求1或2所述的方法(100)，其中，响应于已经将一区域评估为重要相关的区域(12)，为了防止由本车辆(1)、本车辆的驾驶员或其他交通参与者引起不利后果，和/或为了匹配所述本车辆(1)的速度和/或轨迹，对所述本车辆(1)的驾驶员能够感知的物理警报装置(14a)进行操控，和/或对驱动系统(14b)、转向系统(14c)和/或制动系统(14d)进行操控(190)。
11.一种用于在测量数据(21a，21b，22a)中识别出对象(31-33)的分类器模块(5)，所述分类器模块(5)设置用于实施根据权利要求1至10中任一项所述的方法，所述测量数据已经从本车辆(1)的周围环境(11)中获得，其中，所述分类器模块(5)获得所述测量数据(21a，21b，22a)作为输入并且提供关于如下的概率(52a-52d)作为输出：所述测量数据(21a，21b，22a)显示出存在预给定数量的搜索实体(51a-51d)中的一个或多个的一个或多个样本，其中，所述搜索实体(51a-51d)至少包括：
·多个车辆的分组(3)；
·一个或多个车辆与至少一个行车道边界和/或至少一个行车道标记共同构成的分组(3)；和/或
·所述车辆的与车辆分离的至少一个构件和/或装载对象与至少一个行车道边界和/或与至少一个行车道标记和/或与至少一个附加的用于所述分组的特征对象的分组(3)。
12.根据权利要求11所述的分类器模块(5)，其中，所述分类器模块(5)借助或能够借助学习输入数据和分别所属的学习输出数据训练，所述学习输出数据说明能够在所述学习输入数据中识别出的搜索实体(51a-51d)。
13.根据权利要求12所述的分类器模块(5)，所述分类器模块包括至少一个人工神经网络——KNN。
14.一种数据组，所述数据组具有用于根据权利要求12至13中任一项所述的分类器模块(5)的学习输入数据和所属的学习输出数据，所述数据组至少包括如下作为在所述学习输入数据和所述学习输出数据中表示的搜索实体(51a-51d)：
·多个车辆的分组(3)；
·一个或多个车辆与至少一个行车道边界和/或与至少一个行车道标记共同构成的分组(3)；和/或
·所述车辆的与车辆分离的至少一个构件和/或装载对象与至少一个行车道边界和/或与至少一个行车道标记和/或与至少一个附加的用于所述分组的特征对象的分组(3)。
15.一种机器可读的存储介质，在所述存储介质上存储有计算机程序，所述计算机程序具有机器可读的指令，当所述指令在计算机和/或控制设备和/或分类器模块(5)上实施时，所述指令将所述计算机、所述控制设备或所述分类器模块(5)升级成根据权利要求11至13中任一项所述的分类器模块(5)，和/或所述指令促使所述计算机、所述控制设备或所述分类器模块(5)实施根据权利要求1至10中任一项的方法。
CN201910509891.6A 2018-06-13 2019-06-13 在更大距离上识别对于行驶重要相关的情况 Active CN110660271B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018209388.1A DE102018209388A1 (de) 2018-06-13 2018-06-13 Erkennung fahrtrelevanter Situationen auf größere Entfernung
DE102018209388.1 2018-06-13

Publications (2)

Publication Number Publication Date
CN110660271A CN110660271A (zh) 2020-01-07
CN110660271B true CN110660271B (zh) 2023-01-10

Family

ID=68724555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910509891.6A Active CN110660271B (zh) 2018-06-13 2019-06-13 在更大距离上识别对于行驶重要相关的情况

Country Status (3)

Country Link
US (1) US11216672B2 (zh)
CN (1) CN110660271B (zh)
DE (1) DE102018209388A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021100054A1 (de) 2021-01-05 2022-07-07 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Ereignisses in einer Umgebung eines Kraftfahrzeugs mittels eines Asistenzsystems, sowie Assistenzsystem
DE102021207468A1 (de) 2021-07-14 2023-01-19 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kodierung einer Abfolge von Videobildern

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317952A (zh) * 2009-05-07 2012-01-11 宝马股份公司 在显示装置的显示器上呈现运输工具周围环境中可见性不同的物体的方法
CN102685382A (zh) * 2011-03-18 2012-09-19 安尼株式会社 图像处理装置和方法、及移动体防碰撞装置
CN103477347A (zh) * 2011-03-31 2013-12-25 罗伯特·博世有限公司 用于分析由车辆的摄像机拍摄的图像的方法和图像预处理设备
CN103548069A (zh) * 2011-05-19 2014-01-29 宝马股份公司 用于识别可能的碰撞对象的方法和装置
CN103577834A (zh) * 2012-08-06 2014-02-12 现代自动车株式会社 产生用于识别障碍物的分类器的方法和系统
CA2896291A1 (en) * 2012-12-25 2014-07-03 Keisuke Miyagawa Vehicle periphery monitoring device
JP2016009474A (ja) * 2014-06-26 2016-01-18 株式会社リコー 物体識別システム、情報処理装置、情報処理方法及びプログラム
CN105263757A (zh) * 2013-05-29 2016-01-20 罗伯特·博世有限公司 用于在使用可与车辆耦合的移动终端设备的情况下识别车辆和对象之间的碰撞的方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006047634A1 (de) 2006-10-09 2008-04-10 Robert Bosch Gmbh Verfahren zum Erfassen eines Umfelds eines Fahrzeugs
US8232872B2 (en) * 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
DE102013217915A1 (de) 2013-09-09 2015-03-12 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten
DE102014205014A1 (de) * 2014-03-18 2015-09-24 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Erfassen von bewegten Objekten in der Umgebung eines Fahrzeugs
WO2015171943A1 (en) * 2014-05-07 2015-11-12 Decision Sciences International Corporation Image-based object detection and feature extraction from a reconstructed charged particle image of a volume of interest
DE102015205135A1 (de) 2015-03-20 2016-09-22 Bayerische Motoren Werke Ag Verfahren zum Ermitteln eines für eine zumindest teilweise automatisierte Bewegung des Fahrzeugs nutzbaren Automatisierungsgrads
US10859395B2 (en) * 2016-12-30 2020-12-08 DeepMap Inc. Lane line creation for high definition maps for autonomous vehicles
US10628671B2 (en) * 2017-11-01 2020-04-21 Here Global B.V. Road modeling from overhead imagery
US10891497B2 (en) * 2018-03-23 2021-01-12 NetraDyne, Inc. Traffic boundary mapping

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317952A (zh) * 2009-05-07 2012-01-11 宝马股份公司 在显示装置的显示器上呈现运输工具周围环境中可见性不同的物体的方法
CN102685382A (zh) * 2011-03-18 2012-09-19 安尼株式会社 图像处理装置和方法、及移动体防碰撞装置
CN103477347A (zh) * 2011-03-31 2013-12-25 罗伯特·博世有限公司 用于分析由车辆的摄像机拍摄的图像的方法和图像预处理设备
CN103548069A (zh) * 2011-05-19 2014-01-29 宝马股份公司 用于识别可能的碰撞对象的方法和装置
CN103577834A (zh) * 2012-08-06 2014-02-12 现代自动车株式会社 产生用于识别障碍物的分类器的方法和系统
CA2896291A1 (en) * 2012-12-25 2014-07-03 Keisuke Miyagawa Vehicle periphery monitoring device
CN105263757A (zh) * 2013-05-29 2016-01-20 罗伯特·博世有限公司 用于在使用可与车辆耦合的移动终端设备的情况下识别车辆和对象之间的碰撞的方法和设备
JP2016009474A (ja) * 2014-06-26 2016-01-18 株式会社リコー 物体識別システム、情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN110660271A (zh) 2020-01-07
US20190384993A1 (en) 2019-12-19
DE102018209388A1 (de) 2019-12-19
US11216672B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
US11462022B2 (en) Traffic signal analysis system
JP6725568B2 (ja) 車両制御装置、車両、車両制御方法およびプログラム
US10957201B2 (en) System and method for relative positioning based safe autonomous driving
US11256260B2 (en) Generating trajectories for autonomous vehicles
JP4309843B2 (ja) 車両の衝突を阻止する方法および装置
JP3646605B2 (ja) 車両走行制御装置
US6226389B1 (en) Motor vehicle warning and control system and method
CN107077795B (zh) 用于探测车辆周围环境中出现的行驶障碍的辅助系统
US11180164B2 (en) Vehicle control apparatus, vehicle, and control method
WO2021075454A1 (ja) 車載装置及び運転支援方法
US9323718B2 (en) Method and device for operating a driver assistance system of a vehicle
WO2019106789A1 (ja) 処理装置及び処理方法
US11615702B2 (en) Determining vehicle path
CN111731296B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
CN111295628A (zh) 用于自主车辆决策的语义对象聚类
CN110001648B (zh) 车辆控制装置
JP4116643B2 (ja) 車両周囲の少なくとも１つの物体を分類する装置
CN114475648A (zh) 基于周围作用因素的行为和有限的环境观察的自主车辆的控制
CN110660271B (zh) 在更大距离上识别对于行驶重要相关的情况
US20230120095A1 (en) Obstacle information management device, obstacle information management method, and device for vehicle
EP4184452A1 (en) Vehicle light classification system
US11429843B2 (en) Vehicle operation labeling
JP2019053476A (ja) 走行制御装置、走行制御方法およびプログラム
CN115042782A (zh) 一种车辆巡航控制方法、系统、设备及介质
JP2018205909A (ja) 処理装置、車両、処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant