CN115546756A - 提高车辆内的情境感知能力 - Google Patents

提高车辆内的情境感知能力 Download PDF

Info

Publication number
CN115546756A
CN115546756A CN202210690191.3A CN202210690191A CN115546756A CN 115546756 A CN115546756 A CN 115546756A CN 202210690191 A CN202210690191 A CN 202210690191A CN 115546756 A CN115546756 A CN 115546756A
Authority
CN
China
Prior art keywords
traffic conditions
traffic
shadows
vehicle
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210690191.3A
Other languages
English (en)
Inventor
加布丽埃勒·约斯特
阿赫麦德·本米蒙
托马斯·诺瓦克
马辰昊
哈米德·M·格尔吉里
托尼·泰-珍·朴
优素福·埃尔米尼亚维
阿诺普·米什拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN115546756A publication Critical patent/CN115546756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种提高主车辆中高级驾驶辅助系统情境感知能力的方法，该方法包括利用图像传感器获取包括多个图像帧的图像数据流；视觉处理器可以分析所述图像数据流以检测所述图像帧中的物体、阴影和/或照明；情境识别引擎可以在考虑到检测到的物体、阴影和/或照明的情况下从一组预定交通状况中识别出至少一种最可能的交通状况；然后，处理器可以在考虑至少一种最可能的交通状况的情况下控制所述主车辆。

Description

提高车辆内的情境感知能力
技术领域
本发明涉及车辆领域，具体涉及一种用于车辆以提高车辆内的情境感知能力的计算设备和一种提高车辆内的情境感知能力的方法。
背景技术
车辆中的高级驾驶辅助系统，包括代客泊车辅助(Valet Parking Assistance，VaPA)，可以提供全自动转向和操纵。此类系统使用自动车辆控制系统，以及摄像头、激光雷达、雷达、GPS(Global Positioning System，全球定位系统)、近距离和/或超声波传感器来记录、识别和解释周围环境。
VaPA系统无需用户监督或输入即可识别停车位、导航和停放车辆。该系统还能够根据用户的要求将停放的车辆从停车位自动驾驶到指定的上车地点。
其他高级驾驶辅助系统可能包括城市交通中的辅助驾驶、自动紧急制动、前后交叉车流警报和倒车制动辅助。
高度自动化的驾驶辅助系统旨在在没有任何人工监督的情况下运行，这增加了对传感系统正确感知和解释其正在行驶的环境的需求。对环境的充分了解可以确保车辆安全运行。
与普通驾驶员的表现相比，基于检测和对摄像机视野中物体分类的经典传感和感知可能会有所不足，普通驾驶员除了评估他或她的视野中的事物外，还具有仅基于迹象对即将发生的事件的某些预期。在处理高度自动化的系统(例如自动代客泊车)时，由于不需要人类监督，因此这些系统需要建立同等的情境感知能力是显而易见的，尤其是在将至少与普通人类驾驶员同等水准的性能作为目标时。
发明内容
根据一个方面，本发明涉及一种用于提高主车辆中高级驾驶辅助系统(ADAS)情境感知能力的方法。根据另一方面，本发明涉及一种高级驾驶辅助系统和一种用于车辆的自主驾驶系统。
因此，本发明公开了一种提高主车辆中高级驾驶辅助系统情境感知能力的方法。本发明还包括相应的高级驾驶辅助系统(ADAS)和自动驾驶系统、相应的计算机程序和相应的计算机可读数据载体。
根据第一方面，用于提高主车辆中高级驾驶辅助系统情境感知能力的方法包括以下步骤：
S1：利用图像传感器获取包括多个图像帧的图像数据流；
S2：利用视觉处理器分析图像数据流以检测图像帧中的物体、阴影和/或照明；
S3：利用情境识别引擎，在考虑到检测到的物体、阴影和/或照明的情况下，从一组预定交通状况中识别出至少一种最可能的交通状况；和
S4：利用处理器在考虑到至少一种最可能的交通状况的情况下控制主车辆。
在本公开的上下文中，视觉处理器可以理解为用于处理图像数据而优化的计算单元，即，包括处理器和存储器的计算设备。嵌入式视觉处理器可以基于异构处理单元，该异构处理单元包括，例如，用于处理每个输入图像的像素并行计算的标量单元和附加矢量DSP(digital signal processing，数字信号处理)单元。
过去，对于要检测的每种类型的物体，传统的计算机视觉算法都是手工编写的。用于检测的算法示例包括“Viola-Jones”或“定向梯度直方图”(Histogram of OrientedGradient，HOG)。HOG算法查看图像中的边缘方向以尝试描述对象。总体上，这些方法在今天仍然有效。
然而，由于深度神经网络的突破，物体检测不再是手工编写的编码练习。深度神经网络允许从训练示例中自动学习特征。在这方面，如果神经网络具有输入和输出层以及至少一个隐藏的中间层，则认为它是“深度”神经网络。每个节点都是根据前一层中多个节点的加权输入计算得出的。卷积神经网络(Convolutional neural network，CNN)可以有效地实现视觉的深度神经网络。因此，视觉处理器还可以包括嵌入式CNN引擎。现代嵌入式CNN引擎可能足够强大，可以处理图像流的整个传入的图像帧。处理整个图像帧的好处是可以训练CNN以同时检测多个物体，例如交通参与者(汽车、行人、自行车等)、障碍物、驾驶面边界、道路标记和交通标志。
考虑到视觉处理器提供的信息以及高级驾驶辅助系统可获得的附加信息，情境识别引擎适于从一组预定交通状况中识别出与当前状况最匹配的状况。情境识别引擎可以基于确定性方法、概率方法、模糊方法、概念图，或者再次基于深度学习/神经网络。在最简单的形式中，情境识别引擎可以——例如——基于硬编码的决策树。在确定性模型中，已识别的情况是通过状态和事件之间的已知关系精确确定的。概率模型通过基于时间和空间参数计算所有可能情况的概率来预测情况。模糊模型包括一组有限的模糊关系，这些模糊关系形成一种从过去有限数量的输入和输出中识别情况的算法。概念图属于基于逻辑的方法，但它们也受益于图论和图算法。
基于由情境识别引擎识别的最可能的情况，高级驾驶辅助系统可以调整当前或计划的驾驶操作。
有利的是，可以考虑基于经验的指示，以便在检测到的场景出现变化之前对其进行预测。
本方法不仅依赖于对视场中物体的检测，还考虑了所呈现场景的光学图像中包含的附加信息，以便更好地预测场景在不久的将来可能发生的变化。这包括预测尚不可见的其他交通参与者的存在，还包括预测一个交通参与者在不久的将来从静态交通参与者到动态交通参与者的变化。
在一些实施例中，分析图像数据流包括检测图像帧中的阴影。
特别地，分析图像数据流可以包括检测动态阴影。检测动态阴影可以轻松识别移动的交通参与者。可以通过比较图像数据流的至少第一和第二图像帧来检测动态阴影。
动态阴影的移动和/或尺寸的变化可以参考各个阴影投射到的表面来检测。直接将阴影与下面的表面的形状和/或其他特征进行比较简化了动态阴影的检测，因为它补偿了由于主车辆的移动而导致的视角变化。
在一些实施例中，一组预定交通状况包括视线外交通参与者将阴影投射到图像传感器的视场中的交通状况。在此上下文中的交通状况可以指状况模板、相应的物体或类似的数据结构，以及这些数据结构所代表的“现实生活中的”交通状况。
这使高级驾驶辅助系统能够预测视线外交通参与者。
如果检测到的阴影正在移动，则可以评估移动的轨迹以预测相应的视线外交通参与者的移动。
在一些实施例中，一组预定交通状况包括包含一排停车位的交通状况，其中多个但不是所有的停车位被各自的汽车占用。根据交通状况，在被占用车位内的汽车相应地将阴影投射到在主车辆的图像传感器的视场中。这样，即使未占用的停车位本身仍然在视线外或被后面停放的汽车挡住，也可以通过缺少相应的阴影来识别或至少预测一排停车位中的未占用的停车位。
根据另一个有利的方面，从一组预定交通状况中识别出至少一种最可能交通状况的步骤可以包括：在已被视觉处理器检测到的物体缺少相应的阴影但是基于现有的照明条件预期会出现这种阴影的情况下，减小与包含已检测到的物体的交通状况相关的概率值。
在一些实施例中，仅当被检测到的物体缺少相应的阴影但是视觉处理器检测到的被检测到的物体附近的所有其他物体都投下各自的阴影时概率值才减小。
换言之，可以使用阴影或当预期会出现阴影但阴影缺失来识别由光学传感系统识别的物体是否是幻影物体(误报)。但应该注意的是，这种技术仅适用于照明条件支持3D物体投射阴影的情况。
根据另一个有利方面，分析图像数据流可以包括检测图像帧中的人工照明。与阴影一样，照明可以用作预测不在视线中的交通参与者的存在和/或移动的指示器，甚至在图像传感器看到它之前。
在一些实施例中，被检测的人工照明可以是动态的，例如，与被照明的表面和/或物体相关的移动和/或尺寸变化。检测动态照明简化了最可能相关的照明和最可能不相关的照明之间的区分。静态照明更可能是无关紧要的。
在一些实施例中，一组预定交通状况包括包含开启车辆照明的交通参与者的交通状况。开启的车辆照明可以包括刹车灯、倒车灯、方向指示灯、危险警告灯、近光灯和远光灯中的至少一种。开启的车辆照明发出人工照明，供视觉处理器在图像帧中检测。其他交通参与者的车辆照明可以提供附加信息以用于了解主车辆的环境。
特别地，一组预定交通状况可以包括用于预测开启车辆照明的视线外交通参与者的交通状况，其中开启车辆照明在图像传感器的视场中是可检测的。例如，开启车辆照明可以照亮在图像传感器的视场中的物体、表面和/或空气中的粒子，这使得车辆照明可在图像数据流中检测到。
在一些实施例中，一组预定交通状况包括用于预测交通参与者突然移动到主车辆的路径中的交通状况。交通状况可以相应地包括在图像传感器的视场中开启车辆照明的交通参与者。开启车辆照明是一种可识别的已确定的类型。
根据另一方面，提供了一种用于车辆的高级驾驶辅助系统(ADAS)，包括图像传感器、视觉处理器、情境识别引擎和处理器。高级驾驶辅助系统被配置为执行上述方法。
根据又一方面，一种用于车辆的自主驾驶系统，包括车辆传感器装置、被配置为至少部分地基于来自车辆传感器装置的车辆传感器数据自主驾驶车辆的控制和伺服单元，以及如上所述的高级驾驶辅助系统。
根据又一方面，提供了一种包括指令的计算机程序，当该程序由控制器执行时，该指令使控制器执行上述方法。
根据又一方面，提供了一种其上存储有上述计算机程序的计算机可读数据载体。所述数据载体还可以存储已知交通场景的数据库。
附图说明
现在将参照附图对本发明作更详细地描述。在图中：
图1示出了一种示例性方法的简化图；
图2示出了示例性方法的应用的示意性示例；
图3示出了示例性方法的应用的第二示意性示例；
图4示出了示例性方法的应用的第三示意性示例；
图5示出了示例性方法的应用的第四示意性示例；
图6示出了示例性方法的应用的第五示例。
具体实施方式
参考图1，该图显示了一种用于提高主车辆中高级驾驶辅助系统情境感知能力的方法的简化图。
该方法包括以下步骤：
S1：利用图像传感器获取包括多个图像帧的图像数据流；
S2：利用视觉处理器分析图像数据流以检测图像帧中的物体10、阴影20和/或照明30；
S3：利用情境识别引擎，在考虑到检测到的物体10、阴影20和/或照明30的情况下，从一组预定交通状况中识别出至少一种最可能的交通状况；
S4：利用处理器控制所述主车辆1，同时考虑到所述至少一种最可能的交通状况。
该方法还包括：
S5：在已经被视觉处理器检测到的物体17缺少相应的阴影但是基于现有的照明条件预期会出现这种阴影的情况下，减小与包含该检测到的物体的交通状况相关的概率值。在一个例子中，仅当视觉处理器在检测到的物体17附近检测到的所有其他对象10都投射各自的阴影20时，概率值才会降低。
该方法通过使用由其他交通参与者10投射的阴影20和/或光束30的光学检测来改进和/或促进高度自动化的驾驶辅助系统(例如自动代客泊车)的情境感知能力。
由于阴影20和/或光束30通常比光源到达更远的地方，因此在其他交通参与者11处于主车辆1的传感器的视场中之前，它们就可以被用来预测其他交通参与者的存在。
此外，阴影分析可用于评估是否存在可能的幻影物体。幻影物体17是错误检测的假对象。
如以下图2至图6所示，该方法将针对各个应用示例进行进一步说明。
有利地，如图2至图4所示，分析图像数据流包括检测图像帧中的阴影20。
现在参考图2到4中的任何一个，3D物体10通常会在一个方向或另一个方向上投射阴影20。如果图像数据流中的对比度足够高，则这些阴影可以被摄像机系统检测到。
根据光源与投射阴影20的物体10、11的角度，阴影20可能大于投射它的物体10、11。
隐藏的交通参与者11的阴影21可以用来预测它们的存在，尽管它们自己尚未出现在主车辆的视野40中。
在图2中，从主车辆的角度来看，行人尚未在视野40中，因此无法直接检测到。然而，行人投射的阴影21对于包括图像传感器的主车辆1的摄像机已经可见。
如果阴影被正确识别，则可用于预测在不久的将来行人或其他交通参与者10将穿过主车辆1前面的道路。主车辆1可以使用此附加信息来调整其驾驶行为，方法是：a)在移动时减速或停止，或b)等待其他交通参与者已穿过主车辆的计划轨迹后再启动。
此外，由于阴影可能相当不规则，因此它们的来源有时难以识别，一种变型是仅考虑动态阴影22。再次参考图2，当行人12移动时，主车辆的视场40中的阴影22的形状将相应改变。在这种情况下，不需要识别阴影22的来源，因为阴影22是动态的这一事实已经表明它源自移动的交通参与者12，而不是源自基础设施或其他静态障碍物。
尤其是在复杂的环境中，例如有许多障碍物的停车场，这有助于更好地了解交通状况并及时对其他交通参与者10做出反应。
此外，动态阴影22通常更容易检测动态阴影22的移动和/或尺寸的变化是否与相应阴影22投射的表面有关。
为了实现根据本发明公开的一方面的高级驾驶辅助系统，用于识别最可能的交通状况的一组预定交通状况包括视线外的交通参与者11将阴影21投射到图像传感器的视场40中的交通状况。优选地，一组预定交通状况还包括阴影21为动态阴影22的交通状况。
参考图3，一组预定交通状况还包括包含一排停车位15的交通状况，其中多个但不是所有的停车位被各自的汽车占用，在被占用的停车位中的汽车相应地将阴影20投射图像传感器的视场40中。因此，即使未占用的停车位16本身仍然不在视线范围内，也可以通过缺少相应的阴影来识别未被占用的停车位16。
换言之，如之前关于图2所描述的，在其他交通参与者10进入主车辆的视场之前，一般基于阴影检测其他交通参与者10的方法，也可以用于在停车场搜索时识别空的停车位16。一排停车位15中车辆10投射的阴影20与中间间隙没有阴影之间的对比度，可用于在沿过道行驶时甚至在到达特定停车位之前识别空的停车位16。
在图4中，示出了包括幻影物体17的交通状况。如前所述，幻影物体是非真实对象，它们会被相应的算法错误地检测到。
阴影，或者更确切地说，在预期存在阴影的情况下不存在阴影，也可用于识别高级驾驶辅助系统检测到的物体是否为误报，即幻影物体17。在所描述的交通状况下，进入主车辆1的视场40的行人正在投射阴影20，类似于沿侧边停放的所有车辆。然而，在主车辆1正前方的人行道上的街道画并没有投射任何阴影，因为它只是为了提高驾驶员对行人的意识而在道路上绘制的2D图像。为了增加人行道上绘制的人不是躺在地上的真人的可信度，可以使用没有阴影的情况。当然，这种方法只适用于照明条件支持3D物体投射阴影的情况。
参考图5和6，有利地分析图像数据流包括检测图像帧中的人工照明30。
用于识别最可能的交通状况的一组预定交通状况包括交通参与者13开启车辆照明30的交通状况。例如，开启车辆照明30可以包括刹车灯33、倒车灯34、方向指示灯、危险警告灯、近光灯35和/或远光灯，相应地发射在图像帧中能够检测的人工照明30。
如图5所示，一旦环境光照较低且其他交通参与者(例如车辆、摩托车等)使用近光灯35或远光灯驾驶时，就可以使用光影对比度。
在这种情况下，其他交通参与者13产生的光束31远远超过了交通参与者13本身。尤其是在其他交通参与者13尚未处于主车辆1的视场中的情况下，可以及早检测到近光灯35。
在所描绘的交通状况中，主车辆1正在接近交叉路口。主车辆1的视场40是空的，但其他车辆13的近光灯35在主车辆1的视场内已经可见，因此表明其他交通参与者13的存在。
用于预测视线外交通参与者11的一组预定交通状况中的相应交通状况包括开启车辆照明30的视线外交通参与者11。开启车辆照明30在图像传感器的视场40中可检测。
开启车辆照明30可以照亮图像传感器的视场40中的物体(例如其他汽车)、表面(例如街道)和/或空气中的颗粒(例如雾、雨或雪)。
可检测的人工照明30可以是动态照明32，动态照明32是与被照亮的表面和/或物体相关的移动和/或尺寸变化。从而可以减少对作为基础设施中一部分的其他非相关光源的误解。为了确定光束是静态的还是动态的，可以将随后捕获的图像的照明进行相互比较。在动态光束的情况下，图像的照明区域将沿着特定方向的轨迹逐渐移动。
参考图6，一组预定交通状况包括用于预测交通参与者的交通状况，该交通参与者可能突然移动到主车辆1的路径中。相应的交通状况包括在图像传感器的视场中开启车辆照明30的交通参与者13。根据一个方面，开启车辆照明是一种已确定的类型，在这种特定情况下，开启车辆照明30包括开启刹车灯33和倒车灯34。
换句话说，可以通过分析交通参与者13的照明来提高对已经在视场中的其他交通参与者13未来行为的预测能力。如果主车辆1正在停车场的通道上行驶，它可以通过摄像机感知是否有任何车辆打开了其车辆照明。然后可以假设打开车辆照明的车辆将要移动，尽管此时它是静止的。
该信息可以帮助避免碰撞，因为在另一车辆的驾驶员看不到它的情况下，主车辆1会减速或停止。此外，在拥挤的停车场，等到另一辆车开走后再使用空位可能是一种策略。
本发明的实施例的描述并不旨在将保护范围限制于这些实施例。保护范围在权利要求中限定。

Claims (18)

1.一种用于车辆的计算设备，包括处理器和存储器，所述存储器被配置为使得所述计算设备被编程为：
利用图像传感器获取包括多个图像帧的图像数据流；
利用视觉处理器分析所述图像数据流以检测所述图像帧中的物体、阴影和/或照明，其中分析所述图像数据流包括检测所述图像帧中的人工照明，所述人工照明是动态照明，其包括与被照明的表面或物体相关的移动或尺寸变化中的至少一个；
利用情境识别引擎在考虑到检测到的物体、阴影和/或照明的情况下从一组预定交通状况中识别出至少一种最可能的交通状况；以及，
考虑到所述至少一种最可能的交通状况来控制所述车辆。
2.如权利要求1所述的计算设备，还被编程为通过检测所述图像帧中的阴影来分析所述图像数据流。
3.如权利要求2所述的计算设备，还被编程为通过检测动态阴影来分析所述图像数据流，其中，根据各个阴影投射到的表面来检测所述动态阴影的移动和/或尺寸变化。
4.根据权利要求2所述的计算设备，其中，所述一组预定交通状况包括用于预测视线外交通参与者的交通状况，所述交通状况包括所述视线外交通参与者将阴影投射到所述图像传感器的视场中，其中所述阴影为移动阴影。
5.根据权利要求2所述的计算设备，其中，所述一组预定交通状况包括包含一排停车位的交通状况，其中多个但不是全部的所述停车位被相应的汽车占用，被占用的停车位中的所述汽车相应地将阴影投射到所述图像传感器的视场中，即使未被占用的停车位本身仍然不在视线范围内，也可以通过缺少相应的阴影来识别所述未被占用的停车位。
6.根据权利要求1所述的计算设备，其中，从一组预定交通状况中识别出至少一种最可能的交通状况包括：在已被所述视觉处理器检测到的物体缺乏相应的阴影但是基于现有的照明条件预期会出现这种阴影的情况下，减小与包含已检测到的物体的交通状况相关的概率值，包括当所述视觉处理器检测到的所述已检测到的物体附近的所有其他物体都投下各自的阴影时，减小与包含已检测到的物体的交通状况相关的概率值。
7.根据权利要求1所述的计算设备，其中，所述一组预定交通状况包括包含开启车辆照明的交通参与者的交通状况，特别是其中所述开启车辆照明包括刹车灯、倒车灯、方向指示灯、危险警示灯、近光灯和远光灯中的至少一个发射出能够在所述图像帧中检测到的人工照明。
8.根据权利要求1所述的计算设备，其中，所述一组预定交通状况包括用于预测视线外交通参与者的交通状况，所述交通状况包括开启车辆照明的视线外交通参与者，所述开启车辆照明在所述图像传感器的视场中可检测到并照亮所述图像传感器的视场中的物体、表面和/或空气中的粒子中的一个或多个。
9.根据权利要求1所述的计算设备，其中，所述一组预定交通状况包括用于预测交通参与者突然移动到主车辆的路径中的交通状况，所述交通状况相应地包括在所述图像传感器的视场中的开启车辆照明的交通参与者，所述开启车辆照明是一种已确定的类型。
10.一种方法，包括：
利用图像传感器获取包括多个图像帧的图像数据流；
利用视觉处理器分析所述图像数据流以检测所述图像帧中的物体、阴影和/或照明，其中分析所述图像数据流包括检测所述图像帧中的人工照明，所述人工照明是动态照明，其包括与被照明的表面或物体相关的移动或尺寸变化中的至少一个；
利用情境识别引擎在考虑到检测到的物体、阴影和/或照明的情况下从一组预定交通状况中识别出至少一种最可能的交通状况；以及，
考虑到所述至少一种最可能的交通状况来控制车辆。
11.根据权利要求10所述的方法，还包括通过检测所述图像帧中的阴影来分析所述图像数据流。
12.根据权利要求11所述的方法，还包括通过检测动态阴影来分析所述图像数据流，其中，根据各个阴影投射到的表面来检测所述动态阴影的移动和/或尺寸变化。
13.根据权利要求11所述的方法，其中，所述一组预定交通状况包括用于预测视线外交通参与者的交通状况，所述交通状况包括所述视线外交通参与者将阴影投射到所述图像传感器的视场中，其中所述阴影为移动阴影。
14.根据权利要求11所述的方法，其中，所述一组预定交通状况包括包含一排停车位的交通状况，其中多个但不是全部的所述停车位被相应的汽车占用，被占用的停车位中的所述汽车相应地将阴影投射到所述图像传感器的视场中，即使未被占用的停车位本身仍然不在视线范围内，也可以通过缺少相应的阴影来识别所述未被占用的停车位。
15.根据权利要求10所述的方法，其中，从一组预定交通状况中识别出至少一种最可能的交通状况包括：在已被所述视觉处理器检测到的物体缺乏相应的阴影但是基于现有的照明条件预期会出现这种阴影的情况下，减小与包含已检测到的物体的交通状况相关的概率值，包括当所述视觉处理器检测到的所述已检测到的物体附近的所有其他物体都投下各自的阴影时，减小与包含已检测到的物体的交通状况相关的概率值。
16.根据权利要求10所述的方法，其中，所述一组预定交通状况包括包含开启车辆照明的交通参与者的交通状况，特别是其中所述开启车辆照明包括刹车灯、倒车灯、方向指示灯、危险警示灯、近光灯和远光灯中的至少一个发射出能够在所述图像帧中检测到的人工照明。
17.根据权利要求10所述的方法，其中，所述一组预定交通状况包括用于预测视线外交通参与者的交通状况，所述交通状况包括开启车辆照明的视线外交通参与者，所述开启车辆照明在所述图像传感器的视场中可检测到并照亮所述图像传感器的视场中的物体、表面和/或空气中的粒子中的一个或多个。
18.根据权利要求10所述的方法，其中，所述一组预定交通状况包括用于预测交通参与者突然移动到主车辆的路径中的交通状况，所述交通状况相应地包括在所述图像传感器的视场中的开启车辆照明的交通参与者，所述开启车辆照明是一种已确定的类型。
CN202210690191.3A 2021-06-29 2022-06-17 提高车辆内的情境感知能力 Pending CN115546756A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21182320.8 2021-06-29
EP21182320.8A EP4113460A1 (en) 2021-06-29 2021-06-29 Driver assistance system and method improving its situational awareness

Publications (1)

Publication Number Publication Date
CN115546756A true CN115546756A (zh) 2022-12-30

Family

ID=76708023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210690191.3A Pending CN115546756A (zh) 2021-06-29 2022-06-17 提高车辆内的情境感知能力

Country Status (3)

Country Link
US (1) US20220410931A1 (zh)
EP (1) EP4113460A1 (zh)
CN (1) CN115546756A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126195B2 (en) * 2017-06-12 2021-09-21 Faraday & Future Inc. System and method for detecting occluded objects based on image processing
JP7495178B2 (ja) * 2020-04-14 2024-06-04 株式会社Subaru 車両の走行支援装置
US11926335B1 (en) * 2023-06-26 2024-03-12 Plusai, Inc. Intention prediction in symmetric scenarios

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10150473B2 (en) * 2014-08-18 2018-12-11 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints and construction areas in navigation
IL238473A0 (en) * 2015-04-26 2015-11-30 Parkam Israel Ltd A method and system for discovering and mapping parking areas
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
US20180211121A1 (en) * 2017-01-25 2018-07-26 Ford Global Technologies, Llc Detecting Vehicles In Low Light Conditions
DE102017206973A1 (de) * 2017-04-26 2018-10-31 Conti Temic Microelectronic Gmbh Verfahren zur Nutzung einer indirekten Detektion eines verdeckten Verkehrsteilnehmers zur Steuerung eines Fahrerassistenzsystems oder einer Fahrautomatisierungsfunktion eines Fahrzeugs
US11126195B2 (en) * 2017-06-12 2021-09-21 Faraday & Future Inc. System and method for detecting occluded objects based on image processing
DE102017010731A1 (de) * 2017-11-20 2018-05-30 Daimler Ag Verfahren zur Erfassung eines Objektes
US10783384B2 (en) * 2018-07-31 2020-09-22 Toyota Motor Engineering & Manufacturing North America, Inc. Object detection using shadows
US10990834B2 (en) * 2018-12-13 2021-04-27 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
KR20200102013A (ko) * 2019-02-01 2020-08-31 주식회사 만도 주차공간 알림 장치 및 방법
CN114556249A (zh) * 2019-09-30 2022-05-27 北京航迹科技有限公司 用于预测车辆轨迹的系统和方法
US11328607B2 (en) * 2020-03-20 2022-05-10 Aptiv Technologies Limited System and method of detecting vacant parking spots
US20220277163A1 (en) * 2021-02-26 2022-09-01 Here Global B.V. Predictive shadows to suppress false positive lane marking detection

Also Published As

Publication number Publication date
US20220410931A1 (en) 2022-12-29
EP4113460A1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
US11740633B2 (en) Determining occupancy of occluded regions
CN109033951B (zh) 用于基于图形处理来检测遮挡对象的系统及方法
CN111033510B (zh) 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车
JP6650211B2 (ja) 乗り物を運転することに関して運転者を支援する方法、運転者支援システム、コンピュータソフトウェア製品、及び乗り物
JP2021513484A (ja) ブロッキング静止車両の検出
US11308717B2 (en) Object detection device and object detection method
CN115546756A (zh) 提高车辆内的情境感知能力
CN114040869A (zh) 用于倒行车辆的规划适应
CN113492851B (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
JP7359735B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
KR20220119720A (ko) 취약한 도로 사용자의 의도를 예측하기 위한 방법 및 장치
US10546202B2 (en) Proving hypotheses for a vehicle using optimal experiment design
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7226368B2 (ja) 物体状態識別装置
EP4145398A1 (en) Systems and methods for vehicle camera obstruction detection
CN116703966A (zh) 多对象跟踪
CN114516329A (zh) 车辆自适应巡航控制系统、方法和计算机可读介质
JP7381388B2 (ja) 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US20230334873A1 (en) Systems and methods for detecting traffic lights using hierarchical modeling
US11881031B2 (en) Hierarchical processing of traffic signal face states
US11780471B1 (en) System for determining a state of an object using thermal data
JP2023084575A (ja) 点灯状態識別装置
JP2023085060A (ja) 点灯状態識別装置、点灯状態識別方法及び点灯状態識別用コンピュータプログラム
JP2024044493A (ja) 動作予測装置、動作予測方法、および動作予測用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination