CN117173651A - 用于确定可行驶区域信息的方法、装置和计算机可读存储介质 - Google Patents

用于确定可行驶区域信息的方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN117173651A
CN117173651A CN202210592495.6A CN202210592495A CN117173651A CN 117173651 A CN117173651 A CN 117173651A CN 202210592495 A CN202210592495 A CN 202210592495A CN 117173651 A CN117173651 A CN 117173651A
Authority
CN
China
Prior art keywords
image frame
road
current
pixel
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210592495.6A
Other languages
English (en)
Inventor
李昕润
M·P·察普夫
胡方韵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to CN202210592495.6A priority Critical patent/CN117173651A/zh
Priority to DE102023204499.4A priority patent/DE102023204499A1/de
Publication of CN117173651A publication Critical patent/CN117173651A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开内容的实施例提供了用于确定可行驶区域信息的方法、装置和计算机可读存储介质。该方法可以包括：确定表示道路场景的当前图像帧的像素属性信息，其中，像素属性信息用于表征当前图像帧的各个像素的与道路场景相关联的属性；至少基于像素属性信息，确定道路场景的可行驶区域信息。

Description

用于确定可行驶区域信息的方法、装置和计算机可读存储 介质
技术领域
本公开内容涉及智能交通技术领域，具体地，涉及用于确定可行驶区域信息的方法、装置和计算机可读存储介质。
背景技术
近年来，随着通信、计算机等各种相关技术的快速发展，智能驾驶技术也得以飞速发展。目前，越来越多的车辆已经采用了基于智能驾驶技术的系统。智能驾驶技术通常可以包括智能辅助驾驶技术、自动驾驶技术等等。在智能驾驶技术中，可行驶区域的检测是重要功能之一。通过为车辆或驾驶员提供可行驶区域的信息，能够帮助车辆进行行驶规划。因此，如何检测可行驶区域也成为研究热点之一。
发明内容
考虑到对现有技术改进的需求，本公开内容的实施例提供了用于确定可行驶区域信息的方法、装置和计算机可读存储介质。
一方面，本公开内容的实施例提供了一种用于确定可行驶区域信息的方法，包括：确定表示道路场景的当前图像帧的像素属性信息，其中，所述像素属性信息用于表征所述当前图像帧的各个像素的与所述道路场景相关联的属性；至少基于所述像素属性信息，确定所述道路场景的可行驶区域信息。
另一方面，本公开内容的实施例提供了一种用于确定可行驶区域信息的装置，包括：属性确定单元，被配置为确定表示道路场景的当前图像帧的像素属性信息，其中，所述像素属性信息用于表征所述当前图像帧的各个像素的与所述道路场景相关联的属性；区域确定单元，被配置为至少基于所述像素属性信息，确定所述道路场景的可行驶区域信息。
另一方面，本公开内容的实施例提供了一种用于确定可行驶区域信息的装置，包括：至少一个处理器；与所述至少一个处理器进行通信的存储器，其上存储有可执行代码，所述可执行代码在被所述至少一个处理器执行时使得所述至少一个处理器执行上述方法。
另一方面，本公开内容的实施例提供了一种计算机可读存储介质，其存储有可执行代码，所述可执行代码在被执行时使得计算机执行上述方法。
附图说明
通过结合附图对本公开内容的实施例的更详细的描述，本公开内容的实施例的上述以及其它目的、特征和优势将变得更加明显，其中，在各个附图中，相同的附图标记通常代表相同的元素。
图1A和图1B示出了可以应用本公开内容的实施例的场景的示例的示意图。
图2是根据一些实施例的用于确定可行驶区域信息的方法的示意性流程图。
图3示出了确定前景对象在多个图像帧中的共同遮罩的一个示例的简化示意图。
图4是根据一些实施例的用于确定可行驶区域信息的装置的示意性框图。
图5是根据一些实施例的用于确定可行驶区域信息的装置的示意性框图。
具体实施方式
现在将参考各实施例讨论本文描述的主题。应当理解的是，讨论这些实施例仅是为了使得本领域技术人员能够更好地理解并且实现本文描述的主题，并非对权利要求书中所阐述的保护范围、适用性或者示例进行限制。可以在不脱离权利要求书的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个实施例可以根据需要，省略、替换或者添加各种过程或组件。
如本文中使用的，术语“包括”及其变型可以表示开放的术语，其含义可以是“包括但不限于”。术语“基于”可以表示“至少部分地基于”。术语“一个实施例”、“一实施例”、“一些实施例”等可以表示“至少一个实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。
可行驶区域检测是智能驾驶技术的重要组成部分。鉴于此，本公开内容的实施例提供了一种用于确定可行驶区域信息的技术方案。在该技术方案中，可以结合针对道路场景的图像帧的像素属性信息来检测可行驶区域，能够显著提高可行驶区域的检测准确性和可靠性。
在一些实现方式中，路侧传感器(例如，摄像头)可以获取道路场景的图像帧，并且可以将图像传送给计算设备。计算设备可以基于图像帧的像素属性信息来确定可行驶区域信息。例如，这种计算设备可以包括各种类型的路侧基础设施、与道路交通相关的监视或控制设备等等。再例如，这种计算设备可以是与道路交通相关的云端服务器等等。在一些实现方式中，路侧传感器可以与计算设备集成在单个装置中，比如集成在路侧基础设施装置中。在另一些实现方式中，路侧传感器可以是与计算设备分开的，但是可以彼此进行通信。
为了便于理解，图1A和图1B示出了可以应用本公开内容的实施例的场景的示例的示意图。应当理解的是，图1A和图1B的示例并不限制本公开内容的技术方案的范围。
在图1A的示例中，示出了路侧传感器110A、道路120A、路侧传感器110A所监测的道路场景121A以及计算设备130A。通常，路侧传感器110A可以设置在道路120A一侧，针对其视野范围内的道路场景121A进行监测。路侧传感器110A可以是各种适用的相机，其可以针对道路场景121A获取图像帧。
此外，路侧传感器110A可以与计算设备130A进行通信，例如将针对道路场景121A拍摄的图像帧发送给计算设备130A。计算设备130A基于图像帧来确定道路场景121A的可行驶区域信息。此外，计算设备130A还可以与在道路120A上行驶的车辆(在图1A中未示出)进行通信，例如将可行驶区域信息发送给车辆，以便车辆进行行驶规划。
如前所述，路侧传感器110A和计算设备130A可以集成在单个装置中，也可以是分开实现的。本文对此不作限定。
在图1A的示例中，仅示出了单个路侧传感器。在一些情况下，可能针对同一道路区域设置多个路侧传感器。例如，在图1B的示例中，示出了多个路侧传感器的情况。
在图1B的示例中，示出了路侧传感器110B-110C、道路120B、路侧传感器110B-110C所监测的道路场景121B以及计算设备130B。应当明白的是，虽然在图1B中示出了针对相同的道路场景监测的三个路侧传感器，但是在其它实现方式中，可能存在更多或更少的路侧传感器来监测相同的道路场景。本文对此不作限制。
在图1B的示例中，路侧传感器110B-110C都可以针对道路场景121B获取图像帧，但是路侧传感器110B-110C的位置可能是不同的，因此可以以不同的视角针对道路场景121B获取图像帧。
此外，路侧传感器110B-110C可以将各自获取的图像帧发送给计算设备130B。计算设备130B可以基于这些图像帧来确定道路场景121B的可行驶区域信息。此外，计算设备130B还可以与道路120B上的车辆(在图1B中未示出)进行通信，例如将可行驶区域信息发送给车辆，以便车辆可以进行行驶规划。
下面将结合具体实施例来描述如何确定可行驶区域信息。
图2是根据一些实施例的用于确定可行驶区域信息的方法的示意性流程图。图2的方法可以由计算设备来执行，例如图1A的计算设备130A或图1B的计算设备130B。
在步骤202中，可以确定表示道路场景的当前图像帧的像素属性信息。此处，像素属性信息可以用于表示当前图像帧的各个像素的与该道路场景相关联的属性。具体而言，此处的像素属性信息可以通过像素级别的属性来反映道路场景的当前状况。
在步骤204中，可以至少基于像素属性信息，确定该道路场景的可行驶区域信息。
在本文的实施例中，根据反映道路场景的像素属性信息来确定道路场景的可行驶区域信息，也就是说结合像素级别的信息来检测可行驶区域，能够高效、准确且可靠地实现可行驶区域检测。
在一些实施例中，当前图像帧可以是由路侧传感器获取的。例如，针对道路场景121A，当前图像帧可以是由路侧传感器110A获取的。针对道路场景121B，当前图像帧可以是由路侧传感器110B-110D中的一者获取的。
在一些实施例中，当前图像帧可以是通过对路侧传感器获取的当前原始图像帧校正(例如，抖动消除)之后得到的。
通常，在路侧传感器进行拍摄时，可能存在一些因素引起抖动，比如道路上有车辆行驶通过、刮风等天气因素、附近施工等等。这可能导致路侧传感器所获取的当前原始图像帧的像素未能在其正确位置上，例如发生错位。因此，为了提高可行驶区域的判断准确度，可以首先对路侧传感器所获取的当前原始图像帧进行抖动消除。可以采用各种合适的手段来进行抖动消除。比如，可以通过光流法和道路场景的参考图像，对当前原始图像帧进行处理，校正各个像素的位置，从而得到上述当前图像帧。这样，可以有利于确定更加准确的像素属性信息。当然，还可以采用或结合其它方式来进行抖动消除。例如，可以结合路侧传感器本身的参数，来对当前原始图像帧进行抖动消除。
像素属性信息可以包括能够反映道路场景的各种信息。例如，像素属性信息可以包括各个像素的场景关系属性、语义属性和运行属性中的至少一项。例如，像素属性信息通过在当前图像帧中增加的一些通道描述来表达。每种属性可以对应于图像帧的一个通道。当然，像素属性信息可以采用其它形式来表达，本文对此不作限定。
每个像素的场景关系属性可以用于指示该像素表示的对象是前景对象还是背景对象。背景对象可以是指在道路场景中固有的对象，也就是在道路场景中原本就存在的对象，比如原本就存在的道路、隔离带等。相对而言，前景对象可以是指在道路场景中非固有的对象，即对于道路场景而言属于新的对象，比如进入该道路场景的行人、车辆、动物等等。
例如，前景对象和背景对象可以是相对于道路场景的先验信息而言的。比如，前景对象可以理解为在先验信息中不存在或者不一致的对象，而背景对象可以理解为在先验信息中存在或者一致的对象。先验信息可以包括各种形式的信息，例如针对道路场景的背景拍摄的静态图像、道路场景的高精度地图、关于道路场景的SLAM信息(SimultaneousLocalization and Mapping，即时定位与地图构建)等等，本文对此不作限定。
例如，场景关系属性可以通过各种适用的前景分割算法和/或背景分割算法等来确定。例如，可以通过将道路场景的背景静态图像与当前图像帧进行比较，来确定各个像素的场景关系属性。再例如，可以通过机器学习算法针对该道路场景进行学习，进而进行前景和背景分割，从而确定各个像素的场景关系属性。
每个像素的语义属性可以用于指示该像素表示的对象类别，比如道路、天空、建筑物、车辆等等。像素级别的语义属性有助于更加准确地判断道路场景的可行驶区域，比如可以有利于准确地从道路场景中识别出道路区域。
语义属性可以通过各种适用的方式来确定。例如，可以对当前图像帧进行语义分割，从而确定各个像素的语义属性。可以理解的是，语义分割可以通过各种适用的算法来实现，本文对此不作限定。
每个像素的运动属性可以用于表征该像素的运动。例如，在一些实现方式中，可以通过每个像素的光流速度来表征该像素的运动。例如，可以基于光流法对当前图像帧进行处理，从而确定每个像素的光流速度。当然，光流法可能需要结合在当前图像帧之前的先前图像帧来实现。在本文的实施例中，光流法可以通过各种适用的算法(比如神经网络)来实现，本文对此不作限定。
在确定上述像素属性之后，可以基于像素属性中的至少一项来确定可行驶区域信息。
在一些实施例中，可行驶区域信息可以指示道路场景的当前可行驶区域。也就是说，可行驶区域信息可以用于指示实时或近似实时的可行驶区域。在一些实现中，这样的可行驶区域信息可以帮助车辆(例如，自动驾驶车辆)进行实时行驶规划。
可以至少基于像素属性信息来确定当前可行驶区域。例如，当前可行驶区域可以至少满足以下约束：道路约束、占据约束和道路通行状态约束。道路约束可以用于表明能够供车辆进行路径规划的区域，占据约束可以用于表明区域当前未被占据，道路通行状态约束可以用于表明道路处于可通行状态。也就是说，当前可行驶区域应当属于能够供车辆进行路径规划的区域，处于未被占据状态，并且处于可通行状态。换句话说，当某个区域满足道路约束、占据约束和道路通行状态约束时，可以确定该区域属于当前可行驶区域。此外，可以理解的是，像素属性信息通常可能是在相机坐标系下确定的，因此基于像素属性信息来确定当前可行驶区域，通常可能还需要进行相机坐标系与全局坐标系之间的转换。这可以通过各种适用的方式来实现，本文对此不作限定。
在一些实施例中，当前可行驶区域满足道路约束可以至少基于各个像素的场景关系属性和语义属性来确定。例如，当前可行驶区域应当属于能够供车辆进行路径规划的区域，这可以通过判断像素是否表示背景对象、是否表示道路来实现。判断某个区域是否满足道路约束可以通过各种合适的手段来实现，比如，可以结合车道线检测算法、语义分割算法等来判断某个区域是否满足道路约束。本文对此不作限定。
当然，关于当前可行驶区域满足道路约束，除了使用此处列举的这些属性，还可以结合其它信息来确定。例如，当前可行驶区域满足道路约束可以至少基于各个像素的场景关系属性、语义属性以及与道路场景对应的高精度地图来确定。高精度地图可以是预先存储的，也可以通过各种方式来获取，比如从存储有高精度地图的设备获取高精度地图。本文对此不作限定。
当前可行驶区域满足占据约束可以至少基于各个像素的场景关系属性、语义属性和运动属性来确定。例如，当前可行驶区域应当未被其它对象占据。这可以通过判断像素表示背景对象还是前景对象、表示道路还是其它非道路对象、是否具有运动(比如，是否具有高于某个阈值的光流速度)等来实现。此外，应当明白，像素属性信息可能是基于相机坐标系而言的，占据约束可能是基于全局坐标系而言的，因此，在判断某个区域是否满足占据约束时，可能还存在坐标系的转换，坐标系的具体转换方式可以采用各种现有的手段，本文对此不作限定。另外，判断某个区域是否满足占据约束可以通过各种使用的技术来实现，比如深度神经网络等，本文对此不作限定。
此外，当前可行驶区域满足道路通行状态约束可以至少基于各个像素的场景关系属性、语义属性和运动属性来确定。例如，当前可行驶区域应当处于可通行状态，也就是说车辆能够通行。这可以通过判断像素表示背景对象还是前景对象、表示道路还是其它非道路对象、是否具有运动(比如，是否具有高于某个阈值的光流速度)等来实现。在一些情况下，道路通行状态约束可以理解为占据约束的进一步补充。例如，如果某个区域属于能够供车辆进行路径规划的区域，也未被占据，但是可能存在路面破损、塌方、落石等等，导致道路无法通行，那么该区域并不是可行驶区域。因此，结合道路通行状态约束，能够更加准确地判断道路场景中的可行驶区域。
关于当前可行驶区域满足道路通行状态约束，除了使用此处列举的这些属性，还可以结合其它信息来确定。
例如，除了各个像素的场景关系属性、语义属性和运动属性以外，当前可行驶区域满足道路通行状态约束还可以进一步基于来自外部(例如来自与道路、交通等相关的设备)的信息，比如车辆到万物(Vehicle to Everything，V2X)信息。例如，这样的信息可以指示道路的各种相关信息，比如是否有施工、是否有管制、是否发生事故或影响道路通行的灾害、路面是否破损、是否紧急车道等等。
在一些实施例中，当前可行驶区域满足占据约束可以基于各个像素的场景关系属性、语义属性和运动属性、以及多视角融合信息来确定。多视角融合信息可以指示当前图像帧中的各个前景对象在当前图像帧和至少一个其它图像帧中的共同遮罩(mask)。此处，当前图像帧和至少一个其它图像帧可以是由具有不同视角的路侧传感器针对该道路场景同时获取的。
在图像处理技术中，遮罩(或者也称为掩膜)的概念是借鉴了半导体制造中的“掩模”的概念。具体来说，可以利用选定的图形等对要处理的图像进行部分或全部遮挡(或者理解为覆盖)，从而控制图像处理的区域。而用于覆盖或遮挡的图形等可以称为遮罩或掩膜。遮罩通常可以用于提取图像中的感兴趣区域或者对图像中的某些区域进行屏蔽等等。因此，在上述实施例中，前景对象在图像帧中的遮罩通常可以表明前景对象在图像帧中对应的区域。
这样，基于前景对象在各个图像帧中的共同遮罩，可以更加准确地确定该前景对象在道路场景中的真实占据。比如，由于遮挡、阴影等各种因素，前景对象在当前图像帧中的遮罩可能还包含这些遮挡、阴影等。因此，通过获取多视角融合信息，能够准确地确定前景对象的遮罩，从而进一步确定前景对象在道路场景中的真实占据，这有利于更加准确地判断当前可行驶区域。例如，可以通过近似、滤波、预测等方式，根据共同遮罩得到真实占据，本文对此不作限定。
另外，多视角融合信息可以采用各种适用的方式来确定。例如，在一些实施例中，可以由具有不同视角的路侧传感器同时针对上述道路场景拍摄图像帧。也就是说，除了上面提到的当前图像帧以外，还可以获取同时拍摄的至少一个其它图像帧。应当明白的是，此处提到的“同时”可以指这些图像帧满足某种实时性要求。例如，这些图像帧可以是同一时刻拍摄的，也可以是在时间长度内拍摄的。通常，该时间长度可以根据实际业务要求来决定，比如自动驾驶服务的实时性要求。例如，时间长度可以是几毫秒级或者十毫秒级等等，这取决于具体的技术实现，本文对此不作限定，只要这些图像帧的拍摄时间能够满足多视角融合技术的要求即可。
具体地，针对当前图像帧的每个前景对象，可以基于像素属性信息，确定该前景对象在当前图像帧中的遮罩。此外，可以确定该前景对象在至少一个其它图像帧中的相应遮罩。然后，可以将该前景对象在当前图像帧中的遮罩与该前景对象在至少一个其它图像帧中的遮罩进行融合，从而确定该前景对象在当前图像帧和至少一个其它图像帧中的共同遮罩。可以采用各种适当的方式来将前景对象在这些图像帧中的遮罩进行融合。例如，可以将前景对象在当前图像帧中的遮罩与该前景对象在至少一个其它图像帧中的遮罩进行逻辑融合(比如，AND逻辑运算)，从而确定该前景对象在这些图像帧中的共同遮罩。在一些实现方式中，前景对象在单个图像帧中的遮罩可以是在该图像帧的坐标系下提取的。在这种情况下，可以首先将前景对象在当前图像帧中的遮罩以及在至少一个其它图像帧中的遮罩进行变换，使得它们处于相同的坐标系或平面之下，然后再进行融合，从而得到共同遮罩。比如，可以将前景对象在当前图像帧中的遮罩以及在至少一个其它图像帧中的遮罩变换到鸟瞰图下，进一步通过融合得到共同遮罩，在这种情况下，共同遮罩可以是前景对象在鸟瞰图下的共同遮罩。
另外，可以理解的是，遮罩可以是针对某种具体类别的前景对象形成的。当然，遮罩也可以是针对图像中的所有前景对象形成的，而不区分前景对象的具体类别。本文对此不作限定。
为了便于理解，下面通过简单的示例来说明如何确定前景对象在道路场景中的真实占据。应当明白，以下示例并不限制本公开内容的技术方案的范围。
图3示出了确定前景对象在多个图像帧中的共同遮罩的一个示例的简化示意图。
在图3的示例中，为了便于说明，以灰色方块表示某个前景对象的遮罩。例如，假设310表示当前图像帧，并且假设310中的3个灰色方块表示前景对象在当前图像帧中的遮罩。例如，假设当前图像帧是图1B中的路侧传感器110B获取的。
假设320表示第一其它图像帧，并且假设320中的3个灰色方块表示该前景对象在第一其它图像帧中的遮罩。例如，假设第一其它图像帧是图1B中的路侧传感器110C获取的。
假设330表示第二其它图像帧，并且假设330中的2个灰色方块表示该前景对象在第二其它图像帧的遮罩。例如，假设第二其它图像帧是图1B中的路侧传感器110D获取的。
另外，在图3的示例中，假设310、320和330中的灰色方块表示的遮罩已经处于相同的坐标系或平面下。那么，通过将310、320和330中的灰色方块进行逻辑融合(比如AND逻辑运算)，可以确定该前景对象在这些图像帧中的共同遮罩，如340所示。
上面描述了关于确定当前可行驶区域的相关内容。在一些实施例中，可行驶区域信息还可以指示长时可行驶区域。长时可行驶区域可以是指预定时长内能够行驶以用于路径规划的区域。预定时长可以依据具体实现来设定，比如预定时长可以按照分钟、小时、天、周、月等各种单位来设定。在一种情况下，预定时长可以是无限长，这样，长时可行驶区域可以是指始终可行驶的区域。
在一些实施例中，可以基于上述确定的当前可行驶区域，对现有长时区域信息进行更新，从而确定长时可行驶区域。现有长时区域信息可以指示现有长时可行驶区域。
例如，现有长时区域信息可以是基于与道路场景对应的高精度地图获得的。再例如，现有长时区域信息可以是通过针对每个图像帧确定的当前可行驶区域不断累积得到的。
类似于当前可行驶区域，长时可行驶区域也可以至少满足一些约束，比如道路约束和道路通行状态约束。如前所述，道路约束可以表明能够供车辆进行路径规划的区域，道路通行状态约束可以表明道路处于可通行状态。
关于长时可行驶区域的信息也可以提供给车辆，这可以帮助车辆进行路径规划等等。
此外，在一些实施例中，关于长时可行驶区域或当前可行驶区域的信息可以与高精度地图融合，形成道路状态图。例如，道路状态图可以描述道路或车道级别的可行驶状态。可以将道路状态图提供给车辆，使得车辆可以基于道路状态图进行各种行驶相关规划。
图4是根据一些实施例的用于确定可行驶区域信息的装置的示意性框图。例如，装置400可以对应于前述计算设备。
如图4所示，装置400可以包括属性确定单元402和区域确定单元404。
属性确定单元402可以确定表示道路场景的当前图像帧的像素属性信息。像素属性信息可以用于表征当前图像帧的各个像素的与道路场景相关联的属性。
区域确定单元404可以至少基于像素属性信息，确定道路场景的可行驶区域信息。
装置400的各个单元可以执行上面关于方法实施例描述的具体过程，因此，为了描述的简洁，此处不再赘述装置400的各个单元的具体操作和功能。
图5是根据一些实施例的用于确定可行驶区域信息的装置的示意性框图。
例如，装置500可以对应于上述计算设备。装置500可以执行上面关于方法实施例描述的具体过程，因此，为了描述的简洁，此处不再赘述装置500的具体操作和功能。
装置500可以包括处理器502、存储器504、输入单元506和输出单元508，这些单元可以通过总线510耦合在一起。然而，应当理解，图5仅是举例说明，而并非对本公开内容的范围进行限制。例如，在不同的应用场景中，装置500可能包括更多或更少的单元，本文对此不作限定。
存储器504可以用于存储与装置500的功能或操作相关的各种数据(比如本文提到的道路图像、可行驶区域信息等)、可执行指令或可执行代码等。例如，存储器504可以包括但不限于随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、寄存器、硬盘等等。
处理器502可以用于执行或实现装置500的各种功能或操作，例如本文描述的确定可行驶区域信息的操作。例如，处理器502可以执行存储在存储器504中的可执行代码或指令，从而实现关于本公开内容的各个实施例所描述的各种过程。处理器502可以包括各种适用的处理器，例如，通用处理器(比如中央处理单元(Central Processing Unit，CPU))、专用处理器(比如数字信号处理器、图形处理单元、专用集成电路等等)。
输入单元506可以获取各种形式的数据或信息等(比如本文提到的图像帧)。在一些实现方式中，输入单元506可以包括相机、雷达、激光雷达等等各种适用的传感器。当然，这些传感器也可以是与装置500分离的，输入单元506可以从这些传感器接收相应的信息，比如从相机接收相机所拍摄的图像帧。
输出单元508可以输出各种形式的数据或信息等(比如本文提到的关于可行驶区域的信息)。例如，输出单元508可以输出本文描述的可行驶区域信息，以便传输给车辆。在一些实现方式中，输出设备508可以基于各种适用的有线或无线通信标准来实现。
本公开内容的实施例还提供了一种计算机可读存储介质。计算机可读存储介质可以存储有可执行代码，可执行代码在被计算机执行时使得计算机实现上面关于编码设备描述的具体过程。
例如，计算机可读存储介质可以包括但不限于随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、静态随机存取存储器(Static Random Access Memory，SRAM)、硬盘、闪存等等。
上文对本公开内容的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际需求来省略某些步骤或单元。在上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，有些单元可能分别由多个物理实体实现，或者可能由多个独立设备中的某些部件共同实现。
在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (14)

1.一种用于确定可行驶区域信息的方法，包括：
确定表示道路场景的当前图像帧的像素属性信息，其中，所述像素属性信息用于表征所述当前图像帧的各个像素的与所述道路场景相关联的属性；
至少基于所述像素属性信息，确定所述道路场景的可行驶区域信息。
2.根据权利要求1所述的方法，其中，所述像素属性信息包括各个像素的场景关系属性、语义属性和运动属性中的至少一项，其中：
每个像素的场景关系属性用于指示该像素表示的对象是前景对象还是背景对象，所述前景对象是所述道路场景中非固有的，所述背景对象是所述道路场景中固有的；
每个像素的语义属性用于指示该像素表示的对象类别；
每个像素的运动属性用于表征该像素的运动。
3.根据权利要求2所述的方法，其中，所述可行驶区域信息用于指示当前可行驶区域；
确定所述可行驶区域信息，包括：
至少基于所述像素属性信息，确定所述当前可行驶区域，其中，所述当前可行驶区域至少满足道路约束、占据约束以及道路通行状态约束，所述道路约束用于表明能够供车辆进行路径规划的区域，所述占据约束用于表明区域当前未被占据，所述道路通行状态约束用于表明道路处于可通行状态。
4.根据权利要求3所述的方法，其中，
所述当前可行驶区域满足道路约束是至少基于各个像素的场景关系属性和语义属性来确定的；
所述当前可行驶区域满足占据约束是至少基于各个像素的场景关系属性、语义属性和运动属性来确定的；
所述当前可行驶区域满足道路通行状态约束是至少基于各个像素的场景关系属性、语义属性和运动属性来确定的。
5.根据权利要求4所述的方法，其中，所述当前可行驶区域满足道路约束是至少基于以下各项来确定的：各个像素的场景关系属性和语义属性、以及与所述道路场景对应的高精度地图。
6.根据权利要求4所述的方法，其中，所述当前可行驶区域满足占据约束是基于以下各项来确定的：各个像素的场景关系属性、语义属性和运动属性、以及多视角融合信息，
其中，所述多视角融合信息用于指示所述当前图像帧中的各个前景对象在所述当前图像帧和至少一个其它图像帧中的共同遮罩，所述至少一个其它图像帧和所述当前图像帧是分别由具有不同视角的路侧传感器同时针对所述道路场景获取的。
7.根据权利要求6所述的方法，还包括：
针对所述当前图像帧的每个前景对象，进行以下操作，以确定所述多视角融合信息：
基于所述像素属性信息，确定该前景对象在所述当前图像帧中的遮罩；
确定该前景对象在所述至少一个其它图像帧中的相应遮罩；
将该前景对象在所述当前图像帧中的遮罩与该前景对象在所述至少一个其它图像帧的相应遮罩进行融合，以确定该前景对象在所述当前图像帧和所述至少一个其它图像帧中的共同遮罩。
8.根据权利要求3所述的方法，其中，所述可行驶区域信息还用于指示长时可行驶区域，所述长时可行驶区域是在预定时长内能够行驶以用于路径规划的区域；
确定所述可行驶区域信息，包括：
基于所述当前可行驶区域，对现有长时区域信息进行更新，以确定所述长时可行驶区域，其中，所述现有长时区域信息用于指示现有长时可行驶区域。
9.根据权利要求1至8中任一项所述的方法，还包括：
获取当前原始图像帧；
对所述当前原始图像帧进行抖动消除，以得到所述当前图像帧。
10.根据权利要求9所述的方法，其中，对所述当前原始图像帧进行抖动消除，包括：
基于光流法以及针对所述道路场景的参考图像，对所述当前原始图像帧进行抖动消除。
11.根据权利要求1至8中任一项所述的方法，其中，所述当前图像帧是由路侧传感器获取的，并且所述方法是由与所述路侧传感器进行通信的计算设备执行的。
12.一种用于确定可行驶区域信息的装置，包括：
属性确定单元，被配置为确定表示道路场景的当前图像帧的像素属性信息，其中，所述像素属性信息用于表征所述当前图像帧的各个像素的与所述道路场景相关联的属性；
区域确定单元，被配置为至少基于所述像素属性信息，确定所述道路场景的可行驶区域信息。
13.一种用于确定可行驶区域信息的装置，包括：
至少一个处理器；
与所述至少一个处理器进行通信的存储器，其上存储有可执行代码，所述可执行代码在被所述至少一个处理器执行时使得所述至少一个处理器执行根据权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质，其存储有可执行代码，所述可执行代码在被执行时使得计算机执行根据权利要求1至11中任一项所述的方法。
CN202210592495.6A 2022-05-27 2022-05-27 用于确定可行驶区域信息的方法、装置和计算机可读存储介质 Pending CN117173651A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210592495.6A CN117173651A (zh) 2022-05-27 2022-05-27 用于确定可行驶区域信息的方法、装置和计算机可读存储介质
DE102023204499.4A DE102023204499A1 (de) 2022-05-27 2023-05-15 Verfahren und Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche sowie computerlesbares Speichermedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210592495.6A CN117173651A (zh) 2022-05-27 2022-05-27 用于确定可行驶区域信息的方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN117173651A true CN117173651A (zh) 2023-12-05

Family

ID=88696681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210592495.6A Pending CN117173651A (zh) 2022-05-27 2022-05-27 用于确定可行驶区域信息的方法、装置和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN117173651A (zh)
DE (1) DE102023204499A1 (zh)

Also Published As

Publication number Publication date
DE102023204499A1 (de) 2023-11-30

Similar Documents

Publication Publication Date Title
EP4152204A1 (en) Lane line detection method, and related apparatus
WO2021155685A1 (zh) 一种更新地图的方法、装置和设备
US11069072B2 (en) Dynamic multi-camera tracking of moving objects in motion streams
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
US11725950B2 (en) Substitute autonomous vehicle data
US20210287387A1 (en) Lidar point selection using image segmentation
CN111860227A (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和系统及电子设备
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN115470884A (zh) 用于自动驾驶系统的感知系统开发的平台
CN115565149A (zh) 用于对象检测的方法、运载工具和存储介质
US11312393B2 (en) Artificially falsifying sensor data to initiate a safety action for an autonomous vehicle
CN114943941A (zh) 一种目标检测方法及装置
CN112418081A (zh) 一种空地联合快速勘察交通事故的方法及系统
CN117392624A (zh) 更新具有自动驾驶系统的车辆的感知功能的方法和系统
CN117173651A (zh) 用于确定可行驶区域信息的方法、装置和计算机可读存储介质
Choi et al. State Machine and Downhill Simplex Approach for Vision‐Based Nighttime Vehicle Detection
US20220281459A1 (en) Autonomous driving collaborative sensing
DE102022103059A1 (de) Automatische annotation befahrbarer strassensegmente
CN114764853A (zh) 占道信息确定方法和装置
US11433920B2 (en) Map-based prediction and mitigation of performance limitations for autonomous vehicles
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication