CN113989837A - 行驶环境的检测方法、装置、设备及存储介质 - Google Patents
行驶环境的检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113989837A CN113989837A CN202111225611.2A CN202111225611A CN113989837A CN 113989837 A CN113989837 A CN 113989837A CN 202111225611 A CN202111225611 A CN 202111225611A CN 113989837 A CN113989837 A CN 113989837A
- Authority
- CN
- China
- Prior art keywords
- driving environment
- environment
- obstacle
- data
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及自动驾驶控制领域,公开了一种行驶环境的检测方法、装置、设备及存储介质。获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对环境数据和第一检测结果进行预处理,得到待检测数据集;基于预置深度学习网络,对待检测数据集进行行驶环境的直连感知分析,得到近似感知数据;采用近似感知数据生成当前时刻的行驶环境的第二检测结果。本发明降低了无人驾驶汽车对驾驶环境中障碍物检测的延时,对突然出现的障碍物进行快速检测,提升无人驾驶汽车的驾驶安全性。
Description
技术领域
本发明涉及自动驾驶控制领域,尤其涉及一种行驶环境的检测方法、装置、设备及存储介质。
背景技术
在车辆自动驾驶领域,自动驾驶算法可以分为三个部分:场景识别、路线规划和车辆控制,其中,在获取得到传感器采集的环境数据后,可以通过感知算法来对驾驶过程中的障碍物进行识别,感知障碍物的位置、大小、类别、朝向、运动轨迹、速度等,得到场景识别的结果,然后输入规划模块中进行路线规划以及车辆控制。
在场景识别部分中,通常采用常规的非直连感知框架进行识别,如图1所示,常规的非直连感知框架中,在通过自动驾驶车辆上的传感器采集到环境数据后,需进行障碍物存在性检测、类别分类、形状估计、跟踪、速冻加速度估计等障碍物感知以作为场景识别的结果,以用于该自动驾驶车辆的路线规划。为了保障无人驾驶能够安全稳定的检测周边障碍物,现有常用的感知算法在车载算力有限的情况下,往往需要100ms左右的运算时间。较长的障碍物检测延时在某些情况下会导致对无人驾驶车辆无法对突然出现的人做及时的响应,从而带来潜在的安全风险。
发明内容
本发明的主要目的在于解决现有自动驾驶技术中障碍物检测的延时较高的技术问题。
本发明第一方面提供了一种行驶环境的检测方法,包括:获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对环境数据和第一检测结果进行预处理,得到待检测数据集;基于预置深度学习网络,对待检测数据集进行行驶环境的直连感知分析,得到近似感知数据;采用近似感知数据生成当前时刻的行驶环境的第二检测结果。
可选的,在本发明第一方面的第一种实现方式中,在获取当前时刻的环境数据和过往预置时刻的第一检测结果之后,还包括:对当前时刻的环境数据进行分割检测处理,得到当前时刻的行驶环境的障碍物信息;对障碍物信息进行关联追踪处理,得到当前时刻的行驶环境中障碍物的运动轨迹,并基于运动轨迹对当前时刻行驶环境中的障碍物进行对象类别感知;根据对象类别感知的结果,对当前时刻的行驶环境进行场景感知,得到实际感知数据,并采用实际感知数据生成当前时刻的行驶环境的第三检测结果。
可选的,在本发明第一方面的第二种实现方式中,在采用近似感知数据生成当前时刻的行驶环境的第二检测结果之后,还包括:基于第二检测结果计算第一延时,以及基于第三检测结果计算第二延时,并判断第一延时和第二延时的大小;若第一延时大于第二延时,则采用第二检测结果进行当前时刻的行驶路线规划;若第一延时小于第二延时,则采用第三检测结果进行当前时刻的行驶路线规划。
可选的,在本发明第一方面的第三种实现方式中,基于预置深度学习网络,对待检测数据集进行行驶环境的直连感知分析,得到近似感知数据包括:通过预置深度神经网络提取待检测数据集中的多维度环境特征,并将多维度环境特征与预置全局坐标系进行组合,得到全局环境特征;基于全局环境特征,通过深度神经网络对行驶环境进行障碍物检测,并基于障碍物检测的结果生成行驶环境中的近似感知数据。
可选的,在本发明第一方面的第四种实现方式中,基于全局环境特征,通过深度神经网络对行驶环境进行障碍物检测包括:根据全局环境特征,确定过往预置时刻的行驶环境中障碍物的各维度感知参数、以及当前时刻的行驶环境中障碍物的局部环境特征;采用各维度感知参数设置深度神经网络对应的初始输出结果,并基于局部环境特征,通过设置后的深度神经网络对当前时刻的行驶环境进行障碍物检测,以对初始结果进行更新。
可选的,在本发明第一方面的第五种实现方式中,基于障碍物检测的结果生成行驶环境中的近似感知数据包括:基于障碍物检测的结果,判断行驶环境中是否存在新增障碍物;若存在,则提取障碍物检测的结果中新增障碍物的位置信息,并采用位置信息生成近似感知数据;若不存在,则将不存在新增障碍物的结果作为近似感知数据。
本发明第二方面提供了一种行驶环境的检测装置,包括:预处理模块,用于获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对环境数据和第一检测结果进行预处理,得到待检测数据集;直连感知模块,用于基于预置深度学习网络,对待检测数据集进行行驶环境的直连感知分析,得到近似感知数据;生成模块,用于采用近似感知数据生成当前时刻的行驶环境的第二检测结果。
可选的,在本发明第二方面的第一种实现方式中,行驶环境的检测装置还包括非直连感知模块,用于:对当前时刻的环境数据进行分割检测处理,得到当前时刻的行驶环境的障碍物信息;对障碍物信息进行关联追踪处理,得到当前时刻的行驶环境中障碍物的运动轨迹,并基于运动轨迹对当前时刻行驶环境中的障碍物进行对象类别感知;根据对象类别感知的结果,对当前时刻的行驶环境进行场景感知,得到实际感知数据,并采用实际感知数据生成当前时刻的行驶环境的第三检测结果。
可选的,在本发明第二方面的第二种实现方式中,行驶环境的检测装置还包括规划判别模块,用于:基于第二检测结果计算第一延时,以及基于第三检测结果计算第二延时,并判断第一延时和第二延时的大小;若第一延时大于第二延时,则采用第二检测结果进行当前时刻的行驶路线规划;若第一延时小于第二延时,则采用第三检测结果进行当前时刻的行驶路线规划。
可选的,在本发明第二方面的第三种实现方式中,直连感知模块包括:提取单元,用于通过预置深度神经网络提取待检测数据集中的多维度环境特征,并将多维度环境特征与预置全局坐标系进行组合,得到全局环境特征;检测单元,用于基于全局环境特征,通过深度神经网络对行驶环境进行障碍物检测,并基于障碍物检测的结果生成行驶环境中的近似感知数据。
可选的,在本发明第二方面的第四种实现方式中,检测单元还用于:根据全局环境特征,确定过往预置时刻的行驶环境中障碍物的各维度感知参数、以及当前时刻的行驶环境中障碍物的局部环境特征;采用各维度感知参数设置深度神经网络对应的初始输出结果,并基于局部环境特征,通过设置后的深度神经网络对当前时刻的行驶环境进行障碍物检测,以对初始结果进行更新。
可选的,在本发明第二方面的第五种实现方式中,检测单元还用于:基于障碍物检测的结果,判断行驶环境中是否存在新增障碍物;若存在,则提取障碍物检测的结果中新增障碍物的位置信息,并采用位置信息生成近似感知数据;若不存在,则将不存在新增障碍物的结果作为近似感知数据。
本发明第三方面提供了一种行驶环境的检测设备,包括:存储器和至少一个处理器,存储器中存储有指令;至少一个处理器调用存储器中的指令,以使得行驶环境的检测设备执行上述的行驶环境的检测方法。
本发明的第四方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的行驶环境的检测方法。
本发明提供的技术方案中,通过获取当前时刻的环境数据和过往预置时刻的第一检测结果,并利用预置深度学习网络,对环境数据和第一检测结果对应的待检测数据集进行行驶环境的直连感知分析,得到近似感知数据以生成第二检测结果。通过直连感知分析的方式是在传感器采集到的环境数据和最终第二检测结果输出的规划模块之间建立一个快速通道,实现超低延时的新增障碍物检测。
附图说明
图1为现有技术中非直连感知框架的示意图;
图2为本发明实施例中直连感知框架的示意图;
图3为本发明实施例中行驶环境的检测方法的一个实施例示意图;
图4为本发明实施例中行驶环境的检测方法的另一个实施例示意图;
图5为本发明实施例中行驶环境的检测装置的一个实施例示意图;
图6为本发明实施例中行驶环境的检测装置的另一个实施例示意图;
图7为本发明实施例中行驶环境的检测设备的一个实施例示意图。
具体实施方式
为了解决车辆自动驾驶的场景识别过程中,所采用的非直连感知框架存在较长的障碍物检测延时而带来潜在的安全风险,本发明所提供的行驶环境的检测方法中,如图2所示,基于常规的非直连感知框架,在传感器采集环境和路线规划两个流程之间再加入障碍物运动跟踪,组成一个新的直连感知框架。新的直连感知框架中,障碍物运动跟踪可以直接从传感器中获取当前时刻的环境数据,以及获取过往某个预设时刻的障碍物感知的结果,进行直连感知分析并生成直连检测结果以作为场景识别的结果,以用于路线规划,其中,障碍物运动追踪相对于障碍物感知,只需要根据具体业务需求进行障碍物存在性检测、类别分类、形状估计、跟踪、速冻加速度估计中的一项或者几项计算,再结合过往障碍物感知的结果,可以得到当前时刻近似的障碍物感知结果,保证行驶环境检测结果的准确性,同时也可以降低传感器收集环境数据之后进行路线规划之间的计算延时。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图3,本发明实施例中行驶环境的检测方法的一个实施例包括:
301、获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对环境数据和第一检测结果进行预处理,得到待检测数据集;
可以理解的是,本发明的执行主体可以为行驶环境的检测装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中,环境数据由安装在汽车上的传感器采集得到,其中,传感器可以为毫米波雷达、超声波雷达、激光雷达、相机或者雷达和相机的组合使用,则对应得到的环境数据的形式可以为雷达点云数据和/或图像数据,此处不作具体限定。
本实施例中,在传感器和规划模块之间增加一个运动追踪模块,直接从传感器中获取采集到的当前时刻t的环境数据,以及过往的预置时刻t-k的第一检测结果,对两者进行结合作为运动追踪模块进行直连感知分析的输入。此处表示利用传统感知框架中的感知模块的感知结果(具体采用预置时刻t-k的第一检测结果),以及最新输入需要进行处理的传感数据(即为当前时刻的环境数据),对当前时刻的驾驶环境进行场景识别,而非直接输入感知模块中进行场景识别。其中,第一检测结果指的是采用现有技术中非直连感知框架对过往预置时刻的行驶环境的检测结果。
另外,在对环境数据和第一检测结果进行预处理时,将环境数据作和第一检测结果中的每一行数据分别进行归类,得到多个类别维度数据,具体以向量或者矩阵表示;然后对各个类别维度数据中的缺失数据进行补全并作特征标准化处理,环境数据存储为第一数据集,第一检测结果存储为第二数据集;最后由第一数据集和第二数据集生成待检测数据集。
302、基于预置深度学习网络,对待检测数据集进行行驶环境的直连感知分析,得到近似感知数据;
本实施例中,将检测数据集中的第一检测结果对应的各类别维度信息设置为深度学习网络学习的初始值;然后通过深度学习网络基于待检测数据集中的环境数据,对当前时刻t的驾驶环境中障碍物的一个维度或者多个维度的信息进行检测,并根据检测的结果对已设置的对应维度的初始值进行更新,结合更新的值和初始值生成近似感知数据。
比如待检测数据集中包括过往预置时刻t-k的驾驶环境中各障碍物的类型、形状、位置、速度、加速度等维度的初始值,深度学习网络基于待检测数据集中的环境数据对各障碍物的位置、速度和加速度进行检测;结合更新后障碍物的位置、速度和加速度的更新值以及未更新的障碍物的类型、形状的初始值,作为当前帧的驾驶环境中各障碍物的完整的各维度信息,得到近似感知数据。
此处根据具体业务需求设置深度学习网络检测的障碍物的维度,维度越多,深度学习网络越复杂,得到的信息更多,但检测速度越慢,比如针对“鬼探头”的驾驶环境,需要快速反应驾驶环境中的存在的障碍物,所以深度学习网络可以针对障碍物存在性检测的维度,对环境数据进行分析,而无需同时考虑障碍物的类别跟形状等。
303、采用近似感知数据生成当前时刻的行驶环境的第二检测结果。
本实施例中,近似感知数据中包含需要进行检测的类别维度检测得到的更新值以及不需要进行检测的类别维度的初始值,进行数据类型转换,写入预置数表模板中,即可得到第二检测结果,以供输入规划模块,根据当前的行驶环境进行后路线规划。其中,第二检测结果指的是本发明实施例中直连感知框架对当前时刻的行驶环境的检测结果。
本发明实施例中,通过获取当前时刻的环境数据和过往预置时刻的第一检测结果,并利用预置深度学习网络,对环境数据和第一检测结果对应的待检测数据集进行行驶环境的直连感知分析,得到近似感知数据以生成第二检测结果。通过直连感知分析的方式是在传感器采集到的环境数据和最终第二检测结果输出的规划模块之间建立一个快速通道,实现超低延时的新增障碍物检测。
请参阅图4,本发明实施例中行驶环境的检测方法的另一个实施例包括:
401、获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对环境数据和第一检测结果进行预处理,得到待检测数据集;
402、通过预置深度神经网络提取待检测数据集中的多维度环境特征,并将多维度环境特征与预置全局坐标系进行组合,得到全局环境特征;
403、基于全局环境特征,通过深度神经网络对行驶环境进行障碍物检测,并基于障碍物检测的结果生成行驶环境中的近似感知数据;
本实施例中,待检测数据集中包括环境数据对应的第一数据集以及第一检测结果对应的第二数据集,将第二数据集对应障碍物的各维度检测结果设置为深度神经网络各个检测维度和非检测维度的初始值,并基于初始值在预置全局坐标系中对应的位置进行设置,得到初始场景坐标系。然后通过深度神经网络提取待检测数据集中的预设的多维度环境特征,即为前述初始值对应的检测维度的环境特征,并将全局环境特征与前面得到的初始场景坐标系进行组合,得到全局环境特征,以采用深度神经网络对行驶环境进行障碍物检测,具体如下所示:
(1)根据全局环境特征,确定过往预置时刻的行驶环境中障碍物的各维度感知参数、以及当前时刻的行驶环境中障碍物的局部环境特征;
(2)采用各维度感知参数设置深度神经网络对应的初始输出结果,并基于局部环境特征,通过设置后的深度神经网络对当前时刻的行驶环境进行障碍物检测,以对初始结果进行更新。
本实施例中,组合得到全局环境特征后,根据多维度环境特征在全局环境特征中的位置以及该位置对应的初始值,检测障碍物的局部环境特征对应的维度信息,比如针对障碍物存在性检测的局部环境特征,根据初始输出结果检测在全局环境特征中过往预置时刻t-k存在障碍物的位置信息和形状信息,然后根据局部环境特征检测当前时刻t存在障碍物的位置信息和形状信息,结合形状和位置信息,可以确定是否存在新出现的障碍物,得到障碍物存在性的检测结果,若存在新出现的障碍物,则将新出现的障碍物的位置信息和形状信息作为形式环境中的近似感知数据。具体生成步骤如下所示:
(1)基于障碍物检测的结果,判断行驶环境中是否存在新增障碍物;
(2)若存在,则提取障碍物检测的结果中新增障碍物的位置信息,并采用位置信息生成近似感知数据;
(3)若不存在,则将不存在新增障碍物的结果作为近似感知数据。
本实施例中,此处可以通过直连感知分析,设置需要延时比较短的行驶环境的检测维度,针对“鬼探头”等在行驶环境中突然出现障碍物(可以为人、车、红绿灯,或者其他物体或者生命体等),可以只设置障碍物的存在性检测和位置检测;减少了障碍物形状分析、类别分析、跟踪、速度和加速度分析等,可以大大降低形式环境检测的延时,使得后续进行路线规划和车辆控制的反应速度更快,以应对突然发生的行驶环境变化,增加自动驾驶车辆的安全性。
具体的,根据深度神经网络检测得到的障碍物检测的结果,来确定是否存在障碍物,对应障碍物检测的结果中则包括新出现的障碍物的位置信息和形状信息,比如存在新出现障碍物的全局坐标信息(x,y),则提取对应的全局坐标信息(x,y),以生成近似感知数据;如果不存在,则确定当前时刻t的行驶环境中相较于过往预置时刻t-k未出现新的障碍物。
404、采用近似感知数据生成当前时刻的行驶环境的第二检测结果;
405、对当前时刻的环境数据进行分割检测处理,得到当前时刻的行驶环境的障碍物信息;
406、对障碍物信息进行关联追踪处理,得到当前时刻的行驶环境中障碍物的运动轨迹,并基于运动轨迹对当前时刻行驶环境中的障碍物进行对象类别感知;
407、根据对象类别感知的结果,对当前时刻的行驶环境进行场景感知,得到实际感知数据,并采用实际感知数据生成当前时刻的行驶环境的第三检测结果;
本实施例中,针对当前时刻的环境数据,还需要进一步通过感知模块进行全部检测维度的行驶环境检测,得到第三检测结果,以供后续时刻作为第一检测结果进行直连感知分析的行驶环境的检测。比如当前时刻t生成的第三检测结果会在后续时刻t+j结合时刻t+j采集到的环境数据和该第三检测结果进行直连感知分析,最终得到时刻t+j的第二检测结果,以此类推。其中,第三检测结果指的是现有技术中非直连感知框架对当前时刻的行驶环境的检测结果。
具体的,在对当前时刻的环境数据进行分割检测处理时,若通过摄像头为传感器采集得到图像形式的环境数据,则可以通过环境数据首先构建动态环境的占用栅格地图。然后利用逆传感器模型,基于相关的三维点估计栅格地图中每个单元的占用概率;根据每个单元之间的区域距离,将单元划分成若干段。最后,采用交互式多模型(InteractingMultiple Model,IMM)方法对障碍物进行关联跟踪处理,得到当前时刻行驶环境中障碍物的运动轨迹。
对当前时刻的环境数据进行分割检测处理时,也可以使用基于八叉树的3D局部占用栅格地图,该地图将行驶环境划分为占用、自由和未知体素。在构建局部网格地图后,基于局部网格地图中自由空间和占用空间的不一致性,可以检测出障碍物各维度信息,即障碍物信息。
408、基于第二检测结果计算第一延时,以及基于第三检测结果计算第二延时,并判断第一延时和第二延时的大小;
409、若第一延时大于第二延时,则采用第二检测结果进行当前时刻的行驶路线规划;
410、若第一延时小于第二延时,则采用第三检测结果进行当前时刻的行驶路线规划。
本实施例中,还可以根据运动跟踪模块的第二检测结果和感知模块的第三检测结果计算的延时长度,来选取延时较短的第二检测结果或者第三检测结果输入规划模块中,以进行后续的当前时刻的形式路线规划。
具体的,若第三检测结果对应的第二时延为A秒,传感器输出环境数据的频率为Nhz,第二检测结果对应的第一时延为B秒,那么直连感知框架中的延时是min(B,A-1/N+B),那么此处当B<1/N时,B<A,该方案就可以达到比原本的延时小的结果。通常情况下,N=10,则可以侧面得到直连检测框架下得到的第二检测结果相比传统非直连检测框架下得到的第三检测结果的延时从0.1秒降低到0.02秒。
另外,除了通过比较第二检测结果和第三检测结果的延时,以选取延时较短的非直连检测路线和直连检测路线之外,还可以根据其他条件来选择不同的检测线路,具体如下所示:
在一种实施例中,可以对行驶环境中障碍物的数量以及类别进行检测,当检测到大量动态移动的障碍物时,则确定当前时刻的行驶环境中存在较多的人或者车辆等动态障碍物,此时周围障碍物的信息详略程度比行驶环境检测计算时延的长短更重要,则可以采用非直连检测路线对当前时刻的行驶环境进行检测,并将对应的第三检测结果用于后续的路线规划,通过更多维度的障碍物信息,可以更合理地进行路线规划,以提升车辆自动驾驶的安全性;
在一种实施例中,可以对行驶环境障碍物的存在性进行检测,当存在新增障碍物时,则可能出现“鬼探头”的情况,此时行驶环境检测计算时延比障碍物的信息详略程度更为重要,则可以采用直连检测路线对当前时刻的行驶环境进行检测,以应对突然出现的障碍物。
在一种实施例中,可以对行驶路线进行识别,在没有其他需要进行直连检测路线的情况下,在车辆直线行驶时,可以采用非直连检测路线进行当前行驶环境的障碍物检测,在车辆转弯或、掉头、倒车、并道、变道等情况下,可以采用直连检测路线进行当前行驶环境的障碍物检测。
本发明实施例中,通过直连感知分析,设置需要延时比较短的行驶环境的检测维度,针对“鬼探头”等在行驶环境中突然出现障碍物(可以为人、车、红绿灯,或者其他物体或者生命体等),可以只设置障碍物的存在性检测和位置检测;减少了障碍物形状分析、类别分析、跟踪、速度和加速度分析等,可以大大降低形式环境检测的延时,使得后续进行路线规划和车辆控制的反应速度更快,以应对突然发生的行驶环境变化,增加自动驾驶车辆的安全性。
上面对本发明实施例中行驶环境的检测方法进行了描述,下面对本发明实施例中行驶环境的检测装置进行描述,请参阅图5,本发明实施例中行驶环境的检测装置一个实施例包括:
预处理模块501,用于获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对环境数据和第一检测结果进行预处理,得到待检测数据集;
直连感知模块502,用于基于预置深度学习网络,对待检测数据集进行行驶环境的直连感知分析,得到近似感知数据;
生成模块503,用于采用近似感知数据生成当前时刻的行驶环境的第二检测结果。
本发明实施例中,通过获取当前时刻的环境数据和过往预置时刻的第一检测结果,并利用预置深度学习网络,对环境数据和第一检测结果对应的待检测数据集进行行驶环境的直连感知分析,得到近似感知数据以生成第二检测结果。通过直连感知分析的方式是在传感器采集到的环境数据和最终第二检测结果输出的规划模块之间建立一个快速通道,实现超低延时的新增障碍物检测。
请参阅图6,本发明实施例中行驶环境的检测装置的另一个实施例包括:
预处理模块501,用于获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对环境数据和第一检测结果进行预处理,得到待检测数据集;
直连感知模块502,用于基于预置深度学习网络,对待检测数据集进行行驶环境的直连感知分析,得到近似感知数据;
生成模块503,用于采用近似感知数据生成当前时刻的行驶环境的第二检测结果。
具体的,行驶环境的检测装置还包括非直连感知模块504,用于:
对当前时刻的环境数据进行分割检测处理,得到当前时刻的行驶环境的障碍物信息;
对障碍物信息进行关联追踪处理,得到当前时刻的行驶环境中障碍物的运动轨迹,并基于运动轨迹对当前时刻行驶环境中的障碍物进行对象类别感知;
根据对象类别感知的结果,对当前时刻的行驶环境进行场景感知,得到实际感知数据,并采用实际感知数据生成当前时刻的行驶环境的第三检测结果。
具体的,行驶环境的检测装置还包括规划判别模块505,用于:
基于第二检测结果计算第一延时,以及基于第三检测结果计算第二延时,并判断第一延时和第二延时的大小;
若第一延时大于第二延时,则采用第二检测结果进行当前时刻的行驶路线规划;
若第一延时小于第二延时,则采用第三检测结果进行当前时刻的行驶路线规划。
具体的,直连感知模块502包括:
提取单元5021,用于通过预置深度神经网络提取待检测数据集中的多维度环境特征,并将多维度环境特征与预置全局坐标系进行组合,得到全局环境特征;
检测单元5022,用于基于全局环境特征,通过深度神经网络对行驶环境进行障碍物检测,并基于障碍物检测的结果生成行驶环境中的近似感知数据。
可选的,在本发明第二方面的第四种实现方式中,检测单元5022还用于:
根据全局环境特征,确定过往预置时刻的行驶环境中障碍物的各维度感知参数、以及当前时刻的行驶环境中障碍物的局部环境特征;
采用各维度感知参数设置深度神经网络对应的初始输出结果,并基于局部环境特征,通过设置后的深度神经网络对当前时刻的行驶环境进行障碍物检测,以对初始结果进行更新。
具体的,检测单元5022还用于:
基于障碍物检测的结果,判断行驶环境中是否存在新增障碍物;
若存在,则提取障碍物检测的结果中新增障碍物的位置信息,并采用位置信息生成近似感知数据;
若不存在,则将不存在新增障碍物的结果作为近似感知数据。
本发明实施例中,通过直连感知分析,设置需要延时比较短的行驶环境的检测维度,针对“鬼探头”等在行驶环境中突然出现障碍物(可以为人、车、红绿灯,或者其他物体或者生命体等),可以只设置障碍物的存在性检测和位置检测;减少了障碍物形状分析、类别分析、跟踪、速度和加速度分析等,可以大大降低形式环境检测的延时,使得后续进行路线规划和车辆控制的反应速度更快,以应对突然发生的行驶环境变化,增加自动驾驶车辆的安全性。
上面图5和图6从模块化功能实体的角度对本发明实施例中的行驶环境的检测装置进行详细描述,下面从硬件处理的角度对本发明实施例中行驶环境的检测设备进行详细描述。
图7是本发明实施例提供的一种行驶环境的检测设备的结构示意图,该行驶环境的检测设备700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)710(例如,一个或一个以上处理器)和存储器720,一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对行驶环境的检测设备700中的一系列指令操作。更进一步地,处理器710可以设置为与存储介质730通信,在行驶环境的检测设备700上执行存储介质730中的一系列指令操作。
行驶环境的检测设备700还可以包括一个或一个以上电源740,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口760,和/或,一个或一个以上操作系统731,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图7示出的行驶环境的检测设备结构并不构成对行驶环境的检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种行驶环境的检测设备,所述计算机设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述行驶环境的检测方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述行驶环境的检测方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种行驶环境的检测方法,其特征在于,所述行驶环境的检测方法包括:
获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对所述环境数据和第一检测结果进行预处理,得到待检测数据集;
基于预置深度学习网络,对所述待检测数据集进行行驶环境的直连感知分析,得到近似感知数据;
采用所述近似感知数据生成当前时刻的行驶环境的第二检测结果。
2.根据权利要求1所述的行驶环境的检测方法,其特征在于,在所述获取当前时刻的环境数据和过往预置时刻的第一检测结果之后,还包括:
对当前时刻的环境数据进行分割检测处理,得到当前时刻的行驶环境的障碍物信息;
对所述障碍物信息进行关联追踪处理,得到当前时刻的行驶环境中障碍物的运动轨迹,并基于所述运动轨迹对当前时刻行驶环境中的障碍物进行对象类别感知;
根据对象类别感知的结果,对当前时刻的行驶环境进行场景感知,得到实际感知数据,并采用所述实际感知数据生成当前时刻的行驶环境的第三检测结果。
3.根据权利要求2所述的行驶环境的检测方法,其特征在于,在所述采用所述近似感知数据生成当前时刻的行驶环境的第二检测结果之后,还包括:
基于所述第二检测结果计算第一延时,以及基于所述第三检测结果计算第二延时,并判断所述第一延时和所述第二延时的大小;
若所述第一延时大于第二延时,则采用所述第二检测结果进行当前时刻的行驶路线规划;
若所述第一延时小于第二延时,则采用所述第三检测结果进行当前时刻的行驶路线规划。
4.根据权利要求1-3中任一项所述的行驶环境的检测方法,其特征在于,所述基于预置深度学习网络,对所述待检测数据集进行行驶环境的直连感知分析,得到近似感知数据包括:
通过预置深度神经网络提取所述待检测数据集中的多维度环境特征,并将所述多维度环境特征与预置全局坐标系进行组合,得到全局环境特征;
基于所述全局环境特征,通过所述深度神经网络对所述行驶环境进行障碍物检测,并基于障碍物检测的结果生成行驶环境中的近似感知数据。
5.根据权利要求4所述的行驶环境的检测方法,其特征在于,所述基于所述全局环境特征,通过所述深度神经网络对所述行驶环境进行障碍物检测包括:
根据所述全局环境特征,确定过往预置时刻的行驶环境中障碍物的各维度感知参数、以及当前时刻的行驶环境中障碍物的局部环境特征;
采用所述各维度感知参数设置所述深度神经网络对应的初始输出结果,并基于所述局部环境特征,通过设置后的深度神经网络对当前时刻的行驶环境进行障碍物检测,以对所述初始结果进行更新。
6.根据权利要求5所述的行驶环境的检测方法,其特征在于,所述基于障碍物检测的结果生成行驶环境中的近似感知数据包括:
基于障碍物检测的结果,判断行驶环境中是否存在新增障碍物;
若存在,则提取所述所述障碍物检测的结果中新增障碍物的位置信息,并采用所述位置信息生成近似感知数据;
若不存在,则将不存在新增障碍物的结果作为近似感知数据。
7.一种行驶环境的检测装置,其特征在于,所述行驶环境的检测装置包括:
预处理模块,用于获取当前时刻的环境数据和过往预置时刻的第一检测结果,并对所述环境数据和第一检测结果进行预处理,得到待检测数据集;
直连感知模块,用于基于预置深度学习网络,对所述待检测数据集进行行驶环境的直连感知分析,得到近似感知数据;
生成模块,用于采用所述近似感知数据生成当前时刻的行驶环境的第二检测结果。
8.根据权利要求7所述的行驶环境的检测装置,其特征在于,所述行驶环境的检测装置还包括非直连感知模块,用于:
对当前时刻的环境数据进行分割检测处理,得到当前时刻的行驶环境的障碍物信息;
对所述障碍物信息进行关联追踪处理,得到当前时刻的行驶环境中障碍物的运动轨迹,并基于所述运动轨迹对当前时刻行驶环境中的障碍物进行对象类别感知;
根据对象类别感知的结果,对当前时刻的行驶环境进行场景感知,得到实际感知数据,并采用所述实际感知数据生成当前时刻的行驶环境的第三检测结果。
9.一种行驶环境的检测设备,其特征在于,所述行驶环境的检测设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述行驶环境的检测设备执行如权利要求1-6中任意一项所述的行驶环境的检测方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-6中任意一项所述行驶环境的检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111225611.2A CN113989837A (zh) | 2021-10-21 | 2021-10-21 | 行驶环境的检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111225611.2A CN113989837A (zh) | 2021-10-21 | 2021-10-21 | 行驶环境的检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113989837A true CN113989837A (zh) | 2022-01-28 |
Family
ID=79739861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111225611.2A Pending CN113989837A (zh) | 2021-10-21 | 2021-10-21 | 行驶环境的检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989837A (zh) |
-
2021
- 2021-10-21 CN CN202111225611.2A patent/CN113989837A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11928866B2 (en) | Neural networks for object detection and characterization | |
CN112417967B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
US9607228B2 (en) | Parts based object tracking method and apparatus | |
US11783568B2 (en) | Object classification using extra-regional context | |
CN107316048B (zh) | 点云分类方法及装置 | |
Zhang et al. | Vehicle detection based on LiDAR and camera fusion | |
CN110226186B (zh) | 表示地图元素的方法和装置以及定位的方法和装置 | |
CN108629231B (zh) | 障碍物检测方法、装置、设备及存储介质 | |
JP2021523443A (ja) | Lidarデータと画像データの関連付け | |
EP1959675A2 (en) | Detection device, method and program thereof | |
EP3631755B1 (en) | Method and apparatus for representing environmental elements, system, and vehicle/robot | |
EP3651138A1 (en) | Exterior recognition device for vehicles | |
US9008364B2 (en) | Method for detecting a target in stereoscopic images by learning and statistical classification on the basis of a probability law | |
US20220156483A1 (en) | Efficient three-dimensional object detection from point clouds | |
US20150003669A1 (en) | 3d object shape and pose estimation and tracking method and apparatus | |
CN111488812A (zh) | 障碍物位置识别方法、装置、计算机设备和存储介质 | |
Baig et al. | A robust motion detection technique for dynamic environment monitoring: A framework for grid-based monitoring of the dynamic environment | |
El Jaafari et al. | A novel approach for on-road vehicle detection and tracking | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
KR20200087296A (ko) | 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템 | |
JP2024019629A (ja) | 予測装置、予測方法、プログラムおよび車両制御システム | |
JP2022035033A (ja) | 情報処理システム、情報処理方法、プログラムおよび車両制御システム | |
EP4202862A1 (en) | Road modeling with ensemble gaussian processes | |
CN113989837A (zh) | 行驶环境的检测方法、装置、设备及存储介质 | |
Guizilini et al. | Online self-supervised segmentation of dynamic objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |