CN114283401A - 障碍物识别方法和装置以及驾驶方法和装置 - Google Patents
障碍物识别方法和装置以及驾驶方法和装置 Download PDFInfo
- Publication number
- CN114283401A CN114283401A CN202111673211.8A CN202111673211A CN114283401A CN 114283401 A CN114283401 A CN 114283401A CN 202111673211 A CN202111673211 A CN 202111673211A CN 114283401 A CN114283401 A CN 114283401A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- position information
- target
- preset
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本说明书提供一种障碍物识别方法和装置以及驾驶方法和装置,所述障碍物识别方法包括:获取相机拍摄的待处理区域的待处理图像;采用目标识别模型对所述待处理图像进行图像识别,得到第一识别结果;其中,所述第一识别结果包括第一障碍物的位置信息;获取待处理区域中的第二障碍物的当前位置信息;其中,所述第二障碍物是在当前时刻之前的预设时间段内确定的障碍物;根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物,从而提高障碍物识别的准确率。
Description
技术领域
本说明书涉及自动驾驶技术领域,尤其涉及障碍物识别方法和装置以及驾驶方法和装置。
背景技术
随着科技的进步,无人驾驶技术受到越来越多的关注,其中,低矮障碍物识别是自动驾驶技术中的重要组成部分。
目前,在识别低矮障碍物时,一般利用车辆上的车载相机拍摄的图像进行识别,即采用相关模型或算法对车载相机拍摄的图像进行识别,以确定图像中的低矮障碍物以及低矮障碍物的位置信息,从而得到车辆当前所处位置周围的低矮障碍物情况。
然而,由于在进行低矮障碍物识别时,仅根据单帧图像确定低矮障碍物,容易出现遗漏低矮障碍物的问题,从而造成障碍物识别的准确率较低。
发明内容
为克服相关技术中存在的问题,本说明书提供了障碍物识别方法和装置以及驾驶方法和装置。
根据本说明书实施例的第一方面,提供一种障碍物识别方法,所述方法包括:
获取相机拍摄的待处理区域的待处理图像;
采用目标识别模型对所述待处理图像进行图像识别,得到第一识别结果;其中,所述第一识别结果包括第一障碍物的位置信息;
获取待处理区域中的第二障碍物的当前位置信息;其中,所述第二障碍物是在当前时刻之前的预设时间段内确定的障碍物;
根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物。
在一种可能的设计中,所述目标障碍物包括低矮障碍物;
所述根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物,包括:
根据所述第二障碍物的当前位置信息和所述第一障碍物的位置信息确定所述第二障碍物与所述第一障碍物之间的关联矩阵;
根据所述关联矩阵得到所述第二障碍物与所述第一障碍物之间的目标关联结果;
根据所述目标关联结果对所述第二障碍物进行更新处理,并根据更新后的第二障碍物确定所述低矮障碍物。
在一种可能的设计中,所述根据所述目标关联结果对所述第二障碍物进行更新处理,包括:
在确定所述目标关联结果为第二障碍物与第一障碍物关联成功时,根据所述目标关联结果对应的第一障碍物的位置信息对所述目标关联结果对应的第二障碍物的当前位置信息进行更新;
在确定所述目标关联结果为第一障碍物关联失败时,将所述目标关联结果对应的第一障碍物作为新的第二障碍物;
在确定所述目标关联结果为第二障碍物关联失败时,对所述目标关联结果对应的第二障碍物进行更新处理。
在一种可能的设计中,所述对所述目标关联结果对应的第二障碍物进行更新处理,包括:
获取所述目标关联结果对应的第二障碍物的状态信息;
判断所述状态信息是否满足预设删除条件;
在确定所述状态信息满足预设删除条件时,删除所述目标关联结果对应的第二障碍物;
在确定所述状态信息不满足预设删除条件时,更新所述状态信息。
在一种可能的设计中,所述状态信息包括识别失败比例,则所述判断所述状态信息是否满足预设删除条件,包括:
判断所述识别失败比例是否大于预设比例阈值;
若大于所述预设比例阈值,则确定所述状态信息满足预设删除条件;
若小于或等于所述预设比例阈值,则确定所述状态信息不满足预设删除条件。
在一种可能的设计中,所述第二障碍物的当前位置信息包括至少一种预设跟踪算法对应的第二障碍物的当前位置信息;
所述根据所述第二障碍物的当前位置信息和所述第一障碍物的位置信息确定所述第二障碍物与所述第一障碍物之间的关联矩阵,包括:
获取每种预设跟踪算法对应的优先级;
按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并获取所述目标跟踪算法对应的第二障碍物的当前位置信息;
根据所述目标跟踪算法对应的第二障碍物的当前位置信息和所述第一障碍物的位置信息确定所述目标跟踪算法对应的关联矩阵。
在一种可能的设计中,所述根据所述关联矩阵得到第二障碍物与所述第一障碍物之间的目标关联结果,包括:
根据所述目标跟踪算法对应的关联矩阵确定所述目标跟踪算法对应的第二障碍物与第一障碍物之间的初始关联结果;
若所述初始关联结果存在第一障碍物关联失败和第二障碍物关联失败,则获取确定的关联矩阵的数量,并判断确定的关联矩阵的数量是否等于所述预设跟踪算法的数量;
若等于所述预设跟踪算法的数量,则对所有初始关联结果进行合并处理,得到目标关联结果;
若不等于所述预设跟踪算法的数量,则继续按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并根据所述目标跟踪算法对应的剩余第二障碍物的当前位置信息和剩余第一障碍物的位置信息确定所述目标跟踪算法对应的关联矩阵;其中,所述剩余第二障碍物对应的初始关联结果为第二障碍物关联失败,所述剩余第一障碍物对应的初始关联结果为第一障碍物关联失败。
在一种可能的设计中,在所述获取第二障碍物的当前位置信息之前,还包括:
获取第二障碍物的历史位置信息;
对于每种预设跟踪算法,根据所述第二障碍物的历史位置信息和所述预设跟踪算法对所述第二障碍物进行位置预测,得到所述预设跟踪算法对应的第二障碍物的当前位置信息。
在一种可能的设计中,所述方法还包括:
根据所述目标障碍物对待处理区域对应的电子地图进行更新;其中,所述目标障碍物为高度小于预设阈值的障碍物。
在一种可能的设计中,所述第一障碍物的位置信息包括根据所述第一障碍物的边缘像素点集合确定的尺寸信息和/或所述第一障碍物对应的矩形区域的位置信息。
根据本说明书实施例的第二方面,提供一种驾驶方法,应用于车辆,所述方法包括:
获取更新后的电子地图;其中,所述更新后的电子地图是根据上述第一方面以及第一方面各种可能的设计所述的方法得到的;
基于所述更新后的电子地图确定驾驶路线,以使所述车辆根据所述驾驶路线进行自动驾驶。
根据本说明书实施例的第三方面,提供一种障碍物识别装置,包括:
图像获取模块,用于获取相机拍摄的待处理区域的待处理图像;
图像处理模块,用于采用目标识别模型对所述待处理图像进行图像识别,得到第一识别结果;其中,所述第一识别结果包括第一障碍物的位置信息;
信息获取模块,用于获取待处理区域中的第二障碍物的当前位置信息;其中,所述第二障碍物是在当前时刻之前的预设时间段内确定的障碍物;
障碍物识别模块,用于根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物。
在一种可能的设计中,所述目标障碍物包括低矮障碍物;
所述障碍物识别模块包括:
关联矩阵确定单元,用于根据所述第二障碍物的当前位置信息和所述第一障碍物的位置信息确定所述第二障碍物与所述第一障碍物之间的关联矩阵;
关联结果确定单元,用于根据所述关联矩阵得到所述第二障碍物与所述第一障碍物之间的目标关联结果;
障碍物确定单元,用于根据所述目标关联结果对所述第二障碍物进行更新处理,并根据更新后的第二障碍物确定所述低矮障碍物。
在一种可能的设计中,所述障碍物确定单元具体用于:
在确定所述目标关联结果为第二障碍物与第一障碍物关联成功时,根据所述目标关联结果对应的第一障碍物的位置信息对所述目标关联结果对应的第二障碍物的当前位置信息进行更新;
在确定所述目标关联结果为第一障碍物关联失败时,将所述目标关联结果对应的第一障碍物作为新的第二障碍物;
在确定所述目标关联结果为第二障碍物关联失败时,对所述目标关联结果对应的第二障碍物进行更新处理。
在一种可能的设计中,所述障碍物确定单元具体用于:
获取所述目标关联结果对应的第二障碍物的状态信息;
判断所述状态信息是否满足预设删除条件;
在确定所述状态信息满足预设删除条件时,删除所述目标关联结果对应的第二障碍物;
在确定所述状态信息不满足预设删除条件时,更新所述状态信息。
在一种可能的设计中,所述障碍物确定单元具体用于:
判断所述识别失败比例是否大于预设比例阈值;
若大于所述预设比例阈值,则确定所述状态信息满足预设删除条件;
若小于或等于所述预设比例阈值,则确定所述状态信息不满足预设删除条件。
在一种可能的设计中,所述第二障碍物的当前位置信息包括至少一种预设跟踪算法对应的第二障碍物的当前位置信息;
所述关联矩阵确定单元具体用于:
获取每种预设跟踪算法对应的优先级;
按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并获取所述目标跟踪算法对应的第二障碍物的当前位置信息;
根据所述目标跟踪算法对应的第二障碍物的当前位置信息和所述第一障碍物的位置信息确定所述目标跟踪算法对应的关联矩阵。
在一种可能的设计中,所述关联结果确定单元具体用于:
根据所述目标跟踪算法对应的关联矩阵确定所述目标跟踪算法对应的第二障碍物与第一障碍物之间的初始关联结果;
若所述初始关联结果存在第一障碍物关联失败和第二障碍物关联失败,则获取确定的关联矩阵的数量,并判断确定的关联矩阵的数量是否等于所述预设跟踪算法的数量;
若等于所述预设跟踪算法的数量,则对所有初始关联结果进行合并处理,得到目标关联结果;
若不等于所述预设跟踪算法的数量,则继续按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并根据所述目标跟踪算法对应的剩余第二障碍物的当前位置信息和剩余第一障碍物的位置信息确定所述目标跟踪算法对应的关联矩阵;其中,所述剩余第二障碍物对应的初始关联结果为第二障碍物关联失败,所述剩余第一障碍物对应的初始关联结果为第一障碍物关联失败。
在一种可能的设计中,所述信息获取模块还用于:
在获取第二障碍物的当前位置信息之前,获取第二障碍物的历史位置信息;
对于每种预设跟踪算法,根据所述第二障碍物的历史位置信息和所述预设跟踪算法对所述第二障碍物进行位置预测,得到所述预设跟踪算法对应的第二障碍物的当前位置信息。
在一种可能的设计中,所述障碍物识别装置还包括:
地图更新模块,用于根据所述目标障碍物对待处理区域对应的电子地图进行更新;其中,所述目标障碍物为高度小于预设阈值的障碍物。
在一种可能的设计中,所述第一障碍物的位置信息包括根据所述第一障碍物的边缘像素点集合确定的尺寸信息和/或所述第一障碍物对应的矩形区域的位置信息。
根据本说明书实施例的第四方面,提供一种驾驶装置,应用于车辆,所述装置包括:
地图获取模块,用于获取更新后的电子地图;其中,所述更新后的电子地图是根据上述第一方面以及第一方面各种可能的设计所述的方法得到的;
自动驾驶模块,用于基于所述更新后的电子地图确定驾驶路线,以使所述车辆根据所述驾驶路线进行自动驾驶。
根据本说明书实施例的第五方面,提供一种计算机设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取相机拍摄的待处理区域的待处理图像;
采用目标识别模型对所述待处理图像进行图像识别,得到第一识别结果;其中,所述第一识别结果包括第一障碍物的位置信息;
获取待处理区域中的第二障碍物的当前位置信息;其中,所述第二障碍物是在当前时刻之前的预设时间段内确定的障碍物;
根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物。
根据本说明书实施例的第六方面,提供一种车载终端,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取更新后的电子地图;其中,所述更新后的电子地图是根据上述第一方面以及第一方面各种可能的设计所述的方法得到的;
基于所述更新后的电子地图确定驾驶路线,并根据所述驾驶路线进行驾驶。
根据本说明书实施例的第七方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的障碍物识别方法。
根据本说明书实施例的第八方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第二方面以及第二方面各种可能的设计所述的驾驶方法。
根据本说明书实施例的第九方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上第一方面以及第一方面各种可能的设计所述的障碍物识别方法。
根据本说明书实施例的第十方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上第二方面以及第二方面各种可能的设计所述的驾驶方法。
本说明书的实施例提供的技术方案可以包括以下有益效果:
本说明书实施例中,在获取到相机拍摄的待处理区域的待处理图像时,表明需要识别待处理区域内的障碍物,则利用目标识别模型对待处理图像进行图像识别,以得到第一识别结果,即确定该待处理图像中的第一障碍物的位置信息。在确定第一障碍物后,利用在当前时刻之前的预设时间段内确定的障碍物,即第二障碍物的位置信息和该第一障碍物的位置信息综合确定待处理图像对应的障碍物,即根据第二障碍物和第一障碍物综合确定目标障碍物,而不是直接将第一障碍物作为待处理区域对应的障碍物,即不是仅根据单帧图像确定目标障碍物,可以提高障碍物识别的准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
图1是本说明书根据一示例性实施例示出的障碍物采集系统的示意图。
图2是本说明书根据一示例性实施例示出的一种障碍物识别方法的流程图。
图3是本说明书根据一示例性实施例示出的另一种障碍物识别方法的流程图。
图4是本说明书根据一示例性实施例示出的一种驾驶方法的流程图。
图5是本说明书实施例障碍物识别装置所在计算机设备的一种硬件结构图。
图6是本说明书实施例驾驶装置所在车载终端的一种硬件结构图。
图7是本说明书根据一示例性实施例示出的一种障碍物识别装置的结构框图。
图8是本说明书根据一示例性实施例示出的一种驾驶装置的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
接下来对本说明书实施例进行详细说明。
现有技术中,为了提高车辆自动行驶所需利用的电子地图的精准度以保障车辆的避障能力,需要确定,即识别环境中的低矮障碍物,其识别过程如图1所示,采集车辆101在采集区域内的路面上行驶的过程中,置于采集车辆101上的相机102进行拍摄,以得到包含周围环境的图像。电子设备103识别该图像上的低矮障碍物及其对应的位置、尺寸信息,以利用识别到的低矮障碍物,对电子地图进行更新。然而,在进行低矮障碍物识别时,仅根据单帧图像确定低矮障碍物,由于拍摄角度、天气等原因容易导致实际存在的低矮障碍物并未被拍摄到,从而造成出现遗漏低矮障碍物的问题,降低障碍物确定的准确率。同时,在识别图像上的低矮障碍物时,采用二维矩形框对低矮障碍物进行描述,即绘制低矮障碍物的外接矩形,导致根据该外接矩形确定的低矮障碍物的尺寸信息偏大,影响车辆的避障能力以及路线规划。
其中,电子设备可以为采集车辆上的车载终端,也可以为计算机、服务器等终端设备,在此,不对其进行限制。
因此,针对上述问题,本申请的技术构思是在识别当前图像帧上的低矮障碍物时,基于识别得到的当前图像帧上的低矮障碍物的属性信息,即位置、尺寸信息,并结合在当前时刻之前的一段时间内确定的低矮障碍物的位置跟踪结果,以共同确定当前图像帧对应的低矮障碍物,而不是仅直接将识别到的当前图像帧上的低矮障碍物作为当前图像帧对应的低矮障碍物,可以准确地识别低矮障碍物,避免出现遗漏低矮障碍物的问题,提高障碍物确定的准确率。同时,低矮障碍物的属性信息,即尺寸信息是根据低矮障碍物的边缘轮廓上的像素点进行确定的,保证属性信息的准确性,从而可以有效保证车辆的避障能力,使得车辆更好地进行路线规划。
如图2所示,图2是本说明书根据一示例性实施例示出的一种障碍物识别方法的流程图,该方法的执行主体为计算机设备,例如,图1中的电子设备,该方法包括以下步骤:
步骤S201、获取相机拍摄的待处理区域的待处理图像。
在本实施例中,获取相机拍摄的采集车辆所处环境的图像,并将该图像作为待处理图像,以供利用该待处理图像识别该待处理图像对应的拍摄区域,即待处理区域内的障碍物。
其中,障碍物可以是低矮障碍物,也可以是其它类型的障碍物,在此,不对其进行限制。其中,低矮障碍物表示高度小于预设阈值的障碍物。其中,预设阈值可以根据实际情况进行设置,在此,不对其进行限制。
可选的,相机,即车载相机可以安装在采集车辆上,采集车辆在行驶的过程,相机对周围环境进行拍摄,以得到相应的图像。
步骤S202、采用目标识别模型对待处理图像进行图像识别,得到第一识别结果。其中,第一识别结果包括第一障碍物的位置信息。
在本实施例中,在得到待处理图像后,利用训练后的识别模型,即目标识别模型对待处理图像进行图像识别,以得到该待处理图像内的障碍物,即第一障碍物的相关信息,并将其作为第一识别结果。
其中,第一识别结果包括第一障碍物的位置信息。第一障碍物的位置信息包括根据第一障碍物的边缘像素点集合确定的尺寸信息和/或第一障碍物对应的矩形区域的位置信息。
其中,第一障碍物可以是低矮障碍物,也可以是其它类型的障碍物,在此,不对其进行限制。可选的,确定第一障碍物对应的矩形区域的位置信息过程可以为:在对待处理图像进行图像识别时,需绘制待处理图像上的第一障碍物的外接二维矩形框,以可以利用二维矩形框对第一障碍物进行描述,即可以将该第一障碍物对应的二维矩形框,即矩形区域的位置信息作为该第一障碍物对应的矩形区域的位置信息。
其中,第一障碍物对应的矩形区域的位置信息可以是第一障碍物对应的二维矩形框上的像素点的位置信息,当然,也可以是其它与矩形区域,即二维矩形框有关的像素点的位置信息,例如,处于矩形区域的中心的像素点的位置信息,在此,不对其进行限制。
可选的,当第一障碍物为低矮障碍物时,第一障碍物的位置信息还可以包括根据第一障碍物的边缘像素点集合确定的尺寸信息,即第一障碍物的尺寸信息。具体的,在对待处理图像进行图像识别时,还可以识别待处理图像上的第一障碍物的边界,即边缘轮廓上的像素点,以得到边缘像素点集合,即边缘像素点集合是由至少一个边缘像素点,即边缘轮廓上的像素点组成。相应的,第一障碍物的尺寸信息可以包括边缘像素点的位置信息,也可以包括根据边缘像素点确定的第一障碍物的具体大小,即尺寸,在此,不对其进行限制。
在本实施例中,在确定低矮障碍物,即第一障碍物的尺寸信息时,是根据低矮障碍物的实际边缘轮廓上的像素点集合确定的,使得确定的尺寸信息与实际障碍物的尺寸更加相符,保证尺寸信息的准确性。
另外,可选的,目标识别模型是基于相关学习算法(例如,机器学习算法、深度学习算法等)进行训练后得到的模型,其可以准确地对图像进行识别,以识别图像上的第一障碍物(例如,低矮障碍物)及第一障碍物的位置信息等。例如,目标识别模型是基于HRNet的深度学习算法进行训练得到的。
步骤S203、获取待处理区域中的第二障碍物的当前位置信息。其中,第二障碍物是在当前时刻之前的预设时间段内确定的障碍物。
在本实施例中,为了提高障碍物确定的准确率,不能仅根据待处理图像确定的第一障碍物确定该待处理图像所对应的区域内的障碍物,还可以利用历史障碍物,即第二障碍物,则获取第二障碍物的当前位置信息,以供利用第二障碍物的当前位置信息确定待处理图像对应的目标障碍物。
其中,第二障碍物表示在当前时刻之前的预设时间段内确定的障碍物,即识别到的待处理区域中的障碍物。具体的,第二障碍物可以为基于本申请公开的障碍物识别过程,确定的待处理图像的上一帧图像所对应的目标障碍物。
可以理解,当前时刻表示拍摄待处理图像的时刻。第二障碍物的当前位置信息表示第二障碍物在当前时刻所处的位置信息。
可选的,第一障碍物对应的障碍物类型与第二障碍物对应的障碍物类型相同,例如,第一障碍物对应的障碍物类型包括低矮障碍物类型,则第二障碍物对应的障碍物类型也包括低矮障碍物类型。
可选的,所述第二障碍物的当前位置信息包括至少一种预设跟踪算法对应的第二障碍物的当前位置信息。
可选的,第二障碍物的当前位置信息所包括的信息类型可以与第一障碍物的位置信息所包括的信息类型相同,即第二障碍物的当前位置信息包括第二障碍物对应的矩形区域的当前位置信息和/或根据第二障碍物的边缘像素点集合确定的尺寸信息。
步骤S204、根据第一障碍物的位置信息和第二障碍物的当前位置信息确定目标障碍物。
在本实施例中,在得到第一障碍物的位置信息和第二障碍物的当前位置信息后,基于该第一障碍物的位置信息和第二障碍物的当前位置信息,对第一障碍物和第二障碍物进行融合(即确定第一障碍物和第二障碍物之间的对应关系,以供利用该对应关系和第一障碍物,对第二障碍物进行更新),得到该待处理区域中的障碍物,即待处理图像对应的目标障碍物,实现目标障碍物的准确检测。
另外,可选的,在得到待处理图像对应的目标障碍物后,可以将该目标障碍物作为新的历史障碍物,即新的第二障碍物,以供在确定与该待处理图像的下一帧图像所对应的目标障碍物时,可以利用该新的第二障碍物进行确定。
在本实施例中,在确定障碍物的尺寸信息时,是根据障碍物的实际边缘轮廓上的像素点集合确定的,使得确定的尺寸信息与实际障碍物的尺寸更加相符,保证尺寸信息的准确率,从而可以根据该尺寸信息更好地进行行使规划,保证车辆行驶的稳定性、安全性,以及保证车辆的避障能力。
在本实施例中,由于障碍物具有一定的连续性,即会在连续拍摄的多张图像上出现,因此,可以利用在当前时刻之前确定的障碍物对当前时刻确定的障碍物进行补充,从而可以有效避免障碍物遗漏,提高障碍物确定的准确率。
在本实施例中,相较于在通过激光雷达、毫米波雷达或超声波雷达等设备进行低矮障碍物识别时受到安装高度或算法精度的限制,本申请通过视觉传感器,即相机采集图像,可以利用图像获取海量的、富于冗余的纹理信息,从而能够较好的检测出激光导航技术未能检测出来的低矮障碍物,实现车辆周边的低矮障碍物的准确感知,保证自动驾驶的安全性。
从上述描述可知,在获取到相机拍摄的待处理区域的待处理图像时,表明需要识别待处理区域内的障碍物,则利用目标识别模型对待处理图像进行图像识别,以得到第一识别结果,即确定该待处理图像中的第一障碍物的位置信息。在确定第一障碍物后,利用在当前时刻之前的预设时间段内确定的障碍物,即第二障碍物的位置信息和该第一障碍物的位置信息综合确定待处理图像对应的障碍物,即根据第二障碍物和第一障碍物综合确定目标障碍物,而不是直接将第一障碍物作为待处理区域对应的障碍物,即不是仅根据单帧图像确定目标障碍物,可以提高障碍物识别的准确率。
如图3所示,图3是本说明书根据一示例性实施例示出的另一种障碍物识别方法的流程图,本实施例在图2实施例的基础上,在确定目标障碍物时,根据第一障碍物和第二障碍物之间的关联结果进行确定。下面将结合一个具体实施例对此过程进行详细说明,如图3所示,该方法包括以下步骤:
步骤S301、获取相机拍摄的待处理区域的待处理图像。
步骤S302、采用目标识别模型对待处理图像进行图像识别,得到第一识别结果。其中,第一识别结果包括第一障碍物的位置信息。
在本实施例中,步骤S301-S302的实现过程与图2实施例中的步骤S201-S202的实现过程类似,在此,不再对其进行赘述。
步骤S303、获取待处理区域中的第二障碍物的当前位置信息。其中,第二障碍物是在当前时刻之前的预设时间段内确定的障碍物。
在本实施例中,第二障碍物的当前位置信息是通过利用预设跟踪算法,对在当前时刻的上一时刻的位置信息,即历史位置信息进行预测得到的,其具体过程为:获取第二障碍物的历史位置信息。对于每种预设跟踪算法,根据第二障碍物的历史位置信息和预设跟踪算法对第二障碍物进行位置预测,得到预设跟踪算法对应的第二障碍物的当前位置信息。
其中,预设跟踪算法可以根据实际需求进行选择,例如,卡尔曼滤波器算法、核相关滤波算法等跟踪算法。预设跟踪算法的数目为至少一个。
举例来说,预设跟踪算法包括卡尔曼滤波器算法和核相关滤波算法,第二障碍物包括障碍物1。障碍物1在时刻1的位置信息为位置信息1,根据卡尔曼滤波器算法和位置信息1预测得到障碍物1在时刻1的下一时刻,即当前时刻的位置,以得到卡尔曼滤波器算法对应的障碍物1的当前位置信息。以及根据核相关滤波算法和位置信息1预测得到障碍物1在时刻1的下一时刻,即当前时刻的位置,以得到核相关滤波算法对应的障碍物1的当前位置信息。
其中,卡尔曼滤波器算法是通过计算跟踪目标,即第二障碍物的运动状态(例如,大小尺寸与位置坐标的变化速率、加速度、角速度等)。依据当前时刻与第二障碍物所处状态时刻的差值,即进行位置预测的时刻,得到第二障碍物的运动状态的变化值,从而预测得到第二障碍物在当前时刻的状态。
其中,相关滤波算法是通过计算第二障碍物的图像的特征(例如,灰度特征、方向梯度直方图特征等),在当前时刻对应的图像上进行搜索,得到与第二障碍物图像特征最为相似的区域,该区域为该第二障碍物在当前时刻的预测跟踪结果。
步骤S304、根据第二障碍物的当前位置信息和第一障碍物的位置信息确定第二障碍物与第一障碍物之间的关联矩阵。
在本实施例中,在得到第二障碍物的当前位置信息和第一障碍物的位置信息后,基于所有第二障碍物的当前位置信息和所有第一障碍物的位置信息构建第二障碍物和第一障碍物之间的关联矩阵,该关联矩阵,即该关联矩阵所涉及的障碍物包括所有第二障碍和所有第一障碍物,以供利用该关联矩阵确定第一障碍物与第二障碍物之间的对应关系。
其中,关联矩阵可以表示第一障碍物和第二障碍物之间的关联关系,例如,关联关系通过关联分数表示,关联分数越高表示二者是同一个物体的可能性越大。关联分数可以根据第一障碍物和第二障碍物之间的距离远近或第一障碍物和第二障碍物区域之间的交并比进行计算,在此,不对其进行限定。
可选的,在确定第二障碍物与第一障碍物之间的关联矩阵时,还可以利用其它方法进行确定,例如,获取第二障碍物的纹理特征信息和第一障碍物的纹理特征信息,并基于第二障碍物的纹理特征信息和第一障碍物的纹理特征信息构建第二障碍物和第一障碍物之间的关联矩阵,本申请不对确定关联矩阵的方法进行限定。
步骤S305、根据关联矩阵得到第二障碍物与第一障碍物之间的目标关联结果。
在本实施例中,在得到第二障碍物和第一障碍物之间的关联矩阵后,基于最优匹配算法(例如,匈牙利算法),对该关联矩阵进行匹配,以得到第二障碍物与第一障碍物之间的对应关系,即得到相应的关联结果,并根据该关联结果确定第二障碍物与第一障碍物之间的目标关联结果。
可选的,当预设跟踪算法的数量为一个时,根据各个第一障碍物的位置信息和该预设跟踪算法对应的各个第二障碍物的当前位置信息确定相应的关联矩阵,并基于最优匹配算法,对该关联矩阵进行匹配,得到相应的关联结果,即得到该预设跟踪算法对应的关联结果,并将该预设跟踪算法对应的关联结果直接作为目标关联结果。
可选的,当预设跟踪算法的数量为多个时,可能需要确定每个预设跟踪算法对应的关联矩阵,以供每个预设跟踪算法对应的关联矩阵确定每个预设跟踪算法对应的初始关联结果,并根据每个预设跟踪算法对应的关联结果确定最终关联结果,即目标关联结果。其中,具体过程如下:
获取每种预设跟踪算法对应的优先级。
按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并获取目标跟踪算法对应的第二障碍物的当前位置信息。
根据目标跟踪算法对应的第二障碍物的当前位置信息和第一障碍物的位置信息确定目标跟踪算法对应的关联矩阵。
根据目标跟踪算法对应的关联矩阵确定目标跟踪算法对应的第二障碍物与第一障碍物之间的初始关联结果。
若初始关联结果存在第一障碍物关联失败和第二障碍物关联失败,则获取确定的关联矩阵的数量,并判断确定的关联矩阵的数量是否等于预设跟踪算法的数量。
若等于预设跟踪算法的数量,则对所有初始关联结果进行合并处理,得到目标关联结果。
若不等于预设跟踪算法的数量,则继续按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并根据目标跟踪算法对应的剩余第二障碍物的当前位置信息和剩余第一障碍物的位置信息确定目标跟踪算法对应的关联矩阵。其中,剩余第二障碍物对应的初始关联结果为第二障碍物关联失败,剩余第一障碍物对应的初始关联结果为第一障碍物关联失败。
具体的,按照预设跟踪算法对应的优先级由高到低的排序,先选取优先级高的预设跟踪算法,并将其作为目标跟踪算法。根据该目标跟踪算法对应的第二障碍物的当前位置信息(即通过该目标跟踪算法对该第二障碍物进行位置预测得到的当前位置信息)和第一障碍物的位置信息确定一个关联矩阵,并将其作为该目标跟踪算法对应的关联矩阵。基于最优匹配算法,对该目标跟踪算法对应的关联矩阵进行匹配,得到第二障碍物与第一障碍物之间的关联结果,并将其确定为该目标跟踪算法对应的第二障碍物与第一障碍物之间的初始关联结果,即该目标跟踪算法对应的初始关联结果。判断该目标跟踪算法对应的初始关联结果中是否存在第一障碍物关联失败和第二障碍物关联失败,即确定是否存在与任一第一障碍物均未对应上的第二障碍物以及与任一第二障碍物均未对应上的第一障碍物。
在确定存在时,表明存在与任一第一障碍物均未对应上的第二障碍物,即剩余第二障碍物以及与任一第二障碍物均未对应上的第一障碍物,即剩余第一障碍物,则继续利用优先级较低的预设跟踪算法,确定剩余第二障碍物和剩余第一障碍物之间的对应关系,即从预设跟踪算法中选取与该目标跟踪算法相邻,且优先级比该目标跟踪算法对应的优先级低的预设跟踪算法,并将其确定为新的目标跟踪算法,以根据该新的目标跟踪算法对应的剩余第二障碍物的当前位置信息确定剩余第二障碍物与剩余第一障碍物之间的关联矩阵,从而基于该关联矩阵,得到该新的目标跟踪算法对应的剩余第二障碍物与剩余第一障碍物之间的关联结果,即该新的目标跟踪算法对应的第二障碍物与第一障碍物之间的初始关联结果,即该新的目标跟踪算法对应的初始关联结果。相应地,可以得到各个预设跟踪算法对应的初始关联结果。
另外,可选的,在确定不存在第一障碍物关联失败和/或第二障碍物关联失败的初始关联结果时,表明所有第一障碍物和/或所有第二障碍物均已经对应上,则无需继续确定其他预设跟踪算法对应的初始关联结果。举例来说,预设跟踪算法包括算法1、算法2、算法3,算法1的优先级最高,然后是算法2的优先级,算法3的优先级最低。在得到算法1对应的初始关联结果后,障碍物1、障碍物2对应的初始关联结果为第一障碍物关联失败,障碍物3对应的初始关联结果为第二障碍物关联失败,表明任一第二障碍物均未与该障碍物1对应上,任一第二障碍物均未与该障碍物2对应上,任一第一障碍物均未与该障碍物3对应上,则障碍物1和2均为剩余第一障碍物,障碍物3为剩余第二障碍物,基于算法2对应的障碍物3对应的当前位置信息和障碍物1、2的位置信息确定该算法2对应的初始关联结果包括第一障碍物与第二障碍物关联成功以及第一障碍物关联失败,该第一障碍物与第二障碍物关联成功的初始关联结果对应的第一障碍物未障碍物1,该第一障碍物与第二障碍物关联成功的初始关联结果对应的第二障碍物为障碍物3,即表明障碍物1和3关联成功。第一障碍物关联失败的初始关联结果对应的第一障碍物为障碍物2,由于不存在未对应的第二障碍物,即没有剩余的第二障碍物,则无需再确定算法3对应的初始关联结果。
可选的,在对得到的所有初始关联结果进行合并处理时,利用优先级低的预设跟踪算法对应的初始关联结果更新优先级高的预设跟踪算法对应的初始关联结果,即对于每个第一障碍物,当该第一障碍物对应的所有初始关联结果中存在第二障碍物与第一障碍物关联成功的关联初始结果时,表明在按照该关联初始结果对应的预设跟踪算法确定关联结果时,存在第二障碍物与该第一障碍物对应上的第二障碍物,则将该第二障碍物与第一障碍物关联成功的初始关联结果作为该第一障碍物对应的目标关联结果。对于每个第二障碍物,当该第二障碍物对应的所有初始关联结果中存在第二障碍物与第一障碍物关联成功的关联初始结果时,表明在按照该关联初始结果对应的预设跟踪算法确定关联结果时,存在与该第二障碍物对应上的第一障碍物,则将该第二障碍物与第一障碍物关联成功的关联初始结果作为该第二障碍物对应的目标关联结果。
其中,预设跟踪算法对应的优先级的设置是相关人员可以实际需求进行设置的,例如,当对障碍物确定速度的要求较高时,可以将确定位置跟踪结果较快的跟踪算法的优先级设置较高,当对障碍物确定准确率的要求较高时,可以将确定位置跟踪结果较准确的跟踪算法的优先级设置较高。
步骤S306、根据目标关联结果对第二障碍物进行更新处理,并根据更新后的第二障碍物确定低矮障碍物。
在本实施例中,利用第二障碍物与第一障碍物之间的对应关系,对第二障碍物进行更新,即对第一障碍物进行更新,以得到更新后的第二障碍物。实现第二障碍物与第一障碍物之间的融合,并将融合的第二障碍物,即更新后的第二障碍物作为目标障碍物,即低矮障碍物。
可选的,更新后的第二障碍物的当前位置信息为目标障碍物的当前位置信息。
在本实施例中,可选的,在根据目标关联结果对第二障碍物进行更新时,在确定目标关联结果为第二障碍物与第一障碍物关联成功时,根据目标关联结果对应的第一障碍物的位置信息对目标关联结果对应的第二障碍物的当前位置信息进行更新。在确定目标关联结果为第一障碍物关联失败时,将目标关联结果对应的第一障碍物作为新的第二障碍物。在确定目标关联结果为第二障碍物关联失败时,对目标关联结果对应的第二障碍物进行更新处理。
具体的,当目标关联结果为第二障碍物与第一障碍物关联成功时,表明待处理图像上仍存在该第二障碍物,该第二障碍物与该第一障碍物属于同一个障碍物,则可以利用该第一障碍物的位置信息,即障碍物的实际位置信息对第二障碍物的当前位置信息进行更新,即将第一障碍信息的位置信息作为第二障碍物的当前位置信息,以使更新后的第二障碍物的当前位置信息更加准确,实现目标障碍物的位置精准识别。举例来说,当第一障碍物包括障碍物a,第二障碍物包括障碍物A,当确定障碍物a和障碍物A关联成功时,表示障碍物A和障碍物a是同一个障碍物,则将障碍物a的位置信息作为障碍物A的当前位置信息,以实现对障碍物A的位置信息的更新。
具体的,当目标关联结果为第一障碍物关联失败时,表明该第一障碍物与任何第二障碍物均未对应上,该第一障碍物可能为新增障碍物,即新的障碍物进入拍摄图像所对应的区域内,则将该第一障碍物加入到第二障碍物中,即将该第一障碍物作为新的第二障碍物,以进行后续跟踪,从而进行后续的障碍物识别。相应的,该第一障碍物的位置信息便为该新的障碍物的当前位置信息,该第一障碍物的尺寸信息便为该新的障碍物的当前尺寸信息。
具体的,当目标关联结果为第二障碍物关联失败时,表明该第二障碍物与任一第一障碍物均未对应上,该第二障碍物在待处理图像上不存在,其原因包括该第二障碍物实际存在于该待处理图像对应的区域内但在当前时刻未能成功被识别或者该第二障碍物在该区域内实际并不存在,即以及离开拍摄图像对应的区域等原因。因此,为了保证跟踪结果的稳定性,需要进一步确定第二障碍物未出现在待处理图像上的原因,以利用该原因确定是否删除该第二障碍物,即对该第二障碍物进行更新处理。
可选的,在对目标关联结果对应的第二障碍物进行更新处理时,获取目标关联结果对应的第二障碍物的状态信息。判断状态信息是否满足预设删除条件。
在确定状态信息满足预设删除条件时,删除目标关联结果对应的第二障碍物。在确定状态信息不满足预设删除条件时,更新状态信息。
具体的,当目标关联结果为第二障碍物关联失败时,获取该第二障碍物的状态信息,判断该状态信息是否满足预设删除条件,以判断是否删除该第二障碍物,在确定该状态信息满足预设删除条件时,表明确定删除该第二障碍物,即表明该第二障碍物在待处理图像对应的区域内实际并不存在,则直接删除该第二障碍物,停止对该第二障碍物进行跟踪。在确定该状态信息不满足预设删除条件时,表明确定不删除该第二障碍物,即表明该第二障碍物在待处理图像对应的区域内可能存在,但该第二障碍物未能被成功识别,则更新该第二障碍物对应的状态信息。
可选的,第二障碍物对应的状态信息包括识别失败比例,其表示在待处理图像之前的预设数目的图像中未检测到该第二障碍物的比例。
以一个具体应用场景为例,预设数目为4,获取在当前时刻,即待处理图像之前拍摄的四幅图像,分别为图像1、图像2、图像3和图像4,在图像1中识别到该第二障碍物,在图像2中识别到该第二障碍物,在图像3中识别到该第二障碍物,在图像4中未识别到该第二障碍物,则该第二障碍物对应的识别失败比例为1/4。
相应的,当第二障碍物对应的状态信息包括识别失败比例时,判断状态信息是否满足预设删除条件,包括:判断识别失败比例是否大于预设比例阈值。若大于预设比例阈值,则确定状态信息满足预设删除条件。若小于或等于预设比例阈值,则确定状态信息不满足预设删除条件。
具体的,在得到第二障碍物对应的识别失败比例后,判断该识别失败比例是否大于预设比例阈值,在确定该识别失败比例大于预设比例阈值时,表明识别该第二障碍物的失败的次数较多,该第二障碍物实际已经未在待处理图像对应的区域内,可以从第二障碍物集合,即历史障碍物集中删除该第二障碍物,则确定该第二障碍物对应的状态信息满足预设删除条件。在确定该识别失败比例小于或等于预设比例阈值时,表明识别该第二障碍物的失败的次数较少,该第二障碍物可能仍在待处理图像对应的区域内,只需更新该识别比例即可。
承接上述应用场景,预设比例阈值为1/2,第二障碍物对应的识别失败比例为1/4,小于该预设比例阈值,则对该识别失败比例进行更新,即将待处理图像和在待处理图像之前的3幅图像作为确定更新后的识别失败所需的预设数目的图像,由于在待处理图像中未识别到该第二障碍物,则更新后的识别失败比例为2/4,即1/2。
在任意实施例中,可选的,根据目标障碍物对待处理区域对应的电子地图进行更新。其中,目标障碍物为高度小于预设阈值的障碍物。
具体的,在得到目标障碍物后,还可以利用该目标障碍物对电子地图进行更新,以使更新后的电子设备与实际环境更加匹配,精准度更高,从而可以根据更新后的电子地图辅助车辆做出更稳定与舒适的行驶规划。
可选的,在对电子地图进行更新时,需要将电子地图与待处理图像进行映射,即获取车辆在拍摄该待处理图像时的定位信息,即当前时刻对应的车辆定位信息,并基于该车辆定位信息,获取车辆周围区域对应的电子地图,即待处理区域对应的电子地图。将待处理区域对应的电子地图中的各个地图点分别投影至该待处理图像,以确定各个地图点是否为目标障碍物。
其中,在将地图点投影至待处理图像上时,可以按照现有投影过程进行投影,例如,在确定地图点与当前车辆之间的相对位置关系后,结合该车辆上的相机,即车载乡积极已标定得到的内外参数,并参照相机的小孔成像原理,将地图点从三维空间投影至图像的二维平面上。
其中,在确定地图点是否为目标障碍物时,当投影在待处理图像上的地图点与一个目标障碍物重合时,则确定该地图点为目标障碍物,例如,低矮障碍物。
在本实施例中,根据第二障碍物的当前位置信息以及第一障碍物的位置信息,确定第二障碍物与第一障碍物之间的关联程度,即关联矩阵,并利用该关联矩阵确定第二障碍物与第一障碍物之间的关联结果,即对应关系,以供利用对应关系确定待处理区域内的目标障碍物,即在确定待处理区域内的目标障碍物时,融合历史障碍物,即第二障碍物,实现目标障碍物的准确稳定识别,保证障碍物识别的准确率。
如图4所示,图4是本说明书根据一示例性实施例示出的一种驾驶方法的流程图,所述方法所对应的执行主体为车载终端,所述方法包括以下步骤:
步骤S401、获取更新后的电子地图。
步骤S401、基于更新后的电子地图确定驾驶路线,以使车辆根据驾驶路线进行自动驾驶。
在本实施例中,在进行自动驾驶时,可以获取更新的电子地图,并加载该更新后的电子地图,以利用更新后的电子地图,即与实际环境更加匹配的电子地图进行行驶规划,即确定车辆的驾驶路线,以使车辆可以根据该驾驶路线进行自动驾驶,保证自动驾驶的安全性、稳定性,并相应的提高舒适度。
其中,更新后的电子地图中的目标障碍物(例如,低矮障碍物)是根据上述实施例所述的障碍物识别过程确定的,在此,不再对其进行赘述。
其中,利用更新后的电子地图制定驾驶路线的过程与现有利用地图制定驾驶路线的过程类似,例如,利用电子地图中的障碍物的位置、尺寸信息进行制定,在此,不再对其进行赘述。
在本实施例中,由于更新后的电子地图与实际环境更加匹配,因此,车辆在根据基于更新后的电子地图确定的驾驶路线行驶时,可以有效地躲避目标障碍物,保证驾驶的安全性以及稳定性。
需要强调是,现有技术一般是将图像分割为可行驶区域以及不可行驶区域(其可以包括背景区域、低矮障碍物所在区域等)。基于可行驶区域,为车辆进行行驶规划,即限定车辆在可行驶区域内进行行驶,因此,在一定程度上缩小了车辆的行驶范围,且当可行驶区域划分较差时,会极大地影响车辆的行驶范围,无法更好地为车辆进行行驶规划。而本申请是仅识别图像中的目标障碍物,基于目标障碍物所在区域进行行驶规则,即使得车辆可在除目标障碍物所在区域以外的区域内进行行驶,保障车辆的行驶范围,从而可以更好地车辆进行行驶规划。
与前述方法的实施例相对应,本说明书还提供了障碍物识别装置及其所应用的终端的实施例。
本说明书障碍物识别装置的实施例可以应用在计算机设备上,例如服务器或终端设备。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图5所示,为本说明书实施例障碍物识别装置所在计算机设备的一种硬件结构图,除了图5所示的处理器510、内存530、网络接口520、以及非易失性存储器540之外,实施例中障碍物识别装置531所在的服务器或电子设备,通常根据该计算机设备的实际功能,还可以包括其他硬件,对此不再赘述。
与前述方法的实施例相对应,本说明书还提供了驾驶装置及其所应用的终端的实施例。
本说明书驾驶装置的实施例可以应用在车载终端上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图6所示,为本说明书实施例驾驶装置所在计算机设备的一种硬件结构图,除了图6所示的处理器610、内存630、网络接口620、以及非易失性存储器640之外,实施例中驾驶装置631所在的车载终端通常根据该车载终端的实际功能,还可以包括其他硬件,对此不再赘述。
如图7所示,图7是本说明书根据一示例性实施例示出的一种障碍物识别装置的框图,所述装置包括:
图像获取模块710,用于获取相机拍摄的待处理区域的待处理图像。
图像处理模块720,用于采用目标识别模型对待处理图像进行图像识别,得到第一识别结果。其中,第一识别结果包括第一障碍物的位置信息。
信息获取模块730,用于获取待处理区域中的第二障碍物的当前位置信息。其中,第二障碍物是在当前时刻之前的预设时间段内确定的障碍物。
障碍物识别模块740,用于根据第一障碍物的位置信息和第二障碍物的当前位置信息确定目标障碍物。
可选的,第一障碍物的尺寸信息包括根据第一障碍物的边缘像素点集合确定的尺寸信息和/或第一障碍物对应的矩形区域的位置信息。
在本申请的另一个实施例中,在上述图6实施例的基础上,所述目标障碍物包括低矮障碍物;
障碍物识别模块740包括:
关联矩阵确定单元,用于根据第二障碍物的当前位置信息和第一障碍物的位置信息确定第二障碍物与第一障碍物之间的关联矩阵。
关联结果确定单元,用于根据关联矩阵得到第二障碍物与第一障碍物之间的目标关联结果。
障碍物确定单元,用于根据目标关联结果对第二障碍物进行更新处理,并根据更新后的第二障碍物确定低矮障碍物。
在本实施例中,可选的,障碍物确定单元具体用于:
在确定目标关联结果为第二障碍物与第一障碍物关联成功时,根据目标关联结果对应的第一障碍物的位置信息对目标关联结果对应的第二障碍物的当前位置信息进行更新。
在确定目标关联结果为第一障碍物关联失败时,将目标关联结果对应的第一障碍物作为新的第二障碍物。
在确定目标关联结果为第二障碍物关联失败时,对目标关联结果对应的第二障碍物进行更新处理。
在本实施例中,可选的,障碍物确定单元具体用于:
获取目标关联结果对应的第二障碍物的状态信息。
判断状态信息是否满足预设删除条件。
在确定状态信息满足预设删除条件时,删除目标关联结果对应的第二障碍物。
在确定状态信息不满足预设删除条件时,更新状态信息。
在本实施例中,可选的,障碍物确定单元具体用于:
判断识别失败比例是否大于预设比例阈值。
若大于预设比例阈值,则确定状态信息满足预设删除条件。
若小于或等于预设比例阈值,则确定状态信息不满足预设删除条件。
可选的,第二障碍物的当前位置信息包括至少一种预设跟踪算法对应的第二障碍物的当前位置信息。
在本实施例中,可选的,关联矩阵确定单元具体用于:
获取每种预设跟踪算法对应的优先级。
按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并获取目标跟踪算法对应的第二障碍物的当前位置信息。
根据目标跟踪算法对应的第二障碍物的当前位置信息和第一障碍物的位置信息确定目标跟踪算法对应的关联矩阵。
在本实施例中,可选的,关联结果确定单元具体用于:
根据目标跟踪算法对应的关联矩阵确定目标跟踪算法对应的第二障碍物与第一障碍物之间的初始关联结果。
若初始关联结果存在第一障碍物关联失败和第二障碍物关联失败,则获取确定的关联矩阵的数量,并判断确定的关联矩阵的数量是否等于预设跟踪算法的数量。
若等于预设跟踪算法的数量,则对所有初始关联结果进行合并处理,得到目标关联结果。
若不等于预设跟踪算法的数量,则继续按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并根据目标跟踪算法对应的剩余第二障碍物的当前位置信息和剩余第一障碍物的位置信息确定目标跟踪算法对应的关联矩阵。其中,剩余第二障碍物对应的初始关联结果为第二障碍物关联失败,剩余第一障碍物对应的初始关联结果为第一障碍物关联失败。
在任意实施例中,可选的,信息获取模块730还用于:
在获取第二障碍物的当前位置信息之前,获取第二障碍物的历史位置信息。
对于每种预设跟踪算法,根据第二障碍物的历史位置信息和预设跟踪算法对第二障碍物进行位置预测,得到预设跟踪算法对应的第二障碍物的当前位置信息。
在任意实施例中,可选的,障碍物识别装置还包括:
地图更新模块,用于根据目标障碍物对待处理区域对应的电子地图进行更新。其中,目标障碍物为高度小于预设阈值的障碍物。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
相应的,本说明书还提供一种计算机设备,所述装置包括有处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:获取相机拍摄的待处理区域的待处理图像。采用目标识别模型对待处理图像进行图像识别,得到第一识别结果。其中,第一识别结果包括第一障碍物的位置信息。获取待处理区域中的第二障碍物的当前位置信息。其中,第二障碍物是在当前时刻之前的预设时间段内确定的障碍物。根据第一障碍物的位置信息和第二障碍物的当前位置信息确定目标障碍物。
如图8所示,图8是本说明书根据一示例性实施例示出的一种驾驶装置的框图,其应用于车载终端,所述装置包括:
地图获取模块810,用于获取更新后的电子地图。其中,更新后的电子地图是根据上述第一方面以及第一方面各种可能的设计的方法得到的。
自动驾驶模块820,用于基于更新后的电子地图确定驾驶路线,以使车辆根据驾驶路线进行自动驾驶。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
相应的,本说明书还提供一种车载终端,所述车载终端包括有处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:获取更新后的电子地图。其中,更新后的电子地图是根据上述第一方面以及第一方面各种可能的设计的方法得到的。基于更新后的电子地图确定驾驶路线,以使车辆根据驾驶路线进行自动驾驶。
本申请实施例提供一种计算机可读存储介质,其中存储有计算机程序代码,该计算机程序代码被处理器执行时实现上述方法步骤。
本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上述方法步骤。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
Claims (15)
1.一种障碍物识别方法,其特征在于,包括:
获取相机拍摄的待处理区域的待处理图像;
采用目标识别模型对所述待处理图像进行图像识别,得到第一识别结果;其中,所述第一识别结果包括第一障碍物的位置信息;
获取待处理区域中的第二障碍物的当前位置信息;其中,所述第二障碍物是在当前时刻之前的预设时间段内确定的障碍物;
根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物。
2.根据权利要求1所述的方法,其特征在于,所述目标障碍物包括低矮障碍物;
所述根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物,包括:
根据所述第二障碍物的当前位置信息和所述第一障碍物的位置信息确定所述第二障碍物与所述第一障碍物之间的关联矩阵;
根据所述关联矩阵得到所述第二障碍物与所述第一障碍物之间的目标关联结果;
根据所述目标关联结果对所述第二障碍物进行更新处理,并根据更新后的第二障碍物确定所述低矮障碍物。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标关联结果对所述第二障碍物进行更新处理,包括:
在确定所述目标关联结果为第二障碍物与第一障碍物关联成功时,根据所述目标关联结果对应的第一障碍物的位置信息对所述目标关联结果对应的第二障碍物的当前位置信息进行更新;
在确定所述目标关联结果为第一障碍物关联失败时,将所述目标关联结果对应的第一障碍物作为新的第二障碍物;
在确定所述目标关联结果为第二障碍物关联失败时,对所述目标关联结果对应的第二障碍物进行更新处理。
4.根据权利要求3所述的方法,其特征在于,所述对所述目标关联结果对应的第二障碍物进行更新处理,包括:
获取所述目标关联结果对应的第二障碍物的状态信息;
判断所述状态信息是否满足预设删除条件;
在确定所述状态信息满足预设删除条件时,删除所述目标关联结果对应的第二障碍物;
在确定所述状态信息不满足预设删除条件时,更新所述状态信息。
5.根据权利要求4所述的方法,其特征在于,所述状态信息包括识别失败比例,则所述判断所述状态信息是否满足预设删除条件,包括:
判断所述识别失败比例是否大于预设比例阈值;
若大于所述预设比例阈值,则确定所述状态信息满足预设删除条件;
若小于或等于所述预设比例阈值,则确定所述状态信息不满足预设删除条件。
6.根据权利要求2所述的方法,其特征在于,所述第二障碍物的当前位置信息包括至少一种预设跟踪算法对应的第二障碍物的当前位置信息;
所述根据所述第二障碍物的当前位置信息和所述第一障碍物的位置信息确定所述第二障碍物与所述第一障碍物之间的关联矩阵,包括:
获取每种预设跟踪算法对应的优先级;
按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并获取所述目标跟踪算法对应的第二障碍物的当前位置信息;
根据所述目标跟踪算法对应的第二障碍物的当前位置信息和所述第一障碍物的位置信息确定所述目标跟踪算法对应的关联矩阵。
7.根据权利要求6所述的方法,其特征在于,所述根据所述关联矩阵得到第二障碍物与所述第一障碍物之间的目标关联结果,包括:
根据所述目标跟踪算法对应的关联矩阵确定所述目标跟踪算法对应的第二障碍物与第一障碍物之间的初始关联结果;
若所述初始关联结果存在第一障碍物关联失败和第二障碍物关联失败,则获取确定的关联矩阵的数量,并判断确定的关联矩阵的数量是否等于所述预设跟踪算法的数量;
若等于所述预设跟踪算法的数量,则对所有初始关联结果进行合并处理,得到目标关联结果;
若不等于所述预设跟踪算法的数量,则继续按照优先级由高到低的排序,从所有预设跟踪算法中选取目标跟踪算法,并根据所述目标跟踪算法对应的剩余第二障碍物的当前位置信息和剩余第一障碍物的位置信息确定所述目标跟踪算法对应的关联矩阵;其中,所述剩余第二障碍物对应的初始关联结果为第二障碍物关联失败,所述剩余第一障碍物对应的初始关联结果为第一障碍物关联失败。
8.根据权利要求1所述的方法,其特征在于,在所述获取第二障碍物的当前位置信息之前,还包括:
获取第二障碍物的历史位置信息;
对于每种预设跟踪算法,根据所述第二障碍物的历史位置信息和所述预设跟踪算法对所述第二障碍物进行位置预测,得到所述预设跟踪算法对应的第二障碍物的当前位置信息。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述目标障碍物对待处理区域对应的电子地图进行更新;其中,所述目标障碍物为高度小于预设阈值的障碍物。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述第一障碍物的位置信息包括根据所述第一障碍物的边缘像素点集合确定的尺寸信息和/或所述第一障碍物对应的矩形区域的位置信息。
11.一种驾驶方法,其特征在于,应用于车辆,所述方法包括:
获取更新后的电子地图;其中,所述更新后的电子地图是根据权利要求1至10任一项所述的方法得到的;
基于所述更新后的电子地图确定驾驶路线,以使所述车辆根据所述驾驶路线进行自动驾驶。
12.一种障碍物识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取相机拍摄的待处理区域的待处理图像;
图像处理模块,用于采用目标识别模型对所述待处理图像进行图像识别,得到第一识别结果;其中,所述第一识别结果包括第一障碍物的位置信息;
信息获取模块,用于获取待处理区域中的第二障碍物的当前位置信息;其中,所述第二障碍物是在当前时刻之前的预设时间段内确定的障碍物;
障碍物识别模块,用于根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物。
13.一种驾驶装置,其特征在于,应用于车辆,所述装置包括:
地图获取模块,用于获取更新后的电子地图;其中,所述更新后的电子地图是根据权利要求1至10任一项所述的方法得到的;
自动驾驶模块,用于基于所述更新后的电子地图确定驾驶路线,以使所述车辆根据所述驾驶路线进行自动驾驶。
14.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如下方法:
获取相机拍摄的待处理区域的待处理图像;
采用目标识别模型对所述待处理图像进行图像识别,得到第一识别结果;其中,所述第一识别结果包括第一障碍物的位置信息;
获取待处理区域中的第二障碍物的当前位置信息;其中,所述第二障碍物是在当前时刻之前的预设时间段内确定的障碍物;
根据所述第一障碍物的位置信息和所述第二障碍物的当前位置信息确定目标障碍物。
15.一种车载终端,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如下方法:
获取更新后的电子地图;其中,所述更新后的电子地图是根据权利要求1至10任一项所述的方法得到的;
基于所述更新后的电子地图确定驾驶路线,并根据所述驾驶路线进行驾驶。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111673211.8A CN114283401A (zh) | 2021-12-31 | 2021-12-31 | 障碍物识别方法和装置以及驾驶方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111673211.8A CN114283401A (zh) | 2021-12-31 | 2021-12-31 | 障碍物识别方法和装置以及驾驶方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114283401A true CN114283401A (zh) | 2022-04-05 |
Family
ID=80879572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111673211.8A Pending CN114283401A (zh) | 2021-12-31 | 2021-12-31 | 障碍物识别方法和装置以及驾驶方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114283401A (zh) |
-
2021
- 2021-12-31 CN CN202111673211.8A patent/CN114283401A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112292711B (zh) | 关联lidar数据和图像数据 | |
CN111611853B (zh) | 一种传感信息融合方法、装置及存储介质 | |
CN111103594A (zh) | 车辆中区分虚假目标的装置和方法及包括其的车辆 | |
CN111814752B (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
CN110543807A (zh) | 验证障碍物候选的方法 | |
CN110667474B (zh) | 通用障碍物检测方法、装置与自动驾驶系统 | |
CN111723724B (zh) | 一种路面障碍物识别方法和相关装置 | |
US20210326612A1 (en) | Vehicle detection method and device | |
CN115063781A (zh) | 车位检测方法、装置、设备和存储介质 | |
US11069049B2 (en) | Division line detection device and division line detection method | |
CN111507126B (zh) | 一种驾驶辅助系统的报警方法、装置及电子设备 | |
CN115366885A (zh) | 用于辅助机动车的驾驶操作的方法、辅助装置及机动车 | |
CN110291771B (zh) | 一种目标对象的深度信息获取方法及可移动平台 | |
CN115792945B (zh) | 一种浮空障碍物检测方法、装置和电子设备、存储介质 | |
CN114170499A (zh) | 目标检测方法、跟踪方法、装置、视觉传感器和介质 | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
CN114283401A (zh) | 障碍物识别方法和装置以及驾驶方法和装置 | |
CN113011212B (zh) | 图像识别方法、装置及车辆 | |
CN112706159B (zh) | 机器人控制方法、装置及机器人 | |
CN113516685A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
JP2017211765A (ja) | 物体認識装置 | |
US20240062505A1 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |