CN115690739A - 多传感器融合障碍物存在性检测方法和自动驾驶车辆 - Google Patents
多传感器融合障碍物存在性检测方法和自动驾驶车辆 Download PDFInfo
- Publication number
- CN115690739A CN115690739A CN202211350028.9A CN202211350028A CN115690739A CN 115690739 A CN115690739 A CN 115690739A CN 202211350028 A CN202211350028 A CN 202211350028A CN 115690739 A CN115690739 A CN 115690739A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- sensor
- existence probability
- probability
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 151
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 claims description 68
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 230000004888 barrier function Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种多传感器融合障碍物存在性检测方法和自动驾驶车辆,涉及人工智能技术领域,具体涉及自动驾驶技术领域。具体实现方案为:在车辆中可对同一个区域进行检测的多个传感器中的至少一个第一传感器检测到障碍物的情况下,针对至少一个第一传感器中的目标第一传感器,根据目标第一传感器和多个传感器中除了目标第一传感器之外的其他传感器之间的传感器融合数据,确定基于目标第一传感器的障碍物的存在概率,并基于各个目标第一传感器的障碍物的存在概率,确定障碍物的当前存在概率,根据当前存在概率和障碍物的历史存在概率,确定障碍物的存在性检测结果。由此,提高了障碍物的存在性检测结果的准确性,有利于车辆的安全驾驶。
Description
技术领域
本公开涉及为人工智能领域,具体涉及自动驾驶技术领域,尤其涉及多传感器融合障碍物存在性检测方法和自动驾驶车辆。
背景技术
目前,随着车辆技术的发展,可通过在车辆上安装多个传感器辅助驾驶。在现有的自动驾驶技术中,如何基于多个传感器的传感器数据来确定出障碍物的存在性检测结果,对于车辆的安全驾驶是十分重要的。
发明内容
本公开提供了一种用于障碍物的存在性检测结果的确定方法、装置和存储介质。
根据本公开的一方面,提供了一种障碍物的存在性检测结果的确定方法,应用于车辆中,所述车辆包括:可对同一个区域进行检测的多个传感器,所述多个传感器的类型不同,所述方法包括:针对至少一个第一传感器中的任意一个目标第一传感器,根据所述目标第一传感器和其他传感器之间的传感器融合数据,确定基于所述目标第一传感器的所述障碍物的第一存在概率,其中,所述第一传感器是所述多个传感器中检测到所述区域中存在障碍物的传感器,所述其他传感器是所述多个传感器中除了所述目标第一传感器之外的传感器;根据各个所述目标第一传感器的所述障碍物的第一存在概率,确定所述障碍物的当前存在概率;获取所述障碍物的历史存在概率;根据所述当前存在概率和所述历史存在概率,确定所述障碍物的总存在概率;根据所述总存在概率,确定所述障碍物的存在性检测结果。
根据本公开的另一方面,提供了一种障碍物的存在性检测结果的确定装置,应用于车辆中,所述车辆包括:可对同一个区域进行检测的多个传感器,所述装置包括:第一确定模块,用于针对至少一个第一传感器中的任意一个目标第一传感器,根据所述目标第一传感器和其他传感器之间的传感器融合数据,确定基于所述目标第一传感器的所述障碍物的第一存在概率,其中,所述第一传感器是所述多个传感器中检测到所述区域中存在障碍物的传感器,所述其他传感器是所述多个传感器中除了所述目标第一传感器之外的传感器;第二确定模块,用于根据各个所述目标第一传感器的所述障碍物的第一存在概率,确定所述障碍物的当前存在概率;获取模块,用于获取所述障碍物的历史存在概率;第三确定模块,用于根据所述当前存在概率和所述历史存在概率,确定所述障碍物的总存在概率;第四确定模块,用于根据所述总存在概率,确定所述障碍物的存在性检测结果。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开的障碍物的存在性检测结果的确定方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开实施例公开的障碍物的存在性检测结果的确定方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现本公开的障碍物的存在性检测结果的确定方法。
根据本公开的另一方面,提供了一种自动驾驶车辆,包括本公开实施例公开的电子设备。
上述申请中的一个实施例具有如下优点或有益效果:
在车辆中可对同一个区域进行检测的多个传感器中的至少一个第一传感器检测到障碍物的情况下,针对至少一个第一传感器中的任意一个目标第一传感器,根据目标第一传感器和多个传感器中除了目标第一传感器之外的其他传感器之间的传感器融合数据,确定基于目标第一传感器障碍物的第一存在概率,并根据各个所述目标第一传感器的所述障碍物的第一存在概率,确定所述障碍物的当前存在概率,并基于该障碍物的历史存在概率和当前存在概率,确定存在障碍物的总存在概率;根据总存在概率,确定障碍物的存在性检测结果。由此,结合各个能检测到障碍物的第一传感器的障碍物的存在概率,确定出障碍物的当前存在概率,并基于障碍物的当前存在概率和历史存在概率,确定障碍物的存在性检测结果,提高了障碍物的存在性检测结果的准确性,有利于车辆的安全驾驶。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开第二实施例的示意图;
图3是根据本公开第三实施例的示意图;
图4是根据本公开第四实施例的示意图;
图5是根据本公开第五实施例的示意图;
图6是根据本公开第六实施例的示意图;
图7是根据本公开第七实施例的示意图;
图8是根据本公开第八实施例的示意图;
图9是根据本公开第九实施例的示意图;
图10是根据本公开第十实施例的示意图;
图11是根据本公开第十一实施例的示意图;
图12是根据本公开第十二实施例的示意图;
图13是用来实现本公开实施例的障碍物的存在性检测结果的确定方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
相关技术中,通常车辆的感知系统所关注的感知区域中至少有两个传感器,并基于多个传感器的传感器数据进行融合处理,并基于融合处理结果来确定感知区域中障碍物的存在性检测结果,即,基于融合处理结果来确定感知区域中障碍物是否是真实的障碍物,即确定感知区域中障碍物是否是真实的障碍物。
然而,在传感器检测性能不稳定的情况下,障碍物存在性检测结果存在波动,所输出的障碍物的存在性检测结果可能不准确,不利于车辆的安全行驶。
为此,本公开提出了一种障碍物的存在性检测结果的确定方法,在车辆中可对同一个区域进行检测的多个传感器中的至少一个第一传感器检测到障碍物的情况下,针对至少一个第一传感器中的任意一个目标第一传感器,根据目标第一传感器和多个传感器中除了目标第一传感器之外的其他传感器之间的传感器融合数据,确定基于目标第一传感器障碍物的第一存在概率,并根据各个目标第一传感器的障碍物的第一存在概率,确定障碍物的当前存在概率,并基于该障碍物的历史存在概率和当前存在概率,确定存在障碍物的总存在概率;根据总存在概率,确定障碍物的存在性检测结果。由此,结合各个能检测到障碍物的第一传感器的障碍物的存在概率,确定出障碍物的当前存在概率,并基于障碍物的当前存在概率和历史存在概率,确定障碍物的存在性检测结果,提高了障碍物的存在性检测结果的准确性,有利于车辆的安全驾驶。
下面参考附图描述本公开实施例的障碍物的存在性检测结果的确定方法、装置、自动驾驶车辆和存储介质。
图1是根据本公开第一实施例的示意图,该实施例提供一种障碍物的存在性检测结果的确定方法。
如图1所示,该障碍物的存在性检测结果的确定方法可以包括:
步骤101,针对至少一个第一传感器中的任意一个目标第一传感器,根据目标第一传感器和其他传感器之间的传感器融合数据,确定基于目标第一传感器的障碍物的第一存在概率,其中,第一传感器是多个传感器中检测到区域中存在障碍物的传感器,其他传感器是多个传感器中除了目标第一传感器之外的传感器。
其中,需要说明的是,本实施例中障碍物的存在性检测结果的确定方法的执行主体为障碍物的存在性检测结果的确定装置,该障碍物的存在性检测结果的确定装置可以由软件和/或硬件实现,该障碍物的存在性检测结果的确定装置可以为电子设备,或者,可以配置在电子设备。
其中,该电子设备可以配置在车辆中,该车辆中可以配置有辅助系统或者自动驾驶系统。
其中,本示例中的车辆包括:可对同一个区域进行检测的多个传感器。
其中,本示例中的多个传感器的类型可以是相同的,也可以是不同的。
可以理解的是,不同类型的传感器,在不同环境下,对于障碍物的检测性能是不同的。因此,在一些示例性中,为了可进一步提高该区域中障碍物的检测的准确性,上述多个传感器的类型可以是不相同的。
其中,本示例中以多个传感器的类型不同为例进行示例性描述。例如,可对同一个区域进行检测的多个传感器可以为激光雷达和毫米波雷达,或者,激光雷达和毫米波雷达,或者,视觉相机和毫米波雷达,或者,激光雷达、视觉相机和毫米波雷达。
其中,本示例中的区域是指该车辆周围的区域,例如,该区域可以车辆的前面区域、左侧区域、右侧区域和后面区域中的任意一个区域,该实施里对此不作具体限定。
在一些示例中,车辆上可安装多种传感器,例如,摄像头、激光雷达、毫米波雷达等等。
其中,本示例中的其他传感器的数量可以是一个,或者可以是多个,该实施例对此不作具体限定。
在一些示例性的实施方式中,可基于目标第一传感器和其他传感器之间的传感器融合数据,对该障碍物进行检测,以得到基于该目标第一传感器的障碍物的第一存在概率。
在一些示例中,可将目标第一传感器和其他传感器之间的传感器融合数据输入预先训练的神经网络模型中,以得到基于目标第一传感器的该障碍物的第一存在概率。
其中,第一存在概率用于表示该区域中存在该障碍物的可能性的大小,可以理解的是,第一存在概率越大表示该区域中存在该障碍物的可能性越高,第一存在概率越小表示该区域中存在该障碍物的可能性越低。
其中,目标第一传感器和其他传感器之间的传感器融合数据是通过下述方式获得的:将目标第一传感器输出的当前帧数据和其他传感器输出的当前帧数据进行融合处理,以得到传感器融合数据。
在一些示例性的实施方式中,针对多个传感器,在一个传感器检测到该区域中存在障碍物的情况下,可获取该障碍物所在的航迹,并确定出传感器所输出的障碍物的测量航迹,确定该障碍物所在的航迹和测量航迹是否对应同一个障碍物,如果是,则将该传感器作为第一传感器。
其中,可以理解的是,本示例中的第一传感器的数量可以为一个或者多个。
步骤102,根据各个目标第一传感器的障碍物的第一存在概率,确定障碍物的当前存在概率。
可以理解的是,在不同应用场景中,根据各个目标第一传感器的障碍物的第一存在概率,确定障碍物的当前存在概率的实现方式不同,示例说明如下:
作为一种示例,可对各个目标第一传感器的障碍物的第一存在概率进行加权求和,并将所得到的结果作为障碍物的当前存在概率。
作为另一种示例,可从各个目标第一传感器的障碍物的第一存在概率中获取最大存在概率,并将最大存在概率作为障碍物的当前存在概率。
步骤103,获取障碍物的历史存在概率。
在一些示例性的实施方式中,获取障碍物的历史存在概率可通过多种方式实现,例如,可根据预先保存的障碍物和历史存在概率两者之间的关系,获取该障碍物的历史存在概率。又例如,可对所有检测到该障碍物的各传感器的历史传感器数据进行融合处理,并基于融合结果确定出该障碍物的历史存在概率。
步骤104,根据当前存在概率和历史存在概率,确定障碍物的总存在概率。
在一些示例性的实施方式中,可对当前存在概率和历史存在概率进行加权处理,以得到障碍物的总存在概率。
在一些示例性的实施方式中,可根据当前存在概率和历史存在概率,确定障碍物的总存在概率的一种可能实现方式为:确定当前存在概率与历史存在概率的乘积值;确定当前存在概率与历史存在概率的和值;根据乘积值和和值,确定障碍物的总存在概率。由此,结合当前存在概率和历史存在概率,准确地确定出障碍物的总存在概率。
作为一种示例,可根据预先保存的乘积值、和值和存在概率三者之间的对应关系,获取该与乘积值和和值所对应的存在概率,并将所获取到的存在概率作为障碍物的总存在概率。
作为另一种示例,可确定出乘积值和和值之间的比值,并将该比值与预设的系数值进行相乘处理,以得到当前检测区域中存在障碍物的总存在概率。
其中,上述预设的系数值是根据实际需求而设置的系数值,例如,上述预设的系数值可以为2。
在一些示例中,在预设的系数值为2的情况下,用于计算障碍物的总存在概率PE的公式如下:
其中,公式中的PEC表示障碍物的当前存在概率;公式中的PEH表示障碍物的历史存在概率。
步骤105,根据总存在概率,确定障碍物的存在性检测结果。
在一些示例性的实施方式中,在确定出障碍物的总存在概率后,可将总存在概率与预设的存在概率阈值进行大小比较,在总存在概率小于预设的存在概率阈值的情况下,确定障碍物的存在性检测结果为存在。其中,可以理解的是,在存在性检测结果为存在的情况下,说明该区域中确实存在该障碍物,即,该障碍物为真实的障碍物。
在一些示例中,在总存在概率大于或者等于预设的存在概率阈值的情况下,确定障碍物的存在性检测结果为不存在。其中,可以理解的是,在存在性检测结果为不存在的情况下,说明该区域中不存在该障碍物,即,该障碍物不是真实的障碍物。
其中,预设的存在概率阈值是在障碍物的存在性检测结果的确定装置中预先设置的。
可以理解的是,在实际应用中,可根据实际需求来预先设置该存在概率阈值的取值,该实施例对此不作具体限定。
本公开实施例的障碍物的存在性检测结果的确定方法,在车辆中可对同一个区域进行检测的多个传感器中的至少一个第一传感器检测到障碍物的情况下,针对至少一个第一传感器中的任意一个目标第一传感器,根据目标第一传感器和多个传感器中除了目标第一传感器之外的其他传感器之间的传感器融合数据,确定基于目标第一传感器障碍物的第一存在概率,并根据各个目标第一传感器的障碍物的第一存在概率,确定障碍物的当前存在概率,并基于该障碍物的历史存在概率和当前存在概率,确定存在障碍物的总存在概率;根据总存在概率,确定障碍物的存在性检测结果。由此,结合各个能检测到障碍物的第一传感器的障碍物的存在概率,确定出障碍物的当前存在概率,并基于障碍物的当前存在概率和历史存在概率,确定障碍物的存在性检测结果,提高了障碍物的存在性检测结果的准确性,有利于车辆的安全驾驶。
在一些示例性的实施方式中,在第一传感器为一个,其他传感器为至少一个的情况下。为了可以清楚理解是如何确定该障碍物的当前存在概率,本实施例还提出了一种障碍物的存在性检测结果的确定方法。下面结合图2对该障碍物的存在性检测结果的确定方法进行示例性描述。
图2是根据本公开第二实施例的示意图。
如图2所示,该方法可以包括:
步骤201,在多个传感器中只有一个第一传感器检测到区域中存在障碍物的情况下,确定第一传感器与各个其他传感器之间的传感器融合数据。
例如,在第一传感器为一个,其他传感器为一个的情况下,第一传感器可以为激光雷达和视觉相机中的一个,其他传感器可以为激光雷达和视觉相机中的另一个。
又例如,在第一传感器为一个,其他传感器为一个的情况下,第一传感器可以为激光雷达和毫米波雷达中的一个,其他传感器可以为激光雷达和毫米波雷达中的另一个。
又例如,在第一传感器为一个,其他传感器为一个的情况下,第一传感器可以为毫米波雷达和视觉相机中的一个,其他传感器可以为毫米波雷达和视觉相机中的另一个。
在一些示例性的实施方式中,针对各个其他传感器,可对第一传感器和其他传感器输出的当前帧数据进行数据融合,以得到传感器融合数据。由此,通过对两个传感器输出的当前帧数据进行数据融合,以准确得到对应两个传感器之间的传感器融合数据。
在一些示例性的实施方式中,为了对第一传感器和其他传感器的当前帧数据进行准确数据融合,可将第一传感器输出的当前帧数据转换到世界坐标系下,以得到转换后的第一数据;针对各个其他传感器,可将其他传感器输出的当前帧数据转换到世界坐标系下,以得到转换后的第二数据;对第一数据和第二数据进行数据融合,以得到第一传感器和其他传感器之间的传感器融合数据。
在一些示例性的实施方式中,可根据第一传感器对应的传感器坐标系和世界坐标系统之间的转换关系,将第一传感器输出的当前帧数据转换奥世界坐标系下,以得到转换后的第一数据。
在另一些示例性的实施方式中,可根据其他传感器对应的传感器坐标系和世界坐标系统之间的转换关系,将其他传感器输出的当前帧数据转换奥世界坐标系下,以得到转换后的第二数据。
其中,上述转换关系可以通过转换矩阵来表示。
步骤202,确定各个传感器融合数据各自所确定出的障碍物的存在概率。
在本公开的一个实施例中,针对各个传感器融合数据,可对该传感器融合数据进行该障碍物地检测,以得到该传感器融合数据所确定出的障碍物的存在概率。
在一些示例性的实施方式中,可将传感器融合数据输入到预先训练的神经网络模型中,以得到该传感器融合数据所确定出的障碍物的存在概率。
步骤203,根据各个存在概率,确定基于该第一传感器的障碍物的第一存在概率,并将所确定出的第一存储概率作为障碍物的当前存在概率。
也就是说,在第一传感器为一个,其他传感器为一个或者多个的情况下,可将该第一传感器的障碍物的第一存在概率直接作为障碍物的当前存在概率
在一些示例中,可对各个存在概率进行求平均处理,以得到该障碍物的当前存在概率。
在另一些示例中,可对各个存在概率进行加权求和处理,以得到该障碍物的当前存在概率。
在另一些示例中,可获取各个存在概率中的最大概率值,并将最大概率值作为该障碍物的当前存在概率。
步骤204,获取障碍物的历史存在概率。
在一些示例中,上述获取障碍物的历史存在概率的一种可能实现方式为:获取当前帧数据之前的预设数量的多个历史帧数据,其中,多个历史帧数据中均可检测到障碍物;获取多个历史帧数据各自对应的障碍物的存在概率;根据多个历史帧数据各自对应的障碍物的存在概率,获取障碍物的历史存在概率。由此,可准确确定出障碍物的历史存在概率。
其中,预设数量是根据实际需求而预先设置的,例如,预设数量可以为5,也可以为6。
在一些示例性的实施方式中,可对多个历史帧数据各自对应的障碍物的存在概率进行求平均处理,以得到障碍物的历史存在概率。
在另一些示例性的实施方式中,可基于如下的方式对多个历史帧数据各自对应的障碍物的存在概率进行计算,以得到障碍物的历史存在概率。
其中,用于计算障碍物的历史存在概率PEH的公式如下:
其中,公式中的N表示在当前帧数据之前的可检测到该障碍物的历史数据帧的总数量,Nw表示预设数量,PEj表示历史帧序列中的第j个历史帧数据所对应的障碍物的存在概率,其中,历史帧序列是指按照各个历史帧标识数据所对应的帧标识信息对Nw个历史帧数据进行排序所得到的序列。
在一些示例性的实施方式中,获取多个历史帧数据各自对应的障碍物的存在概率的一种可能实现方式可以为:从预先保存的存在概率列表中,获取多个历史帧数据各自对应的障碍物的存在概率。由此,准确得到了多个历史帧数据各自对应的障碍物的存在概率。
其中,本示例中的存在概率列表中保存有可检测到该障碍物的各个历史帧数据与其各自所对应的障碍物的总存在概率之间的关联关系。
具体地,针对每个历史帧数据,可根据该历史帧数据所对应的帧标识信息,从该预先保存的存在概率列表中获取该帧标识信息所对应的障碍物的总存在概率,并将所获取到的总存在概率作为该历史帧数据所对应的障碍物的存在概率。
在一些示例性的实施方式中,为了方便可基于当前帧数据所对应的障碍物的总存在概率,对下一帧数据进行处理,还可以建立当前帧数据对应的帧标识信息和总存在概率之间的关联关系,并将关联关系保存到存在概率列表中。由此,以方便从该存在概率列表中获取当前帧数据所对应的障碍物的总存在概率。
步骤205,根据当前存在概率和历史存在概率,确定障碍物的总存在概率。
步骤206,根据总存在概率,确定障碍物的存在性检测结果。
其中,需要说明的是,关于步骤205和步骤206的具体实现方式,可参见本公开实施例的相关描述,此处不再赘述。
在本示例实施例中,确定出第一传感器和各个其他传感器之间的传感器融合数据,并确定出各个传感器融合所确定出的障碍物的存在概率,并基于各个存在概率,准确确定出障碍物的当前存在概率,提高了确定出障碍物的当前存在概率的准确性。
其中,可以理解的是,在第一传感器为一个的情况下,第一传感器和目标第一传感器是相同的。也就是说,可直接将第一传感器作为目标第一传感器。
在本公开的一个实施例中,在第一传感器为一个,其他传感器为一个的情况下,可确定出该第一传感器和其他传感器之间的传感器融合数据,并根据传感器融合数据确定出基于该第一传感器的障碍物的第一存在概率,并将该第一存在概率作为障碍物的当前存在概率,对应地,获取障碍物的历史存在概率;根据当前存在概率和历史存在概率,确定障碍物的总存在概率;根据总存在概率,确定障碍物的存在性检测结果。在第一传感器为一个,其他传感器为至少一个的情况下,为了可以清楚理解确定障碍物的当前存在概率的过程,下面结合三个示例进行示例性描述。
第一个示例,在可对同一个区域进行检测的多个传感器,分别为激光雷达、视觉相机和毫米波雷达,并且在第一传感器为激光雷达,其他传感器为视觉相机和毫米波雷达的情况下,下面结合图3对结合可激光雷达、视觉相机和毫米波雷达确定出该障碍物的当前存在概率的过程进行示例性描述,具体而言为:步骤301,基于激光雷达所输出的当前帧点云数据,确定出障碍物的点云数据;步骤302,将障碍物的点云数据和视觉相机所输出的当前帧图像数据进行融合,以得到激光雷达和视觉相机之间的第一传感器融合数据,并确定第一传感器融合数据所确定出的障碍物的存在概率;步骤303,将障碍物的点云数据和毫米波雷达输出的当前帧点云数据进行融合,以得到激光雷达和毫米波雷达之间的第二传感器融合数据,并确定第二传感器融合数据所确定出的障碍物的存在概率;步骤304,根据第一传感器融合数据所确定出的障碍物的存在概率和第二传感器融合数据所确定出的障碍物的存在概率,确定出基于激光雷达的该障碍物的第一存在概率,并将第一存在概率作为该障碍物的当前存在概率。
其中,本示例中根据第一传感器融合数据所确定出的障碍物的存在概率和第二存在概率,确定基于激光雷达的该障碍物的第一存在概率的计算公式为:
其中,公式中的PL表示基于激光雷达的该障碍物的第一存在概率,PL1表示第一传感器融合数据所确定出的障碍物的存在概率,PL2表示第二传感器融合数据所确定出的障碍物的存在概率。
对应地,障碍物的当前存在概率PEC=PL。
第二个示例,在可对同一个区域进行检测的多个传感器为三个,并且三个传感器分别为激光雷达、视觉相机和毫米波雷达,在第一传感器为视觉相机,其他传感器为激光雷达和毫米波雷达的情况下,下面结合图4对结合可激光雷达、视觉相机和毫米波雷达确定出该障碍物的当前存在概率的过程进行示例性描述,具体而言为:步骤401,基于视觉相机所输出的当前帧图像数据,确定出障碍物所在的图像区域;步骤402,将图像区域和激光雷达所输出的当前帧点云数据进行融合,以得到视觉相机和激光雷达之间的第一传感器融合数据,并确定第一传感器融合数据所确定出的障碍物的存在概率;步骤403,将图像区域和毫米波雷达输出的当前帧点云数据进行融合,以得到视觉相机和毫米波雷达之间的第二传感器融合数据,并确定第二传感器融合数据所确定出的障碍物的存在概率;步骤405,根据第一传感器融合数据所确定出的障碍物的存在概率和第二传感器融合数据所确定出的障碍物的存在概率,确定出基于视觉相机的该障碍物的第一存在概率,并直接将所确定出的第一存在概率作为障碍物的当前存在概率。
其中,本示例中根据第一传感器融合数据所确定出的障碍物的存在概率和第二传感器融合数据所确定出的障碍物的存在概率,确定出基于视觉相机的该障碍物的第一存在概率的计算公式为:
其中,公式中的PC表示基于视觉相机的该障碍物的第一存在概率,PC1表示第一传感器融合数据所确定出的障碍物的存在概率,PC2表示第二传感器融合数据所确定出的障碍物的存在概率。
对应地,在本示例中,障碍物的当前存在概率PEC=PC。
第三个示例,在可对同一个区域进行检测的多个传感器为三个,并且三个传感器分别为激光雷达、视觉相机和毫米波雷达,在第一传感器为毫米波雷达,其他传感器为激光雷达和视觉相机的情况下,下面结合图5对结合可激光雷达、视觉相机和毫米波雷达确定出该障碍物的当前存在概率的过程进行示例性描述,具体而言为:步骤501,基于毫米波雷达所输出的当前帧点云数据,确定出障碍物所对应的点云数据;步骤502,将障碍物所对应的点云数据和激光雷达所输出的当前帧点云数据进行融合,以得到毫米波雷达和激光雷达之间的第一传感器融合数据,并确定第一传感器融合数据所确定出的障碍物的存在概率;步骤503,将障碍物所对应的点云数据和视觉相机所输出的当前帧图像数据进行融合,以得到毫米波雷达和视觉相机之间的第二传感器融合数据,并确定第二传感器融合数据所确定出的障碍物的存在概率;步骤505,根据第一传感器融合数据所确定出的障碍物的存在概率和第二传感器融合数据所确定出的障碍物的存在概率,确定出该毫米波雷达的障碍物的第一存在概率,并将所确定出的第一存在概率作为障碍物的当前存在概率。
其中,本示例中根据第一传感器融合数据所确定出的障碍物的存在概率和第二传感器融合数据所确定出的障碍物的存在概率,确定出该毫米波雷达的障碍物的第一存在概率的计算公式为:
其中,公式中的PR表示基于该毫米波雷达的障碍物的第一存在概率,PR1表示第一传感器融合数据所确定出的障碍物的存在概率,PR2表示第二传感器融合数据所确定出的障碍物的存在概率。
对应地,障碍物的当前存在概率PEC=PR。
在一些示例性的实施方式中,在第一传感器为多个的情况下,任意多个第一传感器中的任意一个目标第一传感器,为了可以更准确地确定出该障碍物的当前存在概率,还可以结合目标第一传感器和其他第一传感器之间的障碍物融合数据以及目标第一传感器和其他传感器之间的传感器融合数据,来确定出该障碍物的当前存在概率。其中,其他第一传感器是指多个第一传感器中除了该目标第一传感器之外的第一传感器。为了可以清楚了解该过程,下面结合图6对该实施例的方法进行示例性描述。
图6是根据本公开第六实施例的示意图。
如图6所示,该方法可以包括:
步骤601,针对至少一个第一传感器中的任意一个目标第一传感器,根据目标第一传感器和其他传感器之间的传感器融合数据,确定基于目标第一传感器的障碍物的第一存在概率。
其中,关于步骤601的具体实现方式,可参见本公开实施例的相关描述,此处不再赘述。
步骤602,根据目标第一传感器和其他第一传感器之间的障碍物融合数据,确定基于目标第一传感器的障碍物的第二存在概率。
针对每个第一传感器而言,该第一传感器所确定出的障碍物的障碍数据是对第一传感器所输出的当前帧数据进行障碍物检测所得到的。
步骤603,根据各个目标第一传感器的障碍物的第一存在概率和第二存在概率,确定障碍物的当前存在概率。
在一些示例性的实施方式中,为了可以准确地确定出障碍物的当前存在概率,上述步骤603的一种可能实现方式为:可对各个第一存在概率和各个第二存在概率进行求平均处理,以得到障碍物的当前存在概率。也就是说,可将各个第一存在概率和各个第二存在概率形成存在概率集合,并对存在概率集合中的存在概率进行求平均处理,以得到该障碍物的当前存在概率。
在一些示例性的实施方式中,上述步骤603的一种可能实现方式为:获取各个第一存在概率和各个第二存在概率中的最大存在概率;将最大存在概率作为障碍物的当前存在概率。由此,准确确定出障碍物的当前存在概率。
例如,第一传感器为激光雷达和视觉相机,其他传感器为毫米波雷达。对应地,基于激光雷达和视觉相机的障碍物融合所确定出的障碍物的第二存在概率用PLC表示,根据激光雷达与视觉相机之间的传感器融合数据以及激光雷达与毫米波雷达之间的传感器融合数据确定出基于激光雷达的障碍物的第一存在概率用PL表示;根据视觉相机与激光雷达之间的传感器融合数据以及视觉相机与毫米波雷达之间的传感器融合数据,确定出基于视觉相机的障碍物的第一存在概率用PC表示;对应地,障碍物的当前存在概率PEC=max{PLC,PL,PC}。
又例如,第一传感器为激光雷达和毫米波雷达,其他传感器为视觉相机。对应地,基于激光雷达和毫米波雷达的障碍物融合所确定出的障碍物的第二存在概率用PLR表示,根据激光雷达与视觉相机之间的传感器融合数据以及激光雷达与毫米波雷达之间的传感器融合数据,确定出基于激光雷达的障碍物的第一存在概率用PL表示;根据毫米波雷达与视觉相机之间的传感器融合数据以及毫米波雷达与激光波雷达之间的传感器融合数据,确定出基于毫米波雷达的障碍物的第一存在概率用PR,对应的,障碍物的当前存在概率PEC=max{PLR,PL,PR}。
又例如,第一传感器为毫米波雷达和视觉相机,其他传感器为激光雷达。对应地,基于毫米波雷达和视觉相机的障碍物融合所确定出的障碍物的第二存在概率用PCR表示,根据毫米波雷达与视觉相机之间的传感器融合数据以及毫米波雷达与激光波雷达之间的传感器融合数据,确定出基于毫米波雷达的障碍物的第一存在概率用PR;根据视觉相机与激光雷达之间的传感器融合数据以及视觉相机与毫米波雷达之间的传感器融合数据,确定出基于视觉相机的障碍物的第一存在概率用PC表示;对应地,障碍物的当前存在概率PEC=max{PCR,PC,PR}。
步骤604,获取障碍物的历史存在概率。
步骤605,根据当前存在概率和历史存在概率,确定障碍物的总存在概率。
步骤606,根据总存在概率,确定障碍物的存在性检测结果。
其中,需要说明的是,关于步骤604至步骤606的具体实现方式,可参见本公开实施例的相关描述,此处不再赘述。
在本示例的实施例中,根据各个目标第一传感器的障碍物的第一存在概率,确定障碍物的当前存在概率,并根据目标第一传感器和其他传感器之间的传感器融合数据,确定基于目标第一传感器的障碍物的第一存在概率,基于各个第一存在概率和第二存在概率来确定该障碍物的当前存在概率,可提高障碍物的当前存在概率的准确度,继而基于当前存在概率和该障碍物的历史存在概率,可准确确定出该障碍物的存在性检测结果,可进一步提高存在性检测结果的准确性。
为了可以清楚理解确定障碍物的当前存在概率的过程,下面结合几个示例,对该过程进行示例性描述:
第一个示例,第一传感器包括激光雷达和视觉相机,其他传感器为毫米波雷达,即,在本示例中可关联到该障碍物的传感器包括激光雷达和视觉相机,未检测到该障碍物的传感器为毫米波雷达。对应地,结合激光雷达、视觉相机和毫米波雷达,确定出该障碍物的当前存在概率的示例性过程如图7所示,具体过程为:步骤701,根据激光雷达与视觉相机之间的传感器融合数据以及激光雷达与毫米波雷达之间的传感器融合数据,确定出基于激光雷达的障碍物的第一存在概率;步骤702,根据视觉相机与激光雷达之间的传感器融合数据以及视觉相机与毫米波雷达之间的传感器融合数据,确定出基于视觉相机的障碍物的第一存在概率;步骤703,基于激光雷达所输出的当前帧点云数据,确定出障碍物的第一障碍物数据;步骤704,基于视觉相机所输出的当前帧图像数据,确定出该障碍物所对应的第二障碍物数据;步骤705,对障碍物的第一障碍物数据和第二障碍物数据进行融合,以得到障碍物融合数据,并确定出障碍物融合所对应的第二存在概率;步骤706,根据基于激光雷达的障碍物的第一存在概率、基于视觉相机的障碍物的第一存在概率和第二存在概率,确定出障碍物的当前存在概率。
在一个示例中,根据激光雷达与视觉相机之间的传感器融合数据以及激光雷达与毫米波雷达之间的传感器融合数据,确定出基于激光雷达的障碍物的第一存在概率PL的具体实现方式为:确定出激光雷达与视觉相机之间的传感融合数据所对应的障碍物的存在概率PL1,确定出激光雷达与毫米波雷达之间的传感器融合数据所对应的障碍物的存在概率PL2,根据存在概率PL1和存在概率PL2,确定基于激光雷达的障碍物的第一存在概率PL。其中,计算PL的公式为:
在一个示例中,根据视觉相机与激光雷达之间的传感器融合数据以及视觉相机与毫米波雷达之间的传感器融合数据,确定出视觉相机的障碍物的第一存在概率PC的具体实现方式为:确定视觉相机与激光雷达之间的传感器融合数据所对应的障碍物的存在概率PC1;确定视觉相机与毫米波雷达之间的传感器融合数据所对应的障碍物的存在概率PC2,根据存在概率PC1和存在概率PC2,确定出基于视觉相机的障碍物的第一存在概率PC。其中,计算PC的公式为:
在一些示例中,可将基于激光雷达的障碍物的第一存在概率、基于视觉相机的障碍物的第一存在概率和第二存在概率中的最大存在概率作为该障碍物的当前存在概率。
第二个示例,第一传感器为激光雷达和毫米波雷达,其他传感器为视觉相机。也就是说,在本示例中可关联到该障碍物的传感器包括毫米波雷达和激光雷达,即可检测同一个障碍物的传感器包括毫米波雷达和激光雷达,未检测到该障碍物的传感器为视觉相机。对应地,结合激光雷达、视觉相机和毫米波雷达,确定出该障碍物的当前存在概率的示例性过程如图8所示,具体过程可以为:步骤801,根据激光雷达与视觉相机之间的传感器融合数据以及激光雷达与毫米波雷达之间的传感器融合数据,确定出基于激光雷达的障碍物的第一存在概率;步骤802,根据视觉相机与激光雷达之间的传感器融合数据以及视觉相机与毫米波雷达之间的传感器融合数据,确定出基于视觉相机的障碍物的第一存在概率;步骤803,基于激光雷达所输出的当前帧点云数据,确定出障碍物的第一障碍物数据;步骤804,基于毫米波雷达所输出的当前帧点云数据,确定出该障碍物的第二障碍物数据;步骤805,对障碍物的第一障碍物数据和第二障碍物数据进行融合,以得到障碍物融合数据,并确定出障碍物融合所对应的第二存在概率;步骤806,根据基于视觉相机的障碍物的第一存在概率、基于激光雷达的障碍物的第一存在概率和第二存在概率,确定出障碍物的当前存在概率。
第三个示例,第一传感器包括毫米波雷达和视觉相机,其他传感器仅包括激光雷达,可检测到障碍物的传感器分别为毫米波雷达和视觉相机,未检测到障碍物的传感器为激光雷达。对应地,结合激光雷达、视觉相机和毫米波雷达,确定出该障碍物的当前存在概率的示例性过程如图9所示,具体过程为:步骤901,根据毫米波雷达与视觉相机之间的传感器融合数据以及毫米波雷达与激光波雷达之间的传感器融合数据,确定出基于毫米波雷达的障碍物的第一存在概率;步骤902,根据视觉相机与激光雷达之间的传感器融合数据以及视觉相机与毫米波雷达之间的传感器融合数据,确定出基于视觉相机的障碍物的第一存在概率;步骤903,基于毫米波雷达所输出的当前帧点云数据,确定出障碍物的第一障碍物数据;步骤904,基于视觉相机所输出的当前帧图像数据,确定出该障碍物的第二障碍物数据;步骤905,对障碍物的第一障碍物数据和第二障碍物数据进行融合,以得到障碍物融合数据,并确定出障碍物融合所对应的第二存在概率;步骤906,根据确定出基于视觉相机的障碍物的第一存在概率、基于视觉相机的障碍物的第一存在概率和第二存在概率,确定出障碍物的当前存在概率。
其中,需要说明的是,前述确定第一存在概率和第二存在概率的步骤不分先后顺序,该实施例对此不作具体限定。
在一个示例中,根据毫米波雷达与视觉相机之间的传感器融合数据以及毫米波雷达与激光波雷达之间的传感器融合数据,确定出基于毫米波雷达的障碍物的第一存在概率的具体实现方式为:确定毫米波雷达与视觉相机之间的传感器融合数据所对应的障碍物的存在概率PR1;确定毫米波雷达与激光波雷达之间的传感器融合数据PR2,根据存在概率PR1和存在概率PR2,确定出基于毫米波雷达的障碍物的第一存在概率PR。其中,计算PR的公式为:
第四个示例,三个传感器包括激光雷达、毫米波雷达和视觉相机,如果三个传感器均可以检测到障碍物,即,激光雷达、毫米波雷达和视觉相机均可以检测到障碍物,对应地,结合激光雷达、毫米波雷达和视觉相机来确定出该障碍物的当前存在概率的示例性过程如图10所示,具体过程为:步骤1001,根据激光雷达与视觉相机之间的传感器融合数据以及激光雷达与毫米波雷达之间的传感器融合数据确定出基于激光雷达的障碍物的第一存在概率;步骤1002,根据视觉相机与激光雷达之间的传感器融合数据以及视觉相机与毫米波雷达之间的传感器融合数据确定出基于视觉相机的障碍物的第一存在概率;步骤1003,根据毫米波雷达与视觉相机之间的传感器融合数据以及毫米波雷达与激光波雷达之间的传感器融合数据,确定出基于毫米波雷达的障碍物的第一存在概率。步骤1004,基于毫米波雷达所输出的当前帧点云数据,确定出障碍物的第一障碍物数据;步骤1005,基于视觉相机所输出的当前帧图像数据,确定出该障碍物的第二障碍物数据;步骤1006,基于雷达波雷达所输出的当前帧点云数据,确定出障碍物的第三障碍物数据;步骤1007,对第一障碍物数据、第二障碍物数据和第三障碍物数据进行两两数据融合,以得到多个障碍物融合数据,并确定出各个障碍物融合数据所对应的第二存在概率;步骤1008,根据各个第一存在概率和各个第二存在概率,确定出障碍物的当前存在概率。
在一些示例中,可获取各个第一存在概率和各个第二存在概率中的最大存在概率,并将最大存在概率作为障碍物的当前存在概率。
基于上述任意一个实施例的基础上,车辆可基于障碍物的存在性检测结果进行车辆辅助驾驶控制。例如,在车辆沿着道路向前行驶的过程中,可基于车辆前方的障碍物的存在性检测结果进行车辆辅助驾驶控制。又例如,在车辆进行停车的过程中,可基于车辆周围所检测的障碍物的存在性检测结果对车辆进行辅助停车控制。
为了实现上述实施例,本公开实施例还提供一种障碍物的存在性检测结果的确定装置。
图11是根据本公开第十一实施例的示意图,该实施例提供一种障碍物的存在性检测结果的确定装置,其中,该障碍物的存在性检测结果的确定装置应用在车辆中,车辆包括:可对同一个区域进行检测的多个传感器。
如图11所示,该障碍物的存在性检测结果的确定装置11可以包括第一确定模块111、第二确定模块112、获取模块113、第三确定模块114和第四确定模块115,其中:
第一确定模块111,用于针对至少一个第一传感器中的任意一个目标第一传感器,根据目标第一传感器和其他传感器之间的传感器融合数据,确定基于目标第一传感器的障碍物的第一存在概率,其中,第一传感器是多个传感器中检测到区域中存在障碍物的传感器,其他传感器是多个传感器中除了目标第一传感器之外的传感器。
第二确定模块112,用于根据各个目标第一传感器的障碍物的第一存在概率,确定障碍物的当前存在概率。
获取模块113,用于获取障碍物的历史存在概率。
第三确定模块114,用于根据当前存在概率和历史存在概率,确定障碍物的总存在概率。
第四确定模块115,用于根据总存在概率,确定障碍物的存在性检测结果。
本公开实施例的障碍物的存在性检测结果的确定装置,在车辆中可对同一个区域进行检测的多个传感器中的至少一个第一传感器检测到障碍物的情况下,针对至少一个第一传感器中的任意一个目标第一传感器,根据目标第一传感器和多个传感器中除了目标第一传感器之外的其他传感器之间的传感器融合数据,确定基于目标第一传感器障碍物的第一存在概率,并根据各个目标第一传感器的障碍物的第一存在概率,确定障碍物的当前存在概率,并基于该障碍物的历史存在概率和当前存在概率,确定存在障碍物的总存在概率;根据总存在概率,确定障碍物的存在性检测结果。由此,结合各个能检测到障碍物的第一传感器的障碍物的存在概率,确定出障碍物的当前存在概率,并基于障碍物的当前存在概率和历史存在概率,确定障碍物的存在性检测结果,提高了障碍物的存在性检测结果的准确性,有利于车辆的安全驾驶。
在本公开的一个实施例中,如图12所示,该障碍物的存在性检测结果的确定装置12可以包括:第一确定模块121、第二确定模块122、获取模块123、第三确定模块124、第四确定模块125、第五确定模块126、建立模块127、保存模块128,其中,第一确定模块121可以包括:第二确定单元1211、第三确定单元1212和第四确定单元1213;第三确定单元1212可以包括:数据融合子单元12121;第二确定模块122可以包括第一确定单元1221;获取模块123可以包括:第一获取单元1231、第二获取单元1232和第三获取单元1233。
在本公开的一个实施例中,在目标第一传感器为多个的情况下,装置还包括:
第五确定模块126,用于根据目标第一传感器和其他第一传感器之间的障碍物融合数据,确定基于目标第一传感器的障碍物的第二存在概率;
第二确定模块122,包括:
第一确定单元1221,用于根据各个目标第一传感器的障碍物的第一存在概率和第二存在概率,确定障碍物的当前存在概率。
在本公开的一个实施例中,在其他传感器为多个的情况下,第一确定模块121,包括:
第二确定单元1211,用于确定目标第一传感器与各个其他传感器之间的传感器融合数据;
第三确定单元1212,用于确定各个传感器融合数据各自所确定出的障碍物的第三存在概率;
第四确定单元1213,用于根据各个第三存在概率,确定基于目标第一传感器的障碍物的第一存在概率。
在本公开的一个实施例中,第三确定单元1212,包括:
数据融合子单元12121,针对各个其他传感器,对目标第一传感器和其他传感器输出的当前帧数据进行数据融合,以得到传感器融合数据。
在本公开的一个实施例中,数据融合子单元12121,具体用于:将目标第一传感器输出的当前帧数据转换到世界坐标系下,以得到转换后的第一数据;针对各个其他传感器,将其他传感器输出的当前帧数据转换到世界坐标系下,以得到转换后的第二数据;对第一数据和第二数据进行数据融合,以得到传感器融合数据。
在本公开的一个实施例中,第一确定单元1221,具体用于:获取第一存在概率和第二存在概率中的最大存在概率;将最大存在概率作为障碍物的当前存在概率。
在本公开的一个实施例中,获取模块123,包括:
第一获取单元1231,用于获取当前帧数据之前的预设数量的多个历史帧数据,其中,多个历史帧数据中均可检测到障碍物;
第二获取单元1232,用于获取多个历史帧数据各自对应的障碍物的存在概率;
第三获取单元1233,用于根据多个历史帧数据各自对应的障碍物的存在概率,获取障碍物的历史存在概率。
在本公开的一个实施例中,第二获取单元1232,具体用于:从预先保存的存在概率列表中,获取多个历史帧数据各自对应的障碍物的存在概率。
在本公开的一个实施例中,装置还包括:
建立模块127,用于建立当前帧数据对应的帧标识信息和总存在概率之间的关联关系;
保存模块128,用于将关联关系保存到存在概率列表中。
在本公开的一个实施例中,第三确定模块124,具体用于:确定当前存在概率与历史存在概率的乘积值;确定当前存在概率与历史存在概率的和值;根据乘积值和和值,确定障碍物的总存在概率。
在本公开的一个实施例中,第四确定模块125,具体用于:
在总存在概率小于预设的存在概率阈值的情况下,确定障碍物的存在性检测结果为存在;
在总存在概率大于或者等于预设的存在概率阈值的情况下,确定障碍物的存在性检测结果为不存在。
其中,需要说明的是,上述对障碍物的存在性检测结果的确定方法的解释说明也适用于本实施例中的障碍物的存在性检测结果的确定装置,该实施例对此不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,本公开还提供了一种自动驾驶车辆,该自动驾驶车辆包括本公开实施例所公开的电子设备。
图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示,该电子设备1300可以包括计算单元1301,其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序,来执行各种适当的动作和处理。在RAM 1303中,还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
设备1300中的多个部件连接至I/O接口1305,包括:输入单元1306,例如键盘、鼠标等;输出单元1307,例如各种类型的显示器、扬声器等;存储单元1308,例如磁盘、光盘等;以及通信单元1309,例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理,例如障碍物的存在性检测结果的确定方法。例如,在一些实施例中,障碍物的存在性检测结果的确定方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1308。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时,可以执行上文描述的障碍物的存在性检测结果的确定方法的一个或多个步骤。备选地,在其他实施例中,计算单元1301可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行障碍物的存在性检测结果的确定方法。
本文中以上描述的装置和技术的各种实施方式可以在数字电子电路装置、集成电路装置、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上装置的装置(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程装置上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储装置、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储装置、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行装置、装置或设备使用或与指令执行装置、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体装置、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的装置和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的装置和技术实施在包括后台部件的计算装置(例如,作为数据服务器)、或者包括中间件部件的计算装置(例如,应用服务器)、或者包括前端部件的计算装置(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的装置和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算装置中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将装置的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机装置可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器可以是云服务器,也可以为分布式装置的服务器,或者是结合了区块链的服务器。
其中,需要说明的是,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (26)
1.一种障碍物的存在性检测结果的确定方法,应用于车辆中,所述车辆包括:可对同一个区域进行检测的多个传感器,所述方法包括:
针对至少一个第一传感器中的任意一个目标第一传感器,根据所述目标第一传感器和其他传感器之间的传感器融合数据,确定基于所述目标第一传感器的所述障碍物的第一存在概率,其中,所述第一传感器是所述多个传感器中检测到所述区域中存在障碍物的传感器,所述其他传感器是所述多个传感器中除了所述目标第一传感器之外的传感器;
根据各个所述目标第一传感器的所述障碍物的第一存在概率,确定所述障碍物的当前存在概率;
获取所述障碍物的历史存在概率;
根据所述当前存在概率和所述历史存在概率,确定所述障碍物的总存在概率;
根据所述总存在概率,确定所述障碍物的存在性检测结果。
2.根据权利要求1所述的方法,其中,在所述目标第一传感器为多个的情况下,所述方法还包括:
根据所述目标第一传感器和其他第一传感器之间的障碍物融合数据,确定基于所述目标第一传感器的所述障碍物的第二存在概率;
所述根据各个所述目标第一传感器的所述障碍物的第一存在概率,确定所述障碍物的当前存在概率,包括:
根据各个所述目标第一传感器的所述障碍物的第一存在概率和第二存在概率,确定所述障碍物的当前存在概率。
3.根据权利要求1所述的方法,其中,在所述其他传感器为多个的情况下,所述根据所述目标第一传感器和其他传感器之间的传感器融合数据,确定基于所述目标第一传感器的所述障碍物的第一存在概率,包括:
确定所述目标第一传感器与各个所述其他传感器之间的传感器融合数据;
确定各个所述传感器融合数据各自所确定出的障碍物的第三存在概率;
根据各个所述第三存在概率,确定基于所述目标第一传感器的所述障碍物的第一存在概率。
4.根据权利要求3所述的方法,其中,所述确定所述目标第一传感器与各个所述其他传感器之间的传感器融合数据,包括:
针对各个其他传感器,对所述目标第一传感器和所述其他传感器输出的当前帧数据进行数据融合,以得到所述传感器融合数据。
5.根据权利要求4所述的方法,其中,所述针对各个其他传感器,对所述目标第一传感器和所述其他传感器输出的当前帧数据进行数据融合,以得到所述传感器融合数据,包括:
将所述目标第一传感器输出的当前帧数据转换到世界坐标系下,以得到转换后的第一数据;
针对各个其他传感器,将所述其他传感器输出的当前帧数据转换到世界坐标系下,以得到转换后的第二数据;
对所述第一数据和所述第二数据进行数据融合,以得到所述传感器融合数据。
6.根据权利要求2所述的方法,其中,所述根据各个所述目标第一传感器的所述障碍物的第一存在概率和第二存在概率,确定所述障碍物的当前存在概率,包括:
获取各个所述第一存在概率和各个所述第二存在概率中的最大存在概率;
将所述最大存在概率作为所述障碍物的当前存在概率。
7.根据权利要求5所述的方法,其中,所述获取所述障碍物的历史存在概率,包括:
获取所述当前帧数据之前的预设数量的多个历史帧数据,其中,所述多个历史帧数据中均可检测到所述障碍物;
获取所述多个历史帧数据各自对应的所述障碍物的存在概率;
根据所述多个历史帧数据各自对应的所述障碍物的存在概率,获取所述障碍物的历史存在概率。
8.根据权利要求7所述的方法,其中,所述获取所述多个历史帧数据各自对应的所述障碍物的存在概率,包括:
从预先保存的存在概率列表中,获取所述多个历史帧数据各自对应的所述障碍物的存在概率。
9.根据权利要求8所述的方法,其中,所述方法还包括:
建立所述当前帧数据对应的帧标识信息和总存在概率之间的关联关系;
将所述关联关系保存到所述存在概率列表中。
10.根据权利要求1所述的方法,其中,所述根据所述当前存在概率和所述历史存在概率,确定所述障碍物的总存在概率,包括:
确定所述当前存在概率与所述历史存在概率的乘积值;
确定所述当前存在概率与所述历史存在概率的和值;
根据所述乘积值和所述和值,确定所述障碍物的总存在概率。
11.根据权利要求1-10中任一项所述的方法,其中,所述根据所述总存在概率,确定所述障碍物的存在性检测结果,包括:
在所述总存在概率小于预设的存在概率阈值的情况下,确定所述障碍物的存在性检测结果为存在;
在所述总存在概率大于或者等于预设的存在概率阈值的情况下,确定所述障碍物的存在性检测结果为不存在。
12.一种障碍物的存在性检测结果的确定装置,应用于车辆中,所述车辆包括:可对同一个区域进行检测的多个传感器,所述装置包括:
第一确定模块,用于针对至少一个第一传感器中的任意一个目标第一传感器,根据所述目标第一传感器和其他传感器之间的传感器融合数据,确定基于所述目标第一传感器的所述障碍物的第一存在概率,其中,所述第一传感器是所述多个传感器中检测到所述区域中存在障碍物的传感器,所述其他传感器是所述多个传感器中除了所述目标第一传感器之外的传感器;
第二确定模块,用于根据各个所述目标第一传感器的所述障碍物的第一存在概率,确定所述障碍物的当前存在概率;
获取模块,用于获取所述障碍物的历史存在概率;
第三确定模块,用于根据所述当前存在概率和所述历史存在概率,确定所述障碍物的总存在概率;
第四确定模块,用于根据所述总存在概率,确定所述障碍物的存在性检测结果。
13.根据权利要求12所述的装置,其中,在所述目标第一传感器为多个的情况下,所述装置还包括:
第五确定模块,用于根据所述目标第一传感器和其他第一传感器之间的障碍物融合数据,确定基于所述目标第一传感器的所述障碍物的第二存在概率;
所述第二确定模块,包括:
第一确定单元,用于根据各个所述目标第一传感器的所述障碍物的第一存在概率和第二存在概率,确定所述障碍物的当前存在概率。
14.根据权利要求12所述的装置,其中,在所述其他传感器为多个的情况下,所述第一确定模块,包括:
第二确定单元,用于确定所述目标第一传感器与各个所述其他传感器之间的传感器融合数据;
第三确定单元,用于确定各个所述传感器融合数据各自所确定出的障碍物的第三存在概率;
第四确定单元,用于根据各个所述第三存在概率,确定基于所述目标第一传感器的所述障碍物的第一存在概率。
15.根据权利要求14所述的装置,其中,所述第三确定单元,包括:
数据融合子单元,针对各个其他传感器,对所述目标第一传感器和所述其他传感器输出的当前帧数据进行数据融合,以得到所述传感器融合数据。
16.根据权利要求15所述的装置,其中,所述数据融合子单元,具体用于:
将所述目标第一传感器输出的当前帧数据转换到世界坐标系下,以得到转换后的第一数据;
针对各个其他传感器,将所述其他传感器输出的当前帧数据转换到世界坐标系下,以得到转换后的第二数据;
对所述第一数据和所述第二数据进行数据融合,以得到所述传感器融合数据。
17.根据权利要求13所述的装置,其中,所述第一确定单元,具体用于:
获取所述第一存在概率和所述第二存在概率中的最大存在概率;
将所述最大存在概率作为所述障碍物的当前存在概率。
18.根据权利要求16所述的装置,其中,所述获取模块,包括:
第一获取单元,用于获取所述当前帧数据之前的预设数量的多个历史帧数据,其中,所述多个历史帧数据中均可检测到所述障碍物;
第二获取单元,用于获取所述多个历史帧数据各自对应的所述障碍物的存在概率;
第三获取单元,用于根据所述多个历史帧数据各自对应的所述障碍物的存在概率,获取所述障碍物的历史存在概率。
19.根据权利要求18所述的装置,其中,所述第二获取单元,具体用于:
从预先保存的存在概率列表中,获取所述多个历史帧数据各自对应的所述障碍物的存在概率。
20.根据权利要求19所述的装置,其中,所述装置还包括:
建立模块,用于建立所述当前帧数据对应的帧标识信息和总存在概率之间的关联关系;
保存模块,用于将所述关联关系保存到所述存在概率列表中。
21.根据权利要求12所述的装置,其中,所述第三确定模块,具体用于:
确定所述当前存在概率与所述历史存在概率的乘积值;
确定所述当前存在概率与所述历史存在概率的和值;
根据所述乘积值和所述和值,确定所述障碍物的总存在概率。
22.根据权利要求12所述的装置,其中,所述第四确定模块,具体用于:
在所述总存在概率小于预设的存在概率阈值的情况下,确定所述障碍物的存在性检测结果为存在;
在所述总存在概率大于或者等于预设的存在概率阈值的情况下,确定所述障碍物的存在性检测结果为不存在。
23.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。
25.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-11中任一项所述的方法的步骤。
26.一种自动驾驶车辆,包括如权利要求23所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211350028.9A CN115690739B (zh) | 2022-10-31 | 2022-10-31 | 多传感器融合障碍物存在性检测方法和自动驾驶车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211350028.9A CN115690739B (zh) | 2022-10-31 | 2022-10-31 | 多传感器融合障碍物存在性检测方法和自动驾驶车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115690739A true CN115690739A (zh) | 2023-02-03 |
CN115690739B CN115690739B (zh) | 2024-03-26 |
Family
ID=85047040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211350028.9A Active CN115690739B (zh) | 2022-10-31 | 2022-10-31 | 多传感器融合障碍物存在性检测方法和自动驾驶车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115690739B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115797817A (zh) * | 2023-02-07 | 2023-03-14 | 科大讯飞股份有限公司 | 一种障碍物识别方法、障碍物显示方法、相关设备和系统 |
CN118068338A (zh) * | 2024-04-22 | 2024-05-24 | 知行汽车科技(苏州)股份有限公司 | 一种障碍物的检测方法、装置、系统及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200081118A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for determining static state of obstacle |
CN113743228A (zh) * | 2018-12-10 | 2021-12-03 | 百度在线网络技术(北京)有限公司 | 基于多数据融合结果的障碍物存在性检测方法和装置 |
CN113963327A (zh) * | 2021-09-06 | 2022-01-21 | 阿波罗智能技术(北京)有限公司 | 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质 |
CN114715151A (zh) * | 2022-04-29 | 2022-07-08 | 阿波罗智能技术(北京)有限公司 | 车辆控制方法、装置、电子设备、介质和自动驾驶车辆 |
-
2022
- 2022-10-31 CN CN202211350028.9A patent/CN115690739B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200081118A1 (en) * | 2018-09-07 | 2020-03-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for determining static state of obstacle |
CN113743228A (zh) * | 2018-12-10 | 2021-12-03 | 百度在线网络技术(北京)有限公司 | 基于多数据融合结果的障碍物存在性检测方法和装置 |
CN113963327A (zh) * | 2021-09-06 | 2022-01-21 | 阿波罗智能技术(北京)有限公司 | 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质 |
CN114715151A (zh) * | 2022-04-29 | 2022-07-08 | 阿波罗智能技术(北京)有限公司 | 车辆控制方法、装置、电子设备、介质和自动驾驶车辆 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115797817A (zh) * | 2023-02-07 | 2023-03-14 | 科大讯飞股份有限公司 | 一种障碍物识别方法、障碍物显示方法、相关设备和系统 |
CN115797817B (zh) * | 2023-02-07 | 2023-05-30 | 科大讯飞股份有限公司 | 一种障碍物识别方法、障碍物显示方法、相关设备和系统 |
CN118068338A (zh) * | 2024-04-22 | 2024-05-24 | 知行汽车科技(苏州)股份有限公司 | 一种障碍物的检测方法、装置、系统及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115690739B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115690739A (zh) | 多传感器融合障碍物存在性检测方法和自动驾驶车辆 | |
CN113264066B (zh) | 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备 | |
US20220035733A1 (en) | Method and apparatus for checking automatic driving algorithm, related device and storage medium | |
CN113859264B (zh) | 车辆控制方法、装置、电子设备及存储介质 | |
EP4145408A1 (en) | Obstacle detection method and apparatus, autonomous vehicle, device and storage medium | |
CN113688730A (zh) | 障碍物测距方法、装置、电子设备、存储介质及程序产品 | |
CN113837305A (zh) | 目标检测及模型训练方法、装置、设备和存储介质 | |
CN112764013B (zh) | 自动驾驶车辆感知系统测试方法、装置、设备及存储介质 | |
CN113177980B (zh) | 用于自动驾驶的目标对象速度确定方法、装置及电子设备 | |
CN113029136B (zh) | 定位信息处理的方法、设备、存储介质及程序产品 | |
CN114238790A (zh) | 用于确定最大感知范围的方法、装置、设备以及存储介质 | |
CN113591569A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
CN115830268A (zh) | 用于优化感知算法的数据的获取方法、装置和存储介质 | |
CN115771526A (zh) | 自动驾驶中控制车辆左转的方法、装置与自动驾驶车辆 | |
CN114708498A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN113361379B (zh) | 生成目标检测系统和检测目标的方法及装置 | |
CN116311142A (zh) | 多传感器障碍物类别融合的方法、设备及自动驾驶车辆 | |
CN114359513A (zh) | 障碍物位置的确定方法、装置和电子设备 | |
CN117876992A (zh) | 障碍物检测方法、装置、设备和自动驾驶车辆 | |
CN115661190A (zh) | 目标匹配方法、装置、设备及存储介质 | |
CN115471810A (zh) | 目标识别模型的训练方法及装置、电子设备和存储介质 | |
CN117331063A (zh) | 感知目标运动信息的确定方法、装置、设备及存储介质 | |
JP2023011912A (ja) | 走行環境における交通オブジェクトの融合及び関連付け方法、装置並びにエッジコンピューティングデバイス | |
CN114817430A (zh) | 轨迹数据处理方法、模型训练方法、装置及自动驾驶车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |