CN115797454A - 一种鸟瞰图视角下多摄像机融合感知方法及装置 - Google Patents

一种鸟瞰图视角下多摄像机融合感知方法及装置 Download PDF

Info

Publication number
CN115797454A
CN115797454A CN202310077583.7A CN202310077583A CN115797454A CN 115797454 A CN115797454 A CN 115797454A CN 202310077583 A CN202310077583 A CN 202310077583A CN 115797454 A CN115797454 A CN 115797454A
Authority
CN
China
Prior art keywords
virtual
point
bird
eye view
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310077583.7A
Other languages
English (en)
Other versions
CN115797454B (zh
Inventor
程飞洋
刘国清
杨广
王启程
郑伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co.,Ltd.
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202310077583.7A priority Critical patent/CN115797454B/zh
Publication of CN115797454A publication Critical patent/CN115797454A/zh
Application granted granted Critical
Publication of CN115797454B publication Critical patent/CN115797454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及自动驾驶技术领域,公开了一种鸟瞰图视角下多摄像机融合感知方法及装置,其方法包括采用图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征;预设自车坐标系下的虚拟3D点云;基于虚拟3D点云,结合深度特征,确定每个像素点特征对应虚拟3D点云的点位置,建立虚拟3D点云到鸟瞰图的映射关系;根据映射关系,将像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征;采用鸟瞰视角识别网络对鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。本申请具有改善鸟瞰图视角感知结果的实时性能,提升鸟瞰图视角感知结果精度的效果。

Description

一种鸟瞰图视角下多摄像机融合感知方法及装置
技术领域
本申请涉及自动驾驶技术领域,尤其是涉及一种鸟瞰图视角下多摄像机融合感知方法及装置。
背景技术
目前,在自动驾驶场景中,鸟瞰图视角下的融合感知结果能够表达多种重要的视觉感知信息,为无人驾驶提供更多有用信息。
为获取车辆前后左右的鸟瞰图视角感知结果,传统的映射方式是从每张图片上将像素点转换为3D点云后,再投影得到鸟瞰图视角感知结果。整个过程需要经过2维-3维-2维的转换,运算量大且存在累积误差,影响鸟瞰图视角感知结果的实时性和准确性,不利于安全驾驶。
发明内容
为了改善鸟瞰图视角感知结果的实时性能,提高鸟瞰图视角感知结果的准确率,本申请提供了一种鸟瞰图视角下多摄像机融合感知方法及装置。
第一方面,本申请提供一种鸟瞰图视角下多摄像机融合感知方法。
本申请是通过以下技术方案得以实现的:
一种鸟瞰图视角下多摄像机融合感知方法,包括以下步骤,
采用图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征;
预设自车坐标系下的虚拟3D点云;
基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立所述虚拟3D点云到鸟瞰图的映射关系;
根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征;
采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。
本申请在一较佳示例中可以进一步配置为:基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置的步骤包括,
基于所述虚拟3D点云进行投影变换,并获取每个像素点特征对应所述虚拟3D点云的点深度;
根据所述深度特征,判断任一像素点特征的深度特征和对应的所述点深度的误差是否小于预设阈值;
若任一像素点特征的深度特征和对应的所述点深度的误差小于预设阈值,则将所述虚拟3D点云中对应的点坐标作为该像素点特征对应所述虚拟3D点云的点位置。
本申请在一较佳示例中可以进一步配置为:对所述鸟瞰图特征进行分割时,包括对所述鸟瞰图特征的类别的预测,还包括以下步骤,
采用交叉熵函数作为所述鸟瞰视角识别网络分割训练时的分割损失函数,所述分割损失函数的表达式包括,
Figure SMS_1
式中,
Figure SMS_2
为鸟瞰图特征
Figure SMS_3
的预测标签,c为鸟瞰图特征
Figure SMS_4
的真实标签,
Figure SMS_5
为鸟瞰图特征
Figure SMS_6
的预测标签
Figure SMS_7
的概率,1{}为指示函数,
Figure SMS_8
为分割任务的类别数量。
本申请在一较佳示例中可以进一步配置为:对所述鸟瞰图特征进行检测时,包括对所述鸟瞰图特征的目标的中心点检测,还包括以下步骤,
采用交叉熵函数作为所述鸟瞰视角识别网络检测训练时的第一检测损失函数,所述第一检测损失函数的表达式包括,
Figure SMS_9
式中,
Figure SMS_10
为鸟瞰图特征的中心点,
Figure SMS_11
为鸟瞰图特征的中心点的预测概率,
Figure SMS_12
为鸟瞰图特征的中心点的真实概率。
本申请在一较佳示例中可以进一步配置为:所述通过多摄像机获取的图像的步骤包括,
在每两个摄像机的中间加装至少一个摄像机,令加装的摄像机的视场角和其他摄像机的视场角形成覆盖;
获取任意两个摄像机及其加装摄像机在同一时刻的图像,形成合成图像,并确定所述合成图像对应的虚拟摄像机的位置;
比较所述虚拟摄像机与两个所述摄像机之间的距离;
将虚拟摄像机的合成图像作为距离较近的所述摄像机拍摄的图像。
本申请在一较佳示例中可以进一步配置为:还包括以下步骤,
获取任意两个摄像机及其加装摄像机在同一朝向的图像,形成合成图像。
本申请在一较佳示例中可以进一步配置为:所述合成图像利用图像插帧技术或者训练神经辐射场合成。
第二方面,本申请提供一种鸟瞰图视角多摄像机融合感知装置。
本申请是通过以下技术方案得以实现的:
一种鸟瞰图视角多摄像机融合感知装置,包括,
特征提取模块,用于采用图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征;
虚拟3D点云模块,用于预设自车坐标系下的虚拟3D点云;
匹配模块,用于基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立所述虚拟3D点云到鸟瞰图的映射关系;
映射模块,用于根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征;
融合感知模块,用于采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。
第三方面,本申请提供一种计算机设备。
本申请是通过以下技术方案得以实现的:
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一种鸟瞰图视角下多摄像机融合感知方法的步骤。
第四方面,本申请提供一种计算机可读存储介质。
本申请是通过以下技术方案得以实现的:
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一种鸟瞰图视角下多摄像机融合感知方法的步骤。
综上所述,与现有技术相比,本申请提供的技术方案带来的有益效果至少包括:
基于图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征,以为不同视角下的像素点映射到统一的鸟瞰图视角提供基础数据;预设自车坐标系下的虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立所述虚拟3D点云到鸟瞰图的映射关系;根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征,只需虚拟3D点云和预测的深度特征即可建立像素点到鸟瞰图的映射,无需进行二维矩阵到三维矩阵再到二维矩阵的变换,极大减小了计算量;采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果,克服了传统几何方法采用相机标定和确定匹配点时的累积误差,输出结果更精确,误差容错性更高,改善了鸟瞰图视角感知结果的实时性能,提高了鸟瞰图视角感知结果的准确率。
附图说明
图1为本申请一个示例性实施例提供的一种鸟瞰图视角下多摄像机融合感知方法的主要流程图。
图2为本申请一个示例性实施例提供的一种鸟瞰图视角下多摄像机融合感知方法的鸟瞰图特征的目标的中心点预测的训练真值图。
图3为本申请一个示例性实施例提供的一种鸟瞰图视角下多摄像机融合感知方法的摄像机位置偏差补偿流程图。
图4为本申请一个示例性实施例提供的一种鸟瞰图视角下多摄像机融合感知方法的另一摄像机位置偏差补偿流程图。
图5为本申请一个示例性实施例提供的一种鸟瞰图视角下多摄像机融合感知方法的合成图像和虚拟摄像机的示意图。
图6为本申请一个示例性实施例提供的一种鸟瞰图视角下多摄像机融合感知方法的整体示意图。
图7为本申请一个示例性实施例提供的一种鸟瞰图视角下多摄像机融合感知装置的主要结构框图。
具体实施方式
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
参照图1,本申请实施例提供一种鸟瞰图视角下多摄像机融合感知方法,所述方法的主要步骤描述如下。
S1:采用图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征;
S2:预设自车坐标系下的虚拟3D点云;
S3:基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立所述虚拟3D点云到鸟瞰图的映射关系;
S4:根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征;
S5:采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。
具体地,图像特征提取网络可以为深度学习神经网络,借助深度学习神经网络学习通过多摄像机获取的车辆前后左右的图像,得到像素点特征及其深度特征。同时,像素点特征为编码特征,有利于减小后续的数据计算量。
预设自车坐标系下的虚拟3D点云。基于感知距离和分辨率,获得虚拟3D点云,虚拟3D点云为点阵,可自定义参数,虚拟3D点云的点数为
Figure SMS_13
,例如,感知距离设置为前后50米,左右30米,上下5米,点云的分辨率为0.5米,则虚拟3D点云中包含[(50+50)/0.5]*[(30+30)/0.5]*[(5+5)/0.5]个点。虚拟3D点云起到中介作用,无需进行二维矩阵到三维矩阵的变换,减小了计算量。
基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立虚拟3D点云到鸟瞰图的映射关系。仅需虚拟3D点云和预测的深度特征即可建立像素点到鸟瞰图的映射,无需进行二维矩阵到三维矩阵的变换,极大减小了计算量。
根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征。借助深度特征使得像素点与鸟瞰图中的点对应,实现通过3D虚拟点云索引像素点的过程。无需进行二维矩阵到三维矩阵的变换,极大减小了计算量。
采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。鸟瞰视角识别网络可以为深度学习神经网络,以克服了传统几何方法采用相机标定和确定匹配点时的累积误差,输出结果更精确,误差容错性更高。
在一实施例中,基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置的步骤包括,
基于所述虚拟3D点云进行投影变换,并获取每个像素点特征对应所述虚拟3D点云的点深度;
根据所述深度特征,判断任一像素点特征的深度特征和对应的所述点深度的误差是否小于预设阈值;
若任一像素点特征的深度特征和对应的所述点深度的误差小于预设阈值,则将所述虚拟3D点云中对应的点坐标作为该像素点特征对应所述虚拟3D点云的点位置。
在一实施例中,基于所述虚拟3D点云进行投影变换时,采用的投影公式包括,
p = K[R|t]P
式中,P=[x,y,z]T为一个3D点的三维坐标,p=[u, v]为该3D点对应的图像的像素的2D坐标,R为车身坐标系到相机坐标系的旋转矩阵,t为车身坐标系到相机坐标系的平移向量,[R|t]构成车身坐标系到相机坐标系的外参,K为相机的内参,包括焦距、光心等参数。
本申请中,投影变换将自车身坐标系下的虚拟3D点云的3D点投影到图像2D点,虚拟3D点云的坐标系为车身坐标系,但每个相机的内参以及和车身之间的相对位置,即旋转矩阵R和平移向量t构成的外参不同,所以同样的虚拟3D点云投影到不同相机的图像中,对应的像素位置不同。反过来讲,虽然不同相机的不同像素位置不同,但它们可以对应同一个虚拟3D点云的3D点,因此,可以对应鸟瞰图中的同一个方格位置,如果满足这样的关系,即可以融合不同相机视角下的像素特征,以获取更多的特征信息,更好地恢复像素点的3D信息。
在一实施例中,对所述鸟瞰图特征进行分割时,包括对所述鸟瞰图特征的类别的预测,还包括以下步骤,
采用交叉熵函数作为所述鸟瞰视角识别网络分割训练时的分割损失函数,所述分割损失函数的表达式包括,
Figure SMS_14
式中,
Figure SMS_15
为鸟瞰图特征
Figure SMS_16
的预测标签,c为鸟瞰图特征
Figure SMS_17
的真实标签,
Figure SMS_18
为鸟瞰图特征
Figure SMS_19
的预测标签
Figure SMS_20
的概率,1{}为指示函数,
Figure SMS_21
为分割任务的类别数量。
在一实施例中,对所述鸟瞰图特征进行检测时,包括对所述鸟瞰图特征的目标的中心点检测,还包括以下步骤,
采用交叉熵函数作为所述鸟瞰视角识别网络检测训练时的第一检测损失函数,所述第一检测损失函数的表达式包括,
Figure SMS_22
式中,
Figure SMS_23
为鸟瞰图特征的中心点,
Figure SMS_24
为鸟瞰图特征的中心点的预测概率,
Figure SMS_25
为鸟瞰图特征的中心点的真实概率。
在一实施例中,对所述鸟瞰图特征进行检测时,包括对所述鸟瞰图特征的目标的长、宽和偏航角检测,还包括以下步骤,
采用
Figure SMS_26
函数作为所述鸟瞰视角识别网络检测训练时的第二检测损失函数,所述第二检测损失函数的表达式包括,
Figure SMS_27
式中,
Figure SMS_28
为某一鸟瞰图特征的预测值和真实值之间的差值。
具体地,分割任务即对鸟瞰图中每个像素的类别,如车道,马路边缘和斑马线等进行预测。
检测任务即对鸟瞰图中每个目标,如车辆、行人等的3D尺寸进行预测,3D尺寸可以用目标的中心点位置、长、宽和偏航角来表示,因为是俯视图,所以不包含目标的高度信息。
其中,为了检测每个像素的类别,可采用交叉熵(Cross Entropy Loss)函数作为训练时的损失函数。
为了检测每个目标的中心点位置,可以预测一个C通道的热力图(heat map),其中C为所有目标的类别数。以目标为中心创建一个高斯分布,代表中心点的分布概率,训练时的损失函数同样可以采用上述交叉熵(CrossEntropy Loss)函数。对于每一个目标,中心点预测的训练真值如图2所示。
为了检测每个目标的长、宽和偏航角,可以采用
Figure SMS_29
作为损失函数进行回归。采用
Figure SMS_30
损失函数,当误差过大时,反向传播梯度为±1,可以较快地在训练中更新参数;而当误差小于1时,则反向传播梯度为像素的预测值和真实值之间差值的绝对值,降低了参数的更新速度,节省计算量。
参照图3,在一实施例中,所述通过多摄像机获取的图像的步骤包括,
S11:在每两个摄像机的中间加装至少一个摄像机,令加装的摄像机的视场角和其他摄像机的视场角形成覆盖;
S121:获取任意两个摄像机及其加装摄像机在同一时刻的图像,形成合成图像,并确定所述合成图像对应的虚拟摄像机的位置;
S13:比较所述虚拟摄像机与两个所述摄像机之间的距离;
S14:将虚拟摄像机的合成图像作为距离较近的所述摄像机拍摄的图像。
参照图4,在一实施例中,S11:在每两个摄像机的中间加装至少一个摄像机,令加装的摄像机的视场角和其他摄像机的视场角形成覆盖;
S122:获取任意两个摄像机及其加装摄像机在同一朝向的图像,形成合成图像,并确定所述合成图像对应的虚拟摄像机的位置;
S13:比较所述虚拟摄像机与两个所述摄像机之间的距离;
S14:将虚拟摄像机的合成图像作为距离较近的所述摄像机拍摄的图像。
在一实施例中,所述合成图像利用图像插帧技术或者训练神经辐射场合成。
假设摄像机的安装参数固定,而在实际量产的过程中,不能保证所有车辆的摄像机安装位置是完全没有偏差的,同时也不能保证摄像机在车辆长期行驶颠簸的过程中完全没有因松动导致的位置偏差,继而导致模型的输出精度降低。
在训练模型的过程中,通过平移和旋转图像,只能够模拟摄像机安装位置的平移和绕光轴旋转,不能够模拟摄像机的6自由度旋转平移。
因此,在训练鸟瞰图感知模型的过程中,输入的图像数据还需补偿不同的摄像机位置微小偏差,以增强模型的鲁棒性,使模型能够在摄像机实际安装位置和设定安装位置存在合理范围内的偏差时,仍能够输出正确的鸟瞰图感知结果。
具体地,本申请通过设置6-8个摄像机,构建环视摄像机获取图像进行鸟瞰图结果感知。同时,在采集图像数据的过程中,通过在每两个摄像机的中间加装一个或者多个摄像机,使加装摄像机的视场角和其他摄像机的视场角构成一定程度的覆盖,进而加装的摄像机和原有的摄像机构成对场景的多视角成像。
获取任意两个摄像机及其加装摄像机在同一时刻或同一朝向的图像,利用图像插帧技术或者训练一个神经辐射场(neural radiance field)形成合成图像,并基于合成图像确定虚拟摄像机的位置。
比较虚拟摄像机距离对应的两个摄像机之间的距离。
将虚拟摄像机的合成图像作为距离较近的摄像机拍摄的图像。
因虚拟摄像机的位置位于原有的多组摄像机的中间的任意位置,因此可以模拟摄像机的安装位置微小偏差问题。
参照图5,例如,假设摄像头1和摄像头3为原有摄像机,摄像头2为加装摄像机,通常摄像头1和摄像头3的视场角重合度较小,通过安装摄像头2可以达到和摄像头1、摄像头3同时具备较大视场角重合的目的。
再利用摄像头1-3在同一时刻的成像,或者利用同一朝向的多个摄像机获取的图像,可以合成设定的虚拟摄像机位置的成像,得到虚拟摄像机的合成图像,而虚拟摄像头离摄像头3较近,因此可以模拟摄像头3的安装位置偏差。
在实际训练的过程中,可以在任意两个摄像机之间加装一个或者多个摄像机,形成虚拟摄像机来模拟实际训练过程中出现的摄像机安装位置微小偏差的现象,生成中间虚拟摄像机的成像,代替固定位置摄像机的成像作为训练输入,达到增强模型鲁棒性的目的。
参照图6,综上,本申请通过设置多个摄像机获取图像,如两个前视摄像头、4个侧视摄像头和1个后视摄像头总共七个摄像机,获得多摄像机的车辆四周图像,并通过获取虚拟摄像机的合成图像替代原摄像机的成像,输入图像特征提取网络进行学习,得到图像上任意像素对应的像素点编码特征及其深度特征;再预设虚拟3D点云进行投影变换,获得虚拟3D点云到鸟瞰图的映射关系;基于映射关系,将学习的深度特征和像素点特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征,投影点为虚拟3D点云投影到图像平面的示例;最后通过鸟瞰视角识别网络对鸟瞰图特征进行分割和检测,并完成分割和检测任务训练,最终输出鸟瞰图视角下的分割和检测结果。
一种鸟瞰图视角下多摄像机融合感知方法利用虚拟3D点云和预测的深度特征建立像素点到鸟瞰图的映射,无需二维矩阵到三维矩阵的变换,减小了计算量。
一种鸟瞰图视角下多摄像机融合感知方法改善了传统几何方法过于依赖相机标定和匹配点准确性,导致每一步运算都会存在累积误差的问题,通过训练鸟瞰视角识别网络克服累积误差,实现图像输入到鸟瞰图融合感知结果的直接输出,输出结果更精确,误差容错性更高。
一种鸟瞰图视角下多摄像机融合感知方法基于预设的虚拟3D点云和预测的像素点的深度特征,能实现2D图像到2D鸟瞰图的直接映射,不需要复杂的2D-3D-2D的映射过程,降低了计算量和计算资源消耗,改善了鸟瞰图视角感知结果的实时性能,提高了鸟瞰图视角感知结果的准确率,更有利于在计算资源有限的车载嵌入式芯片的部署。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
参照图7,本申请实施例还提供一种鸟瞰图视角多摄像机融合感知装置,该一种鸟瞰图视角多摄像机融合感知装置与上述实施例中一种鸟瞰图视角下多摄像机融合感知方法一一对应。该一种鸟瞰图视角多摄像机融合感知装置包括,
特征提取模块,用于采用图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征;
虚拟3D点云模块,用于预设自车坐标系下的虚拟3D点云;
匹配模块,用于基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立所述虚拟3D点云到鸟瞰图的映射关系;
映射模块,用于根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征;
融合感知模块,用于采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。
一种鸟瞰图视角多摄像机融合感知装置包括,
位置模拟模块,用于获取任意两个摄像机及其加装摄像机在同一时刻的图像,形成合成图像,并确定所述合成图像对应的虚拟摄像机的位置;比较所述虚拟摄像机与两个所述摄像机之间的距离;将虚拟摄像机的合成图像作为距离较近的所述摄像机拍摄的图像。
关于一种鸟瞰图视角多摄像机融合感知装置的具体限定可以参见上文中对于一种鸟瞰图视角下多摄像机融合感知方法的限定,在此不再赘述。上述一种鸟瞰图视角多摄像机融合感知装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种鸟瞰图视角下多摄像机融合感知方法。
在一个实施例中,提供了一种计算机可读存储介质,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
S1:采用图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征;
S2:预设自车坐标系下的虚拟3D点云;
S3:基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立所述虚拟3D点云到鸟瞰图的映射关系;
S4:根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征;
S5:采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述系统的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。

Claims (10)

1.一种鸟瞰图视角下多摄像机融合感知方法,其特征在于,包括以下步骤,
采用图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征;
预设自车坐标系下的虚拟3D点云;
基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立所述虚拟3D点云到鸟瞰图的映射关系;
根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征;
采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。
2.根据权利要求1所述的鸟瞰图视角下多摄像机融合感知方法,其特征在于,基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置的步骤包括,
基于所述虚拟3D点云进行投影变换,并获取每个像素点特征对应所述虚拟3D点云的点深度;
根据所述深度特征,判断任一像素点特征的深度特征和对应的所述点深度的误差是否小于预设阈值;
若任一像素点特征的深度特征和对应的所述点深度的误差小于预设阈值,则将所述虚拟3D点云中对应的点坐标作为该像素点特征对应所述虚拟3D点云的点位置。
3.根据权利要求1所述的鸟瞰图视角下多摄像机融合感知方法,其特征在于,对所述鸟瞰图特征进行分割时,包括对所述鸟瞰图特征的类别的预测,还包括以下步骤,
采用交叉熵函数作为所述鸟瞰视角识别网络分割训练时的分割损失函数,所述分割损失函数的表达式包括,
Figure QLYQS_1
式中,
Figure QLYQS_2
为鸟瞰图特征
Figure QLYQS_3
的预测标签,c为鸟瞰图特征
Figure QLYQS_4
的真实标签,
Figure QLYQS_5
为鸟瞰图特征
Figure QLYQS_6
的预测标签
Figure QLYQS_7
的概率,1{}为指示函数,
Figure QLYQS_8
为分割任务的类别数量。
4.根据权利要求1所述的鸟瞰图视角下多摄像机融合感知方法,其特征在于,对所述鸟瞰图特征进行检测时,包括对所述鸟瞰图特征的目标的中心点检测,还包括以下步骤,
采用交叉熵函数作为所述鸟瞰视角识别网络检测训练时的第一检测损失函数,所述第一检测损失函数的表达式包括,
Figure QLYQS_9
式中,
Figure QLYQS_10
为鸟瞰图特征的中心点,
Figure QLYQS_11
为鸟瞰图特征的中心点的预测概率,
Figure QLYQS_12
为鸟瞰图特征的中心点的真实概率。
5.根据权利要求1-4任意一项所述的鸟瞰图视角下多摄像机融合感知方法,其特征在于,所述通过多摄像机获取的图像的步骤包括,
在每两个摄像机的中间加装至少一个摄像机,令加装的摄像机的视场角和其他摄像机的视场角形成覆盖;
获取任意两个摄像机及其加装摄像机在同一时刻的图像,形成合成图像,并确定所述合成图像对应的虚拟摄像机的位置;
比较所述虚拟摄像机与两个所述摄像机之间的距离;
将虚拟摄像机的合成图像作为距离较近的所述摄像机拍摄的图像。
6.根据权利要求5所述的鸟瞰图视角下多摄像机融合感知方法,其特征在于,还包括以下步骤,
获取任意两个摄像机及其加装摄像机在同一朝向的图像,形成合成图像。
7.根据权利要求5所述的鸟瞰图视角下多摄像机融合感知方法,其特征在于,所述合成图像利用图像插帧技术或者训练神经辐射场合成。
8.一种鸟瞰图视角多摄像机融合感知装置,其特征在于,包括,
特征提取模块,用于采用图像特征提取网络学习通过多摄像机获取的车辆四周的图像,得到像素点特征及其深度特征;
虚拟3D点云模块,用于预设自车坐标系下的虚拟3D点云;
匹配模块,用于基于所述虚拟3D点云,结合所述深度特征,确定每个像素点特征对应所述虚拟3D点云的点位置,建立所述虚拟3D点云到鸟瞰图的映射关系;
映射模块,用于根据所述映射关系,将所述像素点特征及其深度特征投射到鸟瞰图的方格地图上,得到鸟瞰图特征;
融合感知模块,用于采用鸟瞰视角识别网络对所述鸟瞰图特征进行分割和检测,直至完成分割和检测任务训练,输出鸟瞰图视角下的分割结果和检测结果。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至7任意一项所述方法的步骤。
CN202310077583.7A 2023-02-08 2023-02-08 一种鸟瞰图视角下多摄像机融合感知方法及装置 Active CN115797454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310077583.7A CN115797454B (zh) 2023-02-08 2023-02-08 一种鸟瞰图视角下多摄像机融合感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310077583.7A CN115797454B (zh) 2023-02-08 2023-02-08 一种鸟瞰图视角下多摄像机融合感知方法及装置

Publications (2)

Publication Number Publication Date
CN115797454A true CN115797454A (zh) 2023-03-14
CN115797454B CN115797454B (zh) 2023-06-02

Family

ID=85430401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310077583.7A Active CN115797454B (zh) 2023-02-08 2023-02-08 一种鸟瞰图视角下多摄像机融合感知方法及装置

Country Status (1)

Country Link
CN (1) CN115797454B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012806A (zh) * 2023-03-29 2023-04-25 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、检测器、系统和模型训练方法
CN116363615A (zh) * 2023-03-27 2023-06-30 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116758517A (zh) * 2023-08-16 2023-09-15 之江实验室 基于多目图像的三维目标检测方法、装置和计算机设备
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220139094A1 (en) * 2019-03-07 2022-05-05 Nec Corporation Image processing device, image processing method, and recording medium
CN114445593A (zh) * 2022-01-30 2022-05-06 重庆长安汽车股份有限公司 基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法
CN114898313A (zh) * 2022-04-29 2022-08-12 广州文远知行科技有限公司 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN115294538A (zh) * 2022-05-19 2022-11-04 上海仙途智能科技有限公司 障碍物检测方法及装置、存储介质、终端
CN115410167A (zh) * 2022-08-11 2022-11-29 广州文远知行科技有限公司 目标检测与语义分割方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220139094A1 (en) * 2019-03-07 2022-05-05 Nec Corporation Image processing device, image processing method, and recording medium
CN114445593A (zh) * 2022-01-30 2022-05-06 重庆长安汽车股份有限公司 基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法
CN114898313A (zh) * 2022-04-29 2022-08-12 广州文远知行科技有限公司 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN115294538A (zh) * 2022-05-19 2022-11-04 上海仙途智能科技有限公司 障碍物检测方法及装置、存储介质、终端
CN115410167A (zh) * 2022-08-11 2022-11-29 广州文远知行科技有限公司 目标检测与语义分割方法、装置、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363615A (zh) * 2023-03-27 2023-06-30 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116363615B (zh) * 2023-03-27 2024-02-23 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116012806A (zh) * 2023-03-29 2023-04-25 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、检测器、系统和模型训练方法
CN116758517A (zh) * 2023-08-16 2023-09-15 之江实验室 基于多目图像的三维目标检测方法、装置和计算机设备
CN116758517B (zh) * 2023-08-16 2023-11-14 之江实验室 基于多目图像的三维目标检测方法、装置和计算机设备
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117292140B (zh) * 2023-10-17 2024-04-02 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN115797454B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN115797454B (zh) 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN109902637B (zh) 车道线检测方法、装置、计算机设备和存储介质
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN111191600A (zh) 障碍物检测方法、装置、计算机设备和存储介质
AU2018278901A1 (en) Systems and methods for updating a high-resolution map based on binocular images
US20230316742A1 (en) Image processing method, apparatus and device, and computer-readable storage medium
CN111209956A (zh) 传感器数据融合方法、车辆的环境地图生成方法及系统
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
CN112562093A (zh) 目标检测方法、电子介质和计算机存储介质
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN111753901A (zh) 一种数据融合方法、装置、系统及计算机设备
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116681965A (zh) 一种目标检测模型的训练方法及目标检测方法
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN115372987A (zh) 基于激光雷达的车道线提取方法、装置、介质及设备
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
CN111986248B (zh) 多目视觉感知方法、装置及自动驾驶汽车
CN114004957A (zh) 增强现实图片的生成方法、装置、设备和存储介质
CN115236672A (zh) 障碍物信息生成方法、装置、设备及计算机可读存储介质
Berrio et al. Semantic sensor fusion: From camera to sparse LiDAR information
CN116740681B (zh) 目标检测方法、装置、车辆和存储介质
US20230009766A1 (en) Method and Processing Unit for Processing Sensor Data of Several Different Sensors with an Artificial Neural Network in a Vehicle
US20230386062A1 (en) Method for training depth estimation model, method for estimating depth, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.