CN116758154A - 位置确定方法、系统及装置 - Google Patents

位置确定方法、系统及装置 Download PDF

Info

Publication number
CN116758154A
CN116758154A CN202310644072.9A CN202310644072A CN116758154A CN 116758154 A CN116758154 A CN 116758154A CN 202310644072 A CN202310644072 A CN 202310644072A CN 116758154 A CN116758154 A CN 116758154A
Authority
CN
China
Prior art keywords
coordinate
target vehicle
determining
radar
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310644072.9A
Other languages
English (en)
Inventor
杨劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN202310644072.9A priority Critical patent/CN116758154A/zh
Publication of CN116758154A publication Critical patent/CN116758154A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种位置确定方法、系统及装置。该方法应用于位置确定系统包括的终端,该方法包括:获取第一图像和第一点云数据,基于第一图像,确定第一像素坐标和第二像素坐标,根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。这样,可以使通过相机和雷达获取到的数据统一到雷达坐标系,从而可以基于相机和雷达获取的数据来更准确地确定目标车辆的空间位置。

Description

位置确定方法、系统及装置
技术领域
本申请属于自动驾驶技术领域,尤其涉及一种位置确定方法、系统及装置。
背景技术
自动驾驶技术分为感知、决策、控制和执行等模块,其中感知模块常用相机和雷达作为传感器。不同的传感器具有不同的优势与劣势,使用单一传感器难以满足自动驾驶系统对数据全面性和准确性的需求。因此,多种传感器互相融合势在必行。
将雷达与相机进行融合可以结合二者的优点,提高感知模块的鲁棒性与准确性,得到更全面、更准确的数据。而将相机与雷达统一到同一参考系内是两个传感器进行融合的必要前提。
目前,通常采用将雷达空间投影到相机平面的方法,将相机与雷达统一到同一参考系。但是,目标车辆在相机平面中的坐标并不能反映目标车辆的空间位置,而将雷达空间投影到相机平面后,雷达获取到的目标车辆的空间坐标也被损失掉了,因此无法通过融合相机和雷达采集的数据来确定目标车辆的空间位置。
发明内容
本申请实施例提供一种位置确定方法、系统及装置,能够使通过相机和雷达获取到的数据统一到雷达坐标系,从而可以基于相机和雷达获取的数据来更准确地确定目标车辆的空间位置。
第一方面,本申请实施例提供一种位置确定方法,应用于位置确定系统包括的终端,该方法包括:
获取第一图像和第一点云数据,第一图像是通过相机采集的包括目标车辆的图像,第一点云数据是通过雷达采集的包括目标车辆的点云数据,
基于第一图像,确定第一像素坐标和第二像素坐标,第一像素坐标为目标车辆的包围框中心点的像素坐标,第二像素坐标为目标车辆的关键点的像素坐标,
根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,
根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,
根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。
第二方面,本申请实施例提供了一种位置确定系统,该系统包括:
雷达,用于采集第一点云数据,并向终端发送第一点云数据,第一点云数据包括目标车辆的点云数据,
相机,用于采集第一图像,并向终端发送第一图像,第一图像是包括目标车辆的图像,
终端,用于基于第一图像,确定第一像素坐标和第二像素坐标,根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标,第一像素坐标为目标车辆的包围框中心点的像素坐标,第二像素坐标为目标车辆的关键点的像素坐标。
第三方面,本申请实施例提供了一种位置确定装置,应用于位置确定系统包括的终端,该装置包括:
第一获取模块,用于获取第一图像和第一点云数据,第一图像是通过相机采集的包括目标车辆的图像,第一点云数据是通过雷达采集的包括目标车辆的点云数据,
第一确定模块,用于基于第一图像,确定第一像素坐标和第二像素坐标,第一像素坐标为目标车辆的包围框中心点的像素坐标,第二像素坐标为目标车辆的关键点的像素坐标,
第二确定模块,用于根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,
第三确定模块,用于根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,
第四确定模块,用于根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。
第四方面,本申请实施例提供了一种电子设备,所述设备包括:处理器以及存储有计算机程序指令的存储器,
所述处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所示的位置确定方法。
第五方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现第一方面的任一项实施例中所示的位置确定方法。
第六方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行第一方面的任一项实施例中所示的位置确定方法。
本申请实施例的位置确定方法、系统及装置,可以基于相机采集的包括目标车辆的第一图像,确定目标车辆的包围框中心点的第一像素坐标和目标车辆的关键点的第二像素坐标,然后根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,再根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据雷达采集的包括目标车辆的第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,便可以根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。这样,可以将基于相机采集的图像确定的目标车辆的像素位置转换到雷达坐标系,使通过相机和雷达获取到的数据统一到雷达坐标系,从而可以基于相机和雷达获取的数据来更准确地确定目标车辆的空间位置。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的一种位置确定系统的架构图,
图2是本申请一个实施例提供的一种位置确定方法的流程图,
图3a是本申请一个实施例提供的一种关键点位置的示意图,
图3b是本申请一个实施例提供的另一种关键点位置的示意图,
图4a是本申请一个实施例提供的又一种关键点位置的示意图,
图4b是本申请一个实施例提供的再一种关键点位置的示意图,
图5是本申请一个实施例提供的一种各坐标系间转换关系的示意图,
图6是本申请一个实施例提供的一种位置确定的示意图,
图7是本申请一个实施例提供的一种位置确定装置的结构示意图,
图8是本申请一个实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如背景技术,自动驾驶技术分为感知、决策、控制和执行等模块,其中感知模块常用相机和雷达作为传感器。不同的传感器具有不同的优势与劣势,使用单一传感器难以满足自动驾驶系统全天候工作的需求。随着应用场景越来越广泛和丰富,自动驾驶技术对于感知模块提出了更高的要求,多种传感器互相融合势在必行。将雷达与相机进行融合可以结合二者的优点,提高感知模块的鲁棒性与准确性。而将相机与雷达统一到同一参考系内是两个传感器进行融合的必要前提。
目前,相机与雷达空间的转换主要是将雷达空间投影到相机平面,但是基于该方法的融合方案相对于仅使用雷达的单传感器方案提升不大。主要原因为将三维点云投影到二维平面会损失空间信息,而自动驾驶技术中,最为关键的就是获取目标的三维空间信息,包括:目标的位置、目标的大小和目标的姿态等。例如,目标车辆在相机平面中的坐标并不能反映目标车辆的空间位置,而将雷达空间投影到相机平面后,雷达获取到的目标车辆的空间坐标也被损失掉了,因此无法通过融合相机和雷达采集的数据来确定目标车辆的空间位置。
本申请实施例提供了一种位置确定方法、系统及装置,可以基于相机采集的包括目标车辆的第一图像,确定目标车辆的包围框中心点的第一像素坐标和目标车辆的关键点的第二像素坐标,然后根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,再根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据雷达采集的包括目标车辆的第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,便可以根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。这样,可以将基于相机采集的图像确定的目标车辆的像素位置转换到雷达坐标系,使通过相机和雷达获取到的数据统一到雷达坐标系,从而可以基于相机和雷达获取的数据来更准确地确定目标车辆的空间位置。
图1示出了本申请一个实施例提供的一种位置确定系统的结构图。
如图1所示,该位置确定系统可以包括:雷达110、相机120和终端130。
其中,雷达110,用于采集第一点云数据,并向终端130发送第一点云数据,
相机120,用于采集第一图像,并向终端130发送第一图像,
终端130,用于基于第一图像,确定第一像素坐标和第二像素坐标,根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。
这里,第一点云数据可以包括目标车辆的点云数据,第一图像可以是包括目标车辆的图像,第一像素坐标可以为目标车辆的包围框中心点的像素坐标,第二像素坐标可以为目标车辆的关键点的像素坐标。
示例性地,雷达110可以是激光雷达,也可以是毫米波雷达,还可以是其他雷达,在此不做限定。相机120可以是单目相机、多目相机或深度相机等能获得场景图像的相机,还可以是其他相机,在此不做限定。终端130(也即主机)可以是PC机、工控机或嵌入式开发板等。该位置确定系统可以应用于路侧设备、车辆、无人机或机器人。
具体地,雷达110可以对周围环境进行探测感知,获得三维点云数据,也即第一点云数据,并将该第一点云数据发送至终端130。
相机120可以实时采集周围环境的图像,也即第一图像,并将该第一图像发送至终端130。
终端130可以包括雷达人工智能(Artificial Intelligence,AI)模块、相机AI模块和融合模块。雷达AI模块可以在接收到第一点云数据之后,通过AI算法识别出目标车辆,并将目标车辆的位置信息(也即第四空间坐标)发送至融合模块。相机AI模块可以在接收到第一图像之后,通过AI算法识别出目标车辆,并将目标车辆的包围框中心点的像素坐标(也即第一像素坐标)、关键点的像素坐标(也即第二像素坐标)和类别发送至融合模块。融合模块接收到第一像素坐标和第二像素坐标之后,可以基于预设转换矩阵将第一像素坐标和第二像素坐标转换至雷达坐标系中的地面上,并根据目标车辆的类别和先验知识估计目标车辆的中心位置,将该目标车辆的中心位置作为目标车辆的位置(也即第三空间坐标)。其中,先验知识可以包括车辆的尺寸信息,例如目标车辆的宽度。然后,融合模块可以将通过相机获取的第一图像确定的第三空间坐标和通过雷达获取的第一点云数据确定的第四空间坐标进行融合,得到目标车辆的目标空间坐标,该目标空间坐标可以为目标车辆的准确位置。
具体地,可以将第三空间坐标和第四空间坐标输入至卡尔曼滤波器,利用卡尔曼滤波器进行预测,得到目标空间坐标。
此外,雷达AI模块还可以将目标车辆的航向、类别和大小发送至融合模块,这属于常规技术手段,且不是本方案的重点,在此不做赘述。
融合模块还可以将第三空间坐标和第四空间坐标进行关联、跟踪与融合,然后融合模块可以将融合结果发送至其他终端设备,以便其他终端设备使用相关信息。
需要说明的是,终端130用于执行本申请一个实施例提供的一种位置确定方法。该位置确定方法在本申请的后续实施例中进行详细解释。
由此,可以基于相机采集的包括目标车辆的第一图像,确定目标车辆的包围框中心点的第一像素坐标和目标车辆的关键点的第二像素坐标,然后根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,再根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据雷达采集的包括目标车辆的第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,便可以根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。这样,可以将基于相机采集的图像确定的目标车辆的像素位置转换到雷达坐标系,使通过相机和雷达获取到的数据统一到雷达坐标系,从而可以基于相机和雷达获取的数据来更准确地确定目标车辆的空间位置。
图2示出了本申请一个实施例提供的一种位置确定方法的流程示意图。
如图2所示,该位置确定方法的执行主体可以为位置确定系统包括的终端,该位置确定方法可以包括如下步骤:
S210,获取第一图像和第一点云数据,
S220,基于第一图像,确定第一像素坐标和第二像素坐标,
S230,根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,
S240,根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,
S250,根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。
由此,可以基于相机采集的包括目标车辆的第一图像,确定目标车辆的包围框中心点的第一像素坐标和目标车辆的关键点的第二像素坐标,然后根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,再根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据雷达采集的包括目标车辆的第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,便可以根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。这样,可以将基于相机采集的图像确定的目标车辆的像素位置转换到雷达坐标系,使通过相机和雷达获取到的数据统一到雷达坐标系,从而可以基于相机和雷达获取的数据来更准确地确定目标车辆的空间位置。
涉及S210,第一图像可以是通过相机采集的包括目标车辆的图像,第一点云数据可以是通过雷达采集的包括目标车辆的点云数据。具体地,第一图像中可以至少包括目标车辆(可以是不完整的目标车辆),第一点云数据中可以至少包括目标车辆对应的点云数据。
示例性地,相机可以采集周围环境的图像,得到第一图像并将该第一图像发送至终端,雷达可以采集周围环境的点云数据,得到第一点云数据并将该第一点云数据发送至终端,该周围环境中包括目标车辆。这样,终端便可以获取到第一图像和第一点云数据。
涉及S220,第一像素坐标可以为目标车辆的包围框中心点的像素坐标,第二像素坐标可以为目标车辆的关键点的像素坐标。
具体地,可以通过AI算法确定目标车辆的关键点、包围框和类别。其中,类别可以根据实际需求划分,例如可以按照车型划分类别。
在一些实施方式中,可以采用图像中目标与地面的接触点作为关键点。
示例性地,可以如图3a所示,采用车辆的前轮与地面的接触点310以及后轮与地面的接触点320作为车辆的关键点。
但是,车辆的前轮和后轮与地面的接触点在某些情况下可能不可见,也可能因车辆的轮子较多导致与地面的接触点较多从而出现关键点检测不到或者识别错误的情况。
示例性地,如图3b所示,由于车辆未完全驶入图像中,导致车辆后轮在图像中不可见,从而无法检测到车辆后轮与地面的接触点,而且,由于该车辆轮子较多,导致将位于车辆中间的轮子与地面的接触点330错误地识别为了车辆后轮与地面的接触点,从而会得到错误的关键点。
在一些实施方式中,为了更加准确地确定关键点,关键点可以包括第一图像中目标车辆的最前端和最后端在地面的映射点。
这里,可以车辆最前端和最后端在地面的映射点作为关键点来训练AI模型,得到AI算法。
具体地,若第一图像中包括完整的目标车辆,则关键点可以为车头和车尾在地面的映射点;若第一图像中的目标车辆不完整,则关键点可以为目标车辆在第一图像中所示出的部分中,最前端和最后端在地面的映射点。
示例性地,图4a中包括完整的目标车辆,可以识别到关键点410和关键点410,其中关键点410为车头在地面的映射点,关键点420可以为车尾在地面的映射点。图4b中的目标车辆不完整,可以识别到关键点430和关键点440,其中,关键点430为目标车辆在第一图像中所示出部分的最前端在地面的映射点,关键点440位目标车辆在第一图像中所示出部分的最后端在地面的映射点。
如此,通过将图像中车辆的最前端和最后端在地面的映射点作为关键点,可以在一定程度上避免关键点检测不到或检测错误的问题,提高关键点检测的准确性。
涉及S230,预设转换矩阵可以用于将像素坐标转换为雷达坐标系中的空间坐标,因此,根据预设转换矩阵,可以确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标。
为了实现相机与雷达的融合,首先要将二者的空间进行同步。本申请实施例中,将二维图像地面映射到三维雷达地面,从而不仅能从雷达AI算法获得目标车辆的位置,还能利用图像估计出目标车辆的位置。
但是,二维平面到三维空间的变换是一个维度增加的变换,会存在维度缺失的问题,因此需要利用先验知识进行限定。在自动驾驶技术领域,一般只关注路面上目标车辆的位置,忽略目标车辆在世界坐标系下高度方向的坐标。因此,可以通过标定图像中的地面与雷达空间中的地面的转换关系,将二者在空间上联系起来。为了标定二维地面到三维地面的转换矩阵,也即预设转换矩阵,需要了解各坐标系间的转换关系。
示例性地,各坐标系间的转换关系可以如图5所示。其中,以Oc为原点的坐标系为相机坐标系,以Ow为原点的坐标系为雷达坐标系,以OL为原点的坐标系为世界坐标系,以Op为原点的坐标系为图像坐标系,以Oe为原点的坐标系为像素坐标系。其中,世界坐标系与雷达坐标系重合。
在一些实施方式中,为了更加准确地将像素坐标转换为雷达坐标系中的空间坐标,在S230之前,该方法还可以包括:
获取多组标定数据,
根据多组标定数据确定预设转换矩阵。
这里,每组标定数据可以包括目标特征点在相机采集的第二图像中的第三像素坐标和雷达采集的目标特征点的第七空间坐标。具体地,可以将该第三像素坐标和第七空间坐标读入标定程序,通过标定算法计算出预设转换矩阵。示例性地,标定算法可以利用随机抽样一致算法(Random Sample Consensus,RANSAC)、最小二乘法等优化。
其中,目标特征点可以为标定物的关键点,标定物的关键点可以为标定物与地面的接触点。
示例性地,标定物可以为标定杆、标定板或任意置于地面上具有显著特征(特征点)的参考物。
如此,通过多组标定数据可以更加准确地确定预设转换矩阵,从而可以更加准确地将像素坐标转换为雷达坐标系中的空间坐标。
在一些实施方式中,为了得到更加准确的标定数据,目标特征点可以为标定物与地面的接触点,上述获取多组标定数据,可以包括:
获取多张第二图像及多张第二图像分别对应的第二点云数据,
分别确定多张第二图像中的目标特征点的像素坐标为多个第三像素坐标,以及根据多个第二点云数据确定多个第七空间坐标,得到多组标定数据。
这里,第二图像可以是通过相机采集的包括目标特征点的图像,第二点云数据可以是通过雷达采集的包括目标特征点的点云数据。
示例性地,可以在相机与雷达共同的感知范围内,由标定人员手持标定杆,并将标定杆底端与地面接触,同时使用相机与雷达采集当前场景的数据。相机数据可以保存为常用的图像格式,雷达数据可以保存为常用的点云数据格式。
此外,多组标定数据可以是根据相机和雷达在相对位置保持不变的情况下采集的第二图像和第二点云数据确定的。具体地,可以相机与雷达固定不动,移动标定物,也可以固定标定物,移动相机与雷达。
示例性地,可以采集20组标定数据,让标定杆接地点遍布相机的感知范围(雷达感知范围大于相机,且包含相机的感知范围)。在选择接地点时,可以使多组标定数据中的接地点不共线,以保证标定数据的有效性,提高标定的精度。
然后,可以基于第二图像确定标定杆接地点的像素坐标,也即第三像素坐标,并将该第三像素坐标输出到记录文件中。还可以基于第二点云数据确定标定杆接地点的三维坐标,也即第七空间坐标,并将该第七空间坐标写入到记录文件中。
如此,通过上述过程可以得到更加准确的标定数据。
在一些实施方式中,为了进一步提升标定数据的准确性,同组标定数据对应的第二图像和第二点云数据可以是同时开始采集且同时结束采集的。
采集数据时,使雷达与相机同时开始与结束采集,可以降低时间同步对标定的影响。
在一些实施方式中,为了得到更加准确的预设转换矩阵,上述根据多组标定数据确定预设转换矩阵,可以包括:
根据多组标定数据确定预设转换矩阵,包括:
将多组标定数据代入公式求解得到预设转换矩阵
其中,xw为第七空间坐标中的横坐标,yw第五空间坐标中的纵坐标,(u,v)为第三像素坐标,h 0 0、h 0 1、h 0 2、h 1 0、h 1 1、h 1 2、h 2 0、h 2 1均为预设转换矩阵H″中的元素。
具体地,公式可以通过如下方式得到:
如图5所示,空间中一点M通过相机中心在成像平面上成像为点M。假设点M在雷达坐标系中的空间坐标为(xw,yw,zw),点M在像素坐标系下的像素坐标为(u,v),则点M和点M的转换关系可以为:
其中,fx、fy、cx、cy可以为相机内参,组成的矩阵K可以为内参矩阵,可以通过相机内参标定获得,表示相机坐标系到像素坐标系的映射关系,R可以是旋转矩阵,t可以是平移向量,组成的矩阵T可以为外参矩阵,表示雷达坐标系到相机坐标系间的刚体变换,Zc可以为点M在相机坐标系下的Z轴坐标。
然后,可以将合并为矩阵H,简化后如下:
其中,
由于本申请实施例中,需要标定图像中地面到雷达空间中地面的转换关系,因此雷达坐标系中zw可以认为等于0,这样可以将简化后的转换关系进一步变换为:
其中,由于zw可以认为等于0,因此H′为3×3的矩阵。
将进一步变换后的转换关系展开,可以得到:
将展开后的转换关系分数线上下同时除以h′22,则可以得到上述公式
的自由度为8,因此至少需要四组标定数据。将至少四组标定数据代入公式/>中求解,便可以得到中每个元素的具体值,从而得到预设转换矩阵H″。
如此,通过上述公式和多组标定数据便可以得到更加准确的预设转换矩阵。
涉及S240,根据第一空间坐标和第二空间坐标,可以确定目标车辆在雷达坐标系中的第三空间坐标,根据第一点云数据可以确定目标车辆在雷达坐标系中的第四空间坐标。如此,便可以得到目标车辆在雷达坐标系中的两个位置,一个是基于相机采集的数据确定的,一个是基于雷达采集的数据确定的,这样便将相机和雷达统一到了一个参考系。
在一些实施方式中,为了提高第三空间坐标的准确性,S240可以包括:
基于第一图像确定目标车辆的类别,
根据目标车辆的类别确定目标车辆的宽度,
根据宽度、第一空间坐标和第二空间坐标,确定第三空间坐标。
这里,类别可以根据实际需求划分,在此不做限定,例如可以按照车型划分类别。第三空间坐标可以是目标车辆的中心点在雷达坐标系中的坐标。
具体地,可以通过相机AI算法,基于第一图像识别出目标车辆的类别,再基于预先存储的类别与宽度的对应关系,根据目标车辆的类别确定目标车辆的宽度,然后便可以根据宽度、第一空间坐标和第二空间坐标确定目标车辆的第三空间坐标。
如此,通过上述过程,可以提高目标车辆的第三空间坐标的准确性。
在一些实施方式中,为了进一步提升第三空间坐标的准确性,第二空间坐标可以包括第五空间坐标和第六空间坐标,上述根据宽度、第一空间坐标和第二空间坐标,确定第三空间坐标,可以包括:
确定第五空间坐标和第六空间坐标的连线和连线的中点,
以中点为垂足,确定垂直于连线且平行于地面的直线,
在直线上确定与中点的距离为宽度的一半的多个预测点,
确定与包围框中心点位于连线同侧的目标预测点的目标预测空间坐标为第三空间坐标。
这里,第五空间坐标可以是目标车辆最前端在地面的映射点的空间坐标,第六空间坐标可以是目标车辆最后端在地面的映射点的空间坐标。
示例性地,可以如图6所示,先确定第五空间坐标610和第六空间坐标620之间的连线和连线的中点630,然后以中点630为垂足,确定垂直于连线且平行于地面的直线,并在直线上确定与中点的距离为目标车辆宽度的一半的预测点640和650,然后从预测点640和650中确定与包围框中心点660位于连线同侧的预测点640为目标预测点,确定该目标预测点的目标预测空间坐标为第三空间坐标。
如此,通过上述过程确定第三空间坐标,可以进一步提升第三空间坐标的准确性。
涉及S250,在得到目标车辆在雷达坐标系中的两个位置(基于相机采集的数据确定的位置和基于雷达采集的数据确定的位置)后,并可以将这两个位置融合得到目标车辆的准确位置,也即目标空间坐标。具体融合方法属于常规技术手段,在此不做赘述。
基于相同的发明构思,本申请实施例还提供了一种位置确定装置。下面结合图7对本申请实施例提供的位置确定装置进行详细说明。
图7示出了本申请一个实施例提供的一种位置确定装置的结构示意图。
如图7所示,该位置确定装置可以应用于位置确定系统中的终端,该装置可以包括:
第一获取模块701,用于获取第一图像和第一点云数据,第一图像是通过相机采集的包括目标车辆的图像,第一点云数据是通过雷达采集的包括目标车辆的点云数据,
第一确定模块702,用于基于第一图像,确定第一像素坐标和第二像素坐标,第一像素坐标为目标车辆的包围框中心点的像素坐标,第二像素坐标为目标车辆的关键点的像素坐标,
第二确定模块703,用于根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,
第三确定模块704,用于根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,
第四确定模块705,用于根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。
由此,可以基于相机采集的包括目标车辆的第一图像,确定目标车辆的包围框中心点的第一像素坐标和目标车辆的关键点的第二像素坐标,然后根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标,再根据第一空间坐标和第二空间坐标,确定目标车辆在雷达坐标系中的第三空间坐标,并根据雷达采集的包括目标车辆的第一点云数据确定目标车辆在雷达坐标系中的第四空间坐标,便可以根据第三空间坐标和第四空间坐标,确定目标车辆的目标空间坐标。这样,可以将基于相机采集的图像确定的目标车辆的像素位置转换到雷达坐标系,使通过相机和雷达获取到的数据统一到雷达坐标系,从而可以基于相机和雷达获取的数据来更准确地确定目标车辆的空间位置。
在一些实施方式中,为了更加准确地确定关键点,关键点可以包括第一图像中目标车辆的最前端和最后端在地面的映射点。
在一些实施方式中,为了提高第三空间坐标的准确性,第三确定模块704,可以包括:
第一确定子模块,用于基于第一图像确定目标车辆的类别,
第二确定子模块,用于根据目标车辆的类别确定目标车辆的宽度,
第三确定子模块,用于根据宽度、第一空间坐标和第二空间坐标,确定第三空间坐标。
在一些实施方式中,为了进一步提升第三空间坐标的准确性,第二空间坐标包括第五空间坐标和第六空间坐标,第三确定子模块可以包括:
第一确定单元,用于确定第五空间坐标和第六空间坐标之间的连线和连线的中点,
第二确定单元,用于以中点为垂足,确定垂直于连线且平行于地面的直线,
第三确定单元,用于在直线上确定与中点的距离为宽度的一半的多个预测点,
第四确定单元,用于确定与包围框中心点位于连线同侧的目标预测点的目标预测空间坐标为第三空间坐标。
在一些实施方式中,为了更加准确地将像素坐标转换为雷达坐标系中的空间坐标,该装置还可以包括:
第二获取模块,用于在根据预设转换矩阵,确定第一像素坐标在雷达坐标系中对应的第一空间坐标和第二像素坐标在雷达坐标系中对应的第二空间坐标之前,获取多组标定数据,每组标定数据包括目标特征点在相机采集的第二图像中的第三像素坐标和雷达采集的目标特征点的第七空间坐标,
第五确定模块,用于根据多组标定数据确定预设转换矩阵。
在一些实施方式中,为了得到更加准确的预设转换矩阵,第五确定模块可以包括:
计算子模块,用于将多组标定数据代入公式求解得到预设转换矩阵/>
其中,xw为第七空间坐标中的横坐标,yw第五空间坐标中的纵坐标,(u,v)为第三像素坐标。
在一些实施方式中,为了得到更加准确的标定数据,第二获取模块可以包括:
获取子模块,用于获取多张第二图像及多张第二图像分别对应的第二点云数据,第二图像是通过相机采集的包括目标特征点的图像,第二点云数据是通过雷达采集的包括目标特征点的点云数据,
第四确定子模块,用于分别确定多张第二图像中的目标特征点的像素坐标为多个第三像素坐标,以及根据多个第二点云数据确定多个第七空间坐标,得到多组标定数据。
在一些实施方式中,为了进一步提升标定数据的准确性,同组标定数据对应的第二图像和第二点云数据是同时开始采集且同时结束采集的。
图8示出了本申请一个实施例提供的一种电子设备的结构示意图。
如图8所示,该电子设备8能够实现根据本申请实施例中的位置确定方法以及位置确定装置的电子设备的示例性硬件架构的结构图。该电子设备可以指代本申请实施例中的电子设备。
该电子设备8可以包括处理器801以及存储有计算机程序指令的存储器802。
具体地,上述处理器801可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器802可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器802可在综合网关容灾设备的内部或外部。在特定实施例中,存储器802是非易失性固态存储器。在特定实施例中,存储器802可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器802包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本申请的一方面的方法所描述的操作。
处理器801通过读取并执行存储器802中存储的计算机程序指令,以实现上述实施例中的任意一种位置确定方法。
在一个示例中,该电子设备还可包括通信接口803和总线804。其中,如图8所示,处理器801、存储器802、通信接口803通过总线804连接并完成相互间的通信。
通信接口803,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线804包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线804可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的位置确定方法,从而实现结合图1至图7描述的位置确定方法、系统和装置。
另外,结合上述实施例中的位置确定方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述实施例中的任意一种位置确定方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种位置确定方法,应用于位置确定系统包括的终端,其特征在于,所述方法包括:
获取第一图像和第一点云数据,所述第一图像是通过相机采集的包括目标车辆的图像,所述第一点云数据是通过雷达采集的包括所述目标车辆的点云数据,
基于所述第一图像,确定第一像素坐标和第二像素坐标,所述第一像素坐标为所述目标车辆的包围框中心点的像素坐标,所述第二像素坐标为所述目标车辆的关键点的像素坐标,
根据预设转换矩阵,确定所述第一像素坐标在雷达坐标系中对应的第一空间坐标和所述第二像素坐标在所述雷达坐标系中对应的第二空间坐标,
根据所述第一空间坐标和所述第二空间坐标,确定所述目标车辆在所述雷达坐标系中的第三空间坐标,并根据所述第一点云数据确定所述目标车辆在所述雷达坐标系中的第四空间坐标,
根据所述第三空间坐标和所述第四空间坐标,确定所述目标车辆的目标空间坐标。
2.根据权利要求1所述的位置确定方法,其特征在于,所述关键点包括所述第一图像中所述目标车辆的最前端和最后端在地面的映射点。
3.根据权利要求1所述的位置确定方法,其特征在于,所述根据所述第一空间坐标和所述第二空间坐标,确定所述目标车辆在所述雷达坐标系中的第三空间坐标,包括:
基于所述第一图像确定所述目标车辆的类别,
根据所述目标车辆的类别确定所述目标车辆的宽度,
根据所述宽度、所述第一空间坐标和所述第二空间坐标,确定所述第三空间坐标。
4.根据权利要求3所述的位置确定方法,其特征在于,第二空间坐标包括第五空间坐标和第六空间坐标,所述根据所述宽度、所述第一空间坐标和所述第二空间坐标,确定所述第三空间坐标,包括:
确定所述第五空间坐标和所述第六空间坐标之间的连线和所述连线的中点,
以所述中点为垂足,确定垂直于所述连线且平行于地面的直线,
在所述直线上确定与所述中点的距离为所述宽度的一半的多个预测点,
确定与所述包围框中心点位于所述连线同侧的目标预测点的目标预测空间坐标为所述第三空间坐标。
5.根据权利要求1所述的位置确定方法,其特征在于,在所述根据预设转换矩阵,确定所述第一像素坐标在雷达坐标系中对应的第一空间坐标和所述第二像素坐标在所述雷达坐标系中对应的第二空间坐标之前,所述方法还包括:
获取多组标定数据,每组所述标定数据包括目标特征点在所述相机采集的第二图像中的第三像素坐标和所述雷达采集的所述目标特征点的第七空间坐标,
根据所述多组标定数据确定所述预设转换矩阵。
6.根据权利要求5所述的位置确定方法,其特征在于,所述根据所述多组标定数据确定所述预设转换矩阵,包括:
将所述多组标定数据代入公式求解得到所述预设转换矩阵
其中,xw为所述第七空间坐标中的横坐标,yw为所述第五空间坐标中的纵坐标,(u,v)为所述第三像素坐标。
7.根据权利要求5所述的位置确定方法,其特征在于,所述目标特征点为标定物与地面的接触点,所述获取多组标定数据,包括:
获取多张第二图像及所述多张第二图像分别对应的第二点云数据,所述第二图像是通过所述相机采集的包括所述目标特征点的图像,所述第二点云数据是通过所述雷达采集的包括所述目标特征点的点云数据,
分别确定所述多张第二图像中的目标特征点的像素坐标为多个所述第三像素坐标,以及根据多个所述第二点云数据确定多个所述第七空间坐标,得到所述多组标定数据。
8.根据权利要求7所述的位置确定方法,其特征在于,同组所述标定数据对应的所述第二图像和所述第二点云数据是同时开始采集且同时结束采集的。
9.一种位置确定系统,其特征在于,所述系统包括:
雷达,用于采集第一点云数据,并向终端发送所述第一点云数据,所述第一点云数据包括所述目标车辆的点云数据,
相机,用于采集第一图像,并向所述终端发送所述第一图像,所述第一图像是包括所述目标车辆的图像,
所述终端,用于基于所述第一图像,确定第一像素坐标和第二像素坐标,根据预设转换矩阵,确定所述第一像素坐标在雷达坐标系中对应的第一空间坐标和所述第二像素坐标在所述雷达坐标系中对应的第二空间坐标,根据所述第一空间坐标和所述第二空间坐标,确定所述目标车辆在所述雷达坐标系中的第三空间坐标,并根据所述第一点云数据确定所述目标车辆在所述雷达坐标系中的第四空间坐标,根据所述第三空间坐标和所述第四空间坐标,确定所述目标车辆的目标空间坐标,所述第一像素坐标为所述目标车辆的包围框中心点的像素坐标,所述第二像素坐标为所述目标车辆的关键点的像素坐标。
10.一种位置确定装置,应用于位置确定系统包括的终端,其特征在于,所述装置包括:
第一获取模块,用于获取第一图像和第一点云数据,所述第一图像是通过相机采集的包括目标车辆的图像,所述第一点云数据是通过雷达采集的包括所述目标车辆的点云数据,
第一确定模块,用于基于所述第一图像,确定第一像素坐标和第二像素坐标,所述第一像素坐标为所述目标车辆的包围框中心点的像素坐标,所述第二像素坐标为所述目标车辆的关键点的像素坐标,
第二确定模块,用于根据预设转换矩阵,确定所述第一像素坐标在雷达坐标系中对应的第一空间坐标和所述第二像素坐标在所述雷达坐标系中对应的第二空间坐标,
第三确定模块,用于根据所述第一空间坐标和所述第二空间坐标,确定所述目标车辆在所述雷达坐标系中的第三空间坐标,并根据所述第一点云数据确定所述目标车辆在所述雷达坐标系中的第四空间坐标,
第四确定模块,用于根据所述第三空间坐标和所述第四空间坐标,确定所述目标车辆的目标空间坐标。
CN202310644072.9A 2023-06-01 2023-06-01 位置确定方法、系统及装置 Pending CN116758154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310644072.9A CN116758154A (zh) 2023-06-01 2023-06-01 位置确定方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310644072.9A CN116758154A (zh) 2023-06-01 2023-06-01 位置确定方法、系统及装置

Publications (1)

Publication Number Publication Date
CN116758154A true CN116758154A (zh) 2023-09-15

Family

ID=87956389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310644072.9A Pending CN116758154A (zh) 2023-06-01 2023-06-01 位置确定方法、系统及装置

Country Status (1)

Country Link
CN (1) CN116758154A (zh)

Similar Documents

Publication Publication Date Title
US10996062B2 (en) Information processing device, data management device, data management system, method, and program
CN110325818B (zh) 经由多模融合的联合3d对象检测和取向估计
US9727793B2 (en) System and method for image based vehicle localization
CN110766758B (zh) 标定方法、装置、系统及存储装置
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN112232275B (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
CN110774319A (zh) 一种机器人及其定位方法和装置
CN114898321B (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN113793413A (zh) 三维重建方法、装置、电子设备及存储介质
CN111256651B (zh) 一种基于单目车载摄像头的周车测距方法和装置
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
CN114092778A (zh) 基于表征学习的雷达摄像头数据融合系统及方法
CN111656404B (zh) 图像处理方法、系统及可移动平台
CN112711973B (zh) 一种关键点检测算法的评估方法及装置
CN116681884B (zh) 一种对象检测方法和相关装置
CN116758154A (zh) 位置确定方法、系统及装置
CN116912328A (zh) 一种逆透视变换矩阵的标定方法及装置
CN118864799A (zh) 标注数据处理方法、装置、设备、介质、程序产品及车辆
US20220335732A1 (en) Method and system for recognizing surrounding driving environment based on svm original image
CN117437292A (zh) 传感器标定方法、装置、设备及介质
KR102177268B1 (ko) V2x 기지국에서 생성한 도로 레이더 정보를 이용한 도로 객체 지도 생성 방법
CN115511975A (zh) 一种单目相机的测距方法及计算机程序产品
CN113281770A (zh) 坐标系关系获取方法及装置
Zhang et al. Geometry-Constrained Monocular Scale Estimation Using Semantic Segmentation for Dynamic Scenes
CN114973182B (zh) 用于确定对象的距离的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination