CN117351079A - 一种车辆定位方法、装置、设备及介质 - Google Patents
一种车辆定位方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117351079A CN117351079A CN202311277102.3A CN202311277102A CN117351079A CN 117351079 A CN117351079 A CN 117351079A CN 202311277102 A CN202311277102 A CN 202311277102A CN 117351079 A CN117351079 A CN 117351079A
- Authority
- CN
- China
- Prior art keywords
- information
- dimensional detection
- detection frame
- determining
- frame information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 177
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004807 localization Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车辆定位方法、装置、设备及介质。其中,所述方法包括:确定图像获取设备在当前时刻感知的目标图像信息,并根据所述目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;确定激光雷达感知的在当前时刻在图像坐标系下的激光雷达点云数据;基于二维检测框信息以及图像坐标系下的激光雷达点云数据确定目标对象的第一三维检测框信息;基于三维检测信息确定目标对象的第二三维检测框信息;基于第一三维检测框信息与第二三维检测框信息确定车辆的当前位置信息。通过执行本方案,可以实现高效、快速、准确地进行车辆定位,可以节约成本,提升用户体验。
Description
技术领域
本发明涉及车辆定位技术领域,尤其涉及一种车辆定位方法、装置、设备及介质。
背景技术
自动驾驶技术可以降低事故发生率,提高汽车行驶安全,车辆环境感知和车辆定位技术是实现自动驾驶的关键核心技术。其中,车辆环境感知提供车辆周围环境信息,为自动驾驶汽车的决策和控制提供前置信息,而车辆定位技术是精确环境感知的基础条件。尤其在高等级自动驾驶城市场景下,车道复杂,定位的精度要求需要达到厘米级别。
相关技术中的车辆定位方案,当卫星信号在城市、隧道等复杂场景容易被遮挡以及信号多径等因素导致定位精度下降失效时,采用融合视觉数据、激光雷达点云数据,解决卫星信号精度降低或者失效的问题,但是需要直接同时对所有原始激光雷达点云以及原始图像数据做复杂的处理,对硬件资源要求较高,数据处理量大,导致车辆定位过程缓慢,定位精度也不高,用户体验并不好。
发明内容
本发明提供了一种车辆定位方法、装置、设备及介质,可以实现高效、快速、准确地进行车辆定位,可以节约成本,提升用户体验。
根据本发明的一方面,提供了一种车辆定位方法,该方法包括:
确定图像获取设备在当前时刻感知的目标图像信息,并根据所述目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;
确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据;
基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息;
基于所述三维检测信息确定所述目标对象的第二三维检测框信息;
基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息。
根据本发明的另一方面,提供了一种车辆定位装置,该装置包括:
图像信息确定模块,用于确定图像获取设备在当前时刻感知的目标图像信息,并根据所述目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;
激光雷达点云数据确定模块,用于确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据;
第一三维检测框信息确定模块,用于基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息;
第二三维检测框信息确定模块,用于基于所述三维检测信息确定所述目标对象的第二三维检测框信息;
车辆位置信息确定模块,用于基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的车辆定位方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的车辆定位方法。
本发明实施例的技术方案,确定图像获取设备在当前时刻感知的目标图像信息,并根据目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;确定激光雷达感知的在当前时刻在图像坐标系下的激光雷达点云数据;基于二维检测框信息以及图像坐标系下的激光雷达点云数据确定目标对象的第一三维检测框信息;基于三维检测信息确定目标对象的第二三维检测框信息;基于第一三维检测框信息与第二三维检测框信息确定车辆的当前位置信息。通过执行本方案,可以实现高效、快速、准确地进行车辆定位,可以节约成本,提升用户体验。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种车辆定位方法的流程图;
图1b是本发明实施例提供的激光雷达FOV与图像获取设备FOV有重叠覆盖区域的车辆俯视示意图;
图2a是本发明实施例提供的另一种车辆定位方法的流程图;
图2b是本发明实施例提供的又一种车辆定位方法的流程图;
图3是本发明实施例提供的一种车辆定位装置的结构示意图;
图4是实现本发明实施例的车辆定位方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是,在使用本发明各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本发明所涉及个人信息的类型、适用范围以及使用场景等告知用户并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本发明技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本发明的实现方式构成限定,其它满足相关法律法规的方式也可应用于本发明的实现方式中。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
图1a是本发明实施例提供的车辆定位方法的流程图,本实施例可适用于在卫星信号差时对具备自动驾驶功能或者辅助驾驶功能的车辆进行定位的情况,该方法可以由车辆定位装置来执行,该车辆定位装置可以采用硬件和/或软件的形式实现,该车辆定位装置可配置于用于车辆定位的电子设备中。
如图1a所示,该方法包括:
S110:确定图像获取设备在当前时刻感知的目标图像信息,并根据所述目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息。
其中,图像获取设备可以是前视车载摄像头。本方案可以通过图像获取设备实时获取车辆周围的环境信息,即目标图像信息,并根据目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息。二维检测框信息可以是二维图像坐标系数据,包括对应的图像数据和对应的时间。三维检测信息可以是三维相机坐标系数据,可以包括目标对象的长、宽、高、类别、目标对象基于相机坐标系的位置坐标以及对应的时间。目标对象可以是交通标识牌、杆状物、地面交通标识、停止线等元素。二维检测框信息可以是在目标图像信息中把目标对象标记出来的框信息。
S120:确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据。
具体的,激光雷达可以是前视激光雷达。图像获取设备、激光雷达需完成全局时间同步。图像获取设备需完成内参标定、外参标定,激光雷达完成外参标定。摄像头和激光雷达外参标定以车辆后轴中心点到地面投影点作为车身坐标系原点。激光雷达的FOV和图像获取设备的FOV需要有重叠覆盖区域,并且重叠区域越大越好,如图1b所示。本方案可以确定激光雷达感知的在当前时刻在图像坐标系下的激光雷达点云数据,包括激光雷达点云数据时间戳和对应的激光雷达点云数据。
S130:基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息。
其中,由于前述步骤中已经确定了图像坐标系下车辆周围环境的激光雷达点云数据,本方案可以根据二维检测框信息以及图像坐标系下车辆周围环境的激光雷达点云数据确定目标对象在图像坐标系下的激光雷达点云数据,进而根据目标对象在图像坐标系下的激光雷达点云数据确定与之对应的激光雷达坐标系下原始的激光雷达点云数据,进而根据原始的激光雷达点云数据确定目标对象的三维检测框信息,即第一三维检测框信息。第一三维检测框信息的坐标系为激光雷达坐标系。
S140:基于所述三维检测信息确定所述目标对象的第二三维检测框信息。
其中,本方案可以根据三维检测信息检测出目标对象,进而确定目标对象的三维检测框信息,即第二三维检测框信息,第二三维检测框信息的坐标系为相机坐标系。
S150:基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息。
其中,本方案可以在确定完成第一三维检测框信息与第二三维检测框信息之后,将各三维检测框信息转换至车身坐标系下,根据车身坐标系下转换完成的两个三维检测框信息的重合程度确定目标对象的相关信息,然后根据其他数据一起确定车辆的当前位置信息。
本发明实施例的技术方案,确定图像获取设备在当前时刻感知的目标图像信息,并根据目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;确定激光雷达感知的在当前时刻在图像坐标系下的激光雷达点云数据;基于二维检测框信息以及图像坐标系下的激光雷达点云数据确定目标对象的第一三维检测框信息;基于三维检测信息确定目标对象的第二三维检测框信息;基于第一三维检测框信息与第二三维检测框信息确定车辆的当前位置信息。通过执行本发明实施例提供的技术方案,可以实现高效、快速、准确地进行车辆定位,可以节约成本,提升用户体验。
图2a是本发明实施例提供的车辆定位方法的流程图,本实施例在上述实施例的基础上进行优化。如图2a所示,本发明实施例中车辆定位方法可以包括:
S210:确定图像获取设备在当前时刻感知的目标图像信息,并根据所述目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息。
其中,本步骤的介绍详见上述实施例。
S220:确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据。
其中,本步骤的介绍详见上述实施例。
S230:基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息。
其中,本步骤的介绍详见上述实施例。
S240:基于所述三维检测信息确定所述目标对象的第二三维检测框信息。
其中,本步骤的介绍详见上述实施例。
S250:确定车辆的轮速信息、卫星-惯导信息以及高精地图信息。
其中,卫星-惯导信息可以是卫星数据和惯导数据,卫星数据的准确与否由卫星信号的强弱确定。惯导数据可以由IMU惯导组合设备确定。本方案还可以确定车辆在行驶过程的轮速信息以及高精地图信息。轮速信息、卫星-惯导信息以及高精地图信息的坐标系均为车身坐标系。
S260:基于所述第一三维检测框信息与所述第二三维检测框信息确定目标对象信息。
其中,本方案可以分别将第一三维检测框信息、第二三维检测框信息转换至车身坐标系下,然后根据转换完成的各三维检测框信息确定目标对象信息。目标对象信息可以是目标对象的长、宽、高、目标对象所属的类别以及目标对象在车身坐标系下的坐标位置信息。
S270:基于所述目标对象信息、所述轮速信息、卫星-惯导信息以及所述高精地图信息确定所述车辆的当前位置信息。
其中,如图2b所示,本方案可以通过高精定位地图模块,将由图像检测模块以及激光雷达监测模块确定的各个目标对象的目标对象信息,与离线的高清地图进行匹配,结合轮速信息、卫星-惯导信息确定车辆的高精度位置,即车辆的当前位置信息。并将车辆的当前位置信息用于下一次车辆位置信息的确定过程中,完成预设的自动驾驶或者辅助驾驶功能。
在本实施例中,可选的,根据所述目标图像信息确定至少一个目标对象的二维检测框信息,包括:基于目标检测算法确定所述目标图像信息中至少一个目标对象的二维检测框信息。
其中,本方案可以根据基于图像的目标检测算法确定目标图像信息中各个目标对象的二维检测框信息。目标检测算法可以参考现有技术。可以为后续车辆位置的精确确定提供可靠的数据基础。
在本实施例中,可选的,确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据,包括:确定激光雷达感知的在所述当前时刻在激光雷达坐标系下的激光雷达点云数据;确定激光雷达的外参、图像获取设备的外参以及图像获取设备的内参;根据所述激光雷达坐标系下的激光雷达点云数据、激光雷达的外参、图像获取设备的外参以及图像获取设备的内参确定激光雷达在所述当前时刻在图像坐标系下的激光雷达点云数据。
其中,激光雷达的外参、图像获取设备的外参、图像获取设备的内参已经预先确定完成。本方案可以确定激光雷达感知的在当前时刻车辆周围环境在激光雷达坐标系下的激光雷达点云数据,根据激光雷达的外参以及图像获取设备的外参确定图像获取设备坐标系下的激光雷达点云数据,然后基于图像获取设备的内参以及图像获取设备坐标系下的激光雷达点云数据确定当前时刻车辆周围环境在图像坐标系下的激光雷达点云数据。可以实现激光雷达点云数据与图像数据在空间纬度上的统一,为后续车辆位置的精确确定提供可靠的数据基础。
需要说明的是,图像获取设备的运行周期与激光雷达的运行周期并不总是一致的,例如图像获取设备每隔33ms获取一帧图像,而激光雷达每隔100ms获取一组激光点云数据,也就是说当前时刻图像获取设备感知了图像信息,但是激光雷达并未在当前时刻感知车辆周围环境的激光点云数据,需要对激光雷达点云做运动补偿,确定激光雷达感知的距离当前时刻最近时刻的激光点云数据,然后根据该当前时刻最近时刻的车辆周围环境的激光点云数据确定当前时刻车辆周围环境的激光点云数据,具体确定过程如下:
1)读取当前时刻对应的自车定位数据T[image],该定位数据T[image]就是该当前时刻下自车位置到定位统一坐标系(世界坐标系)的变化关系。读取需要处理的激光雷达点云时间戳(当前时刻最近时刻)对应的自车定位数据T[pointcloud],该定位数据就是该当前时刻最近时刻下自车位置到定位统一坐标系(世界坐标系)的变化关系。
2)在世界坐标系下,点云的位置是统一不变的,所以有如下公式:T[image]*P[image]=T[pointcloud]*P[pointcloud],其中P是点云数据。所以图像曝光时间戳对应的点云为:P[pointcloud]=T[image]-1*
T[pointcloud]*P[pointcloud]。
其中,T[image]-1*T[pointcloud]可以统一记为:[transformer],一般形式为:包含平移t和旋转R。可以实现激光雷达点云数据与图像数据在时间维度上的统一,可以为后续车辆位置的精确确定提供可靠的数据基础。
在本实施例中,可选的,基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息,包括:基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定目标激光雷达点云数据;目标激光雷达点云数据的坐标系为激光雷达坐标系;将所述目标激光雷达点云数据进行聚类得到所述目标对象的第一三维检测框信息。
其中,由于二维检测框信息也是图像坐标系中的数据,本方案可以基于二维检测框信息以及图像坐标系下的激光雷达点云数据确定二维检测框中图像坐标系下的激光雷达点云数据。由于激光点云数据都有对应的编号,因此,本方案可以根据二维检测框中图像坐标系下的激光雷达点云数据(例如标号50-100)确定对应标号(标号50-100)的激光雷达坐标系中的原始点云数据,即目标激光雷达点云数据。然后将目标激光雷达点云数据进行点云聚类得到目标对象的检测框的三维数据,即第一三维检测框信息。聚类方式可以是欧式聚类。可以基于视觉检测的先验信息,避免直接处理大量点云,节省硬件资源,降低实现成本,为后续车辆位置的精确确定提供可靠的数据基础。
在本实施例中,可选的,基于所述第一三维检测框信息与所述第二三维检测框信息确定目标对象信息,包括:确定所述第一三维检测框信息与所述第二三维检测框信息的重合度;基于所述重合度确定所述目标对象信息。
其中,本方案可以确定第一三维检测框信息与第二三维检测框信息的重合情况,即重合度,然后根据重合度确定目标对象信息。
在一个可行的实施方式中,可选的,基于所述重合度确定所述目标对象信息,包括:若确定所述重合度大于预设阈值,则将所述第一三维检测框信息作为所述目标对象信息;若确定所述重合度小于或者等于所述预设阈值,则将所述第二三维检测框信息作为所述目标对象信息。
其中,本方案如果确定检测框重合度大于预设阈值,则表示标识目标对象的激光点云数据与标识目标对象的三维坐标数据基本一致,使用激光点云聚类之后的第一三维检测框信息作为目标对象信息。如果检测框重合度小于或者等于预设阈值,则表示目标对象的激光点云数据与标识目标对象的三维坐标数据出入比较大,将第二三维检测框信息作为目标对象信息。其中,检测框重合度的预设阈值,可以根据图像获取设备的FOV中心线纵向距离分段设置,例如距离图像获取设备越远,预设阈值设置的越小。距离图像获取设备越近,预设阈值设置的越大。可以为后续车辆位置的精确确定提供可靠的数据基础。
本发明实施例的技术方案,确定图像获取设备在当前时刻感知的目标图像信息,并根据目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;确定激光雷达感知的在当前时刻在图像坐标系下的激光雷达点云数据;基于二维检测框信息以及图像坐标系下的激光雷达点云数据确定目标对象的第一三维检测框信息;基于三维检测信息确定目标对象的第二三维检测框信息;确定车辆的轮速信息、卫星-惯导信息以及高精地图信息;基于第一三维检测框信息与第二三维检测框信息确定目标对象信息;基于目标对象信息、轮速信息、卫星-惯导信息以及高精地图信息确定车辆的当前位置信息。通过执行本发明实施例提供的技术方案,可以实现高效、快速、准确地进行车辆定位,可以节约成本,提升用户体验。
图3是本发明实施例提供的车辆定位装置的结构示意图。如图3所示,该装置包括:
图像信息确定模块310,用于确定图像获取设备在当前时刻感知的目标图像信息,并根据所述目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;
激光雷达点云数据确定模块320,用于确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据;
第一三维检测框信息确定模块330,用于基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息;
第二三维检测框信息确定模块340,用于基于所述三维检测信息确定所述目标对象的第二三维检测框信息;
车辆位置信息确定模块350,用于基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息。
可选的,图像信息确定模块310,具体用于基于目标检测算法确定所述目标图像信息中至少一个目标对象的二维检测框信息。
可选的,激光雷达点云数据确定模块320,具体用于确定激光雷达感知的在所述当前时刻在激光雷达坐标系下的激光雷达点云数据;确定激光雷达的外参、图像获取设备的外参以及图像获取设备的内参;根据所述激光雷达坐标系下的激光雷达点云数据、激光雷达的外参、图像获取设备的外参以及图像获取设备的内参确定激光雷达在所述当前时刻在图像坐标系下的激光雷达点云数据。
可选的,第一三维检测框信息确定模块330,具体用于基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定目标激光雷达点云数据;目标激光雷达点云数据的坐标系为激光雷达坐标系;将所述目标激光雷达点云数据进行聚类得到所述目标对象的第一三维检测框信息。
可选的,所述装置还包括其他信息确定模块,用于在基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息之前,确定所述车辆的轮速信息、卫星-惯导信息以及高精地图信息;车辆位置信息确定模块350,包括目标对象信息确定单元,用于基于所述第一三维检测框信息与所述第二三维检测框信息确定目标对象信息;车辆位置信息确定单元,用于基于所述目标对象信息、所述轮速信息、卫星-惯导信息以及所述高精地图信息确定所述车辆的当前位置信息。
可选的,目标对象信息确定单元,具体用于确定所述第一三维检测框信息与所述第二三维检测框信息的重合度;基于所述重合度确定所述目标对象信息。
可选的,目标对象信息确定单元,具体用于若确定所述重合度大于预设阈值,则将所述第一三维检测框信息作为所述目标对象信息;若确定所述重合度小于或者等于所述预设阈值,则将所述第二三维检测框信息作为所述目标对象信息。
本发明实施例所提供的车辆定位装置可执行本发明任意实施例所提供的车辆定位方法,具备执行方法相应的功能模块和有益效果。
图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备40包括至少一个处理器41,以及与至少一个处理器41通信连接的存储器,如只读存储器(ROM)42、随机访问存储器(RAM)43等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序,来执行各种适当的动作和处理。在RAM 43中,还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45,包括:输入单元46,例如键盘、鼠标等;输出单元47,例如各种类型的显示器、扬声器等;存储单元48,例如磁盘、光盘等;以及通信单元49,例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理,例如车辆定位方法。
在一些实施例中,车辆定位方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元48。在一些实施例中,计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时,可以执行上文描述的车辆定位方法的一个或多个步骤。备选地,在其他实施例中,处理器41可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行车辆定位方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种车辆定位方法,其特征在于,包括:
确定图像获取设备在当前时刻感知的目标图像信息,并根据所述目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;
确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据;
基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息;
基于所述三维检测信息确定所述目标对象的第二三维检测框信息;
基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息。
2.根据权利要求1所述的方法,其特征在于,根据所述目标图像信息确定至少一个目标对象的二维检测框信息,包括:
基于目标检测算法确定所述目标图像信息中至少一个目标对象的二维检测框信息。
3.根据权利要求1所述的方法,确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据,包括:
确定激光雷达感知的在所述当前时刻在激光雷达坐标系下的激光雷达点云数据;
确定激光雷达的外参、图像获取设备的外参以及图像获取设备的内参;
根据所述激光雷达坐标系下的激光雷达点云数据、激光雷达的外参、图像获取设备的外参以及图像获取设备的内参确定激光雷达在所述当前时刻在图像坐标系下的激光雷达点云数据。
4.根据权利要求1所述的方法,基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息,包括:
基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定目标激光雷达点云数据;目标激光雷达点云数据的坐标系为激光雷达坐标系;
将所述目标激光雷达点云数据进行聚类得到所述目标对象的第一三维检测框信息。
5.根据权利要求1所述的方法,其特征在于,在基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息之前,所述方法还包括:
确定所述车辆的轮速信息、卫星-惯导信息以及高精地图信息;
基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息,包括:
基于所述第一三维检测框信息与所述第二三维检测框信息确定目标对象信息;
基于所述目标对象信息、所述轮速信息、卫星-惯导信息以及所述高精地图信息确定所述车辆的当前位置信息。
6.根据权利要求5所述的方法,其特征在于,基于所述第一三维检测框信息与所述第二三维检测框信息确定目标对象信息,包括:
确定所述第一三维检测框信息与所述第二三维检测框信息的重合度;
基于所述重合度确定所述目标对象信息。
7.根据权利要求6所述的方法,其特征在于,基于所述重合度确定所述目标对象信息,包括:
若确定所述重合度大于预设阈值,则将所述第一三维检测框信息作为所述目标对象信息;
若确定所述重合度小于或者等于所述预设阈值,则将所述第二三维检测框信息作为所述目标对象信息。
8.一种车辆定位装置,其特征在于,包括:
图像信息确定模块,用于确定图像获取设备在当前时刻感知的目标图像信息,并根据所述目标图像信息确定至少一个目标对象的二维检测框信息和三维检测信息;
激光雷达点云数据确定模块,用于确定激光雷达感知的在所述当前时刻在图像坐标系下的激光雷达点云数据;
第一三维检测框信息确定模块,用于基于所述二维检测框信息以及所述图像坐标系下的激光雷达点云数据确定所述目标对象的第一三维检测框信息;
第二三维检测框信息确定模块,用于基于所述三维检测信息确定所述目标对象的第二三维检测框信息;
车辆位置信息确定模块,用于基于所述第一三维检测框信息与所述第二三维检测框信息确定车辆的当前位置信息。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的车辆定位方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的车辆定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311277102.3A CN117351079A (zh) | 2023-09-28 | 2023-09-28 | 一种车辆定位方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311277102.3A CN117351079A (zh) | 2023-09-28 | 2023-09-28 | 一种车辆定位方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117351079A true CN117351079A (zh) | 2024-01-05 |
Family
ID=89355137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311277102.3A Pending CN117351079A (zh) | 2023-09-28 | 2023-09-28 | 一种车辆定位方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117351079A (zh) |
-
2023
- 2023-09-28 CN CN202311277102.3A patent/CN117351079A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
US20220373353A1 (en) | Map Updating Method and Apparatus, and Device | |
CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
WO2024012212A1 (zh) | 环境感知方法、域控制器、存储介质及车辆 | |
CN114705121A (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN109827610B (zh) | 用于校验传感器融合结果的方法和装置 | |
CN117724361A (zh) | 应用于自动驾驶仿真场景的碰撞事件检测方法及装置 | |
CN113256709A (zh) | 目标检测方法、装置、计算机设备以及存储介质 | |
CN110784680B (zh) | 一种车辆定位方法、装置、车辆和存储介质 | |
CN109376653B (zh) | 用于定位车辆的方法、装置、设备和介质 | |
CN115661014A (zh) | 一种点云数据处理方法、装置和电子设备、存储介质 | |
CN114612544B (zh) | 图像处理方法、装置、设备和存储介质 | |
CN117351079A (zh) | 一种车辆定位方法、装置、设备及介质 | |
CN108416305B (zh) | 连续型道路分割物的位姿估计方法、装置及终端 | |
CN113442910B (zh) | 用于辅助停车的方法、装置、设备和可读存储介质 | |
CN115857176B (zh) | 一种抬头显示器及其高度调节方法、装置、存储介质 | |
CN113312403B (zh) | 地图获取方法、装置、电子设备及存储介质 | |
CN114581615B (zh) | 一种数据处理方法、装置、设备和存储介质 | |
CN117058250A (zh) | 一种基于相机的3d目标检测方法、装置、设备及介质 | |
CN118135003A (zh) | 一种点云筛选方法、装置、设备及存储介质 | |
CN118035788A (zh) | 一种目标车辆相对位置分类方法、装置、设备及存储介质 | |
CN117348031A (zh) | 一种车辆定位系统、方法及介质 | |
CN114565904A (zh) | 确定可行驶区域的方法、装置、设备、介质和车辆 | |
CN116299199A (zh) | 一种雷达距离显示方法、装置、电子设备和存储介质 | |
CN118430094A (zh) | 一种车辆运行状态的展示方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |