CN114581509A - 一种目标定位方法及装置 - Google Patents

一种目标定位方法及装置 Download PDF

Info

Publication number
CN114581509A
CN114581509A CN202011389764.6A CN202011389764A CN114581509A CN 114581509 A CN114581509 A CN 114581509A CN 202011389764 A CN202011389764 A CN 202011389764A CN 114581509 A CN114581509 A CN 114581509A
Authority
CN
China
Prior art keywords
map
target
ground traffic
coordinate system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011389764.6A
Other languages
English (en)
Inventor
童哲航
李天威
蔡之奡
刘一龙
王宇桐
穆北鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN202011389764.6A priority Critical patent/CN114581509A/zh
Priority to PCT/CN2021/109530 priority patent/WO2022116572A1/zh
Publication of CN114581509A publication Critical patent/CN114581509A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明实施例公开一种目标定位方法及装置，该方法包括：基于预设对象检测模型及道路图像，确定道路图像中的备用地面交通标志物的图像位置信息，其中，道路图像为：待定位目标所设置的图像采集设备采集所得的图像；利用图像采集设备的内参信息、图像采集设备的设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系以及备用地面交通标志物的图像位置信息，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息；获得待定位目标的初始位姿信息；基于初始位姿信息、预设地面交通标志物地图、图像采集设备的设备投影模型、第一转换关系以及俯视投影位置信息，确定待定位目标的目标位姿信息，以实现对定位结果的精度以及鲁棒性的提高。

Description

一种目标定位方法及装置
技术领域
本发明涉及定位技术领域，具体而言，涉及一种目标定位方法及装置。
背景技术
目前，目标对象如自动驾驶车辆和机器人的自主定位方案中，一般是：基于目标对象所设置的图像采集设备采集的视觉信息进行定位。在上述基于视觉信息进行定位的过程中，一般是：利用视觉信息中的路灯杆和交通牌这些元素的位置信息、通过目标对象通过里程计确定的初始位姿信息，从预设包含该类交通元素的地图位置信息的场景地图，中确定与视觉信息中的路灯杆和交通牌匹配的地图元素，进而，利用路灯杆和交通牌的位置信息及其匹配的地图元素在场景图像中的地图位置信息，确定自动驾驶车辆或者机器人的较准确的位姿信息。
然而，上述路灯杆和交通牌这类交通元素在实际交通场景中一般较为稀疏，这在一定程度上对上述定位过程中目标对象的定位结果的精度和鲁棒性存在影响。
发明内容
本发明提供了一种目标定位方法及装置，以实现对定位结果的精度以及鲁棒性的提高。具体的技术方案如下：
第一方面，本发明实施例提供了一种目标定位方法，所述方法包括：
基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
获得所述待定位目标的初始位姿信息；
基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
可选的，所述基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息的步骤，包括：
基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
可选的，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
所述利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息的步骤，包括：
利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
可选的，所述利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息的步骤，包括：
利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
可选的，所述获得所述待定位目标的初始位姿信息的步骤，包括：
获得所述待定位目标所设置的各其他传感器所采集的传感器数据；
基于各所述其他传感器所采集的传感器数据，确定所述待定位目标的初始位姿信息。
可选的，所述备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
第二方面，本发明实施例提供了一种目标定位装置，所述装置包括：
第一确定模块，被配置为基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
第二确定模块，被配置为利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
获得模块，被配置为获得所述待定位目标的初始位姿信息；
第三确定模块，被配置为基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
可选的，所述第三确定模块，包括：
第一确定单元，被配置为基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
第二确定单元，被配置为利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
可选的，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
所述第二确定单元，被具体配置为利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
可选的，所述第二确定模块，被具体配置为利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
可选的，所述获得模块，被具体配置为获得所述待定位目标所设置的各其他传感器所采集的传感器数据；
基于各所述其他传感器所采集的传感器数据，确定所述待定位目标的初始位姿信息。
可选的，所述备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
由上述内容可知，本发明实施例提供的一种目标定位方法及装置，基于预设对象检测模型及道路图像，确定道路图像中的备用地面交通标志物的图像位置信息，其中，道路图像为：待定位目标所设置的图像采集设备采集所得的图像；利用图像采集设备的内参信息、图像采集设备的设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系以及备用地面交通标志物的图像位置信息，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息，其中，地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；获得待定位目标的初始位姿信息；基于初始位姿信息、预设地面交通标志物地图、图像采集设备的设备投影模型、第一转换关系以及俯视投影位置信息，确定待定位目标的目标位姿信息，其中，预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
应用本发明实施例，可以利用更稠密的地面交通标志物作为待定位目标的定位的依据，在一定程度上可以提高定位结果的准确性以及鲁棒性，且确定备用地面交通标志物在地面坐标系下的俯视投影位置信息，进而利用该俯视投影位置信息以及预设地面交通标志物地图中各地图地面交通标志物及其地图位姿信息，确定待定位目标的目标位姿信息，在一定程度上可以消除由于图像采集设备成像机制导致的地面交通标志物中近大远小的问题，并且可以消除高度信息对地面交通标志物的匹配以及后续位姿计算的影响，在一定程度上实现所确定待定位目标的目标位姿信息即定位结果的精度以及鲁棒性的提高。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以利用更稠密的地面交通标志物作为待定位目标的定位的依据，在一定程度上可以提高定位结果的准确性以及鲁棒性，且利用在地面坐标系中的俯视投影位置信息确定目标位姿信息，在一定程度上可以消除由于图像采集设备成像机制导致的地面交通标志物中近大远小的问题，并且可以消除高度信息对地面交通标志物的匹配以及后续位姿计算的影响，在一定程度上实现所确定待定位目标的目标位姿信息即定位结果的精度以及鲁棒性的提高。
2、将地图地面交通标志物从地图对应的坐标系转换至图像坐标系，进而从图像坐标系转到地面坐标系，得到地图地面交通标志物的俯视映射位置信息，进而利用地图地面交通标志物的俯视映射位置信息和备用地面交通标志物的俯视投影位置信息进行残差优化，确定待定位目标的目标位姿信息，以消除高度信息对地面交通标志物的匹配以及位姿信息计算的影响，提高所确定目标位姿信息即定位结果的精度以及鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标定位方法的一种流程示意图；
图2为本发明实施例提供的目标定位装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种目标定位方法及装置，以实现对定位结果的精度以及鲁棒性的提高。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的目标定位方法的一种流程示意图。该方法可以包括如下步骤：
S101：基于预设对象检测模型及道路图像，确定道路图像中的备用地面交通标志物的图像位置信息。
其中，道路图像为：待定位目标所设置的图像采集设备采集所得的图像。该待定为目标可以为自动驾驶车辆也可以为机器人。该待定位目标设置有至少一个图像采集设备，可以针对待定位目标所处环境采集图像。该待定位目标还设置有各类其他传感器，用于辅助待定位目标的定位。该其他传感器可以包括但不限于：轮速传感器、IMU(Inertialmeasurement unit，测量惯性单元)、GPS(Global Positioning System，全球定位系统)以及GNSS(Global Navigation Satellite System，全球卫星导航系统)等。
本发明实施例所提供的目标定位方法，可以应用于任一具有计算能力的电子设备，该电子设备可以为终端或者服务器。在一种实现中，实现该目标定位方法的功能软件可以以单独的客户端软件的形式存在，也可以以目前相关的客户端软件的插件的形式存在，这都是可以的。
在一种实现中，待定位目标为自动驾驶车辆，相应的，该电子设备可以为车载设备，设置于该待定位目标上，电子设备可以直接获得待定位目标所设置的图像采集设备所采集的道路图像以及所设置的其他传感器所采集的传感器数据。也可以为非车载设备，相应的，该电子设备可以与待定位目标中的车载设备连接，得到待定位目标中的车载设备所传送的图像采集设备采集的道路图像，以及待定位目标所设置的其他传感器所采集的传感器数据或者车载设备基于其他传感器所采集的传感器数据确定的待定位目标的初始位姿信息。
在一种情况中，待定位目标所设置的图像采集设备为多个，该多个图像采集设备可以对待定位目标所处环境进行全方位拍摄，得到待定位目标四周环境的多个道路图像，该道路图像中包括待定位目标所处环境的道路信息。相应的，电子设备可以针对每一道路图像执行本发明实施例所提供的目标定位方法，以得到精度高的定位结果。
电子设备获得道路图像之后，基于预设对象检测模型对道路图像进行检测，确定道路图像中的地面交通标志物，作为备用地面交通标志物，并确定各备用地面交通标志物在道路图像中的图像位置信息。
该预设对象检测模型为预先基于标注有地面交通标志物的样本图像训练得到的神经网络模型，其训练过程可以参见相关技术中神经网络模型的训练过程，在此不再赘述。其中，该地面交通标志物包括备用交通标志物以及后续的地图交通标志物。
在本发明的一种实现方式中，备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
S102：利用图像采集设备的内参信息、图像采集设备的设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系以及备用地面交通标志物的图像位置信息，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息。
其中，地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系。
电子设备本地或所连接的存储设备预先存储其待定位目标所设置的图像采集设备的内参信息以及图像采集设备的设备坐标系与待定位目标所对应地面坐标系之间的位置转换关系，即第一转换关系。
其中，图像采集设备的内参信息可以包括：图像采集设备的图像坐标系下横轴方向上的焦距fx，图像采集设备的图像坐标系下纵轴方向上的焦距fy，一般情况下，二者相等；图像采集设备的成像平面中像主点的位置信息，图像坐标系的坐标轴倾斜参数s。
本步骤中，电子设备可以基于图像采集设备的内参信息以及备用地面交通标志物的图像位置信息，确定出备用地面交通标志物在图像采集设备的设备坐标系中的设备位置信息；进而，利用第一转换关系以及备用地面交通标志物的设备位置信息，确定出备用地面交通标志物在地面坐标系下的位置信息，作为俯视投影位置信息。该地面坐标系为三维直角坐标系，其横轴与纵轴所在平面与地面平行，竖轴垂直于地面向上。
其中，备用地面交通标志物在地面坐标系下的俯视投影位置信息中，可以不包含竖轴的坐标值，即无高度信息，在一定程度上可以消除高度信息对后续的备用地面交通标志物匹配以及确定待定位目标的目标位姿信息及定位结果的影响，提高定位准确度。
S103：获得待定位目标的初始位姿信息。
其中，初始位姿信息包括：待定位目标初始的在预设三维直角坐标系下的位置信息和姿态信息。一种情况中，该预设三维直角坐标系为世界坐标系。
在一种实现方式中，电子设备可以直接获得待定位目标的初始位姿信息，其中，该初始位姿信息为基于待定位目标的其他传感器所采集的传感器数据和/或道路图像进行任意组合所确定的位姿信息。例如：可以是：道路图像与IMU所采集的传感器数据组合确定初始位姿信息，道路图像与GNSS所采集的传感器数据组合确定初始位姿信息，道路图像与轮速传感器所采集的传感器数据组合确定初始位姿信息，以及轮速传感器所采集的传感器数据与IMU所采集的传感器数据与GNSS所采集的传感器数据组合确定初始位姿信息等等。
S104：基于初始位姿信息、预设地面交通标志物地图、图像采集设备的设备投影模型、第一转换关系以及俯视投影位置信息，确定待定位目标的目标位姿信息。
其中，预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。该各地图地面交通标志物以三维点云的形式存在于预设地面交通标志物地图中。地图地面交通标志物包括但不限于：车道线、停车位、停止线、斑马线以及交通指示箭头等。
电子设备本地或所连接的存储设备预先存储有预设地面交通标志物地图，获得待定位目标的初始位姿信息之后，一种实现方式中，电子设备可以直接基于初始位姿信息，从预设地面交通标志物地图，确定出待定位目标所在位置附件的局部区域，作为局部地图。其中，该局部地图中包括地图地面交通标志物。进而，利用初始位姿信息、局部地图中地图地面交通标志物及其地图位姿信息、图像采集设备的内参信息、第一转换关系以及俯视投影位置信息，确定待定位目标图像的目标位姿信息。具体的，可以是：匹配局部地图中地图地面交通标志物与备用地面交通标志物，并利用相互匹配的地图地面交通标志物的地图位姿信息与备用地面交通标志物的俯视投影位置信息、初始位姿信息、图像采集设备的内参信息以及第一转换关系，确定待定位目标图像的目标位姿信息。
在本发明的另一实施例中，该初始位姿信息为在世界坐标系下的位姿信息，各地图地面交通标志物的地图位姿信息为世界坐标系下的位姿信息；
所述利用初始位姿信息、局部地图中地图地面交通标志物及其地图位姿信息、图像采集设备的内参信息、所述第一转换关系以及俯视投影位置信息，确定待定位目标图像的目标位姿信息的步骤，可以包括如下步骤011-013：
011：利用初始位姿信息、设备坐标系与待定位目标所在坐标系之间的第二转换关系、图像采集设备的设备投影模型以及局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在道路图像中的映射位置信息。
012：基于每一地图地面交通标志物在道路图像中的映射位置信息、图像采集设备的内参信息以及第一转换关系，确定每一地图地面交通标志物在地面坐标系下的俯视映射位置信息。
013：利用每一地图地面交通标志物的俯视映射位置信息以及备用地面交通标志物的俯视投影位置信息，确定待定位目标的目标位姿信息。
本实现方式中，电子设备可以利用初始位姿信息、设备坐标系与待定位目标所在坐标系之间的第二转换关系、图像采集设备的设备投影模型以及局部地图中每一地图地面交通标志物的地图位姿信息，将局部地图中每一地图地面交通标志物，从世界坐标系下限转换中待定位目标所在坐标系，进而转换至图像采集设备的设备坐标系，再转换至道路图像所在的图像坐标系下，确定每一地图地面交通标志物在道路图像中的映射位置信息。
后续的，利用每一地图地面交通标志物在道路图像中的映射位置信息、图像采集设备的内参信息以及第一转换关系，将每一地图地面交通标志物从图像坐标系下转换至图像采集设备的设备坐标系下，再转换至地面坐标系下，确定每一地图地面交通标志物在地面坐标系下的俯视映射位置信息，以消除地图地面交通标志物的高度信息。
进而，利用相互匹配的每一地图地面交通标志物的俯视映射位置信息以及备用地面交通标志物的俯视投影位置信息，构建目标函数；基于该目标函数的函数值调整初始位姿信息，直至该目标函数的函数值达到预设收敛条件，确定在该情况下的调整后的初始位姿信息，即待定位目标的目标位姿信息。其中，该预设收敛条件可以为：各相互匹配的地图地面交通标志物和备用地面交通标志物之间的位置残差的和不高于预设残差阈值。
在一种情况中，该地面坐标系与待定位目标所在坐标系重合。另一种情况中，平移后的该地面坐标系与待定位目标所在坐标系重合。
其中，在地面坐标系与待定位目标所在坐标系重合的情况下，可以通过如下公式(1)，确定地图地面交通标志物在道路图像中的映射位置信息：
Figure BDA0002812190260000091
其中，
Figure BDA0002812190260000092
表示第i个地图地面交通标志物在地面坐标系下的俯视映射位置信息，Twb表示待定位目标所在坐标系与世界坐标系之间的位置转换关系，即初始位姿信息；Tbc表示设备坐标系与待定位目标所在坐标系之间的位置转换关系，即第二转换关系；
Figure BDA0002812190260000093
表示第i个地图地面交通标志物的地图位姿信息；Π(·)表示确定地图地面交通标志物在道路图像中的映射位置信息，即利用初始位姿信息、第二转换关系以及图像采集设备的设备投影模型，将地面交通标志物从世界坐标系下映射至道路图像所在的图像坐标系下；Ω(·)表示确定地图地面交通标志物在地面坐标系下的俯视映射位置信息，即利用图像采集设备的内参信息以及第一转换关系，将地面交通标志物从图像坐标系下投影至地面坐标系下；其中，i的取值范围为[1，N]，N表示地图地面交通标志物的个数。
上述确定待定位目标的目标位姿信息的过程可以通过如下公式(2)表示：
Figure BDA0002812190260000094
其中，I(·)表示每个交通标志物的能量值函数，其中，交通标志物中的点越靠近该交通标志物的中心位置，利用该能量值函数所确定的该点的能量值越大。该能量值函数可以为高斯模糊函数。
Figure BDA0002812190260000095
表示与第i个地图地面交通标志物匹配的备用地面交通标志物的俯视投影位置信息。该交通标志物包括备用交通标志物和局部图像中地图地面交通标志物。f(Twb)表示目标函数，在该f(Twb)的函数值达到预设收敛条件的情况下，确定此时的调整后的初始位姿信息，作为目标位姿信息。
应用本发明实施例，可以利用更稠密的地面交通标志物作为待定位目标的定位的依据，在一定程度上可以提高定位结果的准确性以及鲁棒性，且利用在地面坐标系中的俯视投影位置信息确定目标位姿信息，在一定程度上可以消除由于图像采集设备成像机制导致的地面交通标志物中近大远小的问题，并且可以消除高度信息对地面交通标志物的匹配以及后续位姿计算的影响，在一定程度上实现所确定待定位目标的目标位姿信息即定位结果的精度以及鲁棒性的提高。
在本发明的另一实施例中，所述S102，可以包括如下步骤021-022：
021：利用图像采集设备的内参信息以及备用地面交通标志物的图像位置信息，确定备用地面交通标志物在图像采集设备的设备坐标系下的设备位置信息。
023：利用备用地面交通标志物的设备位置信息以及设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息。
本实现方式中，电子设备可以基于图像采集设备的内参信息以及备用地面交通标志物的图像位置信息，将各备用地面交通标志物从道路图像的图像坐标系下，转换至图像采集设备的设备坐标系下，即确定备用地面交通标志物在设备坐标系下的设备位置信息。进而，基于备用地面交通标志物的设备位置信息以及设备坐标系与待定位目标所对应地面坐标系之间的第一转换关系，将备用地面交通标志物从设备坐标系下转换至地面坐标系，确定备用地面交通标志物在地面坐标系下的俯视投影位置信息。
其中，利用图像采集设备的内参信息，将各备用地面交通标志物从道路图像的图像坐标系下的过程中，未确定处各备用地面交通标志物的高度信息即设备坐标系下的竖轴坐标系，后续的，所确定的备用地面交通标志物在地面坐标系下的俯视投影位置信息中不包括备用地面交通标志物的高度信息即地面坐标系下的竖轴坐标系，在一定程度上可以消除高度信息对交通标志物之间的匹配以及目标位姿信息的确定的影响。且可以解决图像采集设备的成像机制导致的地面交通标志物中近大远小的问题，保证目标位姿信息的准确确定。
在本发明的另一实施例中，所述S103，可以包括如下步骤031-032：
031：获得待定位目标所设置的各其他传感器所采集的传感器数据。
032：基于各其他传感器所采集的传感器数据，确定待定位目标的初始位姿信息。
本实现方式中，电子设备可以直接获得待定位目标所设置的各其他传感器所采集的传感器数据，该各其他传感器所采集的传感器数据与道路图像对应的数据，为与道路图像在同一采集周期采集的数据。
进而，利用各其他传感器所采集的传感器数据中的任一组合或者与道路图像的组合，确定待定位目标的初始位姿信息。该确定初始位姿信息的过程可以参将相关技术中确定目标的初始位姿信息的过程，在此不做赘述。
其他传感器可以包括但不限于：轮速传感器、IMU、GPS以及GNSS等。
相应于上述方法实施例，本发明实施例提供了一种目标定位装置，如图2所示，所述装置可以包括：
第一确定模块210，被配置为基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
第二确定模块220，被配置为利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
获得模块230，被配置为获得所述待定位目标的初始位姿信息；
第三确定模块240，被配置为基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息
应用本发明实施例，可以利用更稠密的地面交通标志物作为待定位目标的定位的依据，在一定程度上可以提高定位结果的准确性以及鲁棒性，且利用在地面坐标系中的俯视投影位置信息确定目标位姿信息，在一定程度上可以消除由于图像采集设备成像机制导致的地面交通标志物中近大远小的问题，并且可以消除高度信息对地面交通标志物的匹配以及后续位姿计算的影响，在一定程度上实现所确定待定位目标的目标位姿信息即定位结果的精度以及鲁棒性的提高。
在本发明的另一实施例中，所述第三确定模块240，包括：
第一确定单元(图中未示出)，被配置为基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
第二确定单元(图中未示出)，被配置为利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
在本发明的另一实施例中，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
所述第二确定单元，被具体配置为利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
在本发明的另一实施例中，所述第二确定模块220，被具体配置为利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
在本发明的另一实施例中，所述获得模块230，被具体配置为获得所述待定位目标所设置的各其他传感器所采集的传感器数据；
基于各所述其他传感器所采集的传感器数据，确定所述待定位目标的初始位姿信息。
在本发明的另一实施例中，所述备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
上述系统、装置实施例与系统实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种目标定位方法，其特征在于，所述方法包括：
基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
获得所述待定位目标的初始位姿信息；
基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
2.如权利要求1所述的方法，其特征在于，所述基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息的步骤，包括：
基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
3.如权利要求2所述的方法，其特征在于，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
所述利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息的步骤，包括：
利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
4.如权利要求1所述的方法，其特征在于，所述利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息的步骤，包括：
利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
5.如权利要求1-4任一项所述的方法，其特征在于，所述获得所述待定位目标的初始位姿信息的步骤，包括：
获得所述待定位目标所设置的各其他传感器所采集的传感器数据；
基于各所述其他传感器所采集的传感器数据，确定所述待定位目标的初始位姿信息。
6.如权利要求1-5任一项所述的方法，其特征在于，所述备用地面交通标志物包括：车道线、停车位、停止线、斑马线以及交通指示箭头中的至少一个。
7.一种目标定位装置，其特征在于，所述装置包括：
第一确定模块，被配置为基于预设对象检测模型及道路图像，确定所述道路图像中的备用地面交通标志物的图像位置信息，其中，所述道路图像为：待定位目标所设置的图像采集设备采集所得的图像；
第二确定模块，被配置为利用所述图像采集设备的内参信息、所述图像采集设备的设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息，其中，所述地面坐标系为横轴与纵轴所在平面与地面平行的三维直角坐标系；
获得模块，被配置为获得所述待定位目标的初始位姿信息；
第三确定模块，被配置为基于所述初始位姿信息、预设地面交通标志物地图、所述图像采集设备的设备投影模型、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标的目标位姿信息，其中，所述预设地面交通标志物地图包括：各地图地面交通标志物及其地图位姿信息。
8.如权利要求7所述的装置，其特征在于，所述第三确定模块，包括：
第一确定单元，被配置为基于所述初始位姿信息，从预设地面交通标志物地图中确定出所述初始位姿信息对应的局部地图；
第二确定单元，被配置为利用所述初始位姿信息、所述局部地图中地图地面交通标志物及其地图位姿信息、所述图像采集设备的内参信息、所述第一转换关系以及所述俯视投影位置信息，确定所述待定位目标图像的目标位姿信息。
9.如权利要求7所述的装置，其特征在于，所述初始位姿信息为在世界坐标系下的位姿信息，所述各地图地面交通标志物的地图位姿信息为所述世界坐标系下的位姿信息；
所述第二确定单元，被具体配置为利用所述初始位姿信息、所述设备坐标系与所述待定位目标所在坐标系之间的第二转换关系、所述图像采集设备的设备投影模型以及所述局部地图中每一地图地面交通标志物的地图位姿信息，确定每一地图地面交通标志物在所述道路图像中的映射位置信息；
基于每一地图地面交通标志物在所述道路图像中的映射位置信息、所述图像采集设备的内参信息以及所述第一转换关系，确定每一地图地面交通标志物在所述地面坐标系下的俯视映射位置信息；
利用每一地图地面交通标志物的俯视映射位置信息以及所述备用地面交通标志物的俯视投影位置信息，确定所述待定位目标的目标位姿信息。
10.如权利要求7-9任一项所述的装置，其特征在于，所述第二确定模块，被具体配置为利用所述图像采集设备的内参信息以及所述备用地面交通标志物的图像位置信息，确定所述备用地面交通标志物在所述图像采集设备的设备坐标系下的设备位置信息；
利用所述备用地面交通标志物的设备位置信息以及所述设备坐标系与所述待定位目标所对应地面坐标系之间的第一转换关系，确定所述备用地面交通标志物在所述地面坐标系下的俯视投影位置信息。
CN202011389764.6A 2020-12-02 2020-12-02 一种目标定位方法及装置 Pending CN114581509A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011389764.6A CN114581509A (zh) 2020-12-02 2020-12-02 一种目标定位方法及装置
PCT/CN2021/109530 WO2022116572A1 (zh) 2020-12-02 2021-07-30 一种目标定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011389764.6A CN114581509A (zh) 2020-12-02 2020-12-02 一种目标定位方法及装置

Publications (1)

Publication Number Publication Date
CN114581509A true CN114581509A (zh) 2022-06-03

Family

ID=81766946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011389764.6A Pending CN114581509A (zh) 2020-12-02 2020-12-02 一种目标定位方法及装置

Country Status (2)

Country Link
CN (1) CN114581509A (zh)
WO (1) WO2022116572A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024036984A1 (zh) * 2022-08-16 2024-02-22 华为云计算技术有限公司 目标定位方法及相关系统、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328411B (zh) * 2017-06-30 2020-07-28 百度在线网络技术（北京）有限公司 车载定位系统和自动驾驶车辆
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端
CN110136199B (zh) * 2018-11-13 2022-09-13 北京魔门塔科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
SE1851493A1 (en) * 2018-11-30 2020-05-31 Zuragon Sweden AB Method and system for context- and content aware sensor in a vehicle
WO2020164010A1 (zh) * 2019-02-13 2020-08-20 深圳市大疆创新科技有限公司 车道线检测方法、装置、系统与车辆、存储介质
CN112017236B (zh) * 2020-07-13 2023-10-31 魔门塔(苏州)科技有限公司 一种基于单目相机计算目标物位置的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024036984A1 (zh) * 2022-08-16 2024-02-22 华为云计算技术有限公司 目标定位方法及相关系统、存储介质

Also Published As

Publication number Publication date
WO2022116572A1 (zh) 2022-06-09

Similar Documents

Publication Publication Date Title
JP6976641B2 (ja) 高精度道路地図の更新のためのオブジェクトの変化検知システム及びその制御方法
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN109084782B (zh) 基于摄像头传感器的车道线地图构建方法以及构建系统
CN107328410B (zh) 用于定位自动驾驶车辆的方法和汽车电脑
CN111830953B (zh) 车辆自定位方法、装置及系统
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2021103283A (ja) カメラベースの自動化された高精度道路地図の生成システム及び方法
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
US20190073542A1 (en) Vehicle lane detection system
CN113252051A (zh) 一种地图构建方法及装置
CN113252022A (zh) 一种地图数据处理方法及装置
CN112446915B (zh) 一种基于图像组的建图方法及装置
CN113405555B (zh) 一种自动驾驶的定位传感方法、系统及装置
CN114841188A (zh) 一种基于二维码的车辆融合定位方法及装置
CN114581509A (zh) 一种目标定位方法及装置
CN111191596B (zh) 一种封闭区域制图方法、装置及存储介质
CN110135387B (zh) 一种基于传感器融合的图像快速识别方法
CN114419571B (zh) 一种面向无人驾驶车辆的目标检测定位方法及系统
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN112837365B (zh) 一种基于图像的车辆定位方法及装置
CN114358038A (zh) 一种基于车辆高精度定位的二维码坐标标定方法及装置
CN112530270B (zh) 一种基于区域分配的建图方法及装置
CN113345251A (zh) 一种车辆逆行检测方法及相关装置
CN113566834A (zh) 定位方法、定位装置、车辆和存储介质
CN112880692A (zh) 地图数据标注方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination