CN110033489B - 一种车辆定位准确性的评估方法、装置及设备 - Google Patents
一种车辆定位准确性的评估方法、装置及设备 Download PDFInfo
- Publication number
- CN110033489B CN110033489B CN201810034261.3A CN201810034261A CN110033489B CN 110033489 B CN110033489 B CN 110033489B CN 201810034261 A CN201810034261 A CN 201810034261A CN 110033489 B CN110033489 B CN 110033489B
- Authority
- CN
- China
- Prior art keywords
- frame
- frames
- camera
- camera module
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种车辆定位准确性的方法、装置及设备,属于计算机视觉技术,可以应用在自动驾驶/高级驾驶辅助系统,该方法包括:获取A帧图像,A帧图像为车辆的相机模块在车辆行驶过程中拍摄的;根据A帧图像确定B个特征点以及相机模块在A帧中的每一帧的相机位姿,特征点为A帧图像中的至少两帧图像中都包含的特征点;根据B个特征点获取C个控制点,控制点的三维坐标是通过实地勘测获取的;根据B个特征点、C个控制点以及相机模块在每一帧的相机位姿对相机模块在每一帧的相机位姿进行修正,得到修正后的相机模块在每一帧的相机位姿;根据修正后的相机模块在每一帧的相机位姿评估车辆的原始定位轨迹的定位误差。本申请提供的技术方案应用在智能汽车/电动车/新能源汽车上,能够获得精度高的相机位姿,进而评估原始定位轨迹的准确性,提高评估可靠性。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种车辆定位准确性的评估方法、装置及设备。
背景技术
随着自动驾驶及辅助驾驶技术的快速发展,定位作为一个自车位姿评估的技术显得尤为重要。定位过程不可避免存在误差和失效,需要比对相对精度更高的定位轨迹修正值与原始定位轨迹之间的误差,从而获得定位的准确性。
通常会使用其他的定位设备输出的轨迹作为定位结果的评估值。例如,使用差分全球导航卫星系统(Global Navigation Satellite System,GNSS)进行评估值采集最为广泛,另外也有使用激光雷达即时定位与地图构建(Simultaneous Localization AndMapping,SLAM)、视觉SLAM、多种感知里程计与上述方法导航组合进行定位,并使用相应结果作为定位评估值。不同的定位手段有相应的局限场景,例如高楼林立的“城市峡谷”、高架桥或隧道区域,GNSS受到多路径效应返回的噪声信号、信号遮挡的影响,即使使用标称精度3-5cm的连续运行参考站系统(Continuously Operating Reference Stations,CORS)差分技术,也无法消除近地多路径效应的问题。如图1所示,是本发明实施例提供的多路径效应示意图。多径误差是指接收机天线附近的物体容易反射卫星发射出的GNSS信号,导致一个或多个二次传播路径,这些二次路径信号(即反射信号)传播时间较长,并叠加在直接信号上,造成偏差。多径是差分定位的主要误差,主要发生在水域、城市峡谷、玻璃幕墙密集的区域,这些也正是自动驾驶的主要应用场景。另外激光雷达SLAM、视觉SLAM在特征稀少或变化不明显、位姿变换过快、视野遮挡、光照或雨雪环境的环境下,同样精度会出现异常甚至无法工作的情况。因此使用另一种定位设备衡量自动驾驶的定位准确性时,如果无法获知当前处于失效场景并加以修正,产生的结果是不足以作为定位评估值衡量自动驾驶过程中的定位准确性。
因此,如何提高定位评估值的精度进而评估车辆的原始定位轨迹的准确性是目前需要解决的技术问题。
发明内容
本发明实施例提供了一种车辆定位准确性的评估方法、装置及设备,能够获得精度高的相机位姿修正值,从而基于高精度的相机位姿修正值评估车辆的原始定位轨迹的准确性,提高车辆定位评估的可靠性。
第一方面,本发明实施例提供了一种车辆定位准确性的评估方法,该方法包括:获取A帧图像,A帧图像为车辆的相机模块在车辆行驶过程中拍摄的,A为正整数。根据A帧图像确定B个特征点以及相机模块在A帧中的每一帧的相机位姿,特征点为A帧图像中的至少两帧图像中都包含的特征点,不同的特征点代表图像中不同的区域,B为正整数。根据B个特征点获取C个控制点,控制点的空间三维坐标是通过实地勘测方式获取的,C为正整数。根据B个特征点、C个控制点以及相机模块在A帧中的每一帧的相机位姿对相机模块在A帧中的每一帧的相机位姿进行修正,得到修正后的相机模块在A帧中的每一帧的相机位姿。根据修正后的相机模块在A帧中的每一帧的相机位姿评估车辆的原始定位轨迹的定位误差,原始定位轨迹为车辆的定位模块在车辆行驶过程中获取到的。实施本发明实施例,基于相机模块获得的初始相机位姿后,利用误差精度已知的控制点对初始相机位姿进行修正,获得精度高的相机位姿修正值,从而基于高精度的相机位姿修正值评估车辆的原始定位轨迹的准确性,评估才能更加可靠。
在一种可能的设计中,根据修正后的相机模块在A帧中的每一帧的相机位姿评估车辆的原始定位轨迹的定位误差,包括:根据修正后的相机模块在A帧中的每一帧的相机位姿确定修正后的车辆定位轨迹。根据修正后的车辆定位轨迹计算原始定位轨迹的定位误差。实施本发明实施例,可以基于修正后的相机位姿得到修正后的车辆定位轨迹,修正后的车辆定位轨迹的精度高,进而利用精度高的车辆定位轨迹来评估原始定位轨迹的准确性,评估才能更加可靠。
在一种可能的设计中,根据B个特征点、C个控制点以及相机模块在所述A帧中的每一帧的相机位姿对相机模块在A帧中的每一帧的相机位姿进行修正,得到修正后的相机模块在A帧中的每一帧的相机位姿,包括:根据B个特征点、C个控制点以及相机模块在A帧中的每一帧的相机位姿计算相机模块在A帧中的每一帧的相机位姿改正值。将相机模块在A帧中的每一帧的相机位姿与相机模块在A帧中的每一帧的相机位姿改正值进行求和,得到修正后的相机模块在A帧中的每一帧的相机位姿。
在一种可能的设计中,根据B个特征点、C个控制点以及相机模块在A帧中的每一帧的相机位姿计算相机模块在A帧中的每一帧的相机位姿改正值,包括:根据B个特征点的空间三维坐标、B个特征点在A帧图像中的至少一帧图像中的像素坐标、C个控制点的空间三维坐标、C个控制点在A帧图像中的至少一帧图像中的像素坐标以及相机模块在A帧中的每一帧的相机位姿计算相机模块在A帧中的每一帧的相机位姿改正值。
在一种可能的设计中,根据B个特征点的空间三维坐标、B个特征点在A帧图像中的至少一帧图像中的像素坐标、C个控制点的空间三维坐标、C个控制点在A帧图像中的至少一帧图像中的像素坐标以及相机模块在所述A帧中的每一帧的相机位姿计算相机模块在所述A帧中的每一帧的相机位姿改正值,包括:将B个特征点的空间三维坐标、B个特征点在A帧图像中的至少一帧图像中的像素坐标、C个控制点的空间三维坐标、C个控制点在A帧图像中的至少一帧图像中的像素坐标以及相机模块在所述A帧中的每一帧的相机位姿代入光束法区域平差公式中计算求得相机模块在所述A帧中的每一帧的相机位姿改正值。
在一种可能的设计中,根据A帧图像确定B个特征点以及相机模块在A帧中的每一帧的相机位姿,包括:对A帧图像中的每一帧图像进行特征点提取和特征点匹配,得到B个特征点。根据B个特征点在A帧图像中的至少两帧图像中的像素坐标计算得到相机模块在A帧中的每一帧的相机位姿。根据B个特征点在A帧图像中的至少两帧图像中的像素坐标以及相机模块在A帧中的每一帧的相机位姿计算得到B个特征点的空间三维坐标。
在一种可能的设计中,根据B个特征点获取C个控制点,包括:从控制点数据库中获取空间三维坐标处于由B个特征点的空间三维坐标确定的三维坐标范围的C个控制点,其中,控制点数据库中存储有至少一个控制点的空间三维坐标。
在一种可能的设计中,可以取上述B个特征点的三维坐标值中的最大值和最小值来确定特征点的三维坐标范围,也即是说,三维坐标范围的坐标值最大值为B个特征点的三维坐标值中的最大值,三维坐标范围的坐标值最小值为B个特征点的三维坐标值中的最小值。例如,三维坐标范围中的X轴坐标最大值为B个特征点的X坐标值中的最大值,三维坐标范围中的X轴坐标最小值为B个特征点的X坐标值中的最小值。三维坐标范围中的Y轴坐标最大值为B个特征点的Y坐标值中的最大值,三维坐标范围中的Y轴坐标最小值为B个特征点的Y坐标值中的最小值。三维坐标范围中的Z轴坐标最大值为B个特征点的Z坐标值中的最大值,三维坐标范围中的Z轴坐标最小值为B个特征点的Z坐标值中的最小值。
在一种可能的设计中,根据B个特征点获取C个控制点之后,还包括:根据C个控制点的空间三维坐标以及相机模块在至少一帧的相机位姿计算得到C个控制点在A帧图像中的至少一帧图像中的像素坐标。
在一种可能的设计中,本发明实施例中所描述的相机模块包括双目相机或多目相机,其中,多目相机的数量大于2。
在一种可能的设计中,根据所述B个特征点获取C个控制点之后,还包括:根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿计算上述B个特征点的三维坐标改正值。将B个特征点的空间三维坐标与B个特征点的三维坐标改正值进行求和,得到修正后的所述B个特征点的空间三维坐标。从B个特征点中选择O个特征点,将所述O个特征点修正后的空间三维坐标补入控制点数据库中,其中,O为小于或等于B的正整数。实施本发明实施例,可以对特征点的空间三维坐标进行修正,使得特征点的三维坐标更加精准,进而将精度高的特征点作为新的控制点补入控制点数据库中。
在一种可能的设计中,在计算得到所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标后,还可以对控制点的像素坐标进行优化,使得控制点的像素坐标更加精准。可选的,可以利用目视判别的方法,判断计算求得的初步像素坐标是否与图像中的控制点位置吻合,调整得到控制点在图像上更为准确的二维像素坐标。
在一种可能的设计中,在计算相机模块在所述A帧中的每一帧的相机位姿时,还可以加入原始定位轨迹进行计算,即根据B个特征点、C个控制点、相机模块在所述A帧中的每一帧的相机位姿以及原始定位轨迹计算修正后的相机模块在所述A帧中的每一帧的相机位姿。
在一种可能的设计中,根据B个特征点、C个控制点、相机模块在所述A帧中的每一帧的相机位姿以及原始定位轨迹计算修正后的相机模块在所述A帧中的每一帧的相机位姿,包括:根据B个特征点的空间三维坐标、B个特征点在A帧图像中的至少一帧图像中的像素坐标、C个控制点的空间三维坐标、C个控制点在A帧图像中的至少一帧图像中的像素坐标、相机模块在所述A帧中的每一帧的相机位姿以及原始定位轨迹计算相机模块在所述A帧中的每一帧的相机位姿改正值。
在一种可能的设计中,根据B个特征点的空间三维坐标、B个特征点在A帧图像中的至少一帧图像中的像素坐标、C个控制点的空间三维坐标、C个控制点在A帧图像中的至少一帧图像中的像素坐标、相机模块在所述A帧中的每一帧的相机位姿以及原始定位轨迹计算相机模块在所述A帧中的每一帧的相机位姿改正值,包括:将B个特征点的空间三维坐标、B个特征点在A帧图像中的至少一帧图像中的像素坐标、C个控制点的空间三维坐标、C个控制点在A帧图像中的至少一帧图像中的像素坐标、相机模块在所述A帧中的每一帧的相机位姿以及原始定位轨迹代入光束法区域平差公式中计算求得相机模块在所述A帧中的每一帧的相机位姿改正值。
第二方面,本发明实施例提供了一种车辆定位准确性的评估装置。该装置包括多个功能单元,用于相应的执行第一方面或第一方面可能的实施方式中的任意一种所提供的车辆定位准确性的评估方法。
在一种可能的设计中,上述车辆定位准确性的评估装置为车辆。
第三方面,本发明实施例提供了一种车辆定位准确性的评估设备,用于执行第一方面描述的车辆定位准确性的评估方法。所述车辆可包括:处理器、存储器、相机模块和定位模块。其中,所述存储器用于存储第一方面描述的车辆定位准确性的评估方法的程序指令和/或数据,所述处理器用于执行所述存储器中存储的程序指令,即执行第一方面或第一方面可能的实施方式中的任意一种所描述的车辆定位准确性的评估方法。
在一种可能的设计中,上述车辆定位准确性的评估设备为车辆。
第五方面,本发明实施例提供了一种计算机可读存储介质,所述可读存储介质上存储有程序指令,当其在处理器上运行时,使得处理器执行上述第一方面描述的车辆定位准确性的评估方法。
第六方面,本发明实施例提供了一种计算机程序产品,该程序包括程序指令,当其在处理器上运行时,使得处理器执行上述第一方面描述的车辆定位准确性的评估方法。
附图说明
以下对本发明实施例用到的附图进行介绍。
图1是本发明实施例提供的多路径效应示意图;
图2是本发明实施例提供的一种车辆的结构示意图;
图3是本发明实施例提供的一种双目相机在车内的放置位置示意图;
图4是本发明实施例提供的一种车辆定位准确性的评估方法的流程示意图;
图5是本发明实施例提供的一种车辆移动位置的示意图;
图6是本发明实施例提供的一种特征点匹配的示意图;
图7是本发明实施例提供的一种从高精度地图中获取控制点坐标的示意图;
图8是本发明实施例提供的为缺乏控制点区域的影像示意图;
图9是本发明实施例提供的一种实地勘测控制点信息的示意图;
图10是本发明实施例提供的利用目视判别的方式调整控制点像素坐标的示意图;
图11是本发明实施例提供的双目相机与特征点的投影示意图;
图12是本发明实施例提供的一种车辆定位准确性的评估装置的结构示意图。
具体实施方式
为了便于理解本发明实施例,首先对本发明实施例中涉及的几个概念进行介绍。
控制点:控制点是实际地物点,控制点的空间三维坐标是通过传统测绘方式(即实地勘测)获取的具有可信精度的地物点坐标,用于纠正相应地图产品的位置偏差,控制点的误差精度是已知的。
特征点:特征点是图像中特别的地方用以代表图像中不同的区域。
外方位元素:指的是相机的姿态和位置,一帧图像(或称照片)的外方位元素包括六个参数,其中三个是直线元素,用于描述相机的摄影中心的空间坐标值。另外三个是旋转角元素,用于描述相机的姿态。后续涉及到的位姿指的就是姿态和位置。位置包括摄影中心S在某一空间直角坐标系中的三维坐标值XS、YS、ZS(即线元素)。姿态包括用于确定摄影光束空间方位的三个角定向元素。三个角定向元素,常因采用的转角系统不同而用不同的元素表示:当采用以Z轴为主轴的转角系统时,表示为主垂面的方位角t、像片的倾斜角和像片旋角c。当采用以Y轴为主轴的转角系统时,表示为航向倾角旁向倾角ω和像片旋角κ;当采用以X轴为主轴的转角系统时,表示为旁向倾角ω′、航向倾角和像片旋角κ′。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述。
请参见图2,是本发明实施例提供的一种车辆的结构示意图。如图2所示,车辆200包括处理器201、存储器202、车辆定位模块203和相机模块204,这些模块可以通过总线或者其它方式连接,本发明实施例以通过总线205连接为例。其中,
处理器201可以是中央处理器(Central Processing Unit,CPU),也可以是微控制器(Micro Controller Unit,MCU)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、专用集成电路(Application Specific Integrated Circuit,ASIC),和/或数字信号处理器(Digital Signal Processor,DSP),并且/或者可以是一个或多个ASIC的一部分。
存储器202可以包括易失性存储器(volatile memory),例如随机存取存储器(Random Access Memory,RAM)。存储器202也可以包括非易失性存储器(non-volatilememory),例如只读存储器(Read-Only Memory,ROM)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD)。存储器202还可以包括上述种类的存储器的组合。存储器202通过总线205与处理器201相连接。
车辆定位模块203包括但不限于:全球定位系统(Global Positioning System,GPS)导航模块、激光雷达传感器、单目相机、双目相机等可以实现自动驾驶定位的模块。在车辆200行驶过程中,车辆定位模块203将采集并记录定位数据,该定位数据包括多个车辆200在行驶过程中途经的多个路标点的坐标值以及每个坐标值对应的时间戳(或称时间点),该坐标值可以为三维坐标值,该坐标值所采用的坐标系在本申请中不作限定,例如坐标系可以是:北京54坐标系,西安80坐标系。北京54坐标系、西安80坐标系均为世界坐标系。世界坐标系是系统的绝对坐标系,例如是以赤道为坐标原点建立的坐标系,在没有建立其他坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。
相机模块204具体可以是双目相机,一般包括左目相机和右目相机。此外,相机模块204还可以是多目相机,这里多目相机的数量大于2。在车辆200行驶过程中,相机模块204负责采集车辆200周边的环境影像信息,该影像信息包括多帧图像,每一帧图像均有与之对应的时间戳/时间点。以双目相机为例,参见图3,是本发明实施例提供的一种双目相机在车内的放置位置示意图。其中,1为前挡风玻璃,2为左目相机,3为右目相机。需要说明的是,左目相机和右目相机还可以设置在车辆200的其他位置,本发明实施例对此不作限制。在车辆200行驶过程中,左目相机和右目相机分别负责拍摄车辆200前方的影像。本发明实施例中,车辆定位模块203采集的定位数据将作为原始定位数据,即待评估的定位数据。利用相机模块204采集的图像进行优化处理得到精确度高的定位轨迹修正值,进而利用高精度的定位轨迹修正值评估原始定位数据的准确性。或者,利用车辆定位模块203采集的原始定位数据以及相机模块204采集的图像进行优化处理得到精确度高的定位轨迹修正值,进而利用高精度的定位轨迹修正值评估原始定位数据的准确性。由于定位轨迹修正值是具有高精度的,用来评估原始定位数据的准确性才更可靠。
上述原始定位数据以及图像可以存储在存储器202中。处理器201用于得到定位轨迹修正值,进而利用定位轨迹修正值来评估原始定位数据的定位准确性。
图2是以车辆200自身进行定位轨迹修正值的计算以及利用定位轨迹修正值来评估原始定位数据的准确性为例进行介绍的。在另一种实现方式中,还可以引入服务器。车辆200用于获取原始定位数据以及图像,之后将获取到的原始定位数据以及图像通过网络发送给服务器,服务器用于进行定位轨迹修正值的计算以及利用定位轨迹修正值来评估原始定位数据的准确性。
需要说明的是,车辆200中的相机模块204(例如双目相机)预先已经与车辆定位模块203进行了相机标定,因此,相机模块204相对于车辆定位模块203的安置位置与安置角是已知的。车辆定位模块203采用的坐标系可以转换到世界坐标系(绝对坐标系)上。因此,相机模块204所采用的像平面坐标系也能够转换到世界坐标系上。相机标定的目的是确定相机的一些参数的值。这些参数可以建立车辆定位模块203确定的三维坐标系和像平面坐标系的映射关系,换句话说,可以用这些参数把一个三维空间中的点映射到相机的图像空间,或者把一个图像空间中的点映射到三维空间中。
本发明实施例中所提及的车辆可以包括但不限于汽车。
参见图4,是本发明实施例提供的一种车辆定位准确性的评估方法的流程示意图。如图4所示,该方法包括但不限于如下步骤。
S401、获取A帧图像,所述A帧图像是车辆的相机模块在车辆行驶过程中拍摄的,A为正整数。
其中,相机模块可以是双目相机或多目相机。本发明实施例以双目相机为例来介绍车辆定位准确性的评估方法的流程,针对多目相机来说,多目相机中的任意两个相机的执行过程与双目相机的执行过程类似,不作赘述。
A帧图像中的每一帧图像均有与之对应的时间戳/时间点。
可选的,还可以获取原始定位数据,所述原始定位数据包括N个定位数据,所述N个定位数据为车辆定位模块(例如GPS导航模块)在车辆行驶过程中获取到的,N为正整数。
其中,N个定位数据中的每个定位数据均有与之对应的时间戳/时间点。
在执行下述各步骤之前,可以先将这两路数据进行时间同步。以在得出车辆定位轨迹修正值后,可以直接比对各个时间点的原始定位数据与定位轨迹修正值的误差。该时间同步过程具体包括:原始定位数据、图像具有相同时间参考的时间戳。以某一帧图像的时间戳为基准,寻找原始定位数据中时间戳最邻近的一个原始定位数据作为对应的同步数据。或者,以某一个原始定位数据时间戳为基准,寻找图像中时间戳最邻近的一帧作为对应的同步数据。当然,进行时间同步这一过程还可以在下述步骤S404之后执行。
S402、根据所述A帧图像确定B个特征点以及所述相机模块在A帧中的每一帧的相机位姿,所述特征点为所述A帧图像中的至少两帧图像中都包含的特征点,不同的特征点代表图像中不同的区域,B为正整数。
具体的,步骤S402具体包括视觉特征点提取、特征点匹配、对极几何约束方程计算这三个过程,以下针对这三个过程进行详细介绍。针对A帧图像中的任意两帧相邻的图像均执行视觉特征点提取、特征点匹配、对极几何约束方程计算这三个过程。这里,相邻的图像是指拍摄时间点相等(即两个相机在同一时间点各自拍摄的图像)或相邻的(即同一相机在前后两个时间点拍摄的图像,或者两个相机在前后两个时间点拍摄的图像)两帧图像。下面针对某两帧相邻的图像的处理过程进行举例描述。其他相邻的图像的处理过程类似。
车辆在行驶过程中,双目相机在不同位置处分别捕获至少两帧图像。例如,如图5所示,车辆最开始位于位置1,左目相机在位置1捕获了图像1A,然后车辆移动了位移D到达位置2,左目相机在位置2捕获图像1B。
可使用具有高重复性的方法来执行特征点检测,以用于识别或提取图像1A和1B中的特征点。特征点是图像中特别的地方用以代表图像中不同的区域。通常要具有可重复性、可区别性、高效率和本地性的特点。具体地,特征点由关键点和描述子组成,通常提取特征点指“提取关键点,并计算描述子”。关键点指特征点在图像中的位置,有些特征点还具有朝向、大小等信息。描述子通常是一个向量,按照以“外观相似的特征应该有相似的描述子”的原则认为设计,描述了该关键点周围像素的信息。这些描述子对某些类型的变化(例如,(不均匀)光照、旋转和遮挡)稳健或不变。确定描述子,以便允许特征的比较和匹配。常见方法使用特征的所计算尺度和取向来变换描述子的坐标,其提供对旋转和尺度的不变性。例如,描述子可为n维实数向量,其通过连接局部图像强度的函数诸如梯度的直方图来构造。另选地,描述子可为n维二元向量。
视觉特征可选取SURF(SpeededUp Robust Features,快速稳定特征)、BRIEF(BinaryRobust Independent Element Feature)、SFIT(ScaleInvariant FeatureTransform,尺度不变特征转换)等特征算子用以描述图像中相似特征。在此以选用SURF视觉特征算子为例进行说明,步骤主要包括基于高斯差分的尺度空间极值点、精确极值点的筛选、特征点描述子生成。
在一个图像中,可检测到多个特征点,每帧图像中的多个特征点可以构成一个特征点集合。特征点匹配是针对一个特征点集合中的每个特征点来找到另一特征点集合中的具有最相似描述子的特征点并将两个特征点存储作为对应关系(匹配)。例如,给定在图像1A和1B中检测到并描述的两个特征点集合FA和FB,目标是针对特征点集合FA中的每个特征点来找到特征点集合FB中的具有最相似描述子的一个特征点。就这一点而言,参见图6,其示出了具有特征点c和特征点c的描述子d(c)的图像1A以及具有特征点r和特征点r的描述子d(r)的图像1B。
特征点集合FA与特征点集合FB匹配可通过确定特征点集合FA中的每个相应特征点的描述子和特征点集合FB中的每个相应特征点的描述子之间的相似性测量来完成。图像相似性测量的常见示例包括负的或反向差值平方和(SSD)、负的或反向绝对差值和(SAD)、(标准化)互相关和交互信息。相似性的结果为实数。相似性测量结果越大,两个视觉特征点越相似。
特征点匹配的最简单的方法在于通过穷举(也即是暴力匹配)搜索找到当前特征点描述子的最近邻并选择对应参考特征点作为匹配。更先进的方法采用描述子中的空间数据结构来加速匹配。常见方法使用近似最近邻算法(Fast Library for ApproximateNearest Neighbors,FLANN)计算描述子之间的相似程度,实现特征点的匹配。
在特征点匹配之后,创建来自特征点集合FA和特征点集合FB的特征点之间的对应关系(或称配对关系)。完成特征点提取和特征点匹配后,将配对的特征点在两帧图像上的二维像素坐标代入对极几何约束方程(具体包括下述公式1-3至公式1-7),就可以求得相邻两帧图像所对应的相机的相对运动。这里,相对运动即相机位姿的变化,即公式1-6中的R和t,R指的是相机运动的旋转度,t指的是相机运动的平移量。对上述A帧图像中的每两帧图像进行对极几何约束方程的计算,则可以得到每一帧图像相对于前一帧图像的相机位姿变化。进一步地可以求得每一帧图像所对应的相机位姿相对于第一帧图像所对应的相机位姿的变化。如果第一帧图像所对应的相机具有绝对坐标系下的位姿,则每一帧图像对应的相机的绝对相机位姿也可以得到。进一步的,在得到了每一帧图像的相机位姿变化R和t后,可以进一步得到配对的特征点的空间三维坐标。需要说明的是,相机位姿可以表征为6个维度的位姿描述,即外方位元素,例如,包括三维坐标X、Y、Z值以及翻滚角俯仰角ω和偏航角κ。特征点的空间三维坐标包括3个维度的位置描述,包括三维坐标X、Y、Z值。
下面介绍对极几何约束方程。
假设空间中某地标点(对应于图像中的某个配对的特征点)Q=[XQ,YQ,ZQ]T,Q点在两帧图像(例如上述图像1A和图像1B)中的像素坐标分别为q1,q2。
q1=KQ (公式1-1)
q2=K(RQ+t) (公式1-2)
x1=K-1q1 (公式1-3)
x2=K-1q2 (公式1-4)
x1,x2为q1,q2的归一化平面上的坐标。
两个相机的投影中心与空间点Q共面,因此可以根据对极约束列出下式1-5
x2 TEx1=q2 TFq1=0 (公式1-5)
其中E为本质矩阵(Essential Matrix),F为基础矩阵(Fundamental Matrix)。根据一系列匹配点的像素位置可以求出E或者F。
而E或F与两帧相机之间的旋转和平移存在以下关系:
E=t∧R (公式1-6)
F=K-TEK-1 (公式1-7)
其中∧为外积操作。据此获得两帧图像之间旋转矩阵R和平移向量t。然后根据A帧图像中的每两帧之间的旋转平移R、t可以获得每一帧相对第一帧相机的相对位姿,若第一帧的相机位姿为绝对坐标系下的位置,则也可以进一步求得每一帧的绝对位姿。其中,位姿=姿态+位置。旋转指姿态的变化。姿态:刚体在某坐标系下与坐标系各轴的夹角。旋转和姿态的关系:相邻帧的旋转=后一帧在前一帧坐标系下的姿态。平移指位置的变化。位置:刚体在某坐标系下刚体到原点距离在三轴上的投影。平移与位置的关系:相邻帧的平移=前一帧在后一帧坐标系下的位置。这里,R是指外方位元素包括的六个参数中的三个旋转角元素(航向倾角旁向倾角ω和像片旋角κ)的构成的旋转矩阵。t是指外方位元素包括的六个参数中的三个直线元素(XYZ)的平移向量。
在得到旋转平移R、t后,将任意一帧图像对应的R、t代入上述公式1和公式2,就能够得到地标点Q的三维坐标XQ,YQ,ZQ。地标点Q的三维坐标XQ,YQ,ZQ是唯一的。
根据上述公式1-1-公式1-7就可以算出每个特征点的三维坐标值以及相机位姿轨迹(相机位姿集合),相机位姿轨迹包括A个相机位姿,即每一帧图像对应一个相机位姿。
S403、根据所述B个特征点获取C个控制点,所述控制点为实际地物点,所述控制点的空间三维坐标是通过实地勘测方式获取的,C为正整数。
具体的,根据步骤S402中得到的所有特征点的三维坐标值可以确定出特征点的三维坐标范围。作为一种可选的实现方式,可以取上述B个特征点的三维坐标值中的最大值和最小值来确定特征点的三维坐标范围,也即是说,三维坐标范围的坐标值最大值为B个特征点的三维坐标值中的最大值,三维坐标范围的坐标值最小值为B个特征点的三维坐标值中的最小值。例如,三维坐标范围中的X轴坐标最大值为B个特征点的X坐标值中的最大值,三维坐标范围中的X轴坐标最小值为B个特征点的X坐标值中的最小值。三维坐标范围中的Y轴坐标最大值为B个特征点的Y坐标值中的最大值,三维坐标范围中的Y轴坐标最小值为B个特征点的Y坐标值中的最小值。三维坐标范围中的Z轴坐标最大值为B个特征点的Z坐标值中的最大值,三维坐标范围中的Z轴坐标最小值为B个特征点的Z坐标值中的最小值。
控制点获取指根据特征点的三维坐标范围,在控制点数据库中进行查询,查询三维坐标处于特征点的三维坐标范围内的若干个控制点。这里,查询的控制点的数量可以预先设定,如果数量不符,则通过外业测量对控制点数据库进行补充,直到满足数量要求为止。
控制点获取流程具体包括如下3个步骤:
步骤1:控制点数据库查询
控制点数据库是将控制点坐标数据、属性数据和影像数据进行统一数据管理的数据库。每一个控制点中包括三种数据:坐标数据(例如三维坐标)、属性数据和影像数据。坐标数据即为指定地图坐标系下的坐标,属性数据包括坐标系、投影方式、椭球参数、控制点的描述(某道路交叉口、桥路中心点等),影像数据为控制点测量时的场景照片,用于明确控制点的具体位置。
根据上述特征点的三维坐标范围(也可称为特征点云的坐标范围)在控制点数据库中进行查询,控制点的坐标需要落在特征点的三维坐标范围内。除控制点数据库外,也可以通过查询高精度地图,获取地物角点坐标作为控制点。例如如图7所示,图7灰色面要素、线要素为高精度地图,圆点即是根据高精度地图提取的特征点,这张图表示从高精度地图中获取控制点坐标的过程。
根据以下原则对控制点数量进行设计:
如果待评估的原始定位数据中有GPS和/或惯性测量单元(Inertial MeasurementUnit,IMU)系统记录的相机位置和姿态,可以大大减少地面控制点的数量,在基于运动恢复结构(Structure From Motion,SFM)过程中可以使用GPS/IMU辅助上述对极几何约束方程的计算。在这种情况下,控制点布设数量的原则如下:每10公里选取1个控制点,单次任务整体选取不少于4个控制点。其中,IMU是测量物体三轴姿态角(或角速率)以及加速度的装置。
如果没有GPS和IMU数据辅助,则控制点布设数量的原则如下:在设置有红路灯的大型路口区域选取的控制点不少于4个(可选:立杆(路灯、电杆等)、建筑物特征点(门窗、角点等)、斑马线角点、地面井盖)。路段中、路口间区域:每5公里选取1个控制点,单次任务整体选取不少于4个控制点。
步骤2:候选控制点选择
若在控制点数据库中查询的控制点不符合上述数量要求,则在控制点不足的区域,通过已生成的视觉特征点筛选候选控制点。图8为缺乏控制点区域的影像,图8中的点为图像中的特征点的像素坐标位置。在图像中选择部分特征点作为控制点(如斑马线、建筑物角点、地面标志灯)。
步骤3:候选控制点补测并入库
根据步骤2选择的特征点地物,如图9所示,到实地中使用激光雷达、全站仪、手持GPS进行测量,并将控制点信息补入控制点数据库中。图8为采集控制点像素坐标,通过传统测绘方式,例如手持GPS、全站仪、固定站的激光雷达获取控制点的空间三维坐标进而补入控制点数据库。
在获取到控制点在的数据库中的三维坐标后,根据步骤S402中初步获得的相机位姿,将控制点三维坐标映射到所在的不同的图像中,得到控制点在图像中的初步像素坐标。之后可以对控制点的初步像素坐标进行优化,使得控制点的像素坐标准确度更高。具体的,对控制点的像素坐标进行优化的具体实现可以为:根据目视判别的方式将控制点的像素坐标进行修正,以得到控制点在图像中的更加准确的像素坐标,将得到的更加准确的像素坐标与控制点的三维坐标进行关联。
具体的,针对至少一帧的相机位姿,将查询到的控制点三维坐标重投影到相机的平面坐标系上,获得控制点在某帧图像的初步的像素坐标。假设一个H为一个控制点,控制点H的空间三维坐标为XH,YH,ZH,针对某一帧图像而言有以下公式1-8:
h=K(RH+t) (公式1-8)
其中,H为控制点H空间三维坐标,R和t为该帧图像基于上述1-6公式求得的旋转和平移,K为相机内参标定获取的内参矩阵,是已知的。因此,可以求得控制点H在该帧图像中二维像素坐标h。
为了保证控制点在图像上的像素坐标更准确,可以进一步结合目视判别的方法,判断基于公式1-8求得的初步像素坐标是否与图像中的控制点位置吻合,调整得到控制点在图像上更为准确的二维像素坐标。图10所示调整控制点像素坐标的过程:图10为某一帧的图像,待调整的控制点为箭头上部顶点1。点2对应的位置为根据查询到的控制点三维坐标和相机位姿投影到图像上的控制点初步像素坐标。通过目视判别,该控制点对应的准确点是点1,则在更为准确的点1对应的位置点击获得像素坐标,实现该点像素坐标和控制点空间三维坐标的关联。
S404、根据所述B个特征点、所述C个控制点以及所述相机模块在A帧中的每一帧的相机位姿对相机模块在A帧中的每一帧的相机位姿进行修正,得到修正后的所述相机模块在A帧中的每一帧的相机位姿。
具体的,首先根据所述B个特征点、所述C个控制点以及所述相机模块在A帧中的每一帧的相机位姿计算所述相机模块在A帧中的每一帧的相机位姿改正值,然后将步骤S402得到的所述相机模块在A帧中的每一帧的相机位姿初始值与A帧中的每一帧的相机位姿改正值进行求和,得到修正后的所述相机模块在A帧中的每一帧的相机位姿。
在第一种实现方式中,根据所述B个特征点的空间三维坐标、所述B个特征点在所述A帧图像中的至少一帧图像中的像素坐标、所述C个控制点的空间三维坐标、所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标以及所述相机模块在每一帧的相机位姿计算所述相机模块在每一帧的位姿改正值。位姿改正值在公式中具体表征为外方位元素改正值。进而基于步骤S402得到的初步相机位姿以及位姿改正值得到修正后的每一帧相机位姿。
可选的,根据所述B个特征点的空间三维坐标、所述B个特征点在所述A帧图像中的至少一帧图像中的像素坐标、所述C个控制点的空间三维坐标、所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标以及所述相机模块在每一帧的相机位姿还可以计算所述B个特征点的三维坐标改正值。进而基于步骤S402得到的初步的特征点三维坐标以及特征点的三维坐标改正值得到修正后的特征点的三维坐标修正值。
具体的,步骤S404具体采用具有控制点约束的光束法区域平差求得修正后的相机位姿改正值以及特征点的三维坐标改正值。
控制点光束法区域平差具体包括如下方程式:
①共线方程式:
参见图11所示,设S为右目相机摄影中心,在世界坐标系下的坐标为(XS,YS,ZS),XS,YS,ZS也即是相机位姿中的三维坐标X、Y、Z值。M为某空间地物点,其在世界坐标系下的坐标为(X,Y,Z)。X,Y,Z也即是控制点或者特征点的三维坐标X、Y、Z值。由于世界坐标系原点距M点较远,因此构建平行于世界坐标系,并接近相机摄影中心的像空间辅助坐标系。M在像空间辅助坐标系下的坐标为(Xm,Ym,Zm)。m是M在右目相机拍摄的图像上的像素点,其像平面坐标为(x,y,-f),这里x,y可以理解为M在像平面上的像素坐标。x,y也即是控制点或特征点的像素坐标值。此时可知S、m、M三点共线。可得(式2-1)。
再根据像平面坐标和像空间辅助坐标的关系有(式2-2)。
由式2-1和式2-2可解得共线方程式为(式2-3)。
其中,x0、y0、f是标定得到的已知的,图像内方位元素,根据内参标定获取。图像内方位元素是描述摄影中心与图像之间相关位置的参数,包括三个参数,即摄影中心S到图像的垂距(主距)f,以及像主点x0,y0。
②共线方程式的线性化:
该方程式一次项展开式为(式2-4)。
在保证共线条件下有:
此时,根据式2-3以及旋转矩阵可得到(式2-6):
在保证共线条件下有:
③误差方程式的建立:
据此可得到误差方程式为(式2-7):
其中有:
将误差方程式改写成矩阵形式可为(式2-9):
也可简写成:
在该式中有:
④法方程式的建立:
根据平差原理可知其法方程式为(式2-11):
此时,对于加密点,只需列出误差方程式,权重赋1;
对于控制点,列出误差方程式,还要列出虚拟误差方程式,权重赋P。
虚拟误差方程式为(式2-12):
列出各类点的误差方程式后,按照最小二乘法原理建立法方程式,即按ΣPVV为最小建立的法方程式为(式2-13):
这里,矩阵表示外方位元素的改正值,包括多个相机轨迹的外方位元素的改正值,且改正值的个数与步骤S402中的相机位姿的个数匹配。矩阵为特征点的坐标改正值,包括多个特征点的坐标改正值,且改正值的个数与步骤S402中获得的特征点的个数匹配。
也可简写成:
在根据上式进行展开消元可得改化法方程式为:
或者
在步骤S403中获得的图像的外方位元素、特征点的空间坐标作为光束法区域平差时未知数的初始值代入公式2-14或2-15。根据式2-14可以求解出外方位元素的改正值根据式2-15可以求解出特征点的坐标改正值
将根据式(2-16)和式(2-17)分别得到相机外方位元素的平差值和特征点坐标平差值这里相机外方位元素的平差值也即是修正后的相机位姿,特征点坐标平差值也即是修正后的特征点三维坐标。修正后的相机位姿相较于步骤S402中得到的初始的相机位姿来说,更加接近于相机位姿的真实值,因此,修正后的相机位姿的准确度更高。同样的,修正后的特征点三维坐标相较于步骤S402中得到的初始的特征点三维坐标来说,更加接近于特征点三维坐标的真实值,因此,修正后的特征点三维坐标的准确度更高。
在第二种实现方式中,可以引入原始定位数据构成的原始定位轨迹与所述B个特征点的空间三维坐标、所述B个特征点在所述A帧图像中的至少一帧图像中的像素坐标、所述C个控制点的空间三维坐标、所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标以及所述相机模块在所述A帧中的每一帧的相机位姿计算所述相机模块在所述A帧中的每一帧的位姿改正值。位姿改正值在公式中具体表征为外方位元素改正值。进而基于步骤S402得到的初步相机位姿以及外方位元素改正值得到修正后的所述A帧中的每一帧相机位姿。具体计算过程如下:
将原始定位轨迹作为带权重的观测值引入带有控制点约束的光束法区域平差中,上述方程可修改为:
Vg=CX+Gg-Lg,Pg (式2-19)
Vu=DX+Ug-Lu,Pu (式2-20)
式2-18中含义同2-10
式2-19中C为设计矩阵,从下式线性化获得
XA、YA、ZA为原始轨迹的位置观测值,R为旋转矩阵,U、V、W为外参标定获得的相机投影中心到原始定位设备中心的3个距离分量。Pg为相对像点坐标观测值的权重。
式2-20为原始定位设备旋转角观测方程,设计矩阵D由下式线性化获得:
由式2-18、2-19、2-20可得
获得外方位元素的改正值和特征点的坐标改正值后可以与外方位元素近似值、特征点坐标近似值进行求和,获得外方位元素、特征点坐标的平差值:具体可以参考上述公式2-16和2-17。根据式(2-16)和式(2-17)分别得到相机外方位元素的平差值和特征点坐标平差值这里相机外方位元素的平差值也即是修正后的相机位姿,特征点坐标平差值也即是修正后的特征点三维坐标。
⑤结果判定:
将改正值和规定的限差相比较,若小于限差则迭代完成,否则用相机的外方位元素的平差值和特征点坐标平差值作为近似值和[X Y Z]T继续迭代,直至满足条件。此时得外方位元素平差值为用于后续评估原始定位轨迹的定位轨迹修正值。
由此可知,在步骤S403中得到的初始值越接近上述公式2-14或2-15计算得到的最佳值,解的收敛速度就愈快。
其中,修正后的特征点可以作为新的控制点补入控制点数据库。具体的,可以选取修正后的特征点中的部分或全部控制点,并将选取的特征点的三维坐标、属性数据和影像数据等补入上述控制点数据库中。
S405、根据所述修正后的所述相机模块在A帧中的每一帧的相机位姿评估所述车辆的原始定位轨迹的定位误差,所述原始定位轨迹为所述车辆的定位模块在所述车辆行驶过程中获取到的。
具体的,步骤S405具体包括:根据修正后的所述相机模块在A帧中的每一帧的相机位姿确定修正后的车辆定位轨迹,这里,修正后的车辆定位轨迹作为定位评估值。然后,根据所述修正后的车辆定位轨迹计算所述原始定位轨迹的定位误差。
由于双目相机已经与车辆定位模块进行了相机标定,因此,在获得了相机位姿轨迹修正值后,就可以转换出车辆定位模块的定位轨迹修正值,该定位轨迹修正值也即表示车辆运动轨迹修正值。
基于车辆定位模块的定位轨迹修正值去评估车辆定位模块采集的原始定位轨迹,由于原始定位轨迹与A帧图像进行了时间同步,因此,利用某一时间戳的定位轨迹修正值去评估与之进行时间戳对齐的原始定位数据的误差,从而评估原始定位数据的准确性。评估原始定位数据的准确性:计算原始定位数据和与之时间同步的定位轨迹修正值之间的距离时可以理解为计算这两个数据在X、Y、Z轴方向的距离平方和的开方。
需要说明的是,上述步骤S401-S405的执行主语可以是车辆。
本发明实施例中,计算特征点三维坐标的过程(SFM,基于运动的结构重建)是离线的,即,在车辆行驶一段里程结束后,才执行上述步骤S402-S405。本发明实施例中SFM比实时的SLAM精度高。加入使用传统测绘手段量测、位置精度已知并且较高的控制点,从而将三维场景模型绝对精度提升。随着三维场景模型的精度提升,相关联的车辆定位轨迹的绝对精度同样得到提升,因此可以作为原始定位轨迹的修正值,对原始定位结果进行精度评价。
现有技术依赖DGNSS在大多数开阔场景下的稳定高精度结果,但是无法在道路环境复杂的区域获得稳定精度的定位结果,并且无法估计误差的影响,因此无法保证定位评估值的定位精度高于原始定位轨迹数据。
本发明实施例通过引入已知测量精度的控制点,对双目或多目相机基于运动的重建进行约束,保证能够通过合理的控制点布设、关联,提高重建模型的精度,进而进一步修正原始定位轨迹,从而得到更高精度的定位评估值轨迹。进而利用精度高的定位轨迹评估车辆原始定位轨迹的准确性,提高了车辆定位评估的可靠性。
现有技术中的基于感知数据进行位置估计的定位单元(例如视觉SLAM,激光SLAM等)在不同的场景下会有各自的局限性。本发明实施例在不额外引入实时的定位单元的前提下,通过带有高精度控制点约束的基于运动的位置重建得到较高精度的车辆定位轨迹评估值。避免用于定位评估值采集的设备在不同的局限场景下产生的误差。
不同于实时运行的SLAM系统仅在空间临近的若干帧进行优化,本发明实施例引入控制点约束的基于运动结构恢复可以进行全局的优化,获得的全局最优估值。
请参见图12,是本发明实施例提供的一种车辆定位准确性的评估装置的结构示意图。如图12所示,车辆定位准确性的评估装置120包括:第一获取单元1201、第一确定单元1202、第二获取单元1203、修正单元1204和评估单元1205。其中,
第一获取单元1201,用于获取A帧图像,所述A帧图像为车辆的相机模块在车辆行驶过程中拍摄的,A为正整数;
第一确定单元1202,用于根据所述A帧图像确定B个特征点以及所述相机模块在所述A帧中的每一帧的相机位姿,所述特征点为所述A帧图像中的至少两帧图像中都包含的特征点,不同的特征点代表图像中不同的区域,B为正整数;
第二获取单元1203,用于根据所述B个特征点获取C个控制点,所述控制点的空间三维坐标是通过实地勘测方式获取的,C为正整数;
修正单元1204,用于根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿对所述相机模块在所述A帧中的每一帧的相机位姿进行修正,得到修正后的所述相机模块在所述A帧中的每一帧的相机位姿;
评估单元1205,用于根据所述修正后的所述相机模块在所述A帧中的每一帧的相机位姿评估所述车辆的原始定位轨迹的定位误差,所述原始定位轨迹为所述车辆的定位模块在所述车辆行驶过程中获取到的。
可选的,所述评估单元1205,包括:
第二确定单元,用于根据修正后的所述相机模块在所述A帧中的每一帧的相机位姿确定修正后的车辆定位轨迹;
第一计算单元,用于根据所述修正后的车辆定位轨迹计算所述原始定位轨迹的定位误差。
可选的,所述修正单元1204,包括:
第二计算单元,用于根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿计算所述相机模块在所述A帧中的每一帧的相机位姿改正值;
第三计算单元,用于将所述相机模块在所述A帧中的每一帧的相机位姿与所述相机模块在所述A帧中的每一帧的相机位姿改正值进行求和,得到修正后的所述相机模块在所述A帧中的每一帧的相机位姿。
可选的,所述第二计算单元具体用于:
根据所述B个特征点的空间三维坐标、所述B个特征点在所述A帧图像中的至少一帧图像中的像素坐标、所述C个控制点的空间三维坐标、所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标以及所述相机模块在所述A帧中的每一帧的相机位姿计算所述相机模块在所述A帧中的每一帧的相机位姿改正值。
可选的,所述第一确定单元1202,包括:
匹配单元,用于对所述A帧图像中的每一帧图像进行特征点提取和特征点匹配,得到所述B个特征点;
第四计算单元,用于根据所述B个特征点在所述A帧图像中的至少两帧图像中的像素坐标计算得到所述相机模块在所述A帧中的每一帧的相机位姿;
第五计算单元,用于根据所述B个特征点在所述A帧图像中的至少两帧图像中的像素坐标以及所述相机模块在所述A帧中的每一帧的相机位姿计算得到所述B个特征点的空间三维坐标。
可选的,所述第二获取单元1203具体用于:
从控制点数据库中获取空间三维坐标处于由所述B个特征点的空间三维坐标确定的三维坐标范围的C个控制点,其中,所述控制点数据库中存储有至少一个控制点的空间三维坐标。
可选的,所述车辆定位准确性的评估装置120还包括:
第六计算单元,用于在所述第二获取单元根据所述B个特征点获取C个控制点之后,根据所述C个控制点的空间三维坐标以及所述相机模块在所述A帧中的至少一帧的相机位姿计算得到所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标。
可选的,所述相机模块包括双目相机或多目相机,所述多目相机的数量大于2。
可选的,本发明实施例所描述的车辆定位准确性的评估装置120可以为上述实施例中所描述的车辆,车辆定位准确性的评估装置120中各功能模块的功能可参见上述图4所示实施例中对应车辆的相关描述,此处不再赘述。
本申请中描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现,还可以是通过软件与硬件相结合的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM、闪存、ROM、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(ElectricallyEPROM,简称:EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于主接入网设备或辅接入网设备中。当然,处理器和存储介质也可以作为分立组件存在于主接入网设备或辅接入网设备中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式,对本发明实施例的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明实施例的具体实施方式而已,并不用于限定本发明实施例的保护范围,凡在本发明实施例的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明实施例的保护范围之内。
Claims (18)
1.一种车辆定位准确性的评估方法,其特征在于,包括:
获取A帧图像,所述A帧图像为车辆的相机模块在车辆行驶过程中拍摄的,A为正整数;
根据所述A帧图像确定B个特征点以及所述相机模块在所述A帧中的每一帧的相机位姿,所述特征点为所述A帧图像中的至少两帧图像中都包含的特征点,不同的特征点代表图像中不同的区域,B为正整数;
根据所述B个特征点获取C个控制点,所述控制点的空间三维坐标是通过实地勘测方式获取的,C为正整数;
根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿对所述相机模块在所述A帧中的每一帧的相机位姿进行修正,得到修正后的所述相机模块在所述A帧中的每一帧的相机位姿;
根据所述修正后的所述相机模块在所述A帧中的每一帧的相机位姿评估所述车辆的原始定位轨迹的定位误差,所述原始定位轨迹为所述车辆的定位模块在所述车辆行驶过程中获取到的。
2.根据权利要求1所述的方法,其特征在于,所述根据所述修正后的所述相机模块在所述A帧中的每一帧的相机位姿评估所述车辆的原始定位轨迹的定位误差,包括:
根据修正后的所述相机模块在所述A帧中的每一帧的相机位姿确定修正后的车辆定位轨迹;
根据所述修正后的车辆定位轨迹计算所述原始定位轨迹的定位误差。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿对所述相机模块在所述A帧中的每一帧的相机位姿进行修正,得到修正后的所述相机模块在所述A帧中的每一帧的相机位姿,包括:
根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿计算所述相机模块在所述A帧中的每一帧的相机位姿改正值;
将所述相机模块在所述A帧中的每一帧的相机位姿与所述相机模块在所述A帧中的每一帧的相机位姿改正值进行求和,得到修正后的所述相机模块在所述A帧中的每一帧的相机位姿。
4.根据权利要求3所述的方法,其特征在于,所述根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿计算所述相机模块在所述A帧中的每一帧的相机位姿改正值,包括:
根据所述B个特征点的空间三维坐标、所述B个特征点在所述A帧图像中的至少一帧图像中的像素坐标、所述C个控制点的空间三维坐标、所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标以及所述相机模块在所述A帧中的每一帧的相机位姿计算所述相机模块在所述A帧中的每一帧的相机位姿改正值。
5.根据权利要求4所述的方法,其特征在于,所述根据所述A帧图像确定B个特征点以及所述相机模块在所述A帧中的每一帧的相机位姿,包括:
对所述A帧图像中的每一帧图像进行特征点提取和特征点匹配,得到所述B个特征点;
根据所述B个特征点在所述A帧图像中的至少两帧图像中的像素坐标计算得到所述相机模块在所述A帧中的每一帧的相机位姿;
根据所述B个特征点在所述A帧图像中的至少两帧图像中的像素坐标以及所述相机模块在所述A帧中的每一帧的相机位姿计算得到所述B个特征点的空间三维坐标。
6.根据权利要求4或5所述的方法,其特征在于,所述根据所述B个特征点获取C个控制点,包括:
从控制点数据库中获取空间三维坐标处于由所述B个特征点的空间三维坐标确定的三维坐标范围的C个控制点,其中,所述控制点数据库中存储有至少一个控制点的空间三维坐标。
7.根据权利要求4所述的方法,其特征在于,所述根据所述B个特征点获取C个控制点之后,还包括:
根据所述C个控制点的空间三维坐标以及所述相机模块在所述A帧中的至少一帧的相机位姿计算得到所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标。
8.根据权利要求1至2任一项所述的方法,其特征在于,所述相机模块包括双目相机或多目相机,所述多目相机的数量大于2。
9.一种车辆定位准确性的评估装置,其特征在于,包括:
第一获取单元,用于获取A帧图像,所述A帧图像为车辆的相机模块在车辆行驶过程中拍摄的,A为正整数;
第一确定单元,用于根据所述A帧图像确定B个特征点以及所述相机模块在所述A帧中的每一帧的相机位姿,所述特征点为所述A帧图像中的至少两帧图像中都包含的特征点,不同的特征点代表图像中不同的区域,B为正整数;
第二获取单元,用于根据所述B个特征点获取C个控制点,所述控制点的空间三维坐标是通过实地勘测方式获取的,C为正整数;
修正单元,用于根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿对所述相机模块在所述A帧中的每一帧的相机位姿进行修正,得到修正后的所述相机模块在所述A帧中的每一帧的相机位姿;
评估单元,用于根据所述修正后的所述相机模块在所述A帧中的每一帧的相机位姿评估所述车辆的原始定位轨迹的定位误差,所述原始定位轨迹为所述车辆的定位模块在所述车辆行驶过程中获取到的。
10.根据权利要求9所述的装置,其特征在于,所述评估单元,包括:
第二确定单元,用于根据修正后的所述相机模块在所述A帧中的每一帧的相机位姿确定修正后的车辆定位轨迹;
第一计算单元,用于根据所述修正后的车辆定位轨迹计算所述原始定位轨迹的定位误差。
11.根据权利要求9或10所述的装置,其特征在于,所述修正单元,包括:
第二计算单元,用于根据所述B个特征点、所述C个控制点以及所述相机模块在所述A帧中的每一帧的相机位姿计算所述相机模块在所述A帧中的每一帧的相机位姿改正值;
第三计算单元,用于将所述相机模块在所述A帧中的每一帧的相机位姿与所述相机模块在所述A帧中的每一帧的相机位姿改正值进行求和,得到修正后的所述相机模块在所述A帧中的每一帧的相机位姿。
12.根据权利要求11所述的装置,其特征在于,所述第二计算单元具体用于:
根据所述B个特征点的空间三维坐标、所述B个特征点在所述A帧图像中的至少一帧图像中的像素坐标、所述C个控制点的空间三维坐标、所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标以及所述相机模块在所述A帧中的每一帧的相机位姿计算所述相机模块在所述A帧中的每一帧的相机位姿改正值。
13.根据权利要求12所述的装置,其特征在于,所述第一确定单元,包括:
匹配单元,用于对所述A帧图像中的每一帧图像进行特征点提取和特征点匹配,得到所述B个特征点;
第四计算单元,用于根据所述B个特征点在所述A帧图像中的至少两帧图像中的像素坐标计算得到所述相机模块在所述A帧中的每一帧的相机位姿;
第五计算单元,用于根据所述B个特征点在所述A帧图像中的至少两帧图像中的像素坐标以及所述相机模块在所述A帧中的每一帧的相机位姿计算得到所述B个特征点的空间三维坐标。
14.根据权利要求12或13所述的装置,其特征在于,所述第二获取单元具体用于:
从控制点数据库中获取空间三维坐标处于由所述B个特征点的空间三维坐标确定的三维坐标范围的C个控制点,其中,所述控制点数据库中存储有至少一个控制点的空间三维坐标。
15.根据权利要求12所述的装置,其特征在于,还包括:
第六计算单元,用于在所述第二获取单元根据所述B个特征点获取C个控制点之后,根据所述C个控制点的空间三维坐标以及所述相机模块在所述A帧中的至少一帧的相机位姿计算得到所述C个控制点在所述A帧图像中的至少一帧图像中的像素坐标。
16.根据权利要求9至10任一项所述的装置,其特征在于,所述相机模块包括双目相机或多目相机,所述多目相机的数量大于2。
17.一种车辆定位准确性的评估设备,其特征在于,包括处理器、存储器、相机模块和定位模块,所述存储器用于存储指令和/或数据,所述处理器用于读取所述存储器中存储的指令执行如权利要求1至8任一项所述的车辆定位准确性的评估方法。
18.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有程序指令,当所述程序指令在处理器上运行时,使得所述处理器执行如权利要求1至8任一项所述的车辆定位准确性的评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810034261.3A CN110033489B (zh) | 2018-01-12 | 2018-01-12 | 一种车辆定位准确性的评估方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810034261.3A CN110033489B (zh) | 2018-01-12 | 2018-01-12 | 一种车辆定位准确性的评估方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110033489A CN110033489A (zh) | 2019-07-19 |
CN110033489B true CN110033489B (zh) | 2023-01-13 |
Family
ID=67234890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810034261.3A Active CN110033489B (zh) | 2018-01-12 | 2018-01-12 | 一种车辆定位准确性的评估方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110033489B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110595479B (zh) * | 2019-09-23 | 2023-11-17 | 云南电网有限责任公司电力科学研究院 | 一种基于icp算法的slam轨迹评估方法 |
CN112634360B (zh) * | 2019-10-08 | 2024-03-05 | 北京京东乾石科技有限公司 | 一种视觉信息确定方法、装置、设备和存储介质 |
CN112837404B (zh) * | 2019-11-25 | 2024-01-19 | 北京初速度科技有限公司 | 一种平面对象的三维信息的构建方法及装置 |
CN111141311B (zh) * | 2019-12-31 | 2022-04-08 | 武汉中海庭数据技术有限公司 | 一种高精度地图定位模块的评估方法及系统 |
CN111412929A (zh) * | 2020-04-26 | 2020-07-14 | 东风汽车集团有限公司 | 一种基于高精度地图的组合惯导定位性能评测方法 |
CN111536984A (zh) * | 2020-05-11 | 2020-08-14 | 北京百度网讯科技有限公司 | 定位方法和装置、车端设备、车辆、电子设备和定位系统 |
CN111678521B (zh) * | 2020-06-18 | 2021-12-28 | 上海大学 | 一种移动机器人定位精度的评估方法和系统 |
CN111750853B (zh) * | 2020-06-24 | 2022-06-07 | 国汽(北京)智能网联汽车研究院有限公司 | 一种地图建立方法、装置及存储介质 |
CN111784798B (zh) * | 2020-06-30 | 2021-04-09 | 滴图(北京)科技有限公司 | 地图生成方法、装置、电子设备和存储介质 |
CN111949925B (zh) * | 2020-06-30 | 2023-08-29 | 中国资源卫星应用中心 | 基于罗德里格矩阵和最大凸包的影像相对定向方法及装置 |
CN111862211B (zh) * | 2020-07-22 | 2023-10-27 | 杭州海康威视数字技术股份有限公司 | 定位方法、装置、系统、存储介质和计算机设备 |
CN112051591B (zh) * | 2020-08-31 | 2022-11-29 | 广州文远知行科技有限公司 | 一种激光雷达与惯性测量单元的检测方法及相关装置 |
CN112013859B (zh) * | 2020-10-19 | 2021-01-26 | 四川京炜交通工程技术有限公司 | 一种快速获取道路标线精准位置的方法 |
CN113223086B (zh) * | 2021-06-09 | 2022-05-03 | 司法鉴定科学研究院 | 适用低质量监控视频的车辆运行状态的重建方法和系统 |
CN113554712A (zh) * | 2021-06-29 | 2021-10-26 | 北京百度网讯科技有限公司 | 自动驾驶车辆的配准方法、装置、电子设备和车辆 |
CN115620264B (zh) * | 2022-12-02 | 2023-03-07 | 广汽埃安新能源汽车股份有限公司 | 车辆定位方法、装置、电子设备和计算机可读介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106931961A (zh) * | 2017-03-20 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 一种自动导航方法及装置 |
CN107036594A (zh) * | 2017-05-07 | 2017-08-11 | 郑州大学 | 智能电站巡检智能体的定位与多粒度环境感知技术 |
CN107246868A (zh) * | 2017-07-26 | 2017-10-13 | 上海舵敏智能科技有限公司 | 一种协同导航定位系统及导航定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9342888B2 (en) * | 2014-02-08 | 2016-05-17 | Honda Motor Co., Ltd. | System and method for mapping, localization and pose correction of a vehicle based on images |
-
2018
- 2018-01-12 CN CN201810034261.3A patent/CN110033489B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106931961A (zh) * | 2017-03-20 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 一种自动导航方法及装置 |
CN107036594A (zh) * | 2017-05-07 | 2017-08-11 | 郑州大学 | 智能电站巡检智能体的定位与多粒度环境感知技术 |
CN107246868A (zh) * | 2017-07-26 | 2017-10-13 | 上海舵敏智能科技有限公司 | 一种协同导航定位系统及导航定位方法 |
Non-Patent Citations (1)
Title |
---|
"基于GPS与图像融合的智能车辆高精度定位算法";李祎承 等;《交通运输系统工程与信息》;20170630;第17卷(第3期);第112-118页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110033489A (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
CN111983639B (zh) | 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法 | |
CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
CN111561923B (zh) | 基于多传感器融合的slam制图方法、系统 | |
US20230260151A1 (en) | Simultaneous Localization and Mapping Method, Device, System and Storage Medium | |
Qu et al. | Vehicle localization using mono-camera and geo-referenced traffic signs | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
KR100728377B1 (ko) | 레이저 스캐너 및 무선인터넷을 이용한 변경된 지역시설물의 gis 실시간 업데이트 방법 | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法 | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
CN103411587B (zh) | 定位定姿方法及系统 | |
CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
CN116222543B (zh) | 用于机器人环境感知的多传感器融合地图构建方法及系统 | |
CN112179338A (zh) | 一种基于视觉和惯导融合的低空无人机自身定位方法 | |
CN110986888A (zh) | 一种航空摄影一体化方法 | |
CN114037762A (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
CN114549595A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
Zhao et al. | Updating a digital geographic database using vehicle-borne laser scanners and line cameras | |
CN114966789A (zh) | 一种融合gnss与多视角视觉的建图方法和系统 | |
CN111829522B (zh) | 即时定位与地图构建方法、计算机设备以及装置 | |
Zhao et al. | Alignment of continuous video onto 3D point clouds | |
CN117115271A (zh) | 无人机飞行过程中的双目相机外参数自标定方法及系统 | |
CN116027351A (zh) | 一种手持/背包式slam装置及定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |