CN109146958A - 一种基于二维图像的交通标志空间位置测量方法 - Google Patents

一种基于二维图像的交通标志空间位置测量方法 Download PDF

Info

Publication number
CN109146958A
CN109146958A CN201810928014.8A CN201810928014A CN109146958A CN 109146958 A CN109146958 A CN 109146958A CN 201810928014 A CN201810928014 A CN 201810928014A CN 109146958 A CN109146958 A CN 109146958A
Authority
CN
China
Prior art keywords
camera
blip
data
image
traffic sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810928014.8A
Other languages
English (en)
Other versions
CN109146958B (zh
Inventor
杨文利
何家瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Leading Technology Co Ltd
Original Assignee
Beijing Leading Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Leading Technology Co Ltd filed Critical Beijing Leading Technology Co Ltd
Priority to CN201810928014.8A priority Critical patent/CN109146958B/zh
Publication of CN109146958A publication Critical patent/CN109146958A/zh
Application granted granted Critical
Publication of CN109146958B publication Critical patent/CN109146958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Abstract

本发明提供一种基于二维图像的交通标志空间位置测量方法,通过测量装置对交通标志进行测量数据采集,然后对测量的原始图像数据标注,结合定位数据进行数据后期处理,可以获取目标交通标志中心在三维空间中的绝对位置。操作过程是使用安装在车辆内部的普通单目摄像机/摄像头和高精定位设备对路面上的交通标记进行测量,以获得交通标志记在三维空间中的位置信息。

Description

一种基于二维图像的交通标志空间位置测量方法
技术领域
本发明涉及一种交通标志的测量方法,尤其是涉及一种基于二维图像的交通标志空间位置测量方法。
背景技术
在某些测绘工作中,例如用于自动驾驶的高精地图的采集与绘制,需要对交通标志的三维空间位置进行测量。这些交通标志包括指路路牌、限速标志、禁止标志、红绿灯等。三维空间位置可以表示成经纬度高度坐标(用经度、维度、海拔高度三个量来表示),也可表示成地球球面投影后的平面直角坐标(例如UTM坐标系,用x,y,z三个量来表示,分别表示某空间位置在正东、正北、和海拔高度上的偏移距离)。当一个物体的三维空间位置确定后,它在地球上的位置就可以唯一确定,并用坐标表示。在某些相关应用中,例如自动驾驶应用,就可以使用其三维空间位置坐标,计算出和车辆的相对位置、距离、和方向关系,用以辅助自动驾驶系统的运行。这些交通标志的空间位置通过测量确定后,将记录与高精地图中,用来辅助自动驾驶系统对这些标志的识别。
传统测绘方法中,一般使用光学的测量方法。有以下几种:
1)传统的基于三角定位的方法。需要专用的带有三角架的测绘仪器,人工现场架设设备。消耗大量的人工在现场进行测绘,同时需要对大量的原始数据进行后期处理,测量、绘制速度慢,效率低。在某些环境中,例如高速公路,人工现场测量的方式会带来巨大的安全隐患。
2)基于激光雷达的测量方法。该方法一般将测量装置安装在可在路面移动的车辆上。车辆装置包括昂贵的测绘设备(多线数激光雷达)及定位设备(高精度GPS)。在测量前,需要对激光雷达和定位设备进行大量的标定工作,来精确确定激光雷达和定位设备之间的位置和姿态关系。测量所获得的原始数据量巨大,需要繁重的后期处理工作。(在某些自动驾驶车上看到的向天空扫描的激光雷达,既是用于交通标志定位的设备)。
3)基于摄像机图像的测量方法。该方法一般需要一种特殊光学设备(例如高速摄像机、双目相机、球面相机等)和高端精度定位装置,并安装在可以在路上行驶的车辆外部。该方法一般从视频图像序列中提取交通标志的信息,进行识别,然后通过三角定位和坐标变换的方法得到交通标志的在三维空间中的位置。这些方法都需要摄像机与定位设备之间相对位置的精确标定,其标定结果的精确度直接影响交通标志定位结果的精度。一旦摄像机和定位设备之间的相对位置发生改变,则需要对他们的相对位置关系进行重新标定。
发明内容
本发明提供了一种基于二维图像的交通标志空间位置测量方法,使用安装在车辆内部的普通单目摄像机/摄像头和高精定位设备对路面上的交通标记进行测量,以获得交通标志记在三维空间中的位置信息。主要解决目前现有方法中测量设备成本高,需要对测量设备进行前期精确标定、测量中数据采集工作量大、后期数据处理效率低的问题。
其技术方案如下所述:
一种基于二维图像的交通标志空间位置测量方法,包括下列步骤:
(1)检查测量装置,确定某待测交通标志为目标标志,并使用测量装置采集目标标志的多组成对原始数据,成对原始数据包括图像采集装置采集的图像数据和与其对应的定位装置采集的定位数据;
(2)对于原始数据中的图像数据,对图像中的目标标志影像在图像中的位置进行标注;经过标注后,得到目标标志影像的中心位于图像坐标系下的坐标为(ximg_i,yimg_i);其中ximg_i,yimg_i分别表示第i组中目标标志影像中心在图像坐标系中的横坐标和纵坐标;
(3)所述目标标志在三维空间世界坐标系中的位置设为(xtarget,ytarget,ztarget),xtarget,ytarget,ztarget分别为该目标标志的交通标志中心在三维空间中的横纵坐标和距地面高度;
(4)根据第i组目标标志的成对原始数据中的定位装置采集数据确定三维空间中的定位数据(xvehicle_i,yvehicle_i,zvehicle_i,Rvehicle_i,Pvehicle_i,Yvehicle_i),其中xvehicle_i,yvehicle_i,zvehicle_i分别表示定位装置在世界坐标系下的横坐标、纵坐标以及高度形成的位置,Rvehicle_i,Pvehicle_i,Yvehicle_i分别表示定位装置在世界坐标系下的横滚、俯仰、航向三个姿态;
(5)把摄像机相对定位装置的位置、姿态以及目标标志的位置组成未知数向量:
X=[xtarget ytarget ztarget xcamera ycamera zcamera Rcamera Pcamera Ycamera]T
对测量数据进行后期处理,通过梯度下降方法对未知数向量一起进行求解。
进一步的,步骤(1)中,所述测量装置包括测量车,以及安装在测量车上的图像采集装置和定位装置,图像采集装置采用单目摄像机/照相机、定位装置采用高精度定位设备,还包括与单目摄像机/照相机、高精度定位设备相连接的电子计算机;所述普通单目摄像机/照相机、高精度定位设备在对同一交通标志目标进行数据采集时,为固定状态。
进一步的,在数据采集时,单目摄像机/照相机采集交通标志目标的二维图像,同时高精度定位设备采集交通标志目标的定位数据,所述定位数据包括高精度定位设备的当前位置、方向数据,形成一对原始的图像+定位数据,采集的成对原始数据不少于9组。
进一步的,为提高目标标志的位置测量结果的精度,所述测量装置在不同车道、不同方向上进行数据采集。
进一步的,步骤(5)中,求解过程包括下列步骤:
a、给出未知数向量的迭代初值X(0),令k为迭代计数器,设k=0,迭代初值由估测结果或者粗略测量结果获得;
b、对于第i次测量中获得的成对数据,使用向量X(k),计算目标标志中心在第i组成对数据的图像中的理论投影位置称为目标标志投影位置;
c、重复步骤b,计算所有N次拍摄测量中目标标志中心在图像中的理论投影位置,即所有目标标志投影位置,并得到误差矩阵定义如下:
这是目标标志在每张图片上的理论位置与步骤(2)中标出的实际位置的偏差,这两个位置都是图像坐标系中的位置,单位都是像素;
d、计算对于向量X(k),误差向量e(k)的雅克比矩阵,大小为2N行,9列:
e、计算未知数向量的修正量:
dX(k)=-(J(k)TJ(k))-1J(k)Te(k)
f、更新未知数向量:
X(k+1)=X(k)+h*dX(k)
其中h为更新步长比例,取值0-1之间,根据算法迭代效率进行调整;
g、按照步骤c重新计算误差向量e(k+1);
h、如果误差向量e(k+1)的某个指定范数小于给定的误差迭代终值,则迭代完成,X(k)即为所求解,其中指定范数是向量的2范数或无穷范数;否则令k=k+1,返回步骤b;
这里误差向量e(k+1)的范数说明所有N组成对数据中,目标标志投影位置与目标标志影像位置间的距离的关系,能够判断未知数向量X(k)是否足够精确。
进一步的,步骤b中,如果未知数向量X(k)的结果精确,则经过坐标变换和摄像机投影公式获得的目标标志投影位置与在步骤(2)中标注得到的目标标志影像位置(ximg_i,yimg_i)相重合,如果不重合,则说明X(k)的结果不够精确,需要继续迭代计算。
进一步的,设定某待测交通标志为目标标志,其在三维空间世界坐标系中的位置为(xtarget,ytarget,ztarget);摄像机和定位装置之间的相对位置姿态关系为(xcamera,ycamera,zcamera,Rcamera,Pcamera,Ycamera),在记录第i组成对数据时,目标标志相对定位装置的位置坐标为:
其中,(xt2v_i,yt2v_i,zt2v_i)为记录第i组成对数据时,目标标志中心在定位装置坐标系下的位置坐标;
xvehicle_i,yvehicle_i,zvehicle_i,Rvehicle_i,Pvehicle_i,Yvehicle_i来自第i组成对数据中的定位数据,T(R,P,Y)为三维空间旋转矩阵,是旋转角度R,P,Y的函数矩阵,R,P,Y分别为三维空间坐标系绕三个坐标轴x,y,z的旋转角度,可表示为:
进而目标标志中心位置,在摄像机坐标系下的位置坐标可以表示为:
最后,目标标志中心位置经过坐标变换及映射在摄像机图像中的坐标位置可以表示为:
其中为根据坐标变换和投影计算得到的目标中心在第i张图像中的坐标,即目标标志投影位置,Tcam为摄像机坐标映射矩阵,表示为:
其中dpmx,dpmy分别为摄像机感光装置在横向和纵向上的分辨率,单位为像素点每米,Resx,Resy分别为摄像机感光装置在横向和纵向上的像素点总数。
进一步的,步骤(4)中,姿态指这个物体相对这个三维直角坐标系绕XYZ三个坐标轴的旋转角度,分别表示为横滚角度、俯仰角度和航向角度,所述横滚角度是指绕X轴旋转角度,roll,用字母R表示,俯仰角度是指绕Y轴旋转角度,pitch,用字母P表示,航向角度是指绕Z轴旋转角度,yaw,用字母Y表示。
进一步的,单目摄像机/照相机、高精度定位设备采集到的数据存储在电子计算机内。
进一步的,测量数据进行后期处理后得到的最终测量结果的误差小于50cm。
进一步的,在步骤(1)采集原始数据前,无需事先确定摄像机与定位装置的相对位置、姿态,而将摄像机与定位装置的相对位置、姿态作为未知数在步骤(5)中进行求解。
所述基于二维图像的交通标志空间位置测量方法具有以下优点:
1、不需要昂贵的测量设备,仅需要普通摄像头/摄像机和高精度定位设备;
2、测量设备安装在车内,无需现场架设设备,车辆在车道行驶中即可完成测量;
3、摄像机安装位置灵活,无需安装在某一特定位置;
4、测量前无需对摄像机的位置进行标定;
5、数据后期处理简单快捷,同时完成交通标志定位和摄像机位置参数计算;
6、测量过程只需要对目标交通标志拍摄若干张照片,而无需连续图像(数据量小)。
附图说明
图1是交通标志空间位置测量装置的示意图;
图2是测量数据采集流程图;
图3是数据后期处理流程示意图;
图4是坐标系变换及投影关系示意图。
具体实施方式
本方法针对的交通标志,只要能被摄像头拍摄到的地方的表示都可以。
1.1测量装置
如图1所示,本发明提出的交通标志空间位置测量装置包括:
a、可以在道路上正常行驶的车辆一台(测量车,无特殊需求)。
b、普通单目摄像机/照相机一台,可以安装在车上的任意位置,并且可以对外部环境进行拍摄,生成二维数字图像。摄像机的安装位置没有要求,可以向前拍摄,也可以向侧面拍摄。该装置可安装在a中的任何位置,如前挡风玻璃内侧,或车顶。但需要和车身稳定连接。使用者可以根据需要被测目标的位置特征,灵活选择摄像机安装位置。例如,测量地面目标时,摄像机略向下倾斜;测量位置较高的目标时,摄像机略向上仰。在对同一个目标(交通标志)的测量过程中,会对该目标进行多次拍摄,在此期间该摄像机/照相机的安装位置、方向不能发生移动。在更换测量目标时,可以根据该目标的位置调整摄像机位置,但一旦对该目标开始拍摄,则不能移动摄像机位置。
c、高精度定位设备一台,可以获得设备当前的绝对位置,如经纬度。该设备一般为基于卫星的导航设备,例如GPS或北斗,并带有至少一根可以接受卫星定位信号的定位天线。该定位设备可安装在a中的任何位置,如车顶或后备箱中。但需要和车身稳定连接。在对同一个目标(交通标志)的测量过程中,该定位设备的位置、方向不能发生移动。在对不同目标的测量间,该定位设备的位置可以发生移动。
d、电子计算机一台。该计算机连接b和c设备,并且可以从两个设备中实时读取数据。
这些数据包括:
1)从b中获取当前的二维图像数据(照片)。
2)从c中获取当前位置、方向数据。
3)把这些数据保存在电子计算机的存储装置中。
1.2测量数据采集
如图2所示,对于交通标志的位置的测量方法,即是使用1.1中的测量装置在目标(拟被测量交通标志)前方行驶,并同时对目标进行拍照和数据存储的过程。具体方法如下:
a、1.1中的测量装置在目标前的道路上匀速行驶。
b、当目标完整出现在1.1.b的摄像机的视野之后,即目标完整出现在画面中,且清晰可辨认,开始使用进行拍照。单帧二维图像存储在1.1.d的存储装置中。
c、在进行上一步操作的同时,记录1.1.c的定位装置的定位数据,并与上一步中的图像数据成对存储在1.1.d的存储装置中。
d、在相对目标标志由远及近的行驶过程中,重复b、c操作,采集若干组成对的图像+定位数据,存储于1.1.d的存储装置中。成对,是指b和c中的数据成对。b中记录图像信息,c中记录拍摄这张图像时,定位装置给出的位置信息。所以每拍摄一张照片,都有对应的定位信息一起进行存储。拍摄N张照片后,也有相对应的N个定位信息,与N张照片一一对应。
e、为提高目标位置测量结果的精度,可以使1.1的测试装置在不同车道,不同方向上行驶(例如对象车道,路口横向车道),并重复b、c、d操作,采集总共N组成对的图像+定位数据。
f、数据采集完成,进行数据标注和后期处理。
使用本发明中的方法进行交通标志位置测量时,需要拍摄的成对原始数据理论上不应少于9组,实际操作中采集12到15组数据可以获得更精确的结果,后期处理后得到的最终测量结果的误差小于50cm。
1.3测量原始数据标注
对于使用测量装置在道路上采集的原始图像数据,需要对图像中的目标标志影像在图像中的位置进行标注。一般情况下,以目标标志影像的中心位置来表示该标志影像的位置。
对于1.2中采集的第i组成对数据中的二维图像数据,经过标注后,得到目标标志影像的中心位于图像坐标系下的坐标为(ximg_i,yimg_i)。其中ximg_i,yimg_i分别表示目标标志影像中心在图像坐标系中的横坐标和纵坐标。每张二维图像照片都有自己独立的图像坐标系,且具有相同的坐标系定义:图像坐标系的原点位于图像左上角,横坐标正方向水平向右,纵坐标正方向垂直向下,单位为像素。每张图像都有自己的图像坐标系,定义都是一样的。这是一种行业通用的图像坐标系定义。
标注目标标志影像中心位置的方法,可以是手工标注,也可以通过自动交通标志识别的方法。但都不在本发明所涉及的范围内。由于本发明中的测量方法对于原始数据的需求量少(10张左右的二维照片),标注内容简单(单点),所以人工标注方法并不需要很大工作量,且人工标注方法的准确度会高于其他自动标注方法。
1.4数据后期处理
在目标标志影像位置标注完成后,对于一个目标交通标志,可以通过如下算法经过计算得到:
目标交通标志中心在三维空间中的绝对位置;
测量装置1.1.b(照相机)相对于1.1.c(定位设备)的三维空间相对位置与姿态。
三维空间中的绝对位置是指一个物体在一个三维直角坐标系中的x,y,z坐标,表示这个物体相对坐标原点在XYZ三个坐标轴上的平移距离。姿态指这个物体相对这个三维直角坐标系绕XYZ三个坐标轴的旋转角度,一般表示为横滚角度(绕X轴旋转角度,roll,后续用字母R表示),俯仰角度(绕Y轴旋转角度,pitch,后续用字母P表示),和航向角度(绕Z轴旋转角度,yaw,后续用字母Y表示)。
数据后期处理算法:
如图3所示,通过梯度下降方法对目标交通标志中心坐标和摄像机位置姿态进行求解。
对于单个交通标志目标,其在三维空间世界坐标系中的位置不变,设为(xtarget,ytarget,ztarget),分别为交通标志中心在三维空间中的横纵坐标和距地面高度。也是我们最终需要求解的测量结果。
在对于该单目标的测量中,需要设备1.1.b,1.1.c的位置不发生移动,所以它们之间的相对位置、姿态关系可以表示为(xcamera,ycamera,zcamera,Rcamera,Pcamera,Ycamera),其中xcamera,ycamera,zcamera分别表示摄像机1.1.b相对于定位装置1.1.c的在x,y,z三个坐标轴上的平移量,Rcamera,Pcamera,Ycamera分别表示摄像机1.1.b围绕定位装置1.1.c的x,y,z三个坐标轴的旋转角度。均为未知量。该位置姿态关系也常被称为摄像机的外部参数。传统方法中,在对目标标志进行测量前,需要使用复杂标定方法和算法,对这一位置、姿态关系进行计算求解。而本发明中,在测量前不需要类似的标定方法,而把这一个位置姿态关系当做未知数处理,与目标位置一起求解。
组成未知数向量:
X=[xtarget ytarget ztarget xcamera ycamera zcamera Rcamera Pcamera Ycamera]T
数据后期处理的目的,就是对未知数向量X进行求解。
同时,根据1.3中得到的标定结果,成对的图片和定位数据,可以从第i组成对数据的图像数据中,获得目标标志影像中心在图像中的位置(ximg_i,yimg_i),根据第i组成对数据中记录的定位结果数据,可以获得拍摄这张照片时定位装置给出的三维空间中的定位数据(xvehicle_i,yvehicle_i,zvehicle_i,Rvehicle_i,Pvehicle_i,Yvehicle_i)。其中xvehicle_i,yvehicle_i,zvehicle_i表示定位装置给出的车辆在世界坐标系下的位置,Rvehicle_i,Pvehicle_i,Yvehicle_i表示定位装置给出的车辆在世界坐标系下的姿态(横滚、俯仰、航向)。
按照如下步骤对向量X进行迭代求解:
a、给出未知数向量的迭代初值X(0),令k为迭代计数器,设k=0迭代初值可由估测结果(目测取得即可),或者粗略测量结果获得。例如可以是车辆驶经目标标志最近点时,定位装置给出的位置数据,也可以是某个成对数据中,定位装置给出的位置向前延伸某个估测距离的位置
b、对于第i次测量中获得的成对数据(图像和定位),使用向量X(k)(位置向量第k次迭代结果),根据1.4.1中的坐标变换及摄像机投影公式,计算目标交通标志中心在第i组成对数据的图像中的理论投影位置称为目标标志投影位置。(这里通过坐标变换,得到目标交通标志在这张图像中的理论位置,然后后面和实际标出来的真实位置做比较,计算误差,然后误差用来修正X,如此迭代循环。)这里,如果未知向量X(k)的结果精确,则经过坐标变换和摄像机投影公式获得的目标标志投影位置应该与在1.3中标注得到的目标标志影像位置(ximg_i,yimg_i)相重合。如果不重合,则说明X(k)的结果不够精确,需要继续迭代计算。
c、重复步骤b,计算所有N次拍摄测量中目标交通标志中心在图像中的理论投影位置,即所有目标标志投影位置,并得到误差矩阵定义如下:
是目标标志在每张图片上的理论位置与1.3标出的实际位置的偏差。
这两个位置都是图像坐标系中的位置,单位都是像素。
d、计算对于向量X(k),误差向量e(k)的雅克比矩阵,大小为2N行,9列:
e、计算未知数向量的修正量:
dX(k)=-(J(k)TJ(k))-1J(k)Te(k)
f、更新未知数向量:
X(k+1)=X(k)+h*dX(k)
其中h为更新步长比例,取值0-1之间。可根据算法迭代效率进行调整。
g、按照步骤c重新计算误差向量e(k+1)
h、如果误差向量e(k+1)的某个指定范数(可以是向量的2范数或无穷范数)小于给定的误差迭代终值,则迭代完成,X(k)即为所求解;否则令k=k+1,返回步骤b。
这里误差向量e(k+1)的范数足够小,说明所有N组成对数据中,目标标志投影位置与目标标志影像位置见的距离足够小,则可以认定未知数向量X(k)足够精确。
通过上述算法得到的未知数向量X的解,包含了目标交通标志的三维空间位置信息,也包含了摄像机与定位装置的标定结果。同时这个向量X的解也是在N组测量数据的基础上,对目标标志位置和相机位置的最优估计。
1.4.1坐标变换及摄像机投影公式
如图4所示,根据坐标变换和摄像机成像原理,可以推导公式如下,
如果已知某个交通标志在三维空间世界坐标系中的位置为(xtarget,ytarget,ztarget);摄像机和定位装置之间的相对位置姿态关系为(xcamera,ycamera,zcamera,Rcamera,Pcamera,Ycamera),那么记录第i组成对数据时,目标交通标志相对车辆定位装置的位置坐标为:
其中,(xt2v_i,yt2v_i,zt2v_i)为记录第i组成对数据时目标中心在定位装置坐标系下的位置坐标。xvehicle_i,yvehicle_i,zvehicle_i,Rvehicle_i,Pvehicle_i,Yvehicle_i来自第i组成对数据中的定位数据。T(R,P,Y)为三维空间旋转矩阵,是旋转角度R,P,Y的函数矩阵。R,P,Y分别为三维空间坐标系绕三个坐标轴x,y,z的旋转角度,可表示为:
进而目标交通标志中心位置,在摄像机坐标系下的位置坐标可以表示为:
最后,目标交通标志中心位置经过坐标变换及映射在摄像机图像中的坐标位置可以表示为:
其中为根据坐标变换和投影计算得到的目标中心在第i张图像
中的坐标,即目标标志投影位置。Tcam为摄像机坐标映射矩阵,可以表示为:
其中dpmx,dpmy分别为摄像机感光装置在横向和纵向上的分辨率(像素点密度),单位为像素点每米。Resx,Resy分别为摄像机感光装置在横向和纵向上的像素点总数。
以下是关键名词定义:
目标交通标志/目标标志:路面或道路旁边的交通标志实体,可以是红绿灯、路标、禁止或限制标志等。
目标标志影像:真实目标标志在二维照片中的影像。
目标标志投影:真实目标标志经过坐标变换及摄像机投影公式计算得到的其在二维照片中的理论位置。
本发明具有以下特点:
1、在测量装置上,仅需普通摄像机和定位设备,对安装位置没有要求;
2、测量数据为测量车行驶过程中采集的成对的单张二维照片+定位数据;
3、对摄像机和定位设备无需进行前期参数标定;
4、数据后期处理时可同时完成交通标志定位和摄像机参数标定;
5、通过梯度下降方法对交通标志中心坐标和摄像机位置姿态进行求解。

Claims (11)

1.一种基于二维图像的交通标志空间位置测量方法,包括下列步骤:
(1)检查测量装置,确定某待测交通标志为目标标志,并使用测量装置采集目标标志的多组成对原始数据,成对原始数据包括图像采集装置采集的图像数据和与其对应的定位装置采集的定位数据;
(2)对于原始数据中的图像数据,对图像中的目标标志影像在图像中的位置进行标注;经过标注后,得到目标标志影像的中心位于图像坐标系下的坐标为(ximg_i,yimg_i);其中ximg_i,yimg_i分别表示第i组中目标标志影像中心在图像坐标系中的横坐标和纵坐标;
(3)所述目标标志在三维空间世界坐标系中的位置设为(xtarget,ytarget,ztarget),xtarget,ytarget,ztarget分别为该目标标志的交通标志中心在三维空间中的横纵坐标和距地面高度;
(4)根据第i组目标标志的成对原始数据中的定位装置采集数据确定三维空间中的定位数据(xvehicle_i,yvehicle_i,zvehicle_i,Rvehicle_i,Pvehicle_i,Yvehicle_i),其中xvehicle_i,yvehicle_i,zvehicle_i分别表示定位装置在世界坐标系下的横坐标、纵坐标以及高度形成的位置,Rvehicle_i,Pvehicle_i,Yvehicle_i分别表示定位装置在世界坐标系下的横滚、俯仰、航向三个姿态;
(5)把摄像机相对定位装置的位置、姿态以及目标标志的位置组成未知数向量:
X=[xtarget ytarget ztarget xcamera ycamera zcamera Rcamera Pcamera Ycamera]T
对测量数据进行后期处理,通过梯度下降方法对未知数向量一起进行求解。
2.根据权利要求1所述的基于二维图像的交通标志空间位置测量方法,其特征在于:步骤(1)中,所述测量装置包括测量车,以及安装在测量车上的图像采集装置和定位装置,图像采集装置采用单目摄像机/照相机、定位装置采用高精度定位设备,还包括与单目摄像机/照相机、高精度定位设备相连接的电子计算机;所述普通单目摄像机/照相机、高精度定位设备在对同一交通标志目标进行数据采集时,为固定状态。
3.根据权利要求2所述的基于二维图像的交通标志空间位置测量方法,其特征在于:在数据采集时,单目摄像机/照相机采集交通标志目标的二维图像,同时高精度定位设备采集交通标志目标的定位数据,所述定位数据包括高精度定位设备的当前位置、方向数据,形成一对原始的图像+定位数据,采集的成对原始数据不少于9组。
4.根据权利要求3所述的基于二维图像的交通标志空间位置测量方法,其特征在于:为提高目标标志的位置测量结果的精度,所述测量装置在不同车道、不同方向上进行数据采集。
5.根据权利要求1所述的基于二维图像的交通标志空间位置测量方法,其特征在于:步骤(5)中,求解过程包括下列步骤:
a、给出未知数向量的迭代初值X(0),令k为迭代计数器,设k=0,迭代初值由估测结果或者粗略测量结果获得;
b、对于第i次测量中获得的成对数据,使用向量X(k),计算目标标志中心在第i组成对数据的图像中的理论投影位置称为目标标志投影位置;
c、重复步骤b,计算所有N次拍摄测量中目标标志中心在图像中的理论投影位置,即所有目标标志投影位置,并得到误差矩阵定义如下:
这是目标标志在每张图片上的理论位置与步骤(2)中标出的实际位置的偏差,这两个位置都是图像坐标系中的位置,单位都是像素;
d、计算对于向量X(k),误差向量e(k)的雅克比矩阵,大小为2N行,9列:
e、计算未知数向量的修正量:
dX(k)=-(J(k)TJ(k))-1J(k)Te(k)
f、更新未知数向量:
X(k+1)=X(k)+h*dX(k)
其中h为更新步长比例,取值0-1之间,根据算法迭代效率进行调整;
g、按照步骤c重新计算误差向量e(k+1);
h、如果误差向量e(k+1)的某个指定范数小于给定的误差迭代终值,则迭代完成,X(k)即为所求解,其中指定范数是向量的2范数或无穷范数;否则令k=k+1,返回步骤b;
这里误差向量e(k+1)的范数说明所有N组成对数据中,目标标志投影位置与目标标志影像位置间的距离的关系,能够判断未知数向量X(k)是否足够精确。
6.根据权利要求5所述的基于二维图像的交通标志空间位置测量方法,其特征在于:步骤b中,如果未知数向量X(k)的结果精确,则经过坐标变换和摄像机投影公式获得的目标标志投影位置与在步骤(2)中标注得到的目标标志影像位置(ximg_i,yimg_i)相重合,如果不重合,则说明X(k)的结果不够精确,需要继续迭代计算。
7.根据权利要求6所述的基于二维图像的交通标志空间位置测量方法,其特征在于:设定某待测交通标志为目标标志,其在三维空间世界坐标系中的位置为(xtarget,ytarget,ztarget);摄像机和定位装置之间的相对位置姿态关系为(xcamera,ycamera,zcamera,Rcamera,Pcamera,Ycamera),在记录第i组成对数据时,目标标志相对定位装置的位置坐标为:
其中,(xt2v_i,yt2v_i,zt2v_i)为记录第i组成对数据时,目标标志中心在定位装置坐标系下的位置坐标;
xvehicle_i,yvehicle_i,zvehicle_i,Rvehicle_i,Pvehicle_i,Yvehicle_i来自第i组成对数据中的定位数据,T(R,P,Y)为三维空间旋转矩阵,是旋转角度R,P,Y的函数矩阵,R,P,Y分别为三维空间坐标系绕三个坐标轴x,y,z的旋转角度,可表示为:
进而目标标志中心位置,在摄像机坐标系下的位置坐标可以表示为:
最后,目标标志中心位置经过坐标变换及映射在摄像机图像中的坐标位置可以表示为:
其中为根据坐标变换和投影计算得到的目标中心在第i张图像中的坐标,即目标标志投影位置,Tcam为摄像机坐标映射矩阵,表示为:
其中dpmx,dpmy分别为摄像机感光装置在横向和纵向上的分辨率,单位为像素点每米,Resx,Resy分别为摄像机感光装置在横向和纵向上的像素点总数。
8.根据权利要求1所述的基于二维图像的交通标志空间位置测量方法,其特征在于:步骤(4)中,姿态指这个物体相对这个三维直角坐标系绕XYZ三个坐标轴的旋转角度,分别表示为横滚角度、俯仰角度和航向角度,所述横滚角度是指绕X轴旋转角度,roll,用字母R表示,俯仰角度是指绕Y轴旋转角度,pitch,用字母P表示,航向角度是指绕Z轴旋转角度,yaw,用字母Y表示。
9.根据权利要求2所述的基于二维图像的交通标志空间位置测量方法,其特征在于:单目摄像机/照相机、高精度定位设备采集到的数据存储在电子计算机内。
10.根据权利要求1所述的基于二维图像的交通标志空间位置测量方法,其特征在于:测量数据进行后期处理后得到的最终测量结果的误差小于50cm。
11.根据权利要求2所述的基于二维图像的交通标志空间位置测量方法,其特征在于:在步骤(1)采集原始数据前,无需事先确定摄像机与定位装置的相对位置、姿态,而将摄像机与定位装置的相对位置、姿态作为未知数在步骤(5)中进行求解。
CN201810928014.8A 2018-08-15 2018-08-15 一种基于二维图像的交通标志空间位置测量方法 Active CN109146958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810928014.8A CN109146958B (zh) 2018-08-15 2018-08-15 一种基于二维图像的交通标志空间位置测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810928014.8A CN109146958B (zh) 2018-08-15 2018-08-15 一种基于二维图像的交通标志空间位置测量方法

Publications (2)

Publication Number Publication Date
CN109146958A true CN109146958A (zh) 2019-01-04
CN109146958B CN109146958B (zh) 2022-05-10

Family

ID=64789531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810928014.8A Active CN109146958B (zh) 2018-08-15 2018-08-15 一种基于二维图像的交通标志空间位置测量方法

Country Status (1)

Country Link
CN (1) CN109146958B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610521A (zh) * 2019-10-08 2019-12-24 云海桥(北京)科技有限公司 一种采用测距标志与图像识别匹配的定位系统及方法
CN110930451A (zh) * 2019-10-18 2020-03-27 广州点图识别信息科技有限公司 一种基于二维图像的三维空间定位方法、系统和存储介质
CN111311656A (zh) * 2020-02-21 2020-06-19 辽宁石油化工大学 一种适用于车载鱼眼相机的运动目标检测方法和装置
CN111462251A (zh) * 2020-04-07 2020-07-28 深圳金三立视频科技股份有限公司 摄像机标定方法及终端
CN111664845A (zh) * 2019-03-05 2020-09-15 千寻位置网络有限公司 交通标志定位、视觉地图制作方法及装置、定位系统
WO2021042792A1 (zh) * 2019-09-05 2021-03-11 华为技术有限公司 一种摄像机位置的确定方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308012A (zh) * 2008-05-29 2008-11-19 上海交通大学 双单目白光三维测量系统标定方法
CN102194102A (zh) * 2010-03-04 2011-09-21 哈曼贝克自动系统股份有限公司 对交通标志进行分类的方法和装置
CN104008377A (zh) * 2014-06-07 2014-08-27 北京联合大学 基于时空关联的地面交通标志实时检测识别方法
CN107957266A (zh) * 2017-11-16 2018-04-24 北京小米移动软件有限公司 定位方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308012A (zh) * 2008-05-29 2008-11-19 上海交通大学 双单目白光三维测量系统标定方法
CN102194102A (zh) * 2010-03-04 2011-09-21 哈曼贝克自动系统股份有限公司 对交通标志进行分类的方法和装置
CN104008377A (zh) * 2014-06-07 2014-08-27 北京联合大学 基于时空关联的地面交通标志实时检测识别方法
CN107957266A (zh) * 2017-11-16 2018-04-24 北京小米移动软件有限公司 定位方法、装置及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111664845A (zh) * 2019-03-05 2020-09-15 千寻位置网络有限公司 交通标志定位、视觉地图制作方法及装置、定位系统
CN111664845B (zh) * 2019-03-05 2023-06-16 千寻位置网络有限公司 交通标志定位、视觉地图制作方法及装置、定位系统
WO2021042792A1 (zh) * 2019-09-05 2021-03-11 华为技术有限公司 一种摄像机位置的确定方法及装置
CN110610521A (zh) * 2019-10-08 2019-12-24 云海桥(北京)科技有限公司 一种采用测距标志与图像识别匹配的定位系统及方法
CN110610521B (zh) * 2019-10-08 2021-02-26 云海桥(北京)科技有限公司 一种采用测距标志与图像识别匹配的定位系统及方法
CN110930451A (zh) * 2019-10-18 2020-03-27 广州点图识别信息科技有限公司 一种基于二维图像的三维空间定位方法、系统和存储介质
CN110930451B (zh) * 2019-10-18 2022-04-22 广州点图识别信息科技有限公司 一种基于二维图像的三维空间定位方法、系统和存储介质
CN111311656A (zh) * 2020-02-21 2020-06-19 辽宁石油化工大学 一种适用于车载鱼眼相机的运动目标检测方法和装置
CN111311656B (zh) * 2020-02-21 2023-06-27 辽宁石油化工大学 一种适用于车载鱼眼相机的运动目标检测方法和装置
CN111462251A (zh) * 2020-04-07 2020-07-28 深圳金三立视频科技股份有限公司 摄像机标定方法及终端
CN111462251B (zh) * 2020-04-07 2021-05-11 深圳金三立视频科技股份有限公司 摄像机标定方法及终端

Also Published As

Publication number Publication date
CN109146958B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN109146958A (zh) 一种基于二维图像的交通标志空间位置测量方法
Tao Mobile mapping technology for road network data acquisition
CN106327573B (zh) 一种针对城市建筑的实景三维建模方法
Li Mobile mapping: An emerging technology for spatial data acquisition
GREJNER‐BRZEZINSKA Direct exterior orientation of airborne imagery with GPS/INS system: Performance analysis
US7233691B2 (en) Any aspect passive volumetric image processing method
US5774826A (en) Optimization of survey coordinate transformations
CN110617821B (zh) 定位方法、装置及存储介质
US9367962B2 (en) Augmented image display using a camera and a position and orientation sensor
CN109443359B (zh) 一种地面全景影像的地理定位方法
CN104200086A (zh) 宽基线可见光相机位姿估计方法
CN105928498A (zh) 通过基于模板的uav控制来确定对象数据
CN104501779A (zh) 基于多站测量的无人机高精度目标定位方法
CN104240262A (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
CN106705962B (zh) 一种获取导航数据的方法及系统
CN110503687B (zh) 一种空中光电测量平台目标定位方法
CN106408601A (zh) 一种基于gps的双目融合定位方法及装置
CN102692213B (zh) 基于主动式全景视觉传感器的交通事故现场测绘仪
CN103411587B (zh) 定位定姿方法及系统
CN101408422A (zh) 基于双目立体全方位视觉的交通事故现场测绘仪
CN109685855A (zh) 一种道路云监控平台下的摄像机标定优化方法
CN109242918A (zh) 一种直升机机载双目立体视觉标定方法
CN106338286B (zh) 一种动基座测量方法
CN113296133B (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
CN106023207B (zh) 一种基于移动测量系统双全景的城市部件采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant