CN112648976A - 实景影像测量方法、装置、电子设备及存储介质 - Google Patents

实景影像测量方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112648976A
CN112648976A CN202011546053.5A CN202011546053A CN112648976A CN 112648976 A CN112648976 A CN 112648976A CN 202011546053 A CN202011546053 A CN 202011546053A CN 112648976 A CN112648976 A CN 112648976A
Authority
CN
China
Prior art keywords
coordinate system
camera
live
pixel
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011546053.5A
Other languages
English (en)
Other versions
CN112648976B (zh
Inventor
蔡越
刘继恩
王翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Headspring Technology Co ltd
Original Assignee
Beijing Headspring Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Headspring Technology Co ltd filed Critical Beijing Headspring Technology Co ltd
Priority to CN202011546053.5A priority Critical patent/CN112648976B/zh
Publication of CN112648976A publication Critical patent/CN112648976A/zh
Application granted granted Critical
Publication of CN112648976B publication Critical patent/CN112648976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及道路交通技术领域,提供了一种实景影像测量方法、装置、电子设备及存储介质,其中方法包括:确定待测量的目标物体上的多个特征点;基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在大地坐标系中的空间坐标;基于所述多个特征点的空间坐标,确定所述目标物体的测量结果;其中,所述两张实景影像是相机在预设间隔的两个空间位置对所述目标物体进行采集得到的。本申请提供的方法、装置、电子设备及存储介质,实现了公路路产数据的信息化,提高了公路路产信息采集和更新的准确度。

Description

实景影像测量方法、装置、电子设备及存储介质
技术领域
本申请涉及道路交通技术领域,尤其涉及一种实景影像测量方法、装置、电子设备及存储介质。
背景技术
随着公路路产设施总量的增长,交通运输行业尤其是公路资产管理行业为了提高路权督查的时效性和档案管理的规范化水平,对于资产数据的高质量和强时效性的需求越来越强烈。
如何实现公路路产数据的信息化,进一步丰富公路资产基础数据、提高数据质量,实现路产路权业务管理与信息技术深度融合,实现公路路产的全面精准地普查及更新、路权业务精细化管理,是公路资产管理亟待解决的问题。
发明内容
本申请提供一种实景影像测量方法、装置、电子设备及存储介质,用以解决如何实现公路路产数据的信息化的问题。
本申请提供一种实景影像测量方法,包括:
确定待测量的目标物体上的多个特征点;
基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在大地坐标系中的空间坐标;
基于所述多个特征点的空间坐标,确定所述目标物体的测量结果;
其中,所述两张实景影像是相机在预设间隔的两个空间位置对所述目标物体进行采集得到的。
根据本申请提供的实景影像测量方法,所述基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在大地坐标系中的空间坐标,包括:
基于任一特征点在任一实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在所述任一实景影像中的像素坐标映射到空间坐标的定位射线;
基于所述任一特征点在所述两张实景影像中的像素坐标映射到空间坐标的定位射线的交点,得到所述任一特征点在大地坐标系中的空间坐标。
根据本申请提供的实景影像测量方法,所述像素坐标系与大地坐标系之间的映射关系的确定方法包括:
基于所述相机的光心在成像平面的投影,以及所述相机采集的实景影像中每一像素点的物理尺寸,确定所述像素坐标系与图像坐标系之间的映射关系;
基于所述相机的焦距,确定所述图像坐标系与相机坐标系之间的映射关系;
基于所述相机的外参矩阵,确定所述相机坐标系与所述大地坐标系之间的映射关系;
基于所述像素坐标系与所述图像坐标系之间的映射关系、所述图像坐标系与所述相机坐标系之间的映射关系以及所述相机坐标系与所述大地坐标系之间的映射关系,确定所述像素坐标系与所述大地坐标系之间的映射关系。
根据本申请提供的实景影像测量方法,所述相机的内参矩阵是基于所述像素坐标系与所述图像坐标系之间的映射关系以及所述图像坐标系与所述相机坐标系之间的映射关系确定的。
根据本申请提供的实景影像测量方法,所述相机的内参矩阵的确定方法包括:
根据DLT方法、RAC方法、平面标定法、平面圆标定法和平行圆标定法中的至少一种对所述相机进行标定,确定所述相机的内参矩阵。
根据本申请提供的实景影像测量方法,所述相机的外参矩阵的确定方法包括:
确定所述相机的内参矩阵;
基于标定点的像素坐标和空间坐标,以及所述相机的内参矩阵,确定所述相机的外参矩阵。
根据本申请提供的实景影像测量方法,所述相机的三维姿态角是基于所述相机的外参矩阵确定的。
本申请还提供一种实景影像测量装置,包括:
特征点确定单元,用于确定待测量的目标物体上的多个特征点;
坐标确定单元,用于基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在大地坐标系中的空间坐标;
空间测量单元,用于基于所述多个特征点的空间坐标,确定所述目标物体的测量结果;
其中,所述两张实景影像是相机在预设间隔的两个空间位置对所述目标物体进行采集得到的。
本申请提供的实景影像测量方法、装置、电子设备及存储介质,通过相机对目标物体进行采集得到实景影像,根据像素坐标系与大地坐标系之间的映射关系,将目标物体的每一特征点在实景影像中的像素坐标进行转换得到每一特征点在大地坐标系中的空间坐标,进而实现对目标物体进行空间参数解算,得到目标物体的测量结果,该方法无需工作人员进行现场测量,实现了公路路产数据的信息化,提高了公路路产信息采集和更新的准确度。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的实景影像测量方法的流程示意图;
图2为本申请提供的像素坐标系与图像坐标系之间的映射关系示意图;
图3为本申请提供的图像坐标系与相机坐标系之间的映射关系示意图;
图4为本申请提供的相机坐标系与大地坐标系之间的映射关系示意图;
图5为本申请提供的实景影像测量装置的结构示意图;
图6为本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请提供的实景影像测量方法的流程示意图,如图1所示,该方法包括:
步骤110,确定待测量的目标物体上的多个特征点。
具体地,本申请实施例中的目标物体为公路,以及公路上的隧道和桥梁等建筑物。特征点为表征目标物体的形状轮廓的点,例如,隧道横截面上的轮廓点。
步骤120,基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到该特征点在大地坐标系中的空间坐标。其中,两张实景影像是相机在预设间隔的两个空间位置对目标物体进行采集得到的。
具体地,实景影像为对真实的景象所拍摄得到的影像数据,可以为实景照片等。本申请实施例通过相机拍摄得到的实景影像对目标物体进行空间测量。相机可以为单目工业相机。相机可以安装在车辆上,通过车辆在公路上的移动,实现对公路以及公路上的建筑物进行数据采集和空间测量。
预设间隔为相机先后采集两张实景影像时所处的空间位置之间的距离。为了减小测量误差,可以通过设置预设间隔的大小,来对相机采集实景影像的方式进行设置。例如,在采集工作之前,可以将预设间隔设置为6米。此时,公路路面的高度变化较小,相机在前后采集位置的海拔高度变化可以忽略不计。
像素坐标系为实景影像中像素点所在的二维平面坐标系。像素坐标系的原点可以为实景影像中左上角的像素点,单位为像素(pixel)。
大地坐标系为以地球中心作为参考点建立的三维空间坐标系,单位为米(m)。
根据像素坐标系与大地坐标系之间的映射关系,可以将像素坐标系的点映射到大地坐标系中,即将任一特征点转换在实景影像中的像素坐标转换为该特征点在大地坐标系中的空间坐标。
步骤130,基于多个特征点的空间坐标,确定目标物体的测量结果。
具体地,根据多个特征点的空间坐标,进行空间参数解算,可以计算得到目标物体的测量结果。测量结果为目标物体的长度、面积、角度、坡度和垂直距离等几何参数。
例如,若已得到目标物体上特征点X1和特征点X2的空间坐标,则可以计算得到特征点X1和特征点X2之间的空间距离LX1,X2,用公式表示为:
Figure BDA0002856249200000061
式中,特征点X1的空间坐标为(x1,y1,z1),特征点X2的空间坐标为(x2,y2,z2)。此处,距离LX1,X2是三维空间中两点间的直线距离,而非两点之间的垂直距离。
本申请实施例提供的实景影像测量方法,通过相机对目标物体进行采集得到实景影像,根据像素坐标系与大地坐标系之间的映射关系,将目标物体的每一特征点在实景影像中的像素坐标进行转换得到每一特征点在大地坐标系中的空间坐标,进而实现对目标物体进行空间参数解算,得到目标物体的测量结果,该方法无需工作人员进行现场测量,实现了公路路产数据的信息化,提高了公路路产信息采集和更新的准确度。
基于上述实施例,步骤120包括:
基于任一特征点在任一实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到该特征点在该实景影像中的像素坐标映射到空间坐标的定位射线;
基于该特征点在两张实景影像中的像素坐标映射到空间坐标的定位射线的交点,得到该特征点在大地坐标系中的空间坐标。
具体地,根据像素坐标系与大地坐标系之间的映射关系,对任一特征点在任一实景影像中的像素坐标进行转换。由于二维坐标映射到三维坐标,会缺失一维信息,例如深度信息,因此,二维点映射到三维坐标系,得到的是一条定位射线。定位射线上的所有点都有可能为该特征点的空间坐标。
因此,通过求解该特征点的两张实景影像上像素坐标映射到大地坐标系的两条定位射线,两条定位射线的交点即为该特征点在大地坐标系中的坐标点,从而得到该特征点在大地坐标系中的空间坐标。
可以通过数学方法求解三维空间中两条射线交点坐标的问题。
假设通过第一张实景影像得到的定位射线为L1。L1可以根据定位射线上的点P1(x1,y1,z1)和点P2(x2,y2,z2)得到参数表示方程,通过第二张实景影像得到的定位射线为L2。L2可以根据定位射线上的点P3(x3,y3,z3)和点P4(x4,y4,z4)得到参数表示方程。L1和L2的交点为(x,y,z)。
记xij、yij、zij表示定位射线分别在X轴、Y轴和Z轴上的方向向量。方向向量可以根据已知点的坐标确定,例如xij=xi-xj。t和s分别为参数,可以得到:
L1的方程为x=x1+x12*t,y=y1+y12*t,z=z1+z12*t;
L2的方程为x=x3+x34*s,y=y3+y34*s,z=z3+z34*s;
将L1的方程式代入L2的方程,可以得到:
s=(x13+x12t)/x34
再代入方程得到t的表达式:
t=(y13*x34-y34*x13)/(y34*x12-x34*y12)
再代入L1的方程式中,即可得到交点,例如:
x=x1+x12*((y13*x34-y34*x13)/(y34*x12-x34*y12))
y、z同理可得。
采用上述方法,求解特征点在两张实景影像中的像素坐标映射到空间坐标的定位射线的交点,可以得到该特征点在大地坐标系中的空间坐标。
基于上述任一实施例,像素坐标系与大地坐标系之间的映射关系的确定方法包括:
基于相机的光心在成像平面的投影,以及相机采集的实景影像中每一像素点的物理尺寸,确定像素坐标系与图像坐标系之间的映射关系;
基于相机的焦距,确定图像坐标系与相机坐标系之间的映射关系;
基于相机的外参矩阵,确定相机坐标系与大地坐标系之间的映射关系;
基于像素坐标系与图像坐标系之间的映射关系、图像坐标系与相机坐标系之间的映射关系以及相机坐标系与大地坐标系之间的映射关系,确定像素坐标系与大地坐标系之间的映射关系。
具体地,图像坐标系R为以相机的光心在成像平面的投影为中点,以实景影像为坐标区域得到的平面坐标系,单位为毫米(mm)。
实景影像一般为矩阵图像。图像坐标系R中坐标的原点在矩阵图像的正中间,像素坐标系U的原点在矩形图像的左上角。另外两者的单位不同,图像坐标系的单位是毫米(mm),像素坐标系的单位是像素(pixel)。
图2为本申请提供的像素坐标系与图像坐标系之间的映射关系示意图,如图2所示,在像素坐标系U中,可以用u,v来记录像素点的列数和行数。在图像坐标系R中,可以用x,y来记录点的列数和行数。则图像坐标系R下坐标系的原点(0,0),对应地在像素坐标系U下记录为Ou(u0,v0)。每个像素在x轴和y轴所代表的物理尺寸表示为dx和dy。需要注意的是,相机的图像传感器尺寸并不是一个正方形,因此dx和dy的大小是不同的。
像素点P11在像素坐标系U下记录为P11(u,v),在图像坐标系R下记录为P11(x11,y11)。可以得到关系式:
(u-u0)*dx=x11
(v-v0)*dy=y11
将其进行移项,并转换为齐次的形式,得到:
Figure BDA0002856249200000091
其中
Figure BDA0002856249200000092
为像素坐标系中点P11的表示方式,
Figure BDA0002856249200000093
为图像坐标系点P11的表示方式,
Figure BDA0002856249200000094
为平移和缩放操作。
相机坐标系C为以相机的光心位置为原点建立的,其中轴指向相机的正前方的三维坐标系。图像坐标系R与相机坐标系C可以通过针孔相机模型对称翻转得到。
图3为本申请提供的图像坐标系与相机坐标系之间的映射关系示意图,如图3所示,P1为相机坐标系C中的点,其坐标为(x1c,y1c,z1c),P11为P1在图像坐标系R中的对应像素点,其坐标为(x11,y11)。根据图中的相似三角形关系,可以得到:
Figure BDA0002856249200000095
Figure BDA0002856249200000096
Figure BDA0002856249200000097
式中,f为相机的焦距,即图像坐标系R所在的成像平面距离相机坐标系C的原点的距离。上式转换为齐次的形式,得到:
Figure BDA0002856249200000098
其中,
Figure BDA0002856249200000099
为图像坐标系中P1对应的P11的表示方式,
Figure BDA00028562492000000910
为相机坐标系中P1的表示方式。
大地坐标系O和相机坐标系C两者的变换属于刚体的变换,不存在形变,只需要进行旋转操作和平移操作即可。
图4为本申请提供的相机坐标系与大地坐标系之间的映射关系示意图,如图4所示,P1在相机坐标系C中的坐标P1c为(x1c,y1c,z1c),P1在大地坐标系O中的坐标P1o为(x1o,y1o,z1o)。坐标转换可以表示为:
P1c=R*P1o+T即
Figure BDA0002856249200000101
为了统一旋转和平移,将其写为齐次形式,也即
Figure BDA0002856249200000102
其中R为旋转矩阵,T为平移向量。
旋转矩阵R和平移向量T为相机的外参矩阵。
综上可知,需要建立目标物体的特征点(大地坐标系中的点)到实景影像中的像素点(像素坐标系中的点)的映射关系,共需要三步转换,即大地坐标系O转换为相机坐标系C,再转换为图像坐标系R,最后转换为像素坐标系U。
从大地坐标系O转换为相机坐标系C用公式表示为:
Figure BDA0002856249200000103
式中,R3x3为旋转矩阵,大小为3*3,T3x1为平移向量,大小为3*1。
Figure BDA0002856249200000104
为点P1在大地坐标系O中的坐标,还可以表示为[x1o,y1o,z1o,1]T
Figure BDA0002856249200000105
为点P1在相机坐标系C中的坐标,还可以表示为[x1c,y1c,z1c,1]T
从相机坐标系C转换为图像坐标系R用公式表示为:
Figure BDA0002856249200000111
式中,
Figure BDA0002856249200000112
为图像坐标系中P1对应的P11的表示方式,f为相机的焦距。
从图像坐标系R转换为像素坐标系U用公式表示为:
Figure BDA0002856249200000113
式中,
Figure BDA0002856249200000114
为像素坐标系U中点P11的表示方式,(u0,v0)为相机的光心在成像平面的投影点的坐标,dx和dy分别为相机采集的实景影像中每一像素点在x轴和y轴所代表的物理尺寸。
由上述等式可以得到:
Figure BDA0002856249200000115
化简得到:
Figure BDA0002856249200000116
该公式为相机在理想情况下的成像公式。它建立了从大地坐标系到像素坐标系的唯一映射关系。
在公式推导中,还可以归一化平面,即为图像坐标的等比缩放,也就是设置f=1。
基于上述任一实施例,相机的内参矩阵是基于像素坐标系与图像坐标系之间的映射关系以及图像坐标系与相机坐标系之间的映射关系确定的。
具体地,根据像素坐标系U与图像坐标系R之间的映射关系,可以得到:
Figure BDA0002856249200000121
根据图像坐标系R与相机坐标系C之间的映射关系可以得到:
Figure BDA0002856249200000122
由此,可以得到相机的内参矩阵为:
Figure BDA0002856249200000123
式中,fx为相机X轴方向的焦距,fy为相机Y轴方向的焦距,(u0,v0)为相机的光心在成像平面的投影点的坐标。
基于上述任一实施例,相机的内参矩阵的确定方法包括:
根据DLT方法、RAC方法、平面标定法、平面圆标定法和平行圆标定法中的至少一种对相机进行标定,确定相机的内参矩阵。
具体地,相机的内参矩阵可以通过相机标定的方式得到。相机标定的过程是通过使用标准的计量仪器对相机进行检测,求解出相机的内参数的过程。
相机的内参数包括:一是相机的基本参数,即相机光心在成像平面的坐标和相机焦距,可以用内参矩阵表示;二是畸变系数向量,即切向畸变系数和径向畸变系数。
相机的畸变包括切向畸变和径向畸变。相机制造过程中,镜头通常为中间厚、边缘薄,光线在远离透镜中心的地方,会发生更大程度的扭曲。这就是径向畸变的原因。切向畸变是由于相机制造上的缺陷使得图像平面与透镜本身不平行而产生的。
相机的畸变用公式表示为:
Figure BDA0002856249200000131
式中,x,y为发生畸变后像点的坐标;x’,y’为畸变矫正,也就是去除畸变后的正确像点坐标,k1,k2,k3为径向畸变系数;p1,p2为切向畸变系数,r为曲率半径。
本申请使用的标定方法主要有DLT(Direct Linear Transformation,直接线性变换)方法、RAC(Radial Alignment Constraint,径向排列约束)方法、平面标定法、平面圆标定法、平行圆标定法等。
例如,平面标定法,又称为棋盘标定法,其基本原理是通过三维场景中拍摄同一棋盘模板标定板在不同角度的多张图像,由于每张棋盘图像的角点都是等间隔的,即可以认为其角点的空间三维坐标是已知的,再计算出每张棋盘图像在图像平面的像素坐标。这样,就建立了每张棋盘图的三维空间坐标与像素坐标的映射关系,最后求解出相机的内参数。
可以使用OpenCV包或者使用MATLAB。例如,使用OpenCV提供的calibrateCamera()函数进行标定,利用该函数能解算出相机的内参数,包括相机内参矩阵
Figure BDA0002856249200000132
畸变系数向量D=(k1,k2,k3,p1,p2)。
基于上述任一实施例,相机的外参矩阵的确定方法包括:
确定相机的内参矩阵;
基于标定点的像素坐标和空间坐标,以及相机的内参矩阵,确定相机的外参矩阵。
具体地,标定点可以选择已知目标物体,已知目标物体在大地坐标系O的空间坐标和像素坐标系U中的像素坐标均为已知。
根据公式:
Figure BDA0002856249200000141
若P1为标定点,相机的内参矩阵
Figure BDA0002856249200000142
可以通过上述标定方法得到,则外参矩阵[R3x3 T3x1]可以通过PnP(Perspective-N-Point)算法来确定。
可以使用OpenCV开发包中的solvePnP和solvePnPRanssac函数来进行求解。求解出的结果为相机对应于已知物体三维空间坐标系的旋转向量R和平移向量T。
本申请实施例提供一种求解空间轴坐标点对应的图像坐标上的坐标点的方法:
步骤一、通过相机标定得出工业相机即视觉传感器的内参矩阵。
步骤二、通过已知目标物体若干关键点三维空间的坐标、该关键点对应的实景影像像素坐标和步骤一中的内参矩阵,求解出相机此时的外参矩阵,即此时的旋转向量和平移向量。
步骤三、根据相机的内参矩阵、外参矩阵以及大地坐标系中的原点(0.0,0.0,0.0),X轴坐标(x,0.0,0.0),Y轴坐标(0.0,y,0.0),Z轴坐标(0.0,0.0,z),求解出空间坐标系映射的像素坐标点。
上述方法可以使用OpenCV提供的projectPoints函数解算。
基于上述任一实施例,相机的三维姿态角是基于相机的外参矩阵确定的。
具体地,相机的三维姿态角包括偏航角(Yaw)、滚轮角(Roll)和俯仰角(Pitch)。其中,偏航角为绕Z轴转的角度,滚轮角为绕Y轴旋转的角度,俯仰角为绕X轴旋转的角度。
相机的外参矩阵R可以表示为:
Figure BDA0002856249200000151
其中,Rx(ψ)为绕X轴旋转ψ的矩阵,ψ为俯仰角:
Figure BDA0002856249200000152
Ry(θ)为绕Y轴旋转θ的矩阵,θ为滚轮角:
Figure BDA0002856249200000153
Figure BDA0002856249200000154
为绕Z轴旋转
Figure BDA0002856249200000155
的矩阵,
Figure BDA0002856249200000156
为偏航角:
Figure BDA0002856249200000157
则外参矩阵R可以表示为:
Figure BDA0002856249200000158
由上述实施例中的方法可以求解:
Figure BDA0002856249200000159
则可以求出相机的三维姿态角。
求解相机的三维姿态角可以使用Python、Java、Matlab等语言实现。
下面对本申请提供的实景影像测量装置进行描述,下文描述的实景影像测量装置与上文描述的实景影像测量方法可相互对应参照。
基于上述任一实施例,图5为本申请提供的实景影像测量装置的结构示意图,如图5所示,该装置包括:
特征点确定单元510,用于确定待测量的目标物体上的多个特征点;
坐标确定单元520,用于基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到该特征点在大地坐标系中的空间坐标;
空间测量单元530,用于基于多个特征点的空间坐标,确定目标物体的测量结果;
其中,两张实景影像是相机在预设间隔的两个空间位置对目标物体进行采集得到的。
具体地,特征点确定单元510用于确定待测量的目标物体上的多个特征点,坐标确定单元520用于基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到任一特征点在大地坐标系中的空间坐标,空间测量单元530用于基于多个特征点的空间坐标,确定目标物体的测量结果。
本申请实施例提供的实景影像测量装置,通过相机对目标物体进行采集得到实景影像,根据像素坐标系与大地坐标系之间的映射关系,将目标物体的每一特征点在实景影像中的像素坐标进行转换得到每一特征点在大地坐标系中的空间坐标,进而实现对目标物体进行空间参数解算,得到目标物体的测量结果,该装置无需工作人员进行现场测量,实现了公路路产数据的信息化,提高了公路路产信息采集和更新的准确度。
基于上述任一实施例,坐标确定单元520包括:
定位射线确定子单元,用于基于任一特征点在任一实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到该特征点在该实景影像中的像素坐标映射到空间坐标的定位射线;
空间坐标确定子单元,用于基于该特征点在两张实景影像中的像素坐标映射到空间坐标的定位射线的交点,得到任一特征点在大地坐标系中的空间坐标。
基于上述任一实施例,该装置还包括多坐标系转换单元,多坐标系转换单元包括:
第一坐标转换子单元,用于基于相机的光心在成像平面的投影,以及相机采集的实景影像中每一像素点的物理尺寸,确定像素坐标系与图像坐标系之间的映射关系;
第二坐标转换子单元,用于基于相机的焦距,确定图像坐标系与相机坐标系之间的映射关系;
第三坐标转换子单元,用于基于相机的外参矩阵,确定相机坐标系与大地坐标系之间的映射关系;
多坐标转换子单元,用于基于像素坐标系与图像坐标系之间的映射关系、图像坐标系与相机坐标系之间的映射关系以及相机坐标系与大地坐标系之间的映射关系,确定像素坐标系与大地坐标系之间的映射关系。
基于上述任一实施例,相机的内参矩阵是基于像素坐标系与图像坐标系之间的映射关系以及图像坐标系与相机坐标系之间的映射关系确定的。
基于上述任一实施例,该装置还包括:
内参矩阵确定单元,用于根据DLT方法、RAC方法、平面标定法、平面圆标定法和平行圆标定法中的至少一种对相机进行标定,确定相机的内参矩阵。
基于上述任一实施例,该装置还包括:
外参矩阵确定单元,用于确定相机的内参矩阵,并基于标定点的像素坐标和空间坐标,以及相机的内参矩阵,确定相机的外参矩阵。
基于上述任一实施例,相机的三维姿态角是基于相机的外参矩阵确定的。
基于上述任一实施例,图6为本申请提供的电子设备的结构示意图,如图6所示,该电子设备可以包括:处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线(Communications Bus)640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑命令,以执行上述各实施例提供的方法,该方法包括:
确定待测量的目标物体上的多个特征点;基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到任一特征点在大地坐标系中的空间坐标;基于多个特征点的空间坐标,确定目标物体的测量结果;其中,两张实景影像是相机在预设间隔的两个空间位置对目标物体进行采集得到的。
此外,上述的存储器630中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令,实现上述实景影像测量方法,其具体的实施方式与方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
本申请还提供一种非暂态计算机可读存储介质,下面对本申请提供的非暂态计算机可读存储介质进行描述,下文描述的非暂态计算机可读存储介质与上文描述的实景影像测量方法可相互对应参照。
本申请实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,该方法包括:
确定待测量的目标物体上的多个特征点;基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到任一特征点在大地坐标系中的空间坐标;基于多个特征点的空间坐标,确定目标物体的测量结果;其中,两张实景影像是相机在预设间隔的两个空间位置对目标物体进行采集得到的。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时,实现上述实景影像测量方法,其具体的实施方式与方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种实景影像测量方法,其特征在于,包括:
确定待测量的目标物体上的多个特征点;
基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在大地坐标系中的空间坐标;
基于所述多个特征点的空间坐标,确定所述目标物体的测量结果;
其中,所述两张实景影像是相机在预设间隔的两个空间位置对所述目标物体进行采集得到的。
2.根据权利要求1所述的实景影像测量方法,其特征在于,所述基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在大地坐标系中的空间坐标,包括:
基于任一特征点在任一实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在所述任一实景影像中的像素坐标映射到空间坐标的定位射线;
基于所述任一特征点在所述两张实景影像中的像素坐标映射到空间坐标的定位射线的交点,得到所述任一特征点在大地坐标系中的空间坐标。
3.根据权利要求1或2所述的实景影像测量方法,其特征在于,所述像素坐标系与大地坐标系之间的映射关系的确定方法包括:
基于所述相机的光心在成像平面的投影,以及所述相机采集的实景影像中每一像素点的物理尺寸,确定所述像素坐标系与图像坐标系之间的映射关系;
基于所述相机的焦距,确定所述图像坐标系与相机坐标系之间的映射关系;
基于所述相机的外参矩阵,确定所述相机坐标系与所述大地坐标系之间的映射关系;
基于所述像素坐标系与所述图像坐标系之间的映射关系、所述图像坐标系与所述相机坐标系之间的映射关系以及所述相机坐标系与所述大地坐标系之间的映射关系,确定所述像素坐标系与所述大地坐标系之间的映射关系。
4.根据权利要求3所述的实景影像测量方法,其特征在于,所述相机的内参矩阵是基于所述像素坐标系与所述图像坐标系之间的映射关系以及所述图像坐标系与所述相机坐标系之间的映射关系确定的。
5.根据权利要求4所述的实景影像测量方法,其特征在于,所述相机的内参矩阵的确定方法包括:
根据DLT方法、RAC方法、平面标定法、平面圆标定法和平行圆标定法中的至少一种对所述相机进行标定,确定所述相机的内参矩阵。
6.根据权利要求5所述的实景影像测量方法,其特征在于,所述相机的外参矩阵的确定方法包括:
确定所述相机的内参矩阵;
基于标定点的像素坐标和空间坐标,以及所述相机的内参矩阵,确定所述相机的外参矩阵。
7.根据权利要求6所述的实景影像测量方法,其特征在于,所述相机的三维姿态角是基于所述相机的外参矩阵确定的。
8.一种实景影像测量装置,其特征在于,包括:
特征点确定单元,用于确定待测量的目标物体上的多个特征点;
坐标确定单元,用于基于任一特征点分别在两张实景影像中的像素坐标,以及像素坐标系与大地坐标系之间的映射关系,得到所述任一特征点在大地坐标系中的空间坐标;
空间测量单元,用于基于所述多个特征点的空间坐标,确定所述目标物体的测量结果;
其中,所述两张实景影像是相机在预设间隔的两个空间位置对所述目标物体进行采集得到的。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的实景影像测量方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的实景影像测量方法的步骤。
CN202011546053.5A 2020-12-23 2020-12-23 实景影像测量方法、装置、电子设备及存储介质 Active CN112648976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011546053.5A CN112648976B (zh) 2020-12-23 2020-12-23 实景影像测量方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011546053.5A CN112648976B (zh) 2020-12-23 2020-12-23 实景影像测量方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112648976A true CN112648976A (zh) 2021-04-13
CN112648976B CN112648976B (zh) 2022-11-01

Family

ID=75360133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011546053.5A Active CN112648976B (zh) 2020-12-23 2020-12-23 实景影像测量方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112648976B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113147746A (zh) * 2021-05-20 2021-07-23 宝能(广州)汽车研究院有限公司 坡道车位的探测方法及装置
CN114021231A (zh) * 2021-10-28 2022-02-08 博锐尚格科技股份有限公司 一种测绘数据处理的方法、装置及电子设备
CN114509048A (zh) * 2022-01-20 2022-05-17 中科视捷(南京)科技有限公司 基于单目相机的架空输电线路空间三维信息获取方法及系统
CN115049745A (zh) * 2022-08-16 2022-09-13 江苏魔视智能科技有限公司 一种路侧传感器的标定方法、装置、设备及介质
CN117516485A (zh) * 2024-01-04 2024-02-06 东北大学 一种飞机发动机自动引导安装的位姿视觉测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
US20190041513A1 (en) * 2017-08-03 2019-02-07 Neusoft Corporation Method, apparatus, storage medium and program product for side vehicle positioning
CN111178317A (zh) * 2020-01-06 2020-05-19 广东博智林机器人有限公司 检测定位方法、系统、装置、电子设备及存储介质
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量系统及方法
CN111899307A (zh) * 2020-07-30 2020-11-06 浙江大学 一种空间标定方法、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
US20190041513A1 (en) * 2017-08-03 2019-02-07 Neusoft Corporation Method, apparatus, storage medium and program product for side vehicle positioning
CN111178317A (zh) * 2020-01-06 2020-05-19 广东博智林机器人有限公司 检测定位方法、系统、装置、电子设备及存储介质
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量系统及方法
CN111899307A (zh) * 2020-07-30 2020-11-06 浙江大学 一种空间标定方法、电子设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113147746A (zh) * 2021-05-20 2021-07-23 宝能(广州)汽车研究院有限公司 坡道车位的探测方法及装置
CN114021231A (zh) * 2021-10-28 2022-02-08 博锐尚格科技股份有限公司 一种测绘数据处理的方法、装置及电子设备
CN114509048A (zh) * 2022-01-20 2022-05-17 中科视捷(南京)科技有限公司 基于单目相机的架空输电线路空间三维信息获取方法及系统
CN114509048B (zh) * 2022-01-20 2023-11-07 中科视捷(南京)科技有限公司 基于单目相机的架空输电线路空间三维信息获取方法及系统
CN115049745A (zh) * 2022-08-16 2022-09-13 江苏魔视智能科技有限公司 一种路侧传感器的标定方法、装置、设备及介质
CN117516485A (zh) * 2024-01-04 2024-02-06 东北大学 一种飞机发动机自动引导安装的位姿视觉测量方法
CN117516485B (zh) * 2024-01-04 2024-03-22 东北大学 一种飞机发动机自动引导安装的位姿视觉测量方法

Also Published As

Publication number Publication date
CN112648976B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN112648976B (zh) 实景影像测量方法、装置、电子设备及存储介质
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
US8436904B2 (en) Method and apparatus for calibrating video camera
CN109523595B (zh) 一种建筑工程直线棱角间距视觉测量方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN109961485A (zh) 一种基于单目视觉进行目标定位的方法
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN112686877A (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
Rüther et al. A comparison of close-range photogrammetry to terrestrial laser scanning for heritage documentation
CN113947638B (zh) 鱼眼相机影像正射纠正方法
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN116310250A (zh) 一种基于三维传感器的点云拼接方法、系统和存储介质
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
CN111968182A (zh) 一种双目相机非线性模型参数的标定方法
CN116205986A (zh) 车载环视相机外参的标定方法、装置、计算机设备及介质
CN115790539A (zh) 一种合作靶标水下摄影测量方法
CN115147262A (zh) 一种图像生成方法和装置
CN116704151A (zh) 三维重建方法、装置以及基于其的车辆、设备和介质
CN114004949A (zh) 机载点云辅助的移动测量系统安置参数检校方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant