CN108682028A - 基于辐射纠正的激光点云与光学影像自动匹配方法 - Google Patents
基于辐射纠正的激光点云与光学影像自动匹配方法 Download PDFInfo
- Publication number
- CN108682028A CN108682028A CN201810466268.2A CN201810466268A CN108682028A CN 108682028 A CN108682028 A CN 108682028A CN 201810466268 A CN201810466268 A CN 201810466268A CN 108682028 A CN108682028 A CN 108682028A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- point cloud
- laser
- homogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000005855 radiation Effects 0.000 title claims abstract description 24
- 230000003287 optical effect Effects 0.000 title claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000012946 outsourcing Methods 0.000 claims description 23
- 230000005484 gravity Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 6
- 241001269238 Data Species 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 4
- 241001270131 Agaricus moelleri Species 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 18
- 238000005070 sampling Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于辐射纠正的激光点云与光学影像自动匹配方法，包括如下步骤：步骤一、采用地面激光雷达和数码相机获取被测对象的激光点云和近景影像；步骤二、基于中心投影的激光反射强度图像的生成；步骤三、利用SIFT算法进行非同源图像的匹配，Canny边界检测以及边界追踪和曲线拟合，利用面积和距离约束同质区域，并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计；步骤四、计算辐射纠正模型并将两种非同源图像上同质区域的灰度进行纠正；步骤五、纠正后SIFT图像匹配获取同名点并索引到激光点云中的三维点；步骤六、激光点云与近景影像的自动配准。
Description
技术领域
本发明涉及摄影测量和地面激光雷达技术领域，特别涉及基于辐射纠正的激光点云与光学影像自动匹配方法。
背景技术
目前，多源数据的处理融合与应用越来越成为当下大数据时代的研究热点之一。通过地面激光雷达获取的点云数据与通过数码相机获取的近景影像(以下简称近景影像)的自动配准是获取高精度对象模型重建的关键技术问题，也是近些年来数字城市的建设、地理国情监测等应用研究的难点问题之一。地面激光雷达点云数据多以三维空间信息的形式而呈现，此外大部分仪器还具备激光发射到被测物时进而能量被被测物体吸收而在激光接收器接收到激光时而导致能量的降低从而得到的激光反射强度信息，而近景影像是通过被测目标受到太阳光等光源反射而在相应传感器中接收到的彩色信息，一般以二维图像数据呈现，二者属于非同源。目前国内外大量的研究中，有的将三维点云数据和二维影像数据配准通过在硬件上从而进行解决，通过求解拍摄的影像相对于激光点云的外方位元素，从而解算出影像在空间坐标系中的位置关系，从而将影像的RGB值赋予点云。有的是将这两者转化为二维与二维的匹配，采用激光雷达点云反射强度图像与近景影像直接进行匹配。激光点云的反射强度与被测物的材质、颜色、扫描角度、距离、反射特性等相关。近景影像的灰度值取决于光照、被测物的光照反射特性、温度等因此。因此，二者属于非同源数据，其在图像上，同一物体同一区域中所反映的灰度值不尽相同，且其分辨率也较难控制，所以通过这两种异源图像的匹配，结果均不太理想。综上所述，亟待一种有效的方法，在一定程度上降低二者之间图像上同质区域的差异，从而提高匹配的结果，并未非同源图像数据的匹配提出一种新的方法思路。
发明内容
本发明的目的之一是提供一种基于辐射纠正的激光点云与光学影像自动匹配方法；
本发明的另一目的是提供一种基于中心投影变换的激光点云与影像自动配准方法，降低地面激光雷达反射强度图像与近景影像差异性，使这两种非同源图像数据的匹配准确度和可靠性更佳，从而实现激光点云与近景影像的自动配准。
本发明提供的技术方案为：
基于辐射纠正的激光点云与光学影像自动匹配方法，包括如下步骤：
步骤一、数据采集：使用地面激光雷达获取被测对象的激光点云并使用数码相机获取近景影像；
步骤二、基于中心投影的激光反射强度图像的生成：步骤(1)将地面激光雷达的激光源作为投影中心，利用所述投影中心和所述激光点云的中心点确定出一条中心点投影射线，以垂直于所述中心投影射线且经过所述中心点的平面作为投影平面，由所述投影中心和所述激光点云中的点形成的投影射线与所述投影平面相交生成相应投影点；依照本发明的方法选择的投影平面是与激光点云最佳符合的平面，这样可以使点云投到投影平面上的相对位置准确，不会发生偏移；如果使用激光点云中的除中心点以外的点与投影中心确定出的另外的投影平面，将会造成投影不准确，导致投影点的错位。步骤(2)建立所有投影点的最小外包矩形，利用格网划分所述最小外包矩形；步骤(3)建立一矩形图形，利用格网划分所述矩形图形，所述矩形图形与最小外包矩形具有相同的格网间距，且所述矩形图形的任一网格单元在所述最小外包矩形中具有对应的网格单元；步骤(4)计算所述矩形图形中所有网格单元的灰度值，其中，对于所述矩形图形中的任一网格单元，利用所述最小外包矩形中距离对应网格单元最近的投影点的反射强度值计算灰度值，将该灰度值赋予矩形图形中的网格单元。
优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，
所述步骤一中，所述激光点云位于地面激光雷达仪器坐标系内，该坐标系是以地面激光雷达的激光源中心为坐标原点，Y轴为仪器在初始化时的固定方向，Z轴竖直向上并垂直于Y轴，X轴垂直于YOZ平面，其正方向由右手螺旋法则确定；
所述步骤(2)中，以所述最小外包矩形的一个顶点为原点、以该顶点对应的两个边分别为横轴OX和纵轴OY、以垂直于XOY平面为Z轴方向建立一投影平面空间直角坐标系O-XYZ，并使所有投影点均位于第一卦限内，将所有投影点由所述地面激光雷达仪器坐标系变换至所述投影平面空间直角坐标系下，在所有的投影点中，计算最大和最小的横坐标值的差值，计算最大和最小的纵坐标值的差值；
所述步骤(3)中，建立一个与投影平面空间直角坐标系完全重合的像平面坐标系，在所述像平面坐标系内建立矩形图形时，以横坐标的差值的整数值为所述矩形图形的宽，以纵坐标的差值的整数值为所述矩形图形的高，其中，所述矩形图形的一个顶点与所述像平面坐标系的原点重合，该顶点对应的两个边分别为像平面坐标系的横轴和纵轴重合，以使所述矩形图形位于第一象限内。这里所说的横坐标的差值的整数值实际上为[横坐标的差值/采样间隔]+1，[]括号中的数值取整，同理，纵坐标的差值的整数值为[纵坐标的差值/采样间隔]+1，[]括号中的数值也取整，以此两个数值分别作为矩形图形的宽和高，然后将矩形图形利用点云采样间隔为间距的格网划分，而同时被划分的最小外包矩形由于其宽和高的距离不一定是采样间隔的整数倍，所以最小外包矩形在沿横轴和纵轴方向远离原点的两侧可能会出现不是完整的一个格网的情况，但是，此时，仍使用这些可能不是完整的格网中的投影点，当使用邻域搜索算法进行灰度值的计算时，仍将投影点的反射强度转化为灰度值后赋予矩形图形相应的格网单元中，最终生成反射强度图像。
优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述格网间距为所述地面激光雷达的采样间距。
优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述步骤(4)中，对于所述最小外包矩形中任一网格单元，距离最近的投影点通过邻域搜索方法计算得到。
优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述步骤(2)中，在进行任一投影点的坐标变换时，先计算横轴OX和纵轴OY轴在所述地面激光雷达仪器坐标系下的空间直线方程，再计算投影点到横轴和纵轴的距离X和Y，则该投影点在投影平面空间直角坐标系O-XYZ内的坐标为(X，Y，0)。
优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述步骤二中，在所述地面激光雷达仪器坐标系内，所述投影平面的具体计算过程为：
利用由所述投影中心(x0，y0，z0)向所述中心点(xd，yd，zd)形成中心点投影射线，并计算出该投影射线所在的空间直线方程：
利用所述中心点投影射线空间直线方程和所述中心点(xd，yd，zd)计算出所述投影平面的方程式：
(xd-x0)(x-xd)+(yd-y0)(y-yd)+(zd-z0)(z-zd)＝0。
优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述步骤二中，任一投影点的具体计算过程为：
首先利用由所述投影中心(x0，y0，z0)向所述激光点云中的任一点(xA，yA，zA)形成投影射线，并计算出经过该点的投影射线在所在地面激光雷达仪器坐标系的空间直线方程：
然后计算经过该点的投影射线与所述投影平面的交点(xj，yj，zj)，该交点为投影点。
步骤三、SIFT图像匹配和边界检测：
步骤(1)利用SIFT算法获得非同源图像之间多个同名点对。步骤(2)利用Canny算子、边界追踪和曲线拟合的方法获取被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计。
优选的是，所述利用SIFT算法获得非同源图像之间多个同名点对的步骤如下所述：
因SIFT算法是基于尺度空间的，对图像缩放、旋转甚至仿射变换能保持不变的图像局部特征描述算子，在针对于非同源的图像数据在相同特征处灰度值描述可能存在一定差别的情况下，该算法具有一定的普适性。因此首先采用SIFT算法对两种异源图像进行匹配，获得二者图像之间多个同名点对。
优选的是，所述利用Canny算子、边界追踪和曲线拟合的方法获取被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计的具体步骤如下所述：
因Canny算子是边缘检测中可以较为完整的质量较高地获取到图像的边缘信息的，因此本发明的发明人利用Canny算子对两种不同源图像进行边缘检测，并根据边界追踪和曲线拟合的方法获取得到两种不同源图像数据的闭合被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计。
步骤四、辐射纠正模型的确定：
根据同质区域的特性计算辐射纠正模型，将两种非同源图像上同质区域的灰度纠正到模型改正后的值。
优选的是，所述辐射纠正模型的确定过程具体步骤如下所述：
根据SIFT匹配得到的同名点对以及通过边缘检测获取的闭合曲线内的中心点计算各中心点与匹配得到的距离最近的同名点在图像坐标系下的距离，以两种非同源图像上闭合区域中心点到相同同名点对距离大致相等且面积也大致相同的区域认定为是同质区域。对上述同质区域进行直方图统计，计算在非同源图像数据上不同灰度的辐射纠正模型，将图像上同一区域的灰度进行纠正到模型改正后的值。从而得到经辐射纠正后的两种非同源数据图像。
步骤五、纠正后SIFT图像匹配：
同步骤三，将纠正后的两种非同源图像进行SIFT匹配，获取到新的同名点对。将反射强度图像上的点通过索引到在原激光点云数据中的三维点，即可找到与近景影像匹配上的激光点云中的三维点。
步骤六、激光点云与近景影像的配准：
步骤(1)计算重心化的空间相似变换模型。步骤(2)像空间坐标系和激光点云坐标系缩放系数λ的解算。步骤(3)激光点云与近景影像配准参数模型的推导。
优先的是，所述计算重心化的空间相似变换模型的过程如下所述：
将近景影像的像点(以下简称为像点)和激光点云的物方点(以下简称为物方点)坐标的重心化，像点位于像空间坐标系内，其相对于物方坐标系之间空间相似变换的一般模型为：
式中，(X，Y，Z)为物方点的物方空间坐标；λ为坐标系间的缩放系数；R为两个坐标系间的旋转矩阵；f为相机焦距；(x，y，-f)为像点的像空间坐标系下的坐标；(XS，YS，ZS)为摄影中心的物方空间坐标。重心化坐标后，可以有效地减少坐标在计算中的有效位数，提高计算精度，还可以使法方程式的系数简化，加快计算速度。将像点和物方点坐标进行重心化后，式(1)变换为
优选的是，所述像空间坐标系和激光点云坐标系缩放系数λ的解算的步骤如下所述：
由式(2)可求缩放系数λ，首先对式(2)两边取转置，再与式(2)相乘，由λ＞0且由R为正交旋转矩阵的特性，每对配准点的缩放系数计算公式为
优选的是，所述激光点云与近景影像配准参数模型的推导的步骤如下所述：
本发明利用反对称矩阵的方法求解配准参数模型，设一反对称矩阵为
R为正交旋转矩阵，由正交矩阵和反对称矩阵的运算性质有
R＝(I+S)(I-S)-1 (5)
将式(4)、式(5)代入式(2)，推导出配准角度参数(a，b，c)的模型方程式
该模型运算速度较快，可以较易用程序实现。对所有同名点按照式(3)计算缩放系数，应用最小二乘平差求解。若式(6)简写为：
AX-L＝0
则其法方程解的表达式为
X＝(ATA)-1ATL (7)
得到(a，b，c)参数后，按照式(5)计算旋转矩阵，应用旋转矩阵各个元素与角元素的关系，计算影像摄影时空间姿态角元素。根据角元素和式(1)求解配准参数线元素。即可得到影像在拍摄瞬间相对于物方的外方位元素。
本发明的有益效果为：
1、本发明通过统计计算得到辐射纠正模型后得到的非同源图像数据，使得两种非同源图像在同质区域内的差异性降低了，从而在一定程度上增加了匹配点对；
2、通过本发明方法进行两种非同源图像数据的匹配时，因经过了辐射纠正，不仅大大提高了匹配的点对数量而且也提高了匹配的精度和可靠性，也在一定程度上降低了非同源图像数据的差异性，并在一定程度上解决了非同源图像数据的匹配问题；
3、通过本发明方法生成的地面激光雷达反射强度图像与近景影像匹配得到的匹配点对可以为地面激光雷达点云与近景影像的配准提供更加可靠和准确的同名点。
附图说明
图1为本发明所述的基于辐射纠正的激光点云与光学影像自动匹配方法的流程图；
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
如图1所示，本发明提供一种基于中心投影变换的激光点云与影像自动配准方法，包括如下步骤：
步骤一、数据采集：使用地面三维激光扫描仪获取被测对象的激光点云，使用数码相机获取待扫描物的近景影像，所述激光点云均位于地面激光雷达仪器坐标系内，该坐标系是以地面激光雷达的激光源中心为坐标原点，Y轴为仪器在初始化时的固定方向，Z轴竖直向上并垂直于Y轴，X轴垂直于YOZ平面，其正方向由右手螺旋法则确定；
根据激光点云与影像的关系以及相机传感器的大小、焦距，并保证相机与被测对象之间的竖直角不超过30°，以尽量减少摄影误差对于近景影像的影响以及近景影像与反射强度图像的差异的影响。根据被测对象的形状、尺寸和表面纹理信息的情况，并根据激光点云的采样间隔与近景影像的采样间隔比例1∶1，从而选择地面激光雷达扫描分辨率以及与被测对象之间的距离。获取得到近景影像后对影像进行灰度化。
步骤二、基于中心投影的激光反射强度图像的生成：
步骤(1)、将地面激光雷达的激光源作为投影中心(x0，y0，z0)，一般地面激光点云以阵列式存储，选取点云阵列的中心点作为激光点云的中心点(xd，yd，zd)，利用由所述中心点(xd，yd，zd)和所述投影中心(x0，y0，z0)形成中心点投影射线，并计算出该投影射线在地面激光雷达仪器坐标系内的空间直线方程：
利用所述中心点投影射线的空间直线方程和所述中心点(xd，yd，zd)计算出所述投影平面的方程式：
(xd-x0)(x-xd)+(yd-y0)(y-yd)+(zd-z0)(z-zd)＝0。
利用由所述投影中心(x0，y0，z0)向所述激光点云所有点中的任一点(xA，yA，zA)形成投影射线，并计算出经过该点的投影射线所在的空间直线方程：
然后计算经过该点的投影射线与所述投影平面的交点(xj，yj，zj)，该交点为投影点。
步骤(2)、建立所有投影点的最小外包矩形，以所述最小外包矩形的一个顶点为原点，此处使用的是该最小外包矩形的左上角点，以该左上角点对应的向东方向和向南方向分别为横轴OX和纵轴OY，以垂直于XOY平面为Z轴方向建立一投影平面空间直角坐标系O-XYZ，这样最小外包矩形位于第一卦限内，先计算横轴OX和纵轴OY轴在地面激光雷达仪器坐标系下的空间直线方程，再计算投影点(xj，yj，zj)到横轴和纵轴的距离X和Y，则计算出该投影点在投影平面空间直角坐标系O-XYZ内的坐标为(X，Y，0)，因所有投影点均在投影平面XOY内，所以投影点在O-XYZ坐标系内的Z值均为0，在所有的投影点中，计算最大和最小的横坐标值的差值，计算最大和最小的纵坐标值的差值，利用格网划分所述最小外包矩形；
步骤(3)、以投影平面空间直角坐标系的原点为原点，所述空间直角坐标系OX轴为x轴，OY轴为y轴，建立一像平面坐标系，所述像平面坐标系是与投影平面空间直角坐标系的XOY平面完全重合的坐标系，所述像平面坐标系的单位为激光雷达点云的采样间隔。在该像平面坐标系内建立一矩形图形，以该矩形图形的左上角点与像平面坐标系的原点重合，该左上角点对应的向东和向南的两条边分别与像平面坐标系的x轴和y轴重合，使该矩形图形与最小外包矩形都位于第一象限内，以[横坐标的差值/采样间隔]+1的整数值(即[]括号中的数值取整)作为所述矩形图形的宽，以[纵坐标的差值/采样间隔]+1的整数值(即[]括号中的数值取整)作为所述矩形图形的高。利用格网划分所述矩形图形，格网间距为地面激光雷达的采样间距，并设定地面激光雷达的采样间距为像素大小，矩形图形与最小外包矩形的格网间距相同，且矩形图形的任一网格单元在所述最小外包矩形中具有对应的网格单元。
步骤(4)、计算所述矩形图形中所有网格单元的灰度值，其中，对于所述矩形图形中的任一网格单元，通过邻域搜索方法计算得到与最小外包矩形中网格单位距离最近的投影点，首先从投影平面的空间直角坐标系下的原点(即像平面矩形图形原点)开始，以激光点云的采样间隔(即像素大小)为步长，逐行逐列地在一个激光点云采样间隔的邻域内搜索在投影平面内与矩形图形上的格网点距离最邻近的点，将最邻近点的激光反射强度值(一般激光反射强度值为(0，1))直接利用线性拉伸的方法转换为灰度值(一般反射强度值为(0，255))，将该灰度值赋予矩形图形中的网格单元。为了加速搜索最邻近点，本发明的邻域搜索方法中利用MPI并行处理加快计算速度。
步骤三、SIFT图像匹配和边界检测：
步骤(1)、因SIFT算法是基于尺度空间的，对图像缩放、旋转甚至仿射变换能保持不变的图像局部特征描述算子，在针对于非同源的图像数据在相同特征处灰度值描述可能存在一定差别的情况下，该算法具有一定的普适性。因此首先采用SIFT算法对两种异源图像进行匹配，获得二者图像之间多个同名点对。
步骤(2)、因Canny算子是边缘检测中可以较为完整的质量较高地获取到图像的边缘信息的，因此本发明的发明人利用Canny算子对两种不同源图像进行边缘检测，并根据边界追踪和曲线拟合的方法获取得到两种不同源图像数据的闭合被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计。
步骤四、辐射纠正模型的确定：
根据SIFT匹配得到的同名点对以及通过边缘检测获取的闭合曲线内的中心点计算各中心点与匹配得到的距离最近的同名点在图像坐标系下的距离，以两种非同源图像上闭合区域中心点到相同同名点对距离大致相等且面积也大致相同的区域认定为是同质区域。对上述同质区域进行直方图统计，计算在非同源图像数据上不同灰度的辐射纠正模型，将图像上同一区域的灰度进行纠正到模型改正后的值。从而得到经辐射纠正后的两种非同源数据图像。
步骤五、纠正后SIFT图像匹配：
同步骤三，将纠正后的两种非同源图像进行SIFT匹配，获取到新的同名点对。将反射强度图像上的点通过索引到在原激光点云数据中的三维点，即可找到与近景影像匹配上的激光点云中的三维点。
步骤六、激光点云与近景影像的配准：
步骤(1)、重心化的空间相似变换模型：
首先将近景影像的像点(以下简称为像点)和激光点云的物方点(以下简称为物方点)坐标的重心化，像点位于像空间坐标系内，其相对于物方坐标系之间空间相似变换的一般模型为：
式中，(X，Y，Z)为物方点的物方空间坐标；λ为坐标系间的缩放系数；R为两个坐标系间的旋转矩阵；f为相机焦距；(x，y，-f)为像点的像空间坐标系下的坐标；(XS，YS，ZS)为摄影中心的物方空间坐标。重心化坐标后，可以有效地减少坐标在计算中的有效位数，提高计算精度，还可以使法方程式的系数简化，加快计算速度。将像点和物方点坐标进行重心化后，式(1)变换为
步骤(2)、缩放系数λ的解算：
由式(2)可求缩放系数λ，首先对式(2)两边取转置，再与式(2)相乘，由λ＞0且由R为正交旋转矩阵的特性，每对配准点的缩放系数计算公式为
步骤(3)、配准参数模型的推导
本发明利用反对称矩阵的方法求解配准参数模型，设一反对称矩阵为
R为正交旋转矩阵，由正交矩阵和反对称矩阵的运算性质有
R＝(I+S)(I-S)-1 (5)
将式(4)、式(5)代入式(2)，推导出配准角度参数(a，b，c)的模型方程式
该模型运算速度较快，可以较易用程序实现。对所有同名点按照式(3)计算缩放系数，应用最小二乘平差求解。若式(6)简写为：
AX-L＝0
则其法方程解的表达式为
X＝(ATA)-1ATL (7)
得到(a，b，c)参数后，按照式(5)计算旋转矩阵，应用旋转矩阵各个元素与角元素的关系，计算影像摄影时空间姿态角元素。根据角元素和式(1)求解配准参数线元素。即可得到影像在拍摄瞬间相对于物方的外方位元素。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (3)
1.一种基于辐射纠正的激光点云与光学影像自动匹配方法，其特征在于，包括如下步骤：
步骤一、数据采集：使用地面激光雷达获取被测对象的激光点云并使用数码相机获取近景影像；
步骤二、基于中心投影的激光反射强度图像的生成：步骤(1)将地面激光雷达的激光源作为投影中心，利用所述投影中心和所述激光点云的中心点确定出一条中心点投影射线，以垂直于所述中心投影射线且经过所述中心点的平面作为投影平面，由所述投影中心和所述激光点云中的点形成的投影射线与所述投影平面相交生成相应投影点；依照本发明的方法选择的投影平面是与激光点云最佳符合的平面，这样可以使点云投到投影平面上的相对位置准确，不会发生偏移；如果使用激光点云中的除中心点以外的点与投影中心确定出的另外的投影平面，将会造成投影不准确，导致投影点的错位。步骤(2)建立所有投影点的最小外包矩形，利用格网划分所述最小外包矩形；步骤(3)建立一矩形图形，利用格网划分所述矩形图形，所述矩形图形与最小外包矩形具有相同的格网间距，且所述矩形图形的任一网格单元在所述最小外包矩形中具有对应的网格单元；步骤(4)计算所述矩形图形中所有网格单元的灰度值，其中，对于所述矩形图形中的任一网格单元，利用所述最小外包矩形中距离对应网格单元最近的投影点的反射强度值计算灰度值，将该灰度值赋予矩形图形中的网格单元；
步骤三、SIFT图像匹配和边界检测：步骤(1)利用SIFT算法获得非同源图像之间多个同名点对。步骤(2)利用Canny算子、边界追踪和曲线拟合的方法获取被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计；
步骤四、辐射纠正模型的确定：根据同质区域的特性计算辐射纠正模型，将两种非同源图像上同质区域的灰度纠正到模型改正后的值；
步骤五、纠正后SIFT图像匹配：同步骤三，将纠正后的两种非同源图像进行SIFT匹配，获取到新的同名点对。将反射强度图像上的点通过索引到在原激光点云数据中的三维点，即可找到与近景影像匹配上的激光点云中的三维点；
步骤六、激光点云与近景影像的配准：步骤(1)计算重心化的空间相似变换模型。步骤(2)像空间坐标系和激光点云坐标系缩放系数λ的解算。步骤(3)激光点云与近景影像配准参数模型的推导。
2.如权利要求1所述的SIFT图像匹配和边界检测，其特征在于，
所述步骤(1)中，采用SIFT算法对两种异源图像进行匹配，获得二者图像之间多个同名点对；
所述步骤(2)中，利用Canny算子对两种不同源图像进行边缘检测，并根据边界追踪和曲线拟合的方法获取得到两种不同源图像数据的闭合被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计。
3.如权利要求1所述的辐射纠正模型的确定，其特征在于，根据SIFT匹配得到的同名点对以及通过边缘检测获取的闭合曲线内的中心点计算各中心点与匹配得到的距离最近的同名点在图像坐标系下的距离，以两种非同源图像上闭合区域中心点到相同同名点对距离大致相等且面积也大致相同的区域认定为是同质区域。对上述同质区域进行直方图统计，计算在非同源图像数据上不同灰度的辐射纠正模型，将图像上同一区域的灰度进行纠正到模型改正后的值。从而得到经辐射纠正后的两种非同源数据图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810466268.2A CN108682028A (zh) | 2018-05-16 | 2018-05-16 | 基于辐射纠正的激光点云与光学影像自动匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810466268.2A CN108682028A (zh) | 2018-05-16 | 2018-05-16 | 基于辐射纠正的激光点云与光学影像自动匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108682028A true CN108682028A (zh) | 2018-10-19 |
Family
ID=63806662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810466268.2A Pending CN108682028A (zh) | 2018-05-16 | 2018-05-16 | 基于辐射纠正的激光点云与光学影像自动匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108682028A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211165A (zh) * | 2019-06-10 | 2019-09-06 | 成都信息工程大学 | 一种基于异步深度强化学习的图像多模态配准方法 |
| CN112254670A (zh) * | 2020-10-15 | 2021-01-22 | 天目爱视（北京）科技有限公司 | 一种基于光扫描和智能视觉融合的3d信息采集设备 |
| CN112270642A (zh) * | 2020-10-30 | 2021-01-26 | 深兰人工智能(深圳)有限公司 | 障碍物点云外接矩形框的构建方法、系统及装置 |
| CN112784837A (zh) * | 2021-01-26 | 2021-05-11 | 电子科技大学中山学院 | 一种感兴趣区域提取方法、装置、电子设备及存储介质 |
| CN115409880A (zh) * | 2022-08-31 | 2022-11-29 | 深圳前海瑞集科技有限公司 | 工件数据配准方法、装置、电子设备及存储介质 |
| CN116626706A (zh) * | 2023-05-12 | 2023-08-22 | 北京交通大学 | 轨道交通隧道侵限检测方法及系统 |
| CN118196177A (zh) * | 2024-03-27 | 2024-06-14 | 浙江浔象数字产业发展有限公司 | 基于高分遥感技术的实物量转价值量测算方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104007444A (zh) * | 2014-06-09 | 2014-08-27 | 北京建筑大学 | 一种基于中心投影的地面激光雷达反射强度图像的生成方法 |
| CN104063860A (zh) * | 2014-06-12 | 2014-09-24 | 北京建筑大学 | 一种激光点云边缘精细化的方法 |
| CN106056563A (zh) * | 2016-05-20 | 2016-10-26 | 首都师范大学 | 一种机载激光点云数据与车载激光点云数据融合方法 |
| CN107316325A (zh) * | 2017-06-07 | 2017-11-03 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
-
2018
- 2018-05-16 CN CN201810466268.2A patent/CN108682028A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104007444A (zh) * | 2014-06-09 | 2014-08-27 | 北京建筑大学 | 一种基于中心投影的地面激光雷达反射强度图像的生成方法 |
| CN104063860A (zh) * | 2014-06-12 | 2014-09-24 | 北京建筑大学 | 一种激光点云边缘精细化的方法 |
| CN106056563A (zh) * | 2016-05-20 | 2016-10-26 | 首都师范大学 | 一种机载激光点云数据与车载激光点云数据融合方法 |
| CN107316325A (zh) * | 2017-06-07 | 2017-11-03 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
Non-Patent Citations (8)
| Title |
|---|
| 张靖 等: "激光点云与光学影像配准：现状与趋势", 《地球信息科学学报》 * |
| 曾飞翔 等: "一种基于近景影像的边缘三维重建方法", 《测绘通报》 * |
| 李天烁 等: "基于近景摄影测量的Monte-Carlo实验仿真法在水域面积量算中的应用", 《北京测绘》 * |
| 王志喜，王润云主编: "《计算机图形图像技术》", 31 January 2018, 中国矿业大学出版社 * |
| 种劲松，欧阳越，朱敏慧著: "《合成孔径雷达图像海洋目标检测》", 30 September 2006, 北京：海洋出版社 * |
| 肖世德，孟文，熊鹰编著: "《高等机械CAD/CAM》", 31 January 2015, 西南交通大学出版社 * |
| 胡春梅 等: "图像平滑在地面激光点云与影像融合中的应用", 《激光杂志》 * |
| 陈洪月编著: "《Pro/ENGINEER、ANSYS、MATLAB软件及应用》", 31 July 2017, 东北大学出版社 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211165A (zh) * | 2019-06-10 | 2019-09-06 | 成都信息工程大学 | 一种基于异步深度强化学习的图像多模态配准方法 |
| CN110211165B (zh) * | 2019-06-10 | 2022-08-05 | 成都信息工程大学 | 一种基于异步深度强化学习的图像多模态配准方法 |
| CN112254670A (zh) * | 2020-10-15 | 2021-01-22 | 天目爱视（北京）科技有限公司 | 一种基于光扫描和智能视觉融合的3d信息采集设备 |
| CN112270642A (zh) * | 2020-10-30 | 2021-01-26 | 深兰人工智能(深圳)有限公司 | 障碍物点云外接矩形框的构建方法、系统及装置 |
| CN112784837A (zh) * | 2021-01-26 | 2021-05-11 | 电子科技大学中山学院 | 一种感兴趣区域提取方法、装置、电子设备及存储介质 |
| CN112784837B (zh) * | 2021-01-26 | 2024-01-30 | 电子科技大学中山学院 | 一种感兴趣区域提取方法、装置、电子设备及存储介质 |
| CN115409880A (zh) * | 2022-08-31 | 2022-11-29 | 深圳前海瑞集科技有限公司 | 工件数据配准方法、装置、电子设备及存储介质 |
| CN115409880B (zh) * | 2022-08-31 | 2024-03-22 | 深圳前海瑞集科技有限公司 | 工件数据配准方法、装置、电子设备及存储介质 |
| CN116626706A (zh) * | 2023-05-12 | 2023-08-22 | 北京交通大学 | 轨道交通隧道侵限检测方法及系统 |
| CN116626706B (zh) * | 2023-05-12 | 2024-01-16 | 北京交通大学 | 轨道交通隧道侵限检测方法及系统 |
| CN118196177A (zh) * | 2024-03-27 | 2024-06-14 | 浙江浔象数字产业发展有限公司 | 基于高分遥感技术的实物量转价值量测算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108682028A (zh) | 基于辐射纠正的激光点云与光学影像自动匹配方法 | |
| CN108828606B (zh) | 一种基于激光雷达和双目可见光相机联合测量方法 | |
| CN104007444B (zh) | 一种基于中心投影的地面激光雷达反射强度图像的生成方法 | |
| CN105160702B (zh) | 基于LiDAR点云辅助的立体影像密集匹配方法及系统 | |
| CN109410256A (zh) | 基于互信息的点云与影像自动高精度配准方法 | |
| CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
| CN104574406B (zh) | 一种360度全景激光与多个视觉系统间的联合标定方法 | |
| CN109341668B (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
| CN105115560B (zh) | 一种船舱舱容的非接触测量方法 | |
| CN105069743A (zh) | 探测器拼接实时图像配准的方法 | |
| CN107167073A (zh) | 一种线阵结构光三维快速测量装置及其测量方法 | |
| CN110208771A (zh) | 一种移动二维激光雷达的点云强度改正方法 | |
| CN110246186A (zh) | 一种自动化三维彩色成像与测量方法 | |
| CN114923665B (zh) | 波浪三维高度场的图像重构方法及图像重构试验系统 | |
| CN104036542A (zh) | 一种基于空间光线聚集性的像面特征点匹配方法 | |
| CN105547244A (zh) | 一种结合立体像对的激光高度计高程控制点生成方法 | |
| CN115451846B (zh) | 一种基于tls的大型抛物面天线口径测量及计算方法 | |
| CN110763204A (zh) | 一种平面编码靶标及其位姿测量方法 | |
| CN110230979A (zh) | 一种立体标靶及其三维彩色数字化系统标定方法 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| Holmgren et al. | Estimation of tree position and stem diameter using simultaneous localization and mapping with data from a backpack-mounted laser scanner | |
| CN112461204A (zh) | 卫星对动态飞行目标多视角成像联合计算航行高度的方法 | |
| CN108413865A (zh) | 基于三维测量和坐标系转换的二次反射镜面型检测方法 | |
| Yuan et al. | A precise calibration method for line scan cameras | |
| CN110189403B (zh) | 一种基于单波束前视声纳的水下目标三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181019 |